НАУЧНЫЙ ВЕСТНИК

В статье рассматривается задача синтеза регулятора с использованием нейронных сетей на примере задачи стабилизации двухканального объекта. Объектом является трехмассовая система, в состав которой входят шесть интеграторов. Для управления объектом используются два входа и необходимо добиться стабилизации на двух выходных каналах. В поставленной задаче изначально объект находится в неустойчивом положении. В качестве регулятора используется нейронная сеть, которую предлагается обучать одним из методов обучения с подкреплением (в статье метод Deterministic Policy Gradient позволил получить наилучшие результаты). Поставленная задача рассматривается в двух вариациях. Особенность первой вариации заключается в доступности вектора состояния объекта. При этом, в отличие от классического способа решения синтеза регуляторов, входом нейронной сети, которая является регулятором, является вектор состояния объекта (значения интеграторов). Во второй вариации задачи мы считаем, что вектор состояния объекта недоступен и для его оценки используется наблюдатель, реализованный с использованием нейронной сети. Предлагается методика синтеза наблюдателя, а также структура нейронной сети наблюдателя, которая состоит из первого рекуррентного слоя и сети прямого распространения. Для обучения нейронной сети наблюдателя собраны данные путем серии экспериментов со схемой с параллельным подключением моделей объекта и наблюдателя и последующей подачи случайного закона управления на них. Приведены графики оценки состояния объекта и оценок наблюдателя. Нейронная сеть регулятора обучена для стабилизации из исходного неустойчивого состояния.

1. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems 25 (NIPS 2012). – Lake Tahoe, Nevada, 2012. – P. 1090–1098.

2. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013. – P. 6645–6649.

3. Deng L., Hinton G.E., Kingsbury B. New types of deep neural network learning for speech recognition and related applications: an overview // Proceedings of the IEEE International Conference on Acoustic, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013. – P. 8599–8603.

4. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 54. – С. 205–223.

5. Воевода A.A., Романников Д.О. Синтез нейронной сети для реализации рекуррентного метода наименьших квадратов // Научный вестник НГТУ. – 2018. – № 72. – С. 33–42.

6. Воевода А.А., Шоба Е.В. Стабилизация трехмассовой системы: модальный метод синтеза в пространстве состояний с наблюдателем пониженного порядка // Сборник научных трудов НГТУ. – 2010. – № 4 (62). – С. 13–24.

7. Sutton R., Barto A. Reinforcement learning: an introduction. – Cambridge: MIT Press, 2018. – 1328 p.

8. Playing Atari with deep reinforcement learning / V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller // NIPS Deep Learning Workshop. – Lake Tahoe, 2013.

9. Learning from demonstrations for real world reinforcement learning / T. Hester, M. Vecerik, O. Pietquin, M. Lanctot, T. Schaul, B. Piot, D. Horgan, J. Quan, A. Sendonaris, G. Dulac-Arnold, I. Osband, J. Agapiou, J.Z. Leibo, A. Gruslys // Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16. – Phoenix, Arizona, 2016. – P. 2094–2100.

10. Mastering the game of Go with deep neural networks and tree search / D. Silver, A. Huang, C. Maddison, A. Guez, L. Sifre, G. Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, S. Dieleman, D. Grewe, J. Nham, N. Kalchbrenner, I. Sutskever, T. Lillicrap, M. Leach, K. Kavukcuoglu, T. Graepel, D. Hassabis // Nature. – 2016. – Vol. 529. – P. 484–503.

11. Omid E., Netanyahu N., Wolf L. DeepChess: end-to-end deep neural network for automatic learning in chess // Artificial Neural Networks and Machine Learning – ICANN 2016: 25th International Conference on Artificial Neural Networks: proceedings. – Springer International Publishing Switzerland, 2016. – Pt. 2. – P. 88–96.

12. Интеллектуальные системы автоматического управления / под ред. И.М. Макарова и В.М. Лохина. – М.: Физматлит, 2001. – 576 с.

13. Белов М.П., Чан Д.Х. Интеллектуальный контроллер на основе нелинейного оптимального управления роботами-манипуляторами // Известия СПбГЭТУ ЛЭТИ. – 2018. – № 9. – С. 76–86.

14. Neural network-based self-tuning PID control for underwater vehicles / R. Alvarado, L. Valdovinos, T. Salgado-Jiménez, A. Gómez-Espinosa, F. Fonseca-Navarro // Sensors. – 2016. – Vol. 16 (9). – P. 1429.

15. Kumar R., Srivastava S., Gupta J.R.P. Artificial Neural Network based PID controller for online control of dynamical systems // 2016 IEEE 1st International Conference on Power Electronics, Intelligent Control and Energy Systems (ICPEICES). – Delhi, 2016.

16. Zribi A., Chtourou M., Djemel M. A new PID neural network controller design for nonlinear processes [Electronic resource]. – URL: http://arxiv.org/abs/1512.07529 (accessed: 05.12.2019).

17. Wawrzynski P. A simple actor-critic algorithm for continuous environments // Proceedings of the 10th IEEE International Conference on Methods and Models in Automation and Robotics. – Miedzyzdroje, Poland, 2004. – P. 1143–1149.

18. Deterministic policy gradient algorithms / D. Silver, G. Lever, N. Heess, T. Degris, D. Wierstra, M. Riedmiller // Proceedings of the 31st International Conference on Machine Learning, ICML'14. – 2014. – Vol. 32. – P. 387–395.