НАУЧНЫЙ ВЕСТНИК


НОВОСИБИРСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА

ISSN (печатн.): 1814-1196          ISSN (онлайн): 2658-3275
English | Русский

Последний выпуск
№1(78) Январь - Март 2020

Синтез регуляторов для многоканальных систем с использованием нейронных сетей

Выпуск № 4 (77) Октябрь - Декабрь 2019
Авторы:

Воевода Александр Александрович,
Романников Дмитрий Олегович
DOI: http://dx.doi.org/10.17212/1814-1196-2019-4-7-16
Аннотация

В статье рассматривается задача синтеза регулятора с использованием нейронных сетей на примере задачи стабилизации двухканального объекта. Объектом является трехмассовая система, в состав которой входят шесть интеграторов. Для управления объектом используются два входа и необходимо добиться стабилизации на двух выходных каналах. В поставленной задаче изначально объект находится в неустойчивом положении. В качестве регулятора используется нейронная сеть, которую предлагается обучать одним из методов обучения с подкреплением (в статье метод Deterministic Policy Gradient позволил получить наилучшие результаты). Поставленная задача рассматривается в двух вариациях. Особенность первой вариации заключается в доступности вектора состояния объекта. При этом, в отличие от классического способа решения синтеза регуляторов, входом нейронной сети, которая является регулятором, является вектор состояния объекта (значения интеграторов). Во второй вариации задачи мы считаем, что вектор состояния объекта недоступен и для его оценки используется наблюдатель, реализованный с использованием нейронной сети. Предлагается методика синтеза наблюдателя, а также структура нейронной сети наблюдателя, которая состоит из первого рекуррентного слоя и сети прямого распространения. Для обучения нейронной сети наблюдателя собраны данные путем серии экспериментов со схемой с параллельным подключением моделей объекта и наблюдателя и последующей подачи случайного закона управления на них. Приведены графики оценки состояния объекта и оценок наблюдателя. Нейронная сеть регулятора обучена для стабилизации из исходного неустойчивого состояния.


Ключевые слова: нейронные сети, синтез, классификация, структура нейронных сетей, методы обучения, машинное обучение, обратное распространение ошибки, структурные методы, алгоритмы управления

Список литературы

1. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems 25 (NIPS 2012). – Lake Tahoe, Nevada, 2012. – P. 1090–1098.



2. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013. – P. 6645–6649.



3. Deng L., Hinton G.E., Kingsbury B. New types of deep neural network learning for speech recognition and related applications: an overview // Proceedings of the IEEE International Conference on Acoustic, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013. – P. 8599–8603.



4. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 54. – С. 205–223.



5. Воевода A.A., Романников Д.О. Синтез нейронной сети для реализации рекуррентного метода наименьших квадратов // Научный вестник НГТУ. – 2018. – № 72. – С. 33–42.



6. Воевода А.А., Шоба Е.В. Стабилизация трехмассовой системы: модальный метод синтеза в пространстве состояний с наблюдателем пониженного порядка // Сборник научных трудов НГТУ. – 2010. – № 4 (62). – С. 13–24.



7. Sutton R., Barto A. Reinforcement learning: an introduction. – Cambridge: MIT Press, 2018. – 1328 p.



8. Playing Atari with deep reinforcement learning / V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller // NIPS Deep Learning Workshop. – Lake Tahoe, 2013.



9. Learning from demonstrations for real world reinforcement learning / T. Hester, M. Vecerik, O. Pietquin, M. Lanctot, T. Schaul, B. Piot, D. Horgan, J. Quan, A. Sendonaris, G. Dulac-Arnold, I. Osband, J. Agapiou, J.Z. Leibo, A. Gruslys // Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16. – Phoenix, Arizona, 2016. – P. 2094–2100.



10. Mastering the game of Go with deep neural networks and tree search / D. Silver, A. Huang, C. Maddison, A. Guez, L. Sifre, G. Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, S. Dieleman, D. Grewe, J. Nham, N. Kalchbrenner, I. Sutskever, T. Lillicrap, M. Leach, K. Kavukcuoglu, T. Graepel, D. Hassabis // Nature. – 2016. – Vol. 529. – P. 484–503.



11. Omid E., Netanyahu N., Wolf L. DeepChess: end-to-end deep neural network for automatic learning in chess // Artificial Neural Networks and Machine Learning – ICANN 2016: 25th International Conference on Artificial Neural Networks: proceedings. – Springer International Publishing Switzerland, 2016. – Pt. 2. – P. 88–96.



12. Интеллектуальные системы автоматического управления / под ред. И.М. Макарова и В.М. Лохина. – М.: Физматлит, 2001. – 576 с.



13. Белов М.П., Чан Д.Х. Интеллектуальный контроллер на основе нелинейного оптимального управления роботами-манипуляторами // Известия СПбГЭТУ ЛЭТИ. – 2018. – № 9. – С. 76–86.



14. Neural network-based self-tuning PID control for underwater vehicles / R. Alvarado, L. Valdovinos, T. Salgado-Jiménez, A. Gómez-Espinosa, F. Fonseca-Navarro // Sensors. – 2016. – Vol. 16 (9). – P. 1429.



15. Kumar R., Srivastava S., Gupta J.R.P. Artificial Neural Network based PID controller for online control of dynamical systems // 2016 IEEE 1st International Conference on Power Electronics, Intelligent Control and Energy Systems (ICPEICES). – Delhi, 2016.



16. Zribi A., Chtourou M., Djemel M. A new PID neural network controller design for nonlinear processes [Electronic resource]. – URL: http://arxiv.org/abs/1512.07529 (accessed: 05.12.2019).



17. Wawrzynski P. A simple actor-critic algorithm for continuous environments // Proceedings of the 10th IEEE International Conference on Methods and Models in Automation and Robotics. – Miedzyzdroje, Poland, 2004. – P. 1143–1149.



18. Deterministic policy gradient algorithms / D. Silver, G. Lever, N. Heess, T. Degris, D. Wierstra, M. Riedmiller // Proceedings of the 31st International Conference on Machine Learning, ICML'14. – 2014. – Vol. 32. – P. 387–395.

Для цитирования:

Воевода А.А., Романников Д.О. Синтез регуляторов для многоканальных систем с использованием нейронных сетей // Научный вестник НГТУ. – 2019. – № 4 (77). – С. 7–16. – DOI: 10.17212/1814-1196-2019-4-7-16.

 

For citation:

Voevoda A.A., Romannikov D.O. Sintez regulyatorov dlya mnogokanal'nykh sistem s is-pol'zovaniem neironnykh setei [Synthesis of regulators for multichannel systems using neural networks]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universitetaScience bulletin of the Novosibirsk state technical university, 2019, no. 4 (77), pp. 7–16. DOI: 10.17212/1814-1196-2019-4-7-16.

Просмотров: 237