СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

В статье предлагается метод синтеза нейронного регулятора для замкнутых систем с линейными объектами. Научная новизна предлагаемого метода заключается в том, что нейронный регулятор, на вход которого подается вектор состояния объекта (для объектов с недоступным вектором состояния возможно использовать вектор оценки вектора состояния объекта), должен быть обучен для стабилизации в одном из возможных желаемых значений, а для обеспечения регулирования в других желаемых значениях предлагается пропорционально уменьшать / увеличивать сигнал вектора состояния и увеличивать / уменьшать сигнал управления, формируемого нейронным регулятором. Также к другим достоинствам предлагаемого метода относятся: 1) отсутствие необходимости обучения на нескольких желаемых значениях, что существенно упрощает и ускоряет обучение нейронной сети, а также устраняет ошибки регулирования в диапазоне значений, для которых не выполнялось обучение нейронного регулятора; 2) возможность обучения из начально неустойчивого состояния замкнутой системы. Предлагаемый метод синтеза нейронного регулятора для замкнутой системы с линейным объектом опробован на примере синтеза регулятора для объекта 1/s³, который является неустойчивым. В качестве регулятора используется нейронная сеть, которую предлагается обучать одним из методов обучения с подкреплением (в статье метод Deterministic Policy Gradient позволил получить наилучшие результаты). Полученные графики переходных процессов позволяют сделать вывод о его успешном применении. Статья заканчивается выводами и рассуждениями о дальнейших направлениях исследования, к которым можно отнести качество переходного процесса и возможность его корректировки за счет изменения функции награды, что позволит задавать графики переходных процессов.

1. Bishop C. Pattern recognition and machine learning. – New York: Springer, 2007. – 738 p. – (Information Science and Statistics).

2. Goodfellow I., Bengio Y., Courville A. Deep learning. – Cambridge: MIT Press, 2016. – 787 p.

3. Haykin S. Neural networks and learning machines. – 3rd ed. – New York: Prentice Hall, 2009. – 938 p.

4. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems 25: 26th Annual Conference on Neural Information Processing Systems 2012. – Red Hook, NY: Curran, 2013. – P. 1097–1105.

5. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – Vancouver, BC, Canada, 2013. – P. 6645–6649.

6. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 54. – C. 205–223.

7. Воевода А.А., Романников Д.О. Синтез нейронной сети для реализации рекуррентного метода наименьших квадратов // Научный вестник НГТУ. – 2018. – № 3 (72). – С. 33–42. – DOI: 10.17212/1814-1196-2018-3-33-42.

8. Playing Atari with deep reinforcement learning / V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller // NIPS Deep Learning Workshop. – Lake Tahoe, 2013. – URL: https://arxiv.org/pdf/1312.5602.pdf (accessed: 16.12.2020).

9. Mastering the game of Go with deep neural networks and tree search / D. Silver, A. Huang, C. Maddison, A. Guez, L. Sifre, G. Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, S. Dieleman, D. Grewe, J. Nham, N. Kalchbrenner, I. Sutskever, T. Lillicrap, M. Leach, K. Kavukcuoglu, T. Graepel, D. Hassabis // Nature. – 2016. – Vol. 529. – P. 484–503.

10. An adaptive PID neural network for complex nonlinear system control / J. Kang, W. Meng, A. Abraham, H. Liu // Neurocomputing. – 2014. – Vol. 135. – P. 79–85.

11. Белов М.П., Чан Д.Х. Интеллектуальный контроллер на основе нелинейного оптимального управления роботами-манипуляторами // Известия СПбГЭТУ ЛЭТИ. – 2018. – № 9. – С. 76–86.

12. Soloway D., Haley P.J. Neural generalized predictive control // Proceedings of the 1996 IEEE International Symposium on Intelligent Control. – Dearborn, MI, USA, 1996. – P. 277–282.

13. Sutton R., Barto A. Reinforcement learning: an introduction. – Cambridge: MIT Press, 2018. – 1328 p.

14. Wang Y., Velswamy K., Huang B. A novel approach to feedback control with deep reinforcement learning // IFAC-PapersOnLine. – 2018. – Vol. 51 (18). – P. 31–33.

15. Воевода А.А., Романников Д.О. Синтез регуляторов для многоканальных систем с использованием нейронных сетей // Научный вестник НГТУ. – 2019. – № 4 (77). – С. 7–16. – DOI: 10.17212/1814-1196-2019-4-7-16.

16. Воевода А.А., Романников Д.О. Метод синтеза регуляторов для многоканальных систем с использованием нейронных сетей // Вычислительные технологии. – 2020. – Т. 25, № 3. – C. 111–118.

17. Deterministic policy gradient algorithms / D. Silver, G.  Lever, N. Heess, T. Degris, D. Wierstra, M. Riedmiller // Proceedings of Machine Learning Research. – 2014. – Vol. 32: International Conference on Machine Learning, 22–24 June 2014, Bejing, China. – P. 387–395.

18. Kingma D., Ba J. Adam: a method for stochastic optimization // Proceeding the 3rd International Conference for Learning Representations, ICLR 2015. – San Diego, 2015. – URL: http://arxiv.org/abs/1412.6980 (accessed: 16.12.2020).