Усложнение объектов регулирования, а также повышение требований к производительности используемых регуляторов приводит к усложнению применяемых нейросетевых регуляторов. В качестве одного из усложнений можно считать появление обратных связей в регуляторе, т. е. переход от сетей прямого распространения к рекуррентным. Одной из проблем при их использовании является настройка весовых коэффициентов методами, основанными на вычислении градиентов (например, метод обратного распространения ошибки, метод Левенберга–Марквардта и т. д.). Она проявляется во внезапно «исчезающем» или «взрывающемся» градиенте, а значит, в прекращении процесса обучения сети. Целью настоящей статьи является выработка предложений по решению некоторых проблем настройки весовых коэффициентов для рекуррентной нейросети. В качестве методов для достижения обозначенной цели применяются структурные преобразования архитектуры рекуррентной нейросети для приведения ее к виду сети прямого распространения. При этом происходит некоторое увеличение сложности ее архитектуры. Для сетей прямого распространения методы, основанные на вычислении обратных градиентов, могут применяться без модификации. В дальнейшем планируется повысить производительность регулирования системы с помощью преобразованного нейрорегулятора, а именно уменьшить перерегулирование системы, и после некоторых усложнений структуры использовать ее для регулирования нелинейного объекта.
Воевода Александр Александрович
Шипагин Виктор Игоревич
1. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors // Nature. – 1986. – Vol. 323 (6088). – P. 533–536.
2. Elman J. Finding structure in time // Cognitive Science. – 1990. – Vol. 14 (2). – P. 179–211.
3. Werbos P.J. Generalization of backpropagation with application to a recurrent gas market model // Neural Networks. – 1988. – Vol. 1 (4). – P. 339–356.
4. Bengio Y., Simard P., Frasconi P. Learning long-term dependencies with gradient descent is difficult // IEEE Transactions on Neural Networks. – 1994. – Vol. 5 (2). – P. 157–166.
5. Pascanu R., Mikolov T., Bengio Y. On the difficulty of training Recurrent Neural Networks. – URL: https://arxiv.org/abs/1211.5063 (accessed: 10.03.2021).
6. Arjovsky M., Shah A., Bengio Y. Unitary evolution Recurrent Neural Networks. – URL: https://arxiv.org/abs/1511.06464 (accessed: 10.03.2021).
7. Doya K. Bifurcations of recurrent neural networks in gradient descent learning // IEEE Transactions on Neural Networks. – 1993. – Vol. 1. – P. 75–80.
8. Werbos P.J. Generalization of backpropagation with application to a recurrent gas market model // Neural Networks. – 1988. – Vol. 1 (4). – P. 339–356.
9. Документация к программному продукту Matlab. – URL: https://docs.exponenta.ru/matlab/matlab_prog/infinity-and-nan.html (дата обращения: 10.03.2021).
10. Воевода А.А., Шоба Е.В. Управление перевернутым маятником // Сборник научных трудов НГТУ. – 2012. – № 2 (68). – С. 3–14.
11. Шипагин В.И. Различные подходы к решению задачи перевернутого маятника // Сборник научных трудов НГТУ. – 2019. – № 2 (95). – С. 18–27. – DOI: 10.17212/2307-6879-2019-2-18-27.
12. Шипагин В.И. Нейросетевая реализация регулятора для устойчивого объекта // Сборник научных трудов НГТУ. – 2019. – № 3–4 (96). – С. 53–63. – DOI: 10.17212/2307-6879-2019-3-4-53-63.
Воевода А.А., Шипагин В.И. Структурные преобразования нейросетевого регулятора с рекуррентным типом сети // Сборник научных трудов НГТУ. – 2020. – № 3 (98). – С. 7–16. – DOI: 10.17212/2307-6879-2020-3-7-16.
Voevoda A.A., Shipagin V.I. Strukturnye preobrazovaniya neirosetevogo regulyatora s rekurrentnym tipom seti [Structural transformations of a neural network controller with a recurrent network type]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta = Transaction of scientific papers of the Novosibirsk state technical university, 2020, no. 3 (98), pp. 7–16. DOI: 10.17212/2307-6879-2020-3-7-16. (In Russian)
