СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

В статье рассматривается синтез нейронной сети для решения задачи вычисления параметров P, K, q статических объектов рекуррентным методом наименьших квадратов для скалярного случая. При этом структура нейронной сети получена из реализуемых соотношений, в которых каждая функция двух переменных аппроксимируется отдельной нейронной сетью. Для вычисления параметров K и P достаточно только аппроксимировать исходные соотношения, так как они сами зависят только от двух переменных (т. е. являются функциями двух переменных). Для вычисления параметра q было необходимо представить исходное соотношение в виде функций двух переменных, а затем по отдельности построить нейронные сети для их аппроксимации и синтезировать итоговую нейронную сеть. Приведена структура синтезированной нейронной сети, основанная на использовании структуры для аппроксимации функции двух переменных, позволяющей рассчитать параметры нейронной сети и сумматоров, выполненных на нейронах. При этом часть связей является рекуррентной. Проведены эксперименты для подтверждения работы синтезированной нейронной сети для расчета заданных соотношений 1) при рассчитанных параметрах нейронной сети; 2) при параметрах нейронной сети, полученных путем обучения методом градиентного спуска обратного распространения ошибки для синтезированной структуры нейронной сети. Представлены графики, показывающие, что вычисленные с помощью синтезированной нейронной сети искомые параметры в достаточной степени соответствуют полученным в результате вычислений по исходным формулам значениям параметров в заданном диапазоне изменения водных переменных. Полученная нейронная сеть обладает такой же сходимостью, что и реализуемые соотношения.

1. Krizhevsky A., Sutskever I., Hinton G.E.ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems 25 (NIPS 2012). – Lake Tahoe, Nevada, 2012. – Vol. 1. – P. 1097–1105.

2. Graves A., Mohamed A., Hinton G.Speech recognition with deep recurrent neural networks // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013. – P. 6645–6649.

3. Deng L., Hinton G.E., Kingsbury B.New types of deep neural network learning for speech recognition and related applications: an overview // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013.

4. Playing Atari with deep reinforcement learning / V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller// NIPS 2013 Workshops. –Lake Tahoe, 2013.

5. Learning from demonstrations for real world reinforcement learning / T. Hester, M. Vecerik, O. Pietquin, M. Lanctot, T. Schaul, B. Piot, D. Horgan, J. Quan, A. Sendonaris, G. Dulac-Arnold, I. Osband, J. Agapiou, J.Z. Leibo, A. Gruslys// ArXiv.org. – 2017. – arXiv:1704.03732.

6. Prioritized experience replay / T. Schaul, J. Quan, I. Antonoglou, D. Silver// Proceeding ICLR 2016. – P. 1260–1268.

7. Bishop C. Pattern recognition and machine learning. – New York: Springer, 2007. – 738 p. – (Information science and statistics).

8. Goodfellow I., Bengio Y., Courville A. Deep learning. – Cambridge: MIT Press, 2016. – 800 p.

9.LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. – 2015. – Vol. 521, N 7553. – P. 436–444.

10. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov// Journal of Machine Learning Research. – 2014. – Vol. 15. – P. 1929–1958.

11. Early stopping without a validation set / M. Mahsereci, L. Balles, C. Lassner, P. Hennig// ArXiv.org. – 2017. – arXiv:1703.09580.

12. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 54. – С. 205–223.

13. Романников Д.О.О синтезе нейронных сетей //Сборник научных трудов НГТУ. – 2018. –№ 1 (91). – С. 104–111.

14. Воевода А.А., Романников Д.О. Cинтезнейронныхсетейcнесколькимипеременными //Сборник научных трудов НГТУ. – 2018. –№ 1 (91). – С. 86–94.

15. Воевода А.А., Трошина Г.В. Оценивание параметров линейных статистических объектов с использованием рекуррентного метода наименьших квадратов в среде Simulink // Сборник научных трудов НГТУ. – 2016. – № 3 (85). – С. 33–48.