НАУЧНЫЙ ВЕСТНИК


НОВОСИБИРСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА

ISSN (печатн.): 1814-1196          ISSN (онлайн): 2658-3275
English | Русский

Последний выпуск
№3(72) Июль - Сентябрь 2018

Синтез нейронной сети для реализации рекуррентного метода наименьших квадратов

Выпуск № 3 (72) Июль - Сентябрь 2018
Авторы:

Воевода Александр Александрович,
Романников Дмитрий Олегович
DOI: http://dx.doi.org/10.17212/1814-1196-2018-3-33-42
Аннотация

В статье рассматривается синтез нейронной сети для решения задачи вычисления параметров P, K, q статических объектов рекуррентным методом наименьших квадратов для скалярного случая. При этом структура нейронной сети получена из реализуемых соотношений, в которых каждая функция двух переменных аппроксимируется отдельной нейронной сетью. Для вычисления параметров K и P достаточно только аппроксимировать исходные соотношения, так как они сами зависят только от двух переменных (т. е. являются функциями двух переменных). Для вычисления параметра q было необходимо представить исходное соотношение в виде функций двух переменных, а затем по отдельности построить нейронные сети для их аппроксимации и синтезировать итоговую нейронную сеть. Приведена структура синтезированной нейронной сети, основанная на использовании структуры для аппроксимации функции двух переменных, позволяющей рассчитать параметры нейронной сети и сумматоров, выполненных на нейронах. При этом часть связей является рекуррентной. Проведены эксперименты для подтверждения работы синтезированной нейронной сети для расчета заданных соотношений 1) при рассчитанных параметрах нейронной сети; 2) при параметрах нейронной сети, полученных путем обучения методом градиентного спуска обратного распространения ошибки для синтезированной структуры нейронной сети. Представлены графики, показывающие, что вычисленные с помощью синтезированной нейронной сети искомые параметры в достаточной степени соответствуют полученным в результате вычислений по исходным формулам значениям параметров в заданном диапазоне изменения водных переменных. Полученная нейронная сеть обладает такой же сходимостью, что и реализуемые соотношения.


Ключевые слова: нейронные сети, синтез, классификация, структура нейронных сетей, методы обучения, машинное обучение, обратное распространение ошибки, структурные методы, алгоритмы управления

Список литературы

1. Krizhevsky A., Sutskever I., Hinton G.E.ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems 25 (NIPS 2012). – Lake Tahoe, Nevada, 2012. – Vol. 1. – P. 1097–1105.



2. Graves A., Mohamed A., Hinton G.Speech recognition with deep recurrent neural networks // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013. – P. 6645–6649.



3. Deng L., Hinton G.E., Kingsbury B.New types of deep neural network learning for speech recognition and related applications: an overview // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013.



4. Playing Atari with deep reinforcement learning / V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller// NIPS 2013 Workshops. –Lake Tahoe, 2013.



5. Learning from demonstrations for real world reinforcement learning / T. Hester, M. Vecerik, O. Pietquin, M. Lanctot, T. Schaul, B. Piot, D. Horgan, J. Quan, A. Sendonaris, G. Dulac-Arnold, I. Osband, J. Agapiou, J.Z. Leibo, A. Gruslys// ArXiv.org. – 2017. – arXiv:1704.03732.



6. Prioritized experience replay / T. Schaul, J. Quan, I. Antonoglou, D. Silver// Proceeding ICLR 2016. – P. 1260–1268.



7. Bishop C. Pattern recognition and machine learning. – New York: Springer, 2007. – 738 p. – (Information science and statistics).



8. Goodfellow I., Bengio Y., Courville A. Deep learning. – Cambridge: MIT Press, 2016. – 800 p.



9.LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. – 2015. – Vol. 521, N 7553. – P. 436–444.



10. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov// Journal of Machine Learning Research. – 2014. – Vol. 15. – P. 1929–1958.



11. Early stopping without a validation set / M. Mahsereci, L. Balles, C. Lassner, P. Hennig// ArXiv.org. – 2017. – arXiv:1703.09580.



12. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 54. – С. 205–223.



13. Романников Д.О.О синтезе нейронных сетей //Сборник научных трудов НГТУ. – 2018. –№ 1 (91). – С. 104–111.



14. Воевода А.А., Романников Д.О. Cинтезнейронныхсетейcнесколькимипеременными //Сборник научных трудов НГТУ. – 2018. –№ 1 (91). – С. 86–94.



15. Воевода А.А., Трошина Г.В. Оценивание параметров линейных статистических объектов с использованием рекуррентного метода наименьших квадратов в среде Simulink // Сборник научных трудов НГТУ. – 2016. – № 3 (85). – С. 33–48.

Для цитирования:

Воевода А.А., Романников Д.О. Синтез нейронной сети для реализации рекуррентного метода наименьших квадратов // Научный вестник НГТУ. – 2018. – № 3 (72). – С. 33–42. – doi: 10.17212/1814-1196-2018-3-33-42.

For citation:

Voevoda A.A., Romannikov D.O. Sintez neironnoi seti dlya realizatsii rekurrentnogo metoda naimen'shikh kvadratov [Synthesis of a neural network for the implementation of the recursive leastsquares
method]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta – Science bulletin of the Novosibirsk state technical university, 2018, no. 3 (72), pp. 33–42.
doi: 10.17212/1814-1196-2018-3-33-42.

Просмотров: 28