СБОРНИК
НАУЧНЫХ ТРУДОВ НГТУ

ISSN: 2307-6879
English | Русский

Последний выпуск
№2(92) Апрель - Июнь 2018

О синтезе нейронных сетей

Выпуск № 1 (91) Январь - Март 2018
Авторы:

Романников Дмитрий Олегович
DOI: http://dx.doi.org/10.17212/2307-6879-2018-1-104-111
Аннотация

Применение нейронных сетей для решения задач различной направленности, к которым можно отнести задачи классификации(в частности, задачи распознавания образов на изображениях), задачи сегментирования, прогнозирования и динамического программирования и другие, приобрело достаточно большую популярность в настоящее время. Но стоит отметить, что предлагаемые решения всех перечисленных задач основываются на применении методов обучения нейронной сети с использованием градиентного спуска или его модификаций, что влечет за собой набор недостатков: неопределенность в задании начальных значений, отсутствие обоснованных рекомендаций по выбору параметров алгоритмов обучения (шага обучения и других) и другие. В статье рассматривается метод построения нейронной сети, основанный на последовательном добавлении нейронов для соединения новых «ближайших» точек из обучаемого множества при помощи функции активации выпрямителя (relu), а в нейроне выходного слоя – линейной функции. В статье этот способ применяется на примере аппроксимации функции параболы. В результате получена нейронная сеть, аппроксимирующая функцию параболы. Структура нейронной сети представляет собой однослойный персептрон с множеством нейронов в скрытом слое с одним нейроном во входном и выходном слоях. Предлагаемый в статье метод позволяет аппроксимировать не только функцию параболы, но и любую другую функцию одной переменной с заданной точностью. Приведены графики сравнения оригинальной функции и аппроксимированной с целью демонстрации полученных результатов, также приведена часть структуры полученной нейронной сети.


Ключевые слова: нейронные сети, сети Петри, искусственный интеллект, преобразования, функция активации, keras, регуляризация, обучение

Список литературы

1. Bishop C. Pattern recognition and machine learning. – New York: Springer, 2007. – 738 p. – (Information science and statistics).



2. Richert W., Coelho L. Building machine learning systems with Python. – Birmingham: Packt Publ., 2013. – 290 p.



3. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. – 2nd ed. – New York: Springer, 2013. – 745 p. – (Springer series in statistics).



4. Lantz B. Machine learning with R. – Birmingham: Packt Publ., 2013. – 396 p.



5. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of machine learning. – Cambridge, MA: MIT Press, 2012. – 432 p. – (Adaptive computation and machine learning series).



6. Conway D., White J.M. Machine learning for hackers. – Sebastopol, CA: O'Reilly, 2012. – 324 p.



7. Welcome to the Deep Learning tutorial [Electronic resource]. – URL: http://deeplearning.stanford.edu/tutorial/ (accessed: 25.04.2018).



8. Haykin S. Neural networks: a comprehensive foundation. – New York: MacMillan Publ., 1994. – 1104 p.



9. Романников Д.О.О преобразовании сети Петри в нейронную сеть // Сборник научных трудов НГТУ. – 2016. – № 4 (86). – С. 98–103.



10. Goodfellow I., Bengio Y., Courville A. Deep learning. – Cambridge, MA: MIT Press, 2016.



11. Krizhevsky A., Sutskever I., Hinton G.E.ImageNet classification with deep convolutional neural networks // Proceedings of the 25th International Conference on Neural Information Processing Systems: NIPS 12. – Lake Tahoe, Nevada, 2012. – P. 1097–1105.



12. Graves A., Mohamed A., Hinton G.Speech recognition with deep recurrent neural networks // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013.



13. Deng L., Hinton G.E., Kingsbury B.New types of deep neural network learning for speech recognition and related applications: an overview // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013.

Для цитирования:

Романников Д.О. О синтезе нейронных сетей // Сборник научных трудов НГТУ. – 2018. – № 1 (91). – С. 104–111. – doi: 10.17212/2307-6879-2018-1-104-111.

For citation:

Romannikov D.O. O sinteze neironnykh setei [About of synthesis of neural networks].Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskog ouniversitetaTransaction of scientific papers of the Novosibirsk state technical university, 2018, no. 1 (91), pp. 104–111.doi: 10.17212/2307-6879-2018-1-104-111.

Просмотров: 110