Безопасность цифровых технологий

БЕЗОПАСНОСТЬ ЦИФРОВЫХ ТЕХНОЛОГИЙ

БЕЗОПАСНОСТЬ
ЦИФРОВЫХ ТЕХНОЛОГИЙ

English | Русский

Последний выпуск
№3(114) Июль - Сентябрь 2024

Cинтез нейронных сетей c несколькими переменными

Выпуск № 1 (91) Январь - Март 2018
Авторы:

Воевода Александр Александрович,
Романников Дмитрий Олегович
DOI: http://dx.doi.org/10.17212/2307-6879-2018-1-86-94
Аннотация

Применение нейронных сетей для решения задач различной направленности, к которым можно отнести задачи классификации(в частности, задачи распознавания образов на изображениях), задачи сегментирования, прогнозирования и динамического программирования и другие, приобрело достаточно большую популярность в настоящее время. Но стоит отметить, что предлагаемые решения всех перечисленных задач основываются на применении методов обучения нейронной сети с использованием градиентного спуска или его модификаций, что влечет за собой набор недостатков: неопределенность в задании начальных значений, отсутствие обоснованных рекомендаций по выбору параметров алгоритмов обучения (шага обучения и других) и другие. В статье исследуется процесс аппроксимации функций двух переменных при помощи алгоритма построения нейронной сети, которая не требует обучения. Основная идея алгоритма заключается в разделении всей поверхности входных координат на проекции поверхностей, через которые проходит плоскость функции активации нейрона (в статье использовалась функция выпрямителя –relu), и дальнейшем расчете выходного значения, основанного на следующих этапах: 1) определение принадлежности входной переменной одному из диапазонов, т. е. принадлежности одной из проекций участков плоскостей точек из обучающего множества; 2) исходя из определенной проекции формируется выходное значение при помощи нейрона и функции активации задающей поверхности. Предлагаемый способ синтеза нейронной сети позволяет определить достаточно малое количество нейронов, которое требуется для построения нейронной сети, а также их значения. Последнееособенноважно, так как позволяетсущественно ускорить процесс обучения, а точнее, заменить его процессом расчета значений обучающих параметров. Важной особенностью моделей машинного обучения является их поведение в точках за пределами обучающей выборки.


Ключевые слова: нейронные сети, сети Петри, искусственный интеллект, преобразования, функция активации, keras, регуляризация, обучение

Список литературы

1. Bishop C. Pattern recognition and machine learning. – New York: Springer, 2007. – 738 p. – (Information science and statistics).



2. Richert W., Coelho L. Building machine learning systems with Python. – Birmingham: Packt Publ., 2013. – 290 p.



3. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. – 2nd ed. – New York: Springer, 2013. – 745 p. – (Springer series in statistics).



4. Lantz B. Machine learning with R. – Birmingham: Packt Publ., 2013. – 396 p.



5. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of machine learning. – Cambridge, MA: MIT Press, 2012. – 432 p. – (Adaptive computation and machine learning series).



6. Conway D., White J.M. Machine learning for hackers. – Sebastopol, CA: O'Reilly, 2012. – 324 p.



7. Welcome to the Deep Learning tutorial [Electronic resource]. – URL: http://deeplearning.stanford.edu/tutorial/ (accessed: 25.04.2018).



8. Haykin S. Neural networks: a comprehensive foundation. – New York: MacMillan Publ., 1994. – 1104 p.



9. Романников Д.О.О преобразовании сети Петри в нейронную сеть // Сборник научных трудов НГТУ. – 2016. – № 4 (86). – С. 98–103.



10. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 54. – С. 205–223.



11. Voevoda A.A., Romannikov D.O. A binary array asynchronous sorting algorithm with using Petri nets // Journal of Physics: Conference Series. – 2017. – Vol. 803, N 1. – P. 012178.



12. Goodfellow I., Bengio Y., Courville A. Deep learning. –Cambridge, MA:MIT Press, 2016.



13.Krizhevsky A., Sutskever I., Hinton G.E.ImageNetclassification with deep convolutional neural networks // Proceedings of the 25th International Conference on Neural Information Processing Systems:NIPS 12.– Lake Tahoe, Nevada, 2012. –P. 1097–1105.



14. Graves A., Mohamed A., Hinton G.Speech recognition with deep recurrent neural networks // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013.



15. Deng L., Hinton G.E., Kingsbury B.New types of deep neural network learning for speech recognition and related applications: an overview // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013.

Для цитирования:

Воевода А.А., Романников Д.О. Синтез нейронных сетей c несколькими переменными // Сборник научных трудов НГТУ. – 2018. – № 1 (91). – С. 86–94. – doi: 10.17212/2307-6879-2018-1-86-94.

For citation:

Voevoda A.A., Romannikov D.O. Sintez neironnykh setei c neskol'kimi peremennymi [Synthesis of neural networks with several variables]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universitetaTransaction of scientific papers of the Novosibirsk state technical university, 2018, no. 1 (91), pp. 86–94.doi: 10.17212/2307-6879-2018-1-86-94.

Просмотров: 2125