СБОРНИК
НАУЧНЫХ ТРУДОВ НГТУ

ISSN: 2307-6879
English | Русский

Последний выпуск
№2(92) Апрель - Июнь 2018

Обучение нейронной сети с предварительно рассчитанной структурой

Выпуск № 2 (92) Апрель - Июнь 2018
Авторы:

Воевода Александр Александрович,
Романников Дмитрий Олегович
DOI: http://dx.doi.org/10.17212/2307-6879-2018-2-93-100
Аннотация

При разработке моделей, основанных на искусственных нейронных сетях, выбор строится на эмпирических знаниях исследователя, что крайне негативно сказывается на пороге вхождения в технологию, а также на обоснованности и корректности работы модели, времени обучения и других ее аспектах. В статье рассматривается подход к формированию структуры нейронной сети на основе предварительного формирования структурной схемы системы и расчета или подбора ее коэффициентов. Целью является демонстрация того, что синтез структуры нейронной сети может быть выполнен не только интуитивным подбором слоев и связей. Для компактности предлагаемый подход показан на примере выбора максимального значения из двух чисел (используемые в примере числа «–1» и «1»). В результате составлена структурная схема нейронной сети и подобраны значения ее коэффициентов. Экспериментами показано, что скорость обучения нейронной сети при предварительно рассчитанных коэффициентах значительно выше, чем при случайных коэффициентах, взятых из нормального распределения в диапазоне [–1, 1]. Также проведены другие эксперименты по обучению нейронной сети с максимальными / минимальными начальными значениями коэффициентов из диапазона [4, 20]. В результате эксперимента при всех используемых начальных условиях получены различные значения коэффициентов, что приводит к выводу о том, что существует неединственное решение поставленной задачи, что несомненно является отдельной темой исследования. Также стоит отметить, что скорость обучения нейронной сети с синтезированной структурой выше, чем с у сетей прямого распространения с несколькими слоями (отдельно стоит сказать, что выбор количества слоев и нейронов является неоднозначным).


Ключевые слова: нейронные сети, сети Петри, искусственный интеллект, преобразования, функция активации, keras, регуляризация, обучение

Список литературы

1. Bishop C. Pattern recognition and machine learning. – New York: Springer, 2007. – 738 p. – (Information science and statistics).



2. Richert W., Coelho L. Building machine learning systems with Python. – Birmingham: Packt Publ., 2013. – 290 p.



3. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. – 2nd ed. – New York: Springer, 2013. – 745 p. – (Springer series in statistics).



4. Lantz B. Machine learning with R. – Birmingham: Packt Publ., 2013. – 396 p.



5. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of machine lear-ning. – Cambridge, MA: MIT Press, 2012. – 432 p. – (Adaptive computation and machine learning series).



6. Conway D., White J.M. Machine learning for hackers. – Sebastopol, CA: O'Reilly, 2012. – 324 p.



7. Haykin S. Neural networks: a comprehensive foundation. – New York: MacMillan Publ., 1994. – 1104 p.



8. End-to-end memory networks / S. Sukhbaatar, A. Szlam, J. Weston, R. Fergus // Advances in Neural Information Processing Systems 28. – Montreal, Canada, 2015. – P. 2440–2448.



9. Graves A. Wayne G., Danihelka I. Neural turing machines // ArXiv.org. – 2014. – arXiv:1410.5401. – P. 1–26.



10. Воевода А.А., Полубинский В.Л., Романников Д.О. Сортировка массива целых чисел с использованием нейронной сети // Научный вестник НГТУ. – 2016. – № 2 (63). – С. 151–157.



11. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. – New York: Springer. 2001. – 533 p.



12. Hagan M., Demuth H., Jesús O. A neural network predictive control system for paper mill wastewater treatment // Engineering Applications of Artificial Intelligence. – 2003. – Vol. 16 (2). – P. 121–129.



13. Touretzky D.S., Pomerleau D.A. What is hidden in the hidden layers? // Byte. – 1989. – Vol. 14. – P. 227–233.



14. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. – 2015. – Vol. 521, N 7553. – P. 436–444.



15. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov // Journal of Machine Learning Research. – 2014. – Vol. 15. – P. 1929–1958.



16. Early stopping without a validation set / M. Mahsereci, L. Balles, C. Lassner, P. Hennig // ArXiv.org. – 2017. – arXiv:1703.09580.

Для цитирования:

Воевода А.А., Романников Д.О. Обучение нейронной сети с предварительно рассчитанной структурой // Сборник научных трудов НГТУ. – 2018. – № 2 (92). –
С. 93–100. – doi: 10.17212/2307-6879-2018-2-93-100.

 

For citation:

Voevoda A.A. Romannikov D.O. Obuchenie neironnoi seti s predvaritel'no rasschitannoi strukturoi [Training of neural network withpreliminary calculated structure]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universitetaTransaction of scientific papers of the Novosibirsk state technical university, 2018, no. 2 (92), pp. 93–100. doi: 10.17212/2307-6879-2018-2-93-100.

Просмотров: 68