В статье приводится пример реализации нейронной сети при помощи сети Петри, что позволяет добавить асинхронности в нейронную сеть – это больше соответствует работе человеческого мозга и, следовательно, может иметь перспективу применения для решения задач искусственного интеллекта. Математический аппарат сетей Петри, с одной стороны, позволяет моделировать поведение асинхронных систем, а с другой – по свой структуре в достаточной степени похож на структуру нейронов, чем и обосновывается выбор сетей Петри. Приведен пример реализации нейронной сети для решения задачи XOR как стандартной задачи в области машинного обучения. В рамках решения этой задачи функции суммирования в нейронной сети представлены в виде переходов, в которых при передаче метки в место происходит суммирование значений входных меток. Функции активации также представлены в виде переходов, в которых для выходных дуг выполняется вызов функций активации (сигмоидальной функции в данном случае). Стоит отметить, что при моделировании реализованная нейронная сеть является асинхронной лишь частично (в частности, для срабатывания переходов требуется наличие меток во всех входящих в нее местах). Данный вариант нейронной сети при помощи сетей Петри является не единственным. В частности, можно также использовать отдельные места и метки для моделирования весовых коэффициентов, что позволит выполнять обучение нейронной сети без модификации ее структуры. Дальнейшим направлением исследования является реализация процедуры обучения нейронной сети с асинхронностью.
Воевода Александр Александрович
Романников Дмитрий Олегович
1. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems 25 (NIPS 2012). – Lake Tahoe, Nevada, 2012. – P. 1090–1098.
2. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2013. – Vancouver, Canada, 2013. – P. 6645–6649.
3. Karpathy A., Fei-Fei L. Deep visual-semantic alignments for generating image descriptions // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2016. – Vol. 39. – P. 664–676.
4. Haykin S. Neural networks and learning machines. – 3rd ed. – New York: Prentice Hall/Pearson, 2009. – 938 p.
5. Goodfellow I., Bengio Y., Courville A. Deep learning. – Cambridge: MIT Press, 2016. – 800 p.
6. Воевода А.А., Романников Д.О. Синтез нейронной сети для решения логико-арифметических задач // Труды СПИИРАН. – 2017. – Вып. 54. – С. 205–223.
7. Haykin S., Deng C. Classification of radar clutter using neural networks // IEEE Transactions on Neural Networks. – 1991. – Vol. 2. – P. 589–600.
8. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. – New York: Springer, 2001.
9. Hagan M., Demuth H., Jesús O. A neural network predictive control system for paper mill wastewater treatment // Engineering Applications of Artificial Intelligence. – 2003. – Vol. 16 (2). – P. 121–129.
10. Touretzky D.S., Pomerleau D.A. What is hidden in the hidden layers? // Byte. – 1989. – Vol. 14. – P. 227–233.
11. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. – 2015. – Vol. 521, N 7553. – P. 436–444.
12. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov // Journal of Machine Learning Research. – 2014. – Vol. 15. – P. 1929–1958.
13. Early stopping without a validation set / M. Mahsereci, L. Balles, C. Lassner, P. Hennig // ArXiv.org. – 2017. – arXiv:1703.09580.
14. Prechelt L. Early Stopping – but when? // Neural networks: tricks of the trade. – 2nd ed. – Berlin; Heidelberg: Springer, 2012. – P. 53–67.
15. Воевода А.А., Романников Д.О. Асинхронный алгоритм сортировки массива чисел с использованием ингибиторных сетей Петри // Труды СПИИРАН. – 2016. – Вып. 48. – C. 198–213.
16. Воевода А.А., Полубинский В.Л., Романников Д.О. Сортировка массива целых чисел с использованием нейронной сети // Научный Вестник НГТУ. – 2016. – № 2 (63). – С. 151–157.
17. Voevoda A.A., Romannikov D.O. A binary array asynchronous sorting algorithm with using Petri nets // Journal of Physics: Conference Series. – 2017. – Vol. 803, N 1. – P. 012178.
Воевода А.А., Романников Д.О. Трансляция нейронной сети в сеть Петри // Сборник научных трудов НГТУ. – 2018. – № 2 (92). – С. 101–107. – doi: 10.17212/2307-6879-2018-2-101-107.
Voevoda A.A. Romannikov D.O. Translyatsiya neironnoi seti v set' Petri [Translation of the neural network in the Petry network]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta – Transaction of scientific papers of the Novosibirsk state technical university, 2018, no. 2 (92), pp. 101–107. doi: 10.17212/2307-6879-2018-2-101-107.
