Статья посвящена анализу возможности применения робастных функций в нейронных сетях. В работе рассматриваются различные робастные (устойчивые) функции с точки зрения их использования в качестве функции потерь в робастной модификации алгоритма обратного распространения ошибки. Данный алгоритм накладывает условие, что функция потерь должна быть непрерывно или бесконечно дифференцируема. Выполнен анализ 12 различных функций и их производных. Производная функции Charbonnier была получена автором. Сделаны выводы о том, какие из выбранных функций целесообразно использовать при проведении дальнейших исследований.
Сивак Мария Алексеевна
1. Ланкин Ю.П., Басканова Т.Ф., Лобова Т.И. Нейросетевой анализ сложноорганизованных экологических данных // Современные проблемы науки и образования. – 2012. – № 4. – URL: https://www.science-education.ru/ru/article/view?id=6754 (дата обращения: 12.03.2021).
2. Манжула В.Г., Федяшов Д.С. Нейронные сети Кохонена и нечеткие нейронные сети в интеллектуальном анализе данных // Фундаментальные исследования. – 2011. – № 4. – С. 108–115. – URL: https://www.fundamental-research.ru/ru/article/view?id=21239 (дата обращения: 12.03.2021).
3. Perervenko V. Глубокие нейросети. Ч. 1. Подготовка данных. – URL: https://www.mql5.com/ru/articles/3486 (дата обращения: 12.03.2021).
4. Huber J.P. Robust statistics. – 2nd ed. – Hoboken, NJ: Wiley, 2009. – 370 p. – DOI: 10.1002/9780470434697.
5. Bishop C. Neural networks for pattern recognition. – New York: Oxford University Press, 1995. – 502 p.
6. Fan J., Gijbels I. Local polynomial modelling and its applications. – London: Chapman & Hall, 1996. – 360 p. – DOI: 10.1201/9780203748725.
7. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: исследование зависимостей. – М.: Финансы и статистика, 1985. – 448 c.
8. Вучков И., Бояджиева Л., Солаков Е. Прикладной линейный регрессионный анализ. – М.: Финансы и статистика, 1987. – 240 с.
9. Демиденко Е.З. Линейная и нелинейная регрессии. – М.: Финансы и статистика, 1981. – 304 с.
10. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. – 3-е изд. – М.: Вильямс, 2007. – 912 с.
11. Black M.J., Anandan P. The robust estimation of multiple motions: Parametric and piecewise-smooth flow fields // Computer Vision and Image Understanding. – 1996. – Vol. 63, N 1. – P. 75–104.
12. Two deterministic half-quadratic regularization algorithms for computed imaging / P. Charbonnier, L. Blanc-Feraud, G. Aubert, M. Barlaud // Proceedings 1994 IEEE International Conference on Image Processing. – Austin, TX, 1994. – Vol. 2. – P. 168–172.
13. Black M.J., Rangarajan A. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision // International Journal of Computer Vision. – 1996. – Vol. 19 (1). – P. 57–91. – DOI: 10.1007/BF00131148.
14. Banerjee R. Fair M-Estimators as a cost function for FASTICA // International Conference on Signal Processing and Communication, ICSC 2013. – Noida, India, 2013. – P. 445–448. – DOI: 10.1109/ICSPCom.2013.6719831.
15. Сивак М.А., Тимофеев В.С. Оптимизация работы робастной нейронной сети для задачи классификации // Наука. Технологии. Инновации: в 9 ч., Новосибирск, 30 ноября – 4 декабря 2020. – Новосибирск: Изд-во НГТУ, 2020. – Ч. 2. – С. 298–300.
Сивак М.А. Исследование применимости робастных функций потерь в нейронных сетях // Сборник научных трудов НГТУ. – 2020. – № 4 (99). – С. 50–58. – DOI: 10.17212/2307-6879-2020-4-50-58.
Sivak M.A. Issledovanie primenimosti robastnykh funktsii poter' v neironnykh setyakh [The research on using robust loss functions for neural networks]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta = Transaction of scientific papers of the Novosibirsk state technical university, 2020, no. 4 (99), pp. 50–58. DOI: 10.17212/2307-6879-2020-4-50-58. (In Russian)
