СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ
ISSN (печатн.): 2782-2001
ISSN (онлайн): 2782-215X
В статье рассмотрена задача построения устойчивых модификаций нейронных сетей с использованием различных робастных функций потерь. Применение таких нейронных сетей целесообразно при работе с зашумленными данными и может служить альтернативой предварительной очистке выборки или усложнению архитектуры сети. Для корректной работы алгоритма обучения нейронной сети (алгоритма обратного распространения ошибки) требуется, чтобы функция потерь была непрерывно или бесконечно дифференцируема. В соответствии с этим ограничением было выбрано пять робастных функций потерь – Эндрюса, Уэлша, Хьюбера, Рамсея и Fair. Использование этих функций в алгоритме обратного распространения ошибки вместо квадратичной функции потерь позволило получить абсолютно новый класс нейронных сетей. Для исследования свойств построенных сетей проводился ряд вычислительных экспериментов при различной доле засоряющих наблюдений в выборке и различном числе эпох обучения. На первом этапе производилась настройка полученных сетей, то есть выбор таких значений внутренних параметров функции потерь, при которых достигается наивысшая точность работы нейронной сети. Для определения интервалов, на которых рассматривались значения параметров, а также шага разбиения этих интервалов проводилось предварительное исследование. Полученные на первом этапе результаты позволили дать рекомендации по выбору наилучших значений параметров для каждой из рассмотренных функций. На втором этапе проводилось сравнение точности работы построенных робастных сетей как между собой, так и с классической нейронной сетью. Анализ результатов показал, что использование робастного подхода позволяет получить значительный выигрыш в точности работы и в скорости обучения нейронной сети.
Сивак Мария Алексеевна
Тимофеев Владимир Семенович
1. Ланкин Ю.П., Басканова Т.Ф., Лобова Т.И. Нейросетевой анализ сложноорганизованных экологических данных // Современные проблемы науки и образования. – 2012. – № 4. – URL: https://www.science-education.ru/ru/article/view?id=6754 (дата обращения: 03.05.2021).
2. Манжула В.Г., Федяшов Д.С. Нейронные сети Кохонена и нечеткие нейронные сети в интеллектуальном анализе данных // Фундаментальные исследования. – 2011. – № 4. – С. 108–115. – URL: https://www.fundamental-research.ru/ru/article/view?id=21239 (дата обращения: 03.05.2021).
3. Глубокие нейросети (Ч. 1). Подготовка данных. – URL: https://www.mql5.com/ru/articles/3486 (дата обращения: 03.05.2021).
4. Fan J., Gijbels I. Local polynomial modelling and its applications. –London: Chapman & Hall, 1996. – 360 p. – DOI: 10.1201/9780203748725.
5. Huber J.P. Robust statistics. – 2nd ed. – Hoboken, NJ: Wiley, 2009. – 370 p. – DOI: 10.1002/9780470434697.
6. Bishop C. Neural networks for pattern recognition. – New York: Oxford University Press, 1995. – 502 p.
7. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: исследование зависимостей. – М.: Финансы и статистика, 1985. – 448 c.
8. Вучков И., Бояджиева Л., Солаков Е. Прикладной линейный регрессионный анализ. – М.: Финансы и статистика, 1987. – 240 с.
9. Демиденко Е.З. Линейная и нелинейная регрессии. – М.: Финансы и статистика, 1981. – 304 с.
10. Black M.J., Rangarajan A. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision // International Journal of Computer Vision. – 1996. – Vol. 19. – P. 57–91. – DOI: 10.1007/BF00131148.
11. Fair loss: margin-aware reinforcement learning for deep face recognition / B. Liu, W. Deng, Y. Zhong, M. Wang, J. Hu, X. Tao, Y. Huang // 2019 IEEE/CVF International Conference on Computer Vision (ICCV). – Seoul, Korea (South), 2019. – P. 10051–10060. – DOI: 10.1109/ICCV.2019.01015.
12. Сивак М.А. Исследование применимости робастных функций потерь в нейронных сетях // Сборник научных трудов НГТУ. – 2020. – № 4 (99). – С. 50–58. – DOI: 10.17212/2307-6879-2020-4-50-58.
13. UCI Machine Learning Repository. – URL: http://www.ics.uci.edu/ mlearn/MLRepository.html (accessed: 03.05.2021).
14. Classification: Accuracy. – URL: https://developers.google.com/machine-learning/crash-course/classification/accuracy (accessed: 03.05.2021).
15. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. – Киев: Наукова думка, 1985. – 216 с.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-37-90077.
Сивак М.А., Тимофеев В.С. Построение робастных нейронных сетей с различными функциями потерь // Системы анализа и обработки данных. – 2021. – № 2 (82). – С. 67–82. – DOI: 10.17212/2782-2001-2021-2-67-82.
Sivak M.A., Timofeev V.S. Postroenie robastnykh neironnykh setei s razlichnymi funktsiyami poter' [Building robust neural networks using different loss functions]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2021, no. 2 (82), pp. 67–82. DOI: 10.17212/2782-2001-2021-2-67-82.
