БЕЗОПАСНОСТЬ ЦИФРОВЫХ ТЕХНОЛОГИЙ

БЕЗОПАСНОСТЬ
ЦИФРОВЫХ ТЕХНОЛОГИЙ

English | Русский

Последний выпуск
№1(100) Январь - Март 2021

Исследование применимости робастных функций в нейронных сетях

Выпуск № 4 (99) Октябрь - Декабрь 2020
Авторы:

Сивак Мария Алексеевна
DOI: http://dx.doi.org/10.17212/2307-6879-2020-4-50-58
Аннотация

Статья посвящена анализу возможности применения робастных функций в нейронных сетях. В работе рассматриваются различные робастные (устойчивые) функции с точки зрения их использования в качестве функции потерь в робастной модификации алгоритма обратного распространения ошибки. Данный алгоритм накладывает условие, что функция потерь должна быть непрерывно или бесконечно дифференцируема. Выполнен анализ 12 различных функций и их производных. Производная функции Charbonnier была получена автором. Сделаны выводы о том, какие из выбранных функций целесообразно использовать при проведении дальнейших исследований.


Ключевые слова: искусственная нейронная сеть, алгоритм обратного распространения ошибки, выбросы, робастный подход, функция потерь

Список литературы

1. Ланкин Ю.П., Басканова Т.Ф., Лобова Т.И. Нейросетевой анализ сложноорганизованных экологических данных // Современные проблемы науки и образования. – 2012. – № 4. – URL: https://www.science-education.ru/ru/article/view?id=6754 (дата обращения: 12.03.2021).



2. Манжула В.Г., Федяшов Д.С. Нейронные сети Кохонена и нечеткие нейронные сети в интеллектуальном анализе данных // Фундаментальные исследования. – 2011. – № 4. – С. 108–115. – URL: https://www.fundamental-research.ru/ru/article/view?id=21239 (дата обращения: 12.03.2021).



3. Perervenko V. Глубокие нейросети. Ч. 1. Подготовка данных. – URL: https://www.mql5.com/ru/articles/3486 (дата обращения: 12.03.2021).



4. Huber J.P. Robust statistics. – 2nd ed. – Hoboken, NJ: Wiley, 2009. – 370 p. – DOI: 10.1002/9780470434697.



5. Bishop C. Neural networks for pattern recognition. – New York: Oxford University Press, 1995. – 502 p.



6. Fan J., Gijbels I. Local polynomial modelling and its applications. – London: Chapman & Hall, 1996. – 360 p. – DOI: 10.1201/9780203748725.



7. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: исследование зависимостей. – М.: Финансы и статистика, 1985. – 448 c.



8. Вучков И., Бояджиева Л., Солаков Е. Прикладной линейный регрессионный анализ. – М.: Финансы и статистика, 1987. – 240 с.



9. Демиденко Е.З. Линейная и нелинейная регрессии. – М.: Финансы и статистика, 1981. – 304 с.



10. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. – 3-е изд. – М.: Вильямс, 2007. – 912 с.



11. Black M.J., Anandan P. The robust estimation of multiple motions: Parametric and piecewise-smooth flow fields // Computer Vision and Image Understanding. – 1996. – Vol. 63, N 1. – P. 75–104.



12. Two deterministic half-quadratic regularization algorithms for computed imaging / P. Charbonnier, L. Blanc-Feraud, G. Aubert, M. Barlaud // Proceedings 1994 IEEE International Conference on Image Processing. – Austin, TX, 1994. – Vol. 2. – P. 168–172.



13. Black M.J., Rangarajan A. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision // International Journal of Computer Vision. – 1996. – Vol. 19 (1). – P. 57–91. – DOI: 10.1007/BF00131148.



14. Banerjee R. Fair M-Estimators as a cost function for FASTICA // International Conference on Signal Processing and Communication, ICSC 2013. – Noida, India, 2013. – P. 445–448. – DOI: 10.1109/ICSPCom.2013.6719831.



15. Сивак М.А., Тимофеев В.С. Оптимизация работы робастной нейронной сети для задачи классификации // Наука. Технологии. Инновации: в 9 ч., Новосибирск, 30 ноября – 4 декабря 2020. – Новосибирск: Изд-во НГТУ, 2020. – Ч. 2. – С. 298–300.

Для цитирования:

Сивак М.А. Исследование применимости робастных функций потерь в нейронных сетях // Сборник научных трудов НГТУ. – 2020. – № 4 (99). – С. 50–58. – DOI: 10.17212/2307-6879-2020-4-50-58.

For citation:

Sivak M.A. Issledovanie primenimosti robastnykh funktsii poter' v neironnykh setyakh [The research on using robust loss functions for neural networks]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta = Transaction of scientific papers of the Novosibirsk state technical university, 2020, no. 4 (99), pp. 50–58. DOI: 10.17212/2307-6879-2020-4-50-58. (In Russian)

Просмотров: 45