СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ
ISSN (печатн.): 2782-2001
ISSN (онлайн): 2782-215X
В настоящее время всё больше исследований направлено на решение задач с применением компьютерного зрения и искусственного интеллекта. Наиболее частыми являются решения и подходы с использованием распознавания жестов на основании инфракрасных сенсоров или нейронных сетей.
Актуальность рассматриваемой тематики обусловлена возможностью применения предлагаемого подхода для управления работой объектов без тактильного контакта и голосовой идентификации команд, а также своей простотой с точки зрения конечного пользователя.
В настоящей работе проанализированы существующие способы распознавания жестов. Рассмотрены методы и подходы, а также их реализация, исследованы преимущества и недостатки рассмотренных методов. На их основе составлена таблица с тезисной информацией и предложена собственная архитектура сверточной нейронной сети для решения классификации жестов. Проведена оценка точности работы сети. На основе полученных данных проведен двухфакторный анализ зависимости сложности жеста, его дальности и точности полученного алгоритма.
По полученной зависимости построены графики изменения точности работы сверточной нейронной сети. Проанализирован характер изменения точности для различных факторов.
1. Takahashi T., Kishino F. Hand gesture coding based on experiments using a hand gesture interface device // ACM SIGCHI Bulletin. – 1991. – Vol. 23 (2). – P. 67–74.
2. Lee C., Xu Y. Online, interactive learning of gestures for human/robot inter-faces // Proceedings of the IEEE International Conference on Robotics and Automation. – 2002. – Vol. 4. – P. 2982–2987.
3. Smedt Q. De, Wannous H., Vandeborre J.-P. Heterogeneous hand gesture recognition using 3D dynamic skeletal data // Computer Vision and Image Understanding. – 2019. – Vol. 181. – P. 60–72.
4. Dynamic gesture recognition by directional pulse coupled neural networks for human-robot interaction in real time / J. Dong, Z. Xia, W. Yan, Q. Zhao // Journal of Visual Communication and Image Representation. – 2019. – Vol. 63. – P. 102583.
5. Real-time gesture recognition based on feature recalibration network with multi-scale information / Z. Cao, X. Xu, B. Hu, M. Zhou, Q. Li // Neurocomputing. – 2019. – Vol. 347. – P. 119–130.
6. Голиков И. Сверточная нейронная сеть, часть 1: структура, топология, функции активации и обучающее множество. – URL: https://habr.com/ru/post/348000/ (дата обращения: 12.12.2019).
7. Функции активации в нейронных сетях. – URL: http://www.aiportal.ru/articles/neural-networks/activation-function.html (дата обращения: 12.12.2019).
8. Библиотека Keras. Слой пуллинга. – URL: https://keras.io/layers/pooling/ (дата обращения: 12.12.2019).
9. Библиотека Keras. Полносвязный слой. – URL: https://keras.io/layers/core/ (дата обращения: 12.12.2019).
10. Библиотека Keras. Model class API. – URL: https://keras.io/models/model/ (дата обращения: 12.12.2019).
11. Основы планирования эксперимента: методическое пособие / сост. К.М. Хамханов. – Улан-Удэ, 2001. – URL: http://window.edu.ru/resource/438/18438/files/Mtdukm8.pdf (дата обращения: 12.12.2019).
12. Проверка адекватности регрессионной модели. – URL: https://helpstat.ru/proverka-adekvatnosti-regressionnoj-modeli/ (дата обращения: 12.12.2019).
Булыгин Д.А., Мамонова Т.Е. Распознавание жестов рук в режиме реального времени // Научный вестник НГТУ. – 2020. – № 1 (78). – С. 25–40. – DOI: 10.17212/1814-1196-2020-1-25-40.
Bulygin D.A., Mamonova T.E. Raspoznavanie zhestov ruk v rezhime real'nogo vremeni [Recognition of hand gestures in real time]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta = Science bulletin of the Novosibirsk state technical university, 2020, no. 1 (78), pp. 25–40. DOI: 10.17212/1814-1196-2020-1-25-40.
