НАУЧНЫЙ ВЕСТНИК


НОВОСИБИРСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА

ISSN (печатн.): 1814-1196          ISSN (онлайн): 2658-3275
English | Русский

Последний выпуск
№1(78) Январь - Март 2020

Распознавание жестов рук в режиме реального времени

Выпуск № 1 (78) Январь - Март 2020
Авторы:

Булыгин Дмитрий Александрович,
Мамонова Татьяна Егоровна
DOI: http://dx.doi.org/10.17212/1814-1196-2020-1-25-40
Аннотация

В настоящее время всё больше исследований направлено на решение задач с применением компьютерного зрения и искусственного интеллекта. Наиболее частыми являются решения и подходы с использованием распознавания жестов на основании инфракрасных сенсоров или нейронных сетей.



Актуальность рассматриваемой тематики обусловлена возможностью применения предлагаемого подхода для управления работой объектов без тактильного контакта и голосовой идентификации команд, а также своей простотой с точки зрения конечного пользователя.



В настоящей работе проанализированы существующие способы распознавания жестов. Рассмотрены методы и подходы, а также их реализация, исследованы преимущества и недостатки рассмотренных методов. На их основе составлена таблица с тезисной информацией и предложена собственная архитектура сверточной нейронной сети для решения классификации жестов. Проведена оценка точности работы сети. На основе полученных данных проведен двухфакторный анализ зависимости сложности жеста, его дальности и точности полученного алгоритма.



По полученной зависимости построены графики изменения точности работы сверточной нейронной сети. Проанализирован характер изменения точности для различных факторов.


Ключевые слова: распознавание жестов, компьютерное зрение, инфракрасные датчики, сверточные нейронные сети, обучение, support vector machine, классификация, Keras, Tensorflow

Список литературы

1. Takahashi T., Kishino F. Hand gesture coding based on experiments using a hand gesture interface device // ACM SIGCHI Bulletin. – 1991. – Vol. 23 (2). – P. 67–74.



2. Lee C., Xu Y. Online, interactive learning of gestures for human/robot inter-faces // Proceedings of the IEEE International Conference on Robotics and Automation. – 2002. – Vol. 4. – P. 2982–2987.



3. Smedt Q. De, Wannous H., Vandeborre J.-P. Heterogeneous hand gesture recognition using 3D dynamic skeletal data // Computer Vision and Image Understanding. – 2019. – Vol. 181. – P. 60–72.



4. Dynamic gesture recognition by directional pulse coupled neural networks for human-robot interaction in real time / J. Dong, Z. Xia, W. Yan, Q. Zhao // Journal of Visual Communication and Image Representation. – 2019. – Vol. 63. – P. 102583.



5. Real-time gesture recognition based on feature recalibration network with multi-scale information / Z. Cao, X. Xu, B. Hu, M. Zhou, Q. Li // Neurocomputing. – 2019. – Vol. 347. – P. 119–130.



6. Голиков И. Сверточная нейронная сеть, часть 1: структура, топология, функции активации и обучающее множество. – URL: https://habr.com/ru/post/348000/ (дата обращения: 12.12.2019).



7. Функции активации в нейронных сетях. – URL: http://www.aiportal.ru/articles/neural-networks/activation-function.html (дата обращения: 12.12.2019).



8. Библиотека Keras. Слой пуллинга. – URL: https://keras.io/layers/pooling/ (дата обращения: 12.12.2019).



9. Библиотека Keras. Полносвязный слой. – URL: https://keras.io/layers/core/ (дата обращения: 12.12.2019).



10. Библиотека Keras. Model class API. – URL: https://keras.io/models/model/ (дата обращения: 12.12.2019).



11. Основы планирования эксперимента: методическое пособие / сост. К.М. Хамханов. – Улан-Удэ, 2001. – URL: http://window.edu.ru/resource/438/18438/files/Mtdukm8.pdf (дата обращения: 12.12.2019).



12. Проверка адекватности регрессионной модели. – URL: https://helpstat.ru/proverka-adekvatnosti-regressionnoj-modeli/ (дата обращения: 12.12.2019).

Для цитирования:

Булыгин Д.А., Мамонова Т.Е. Распознавание жестов рук в режиме реального времени // Научный вестник НГТУ. – 2020. – № 1 (78). – С. 25–40. – DOI: 10.17212/1814-1196-2020-1-25-40.

 

For citation:

Bulygin D.A., Mamonova T.E. Raspoznavanie zhestov ruk v rezhime real'nogo vremeni [Recognition of hand gestures in real time]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta = Science bulletin of the Novosibirsk state technical university, 2020, no. 1 (78), pp. 25–40. DOI: 10.17212/1814-1196-2020-1-25-40.

Просмотров: 62