СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

Рассматриваются подходы к распознаванию жестовых языков глухих на примере русского и индийского жестовых языков. Предлагается структура системы распознавания отдельных жестов на основе выявления пяти его компонент – конфигурации, ориентации, локализации, движения и немануальных маркеров. Приведен анализ используемых методов распознавания отдельных жестов и непрерывной жестовой речи для индийского и русского  жестовых языков. Для распознавания отдельных жестов был разработан Датасет РЖЯ, включающий более 35 000 файлов. Были отобраны более тысячи жестов РЖЯ. Каждый жест исполнялся с пятью повторениями и не менее пятью глухими носителями русского жестового языка из Сибири. Для выделения эпентезы для непрерывного РЖЯ были отобраны и записаны на видео 312 предложений с пятью повторениями. Выделялись 5 типов движений: «Нет жеста», «Идет жест», «Начальное движение», «Переходное движение», «Конечное движение». Разметка предложений для выделения видов эпентезы осуществлялось на платформе Supervisely.ly. Была построена архитектура рекуррентной сети (LSTM), реализованная с помощью библиотеки машинного обучения TensorFlow Keras. Точность правильного распознавания эпентезы составила 95 %. Для индийского жестового языка были разработаны наборы данных для распознавания как отдельных жестов, так и непрерывного индийского жестового языка. Отмечается, что работа в этом направлении должна быть продолжена. Для распознавания ручных жестов применялся модуль библиотеки mediapipe holistic. Этот модуль содержит группу предварительно обученных нейросетевых алгоритмов, которые позволяют получить координаты ключевых точек тела, ладоней и лица человека на изображении. На проверочных данных удалось достичь точности 85 %. В дальнейшем необходимо значительно увеличить число размеченных данных. Для распознавания немануальных компонент был составлен ряд правил, которые соответствуют тому или иному движению частей лица. Эти правила включают состояния глаз, век, губ, языка и наклоны головы.

1. Лексические и грамматические аспекты разработки компьютерного сурдопереводчика русского языка / М.Г. Гриф, О.О. Королькова, Л.Г. Панин, М.К. Тимофеева, Е.Б. Цой. – Новосибирск: Изд-во НГТУ, 2013. – 292 с.

2. Гриф М.Г. Королькова О.О., Мануева Ю.С. Машинный перевод русского жестового языка глухих // Информатика: проблемы, методы, технологии: материалы 20 международной научно-методической конференции, Воронеж, 13–14 февр. 2020. – Воронеж, 2020. – С. 1591–1597. – ISBN 978-5-6042216-9-3.

3. Wadhawan A., Kumar P. Sign language recognition systems: a decade systematic literature review // Archives of Computational Methods in Engineering. – 2021. – Vol. 28. – P. 785–813. – DOI: 10.1007/s11831-019-09384-2.

4. Распознавание русского и индийского языков жестов глухих / P. Элаккия, М.Г. Гриф, А.Л. Приходько, М.А. Бакаев // Научный вестник НГТУ. – 2020. – № 2–3 (79). – С. 57–76. – DOI: 10.17212/1814-1196-2020-2-3-57-76. – Текст англ.

5. Sign language numeral gestures recognition using convolutional neural network / I. Gruber, D. Ryumin, M. Hrúz, A. Karpov // Interactive Collaborative Robotics. – Cham: Springer, 2018. – P. 70–77.

6. Константинов В.М., Орлова Ю.А., Розалиев В.Л. Разработка 3D-модели тела человека с использованием MS Kinect // Известия Волгоградского государственного технического университета. – 2015. – № 6 (163). – C. 65–69.

7. TheRuSLan: Database of Russian Sign Language / I. Kagirov, D. Ivanko, D. Ryumin, A. Axyonov, A. Karpov // Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020). – Marseille, 2020. – P. 6079–6085.

8. Automatic classification of handshapes in Russian sign language / M. Mukushev, A. Imashev, V. Kimmelman, A. Sandygulova // Proceedings of the LREC 2020 9th Workshop on the Representation and Processing of Sign Languages: Sign Language Resources in the Service of the Language Community, Technological Challenges and Application Perspectives. – Marseille, 2020. – P. 165–169.

9. Eyebrow position in grammatical and emotional expressions in Kazakh-Russian Sign Language: A quantitative study / V. Kimmelman, A. Imashev, M. Mukushev, A. Sandygulova // Plos One. – 2020. – Vol. 15 (6). – DOI: 10.1371/journal.pone.0233731.

10. Введение в лингвистику жестовых языков. Русский жестовый язык: учебник / ред.: С.И. Буркова, В.И. Киммельман. – Новосибирск: Изд-во НГТУ, 2019. – 356 с.

11. Словарь русского жестового языка. – URL: https://www.spreadthesign.com/ru (дата обращения: 31.08.2021).

12. Базоев В.З. Cловарь русского жестового языка. – М.: Флинта, 2009. – 528 c.

13. Supervisely – веб-платформа для компьютерного зрения. – URL: https://supervise.ly/ (дата обращения: 31.08.2021).

14. Кебец П.Л. Маркеры перехода хода в дискурсе русского жестового языка // Материалы Седьмой Конференции по типологии и грамматике для молодых исследователей (г. Санкт-Петербург, 4–6 ноября 2010 г.). – СПб.: Наука, 2010. – С. 75–80.

15. Система MediaPipe Pose. – URL: https://google.github.io/mediapipe/solutions/pose.html (дата обращения: 31.08.2021).

16. Elakkiya R., Rajalakshmi E. ISLAN // Mendeley Data. – 2021. – Ver. 1. – DOI: 10.17632/rc349j45m5.1.

17. Словарь индийского языка жестов. – URL: http://indiansignlanguage.org/dictionary/ (дата обращения: 31.08.2021).

18. Mediapipe: a framework for building perception pipelines / C. Lugaresi, J. Tang, H. Nash, C. McClanahan, E. Uboweja, M. Hays, F. Zhang, C.-L. Chang, M.G. Yong, J. Lee, W.-T. Chang, W. Hua, M. Georg, M. Grundmann. – arXiv preprint arXiv:1906.08172. – 2019.

19. Le Q.V. Building high-level features using large scale unsupervised learning // 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. – Vancouver, BC, Canada, 2013. – P. 8595–8598.

20. Formal SignWriting (draft-slevinski-formal-signwriting-07). – URL: https://tools.ietf.org/id/draft-slevinski-formal-signwriting-07.html (accessed: 31.08.2021).