НАУЧНЫЙ ВЕСТНИК

Рассматриваются подходы к распознаванию жестовых языков глухих на примере русского и индийского жестовых языков. Предлагается структура системы распознавания отдельных жестов на основе выявления пяти его компонент – конфигурации, ориентации, локализации, движения и немануальных маркеров. Приведен анализ применяемых методов распознавания отдельных жестов и непрерывной жестовой речи для индийского и русского языков жестов. Рассматривается проблема построения корпусов жестовых языков, а также наборов обучающих данных (Датасет). Отмечается сходство отдельных жестов русского и индийского жестовых языков. Приводится структура локального Датасет для статичных жестов русского жестового языка. Было собрано 927 файлов видеоизображений со статическими одноручными жестами. После преобразования видеофайлов в формат JSON с использованием библиотеки OpenPose и анализа 21 точек скелетной модели правой руки была получена достоверность выбора точек 0,61. Делается вывод, что эта достоверность является недостаточной. Отмечается, что распознавание отдельных жестов глухих и жестовой речи в целом осложнено необходимостью точного отслеживания различных компонентов жестов, которые выполняются достаточно быстро и осложнены перекрытием рук, лица. Для решения этой задачи предлагается подход, связанный с разработкой биологически подобной нейронной сети. Моделируемая нейронная сеть должна проводить обработку визуальной информации аналогично коре головного мозга человека: идентификация линий, построение ребер, обнаружение движений, идентификация геометрических форм, определение направления и скорости движения объектов. В настоящее время мы проводим тестирование биологически подобной нейронной сети, предложенной А.В. Кугаевских, на видеофайлах обучающих данных русского жестового языка.

1. Indian Sign Language Research and Training Centre (ISLRTC). History. Available at: http://www.islrtc.nic.in/history-0 (accessed 13.10.2020).

2. Dasgupta T., Shukla S., Kumar S., Diwakar S., Basu A. A multilingual multimedia Indian sign language dictionary tool. The 6th Workshop on Asian Language Resources (ALR 6): Proceedings of the Workshop, Hyderabad, India, 2008, pp. 57–64.

3. ISL dictionary launch. Indian Sign Language Research and Training Centre. Available at: http://www.islrtc.nic.in/isl-dictionary-launch (accessed 13.10.2020).

4. Tavari N.V., Deorankar A.V., Chatur P.N. Hand gesture recognition of Indian sign language to aid physically impaired people. International Journal of Engineering Research and Applications, 2014, Spec. iss. ICIAC, vol. 5, pp. 60–66.

5. Vasishta M., Woodward J., Santis S. de. An introduction to Indian sign language: (Focus on Delhi). New Delhi, India, All India Fedeartion of the Deaf, 1980. 176 p.

6. Indian sign language dictionary. Available at: http://indiansignlanguage.org/dictionary/ (accessed 13.10.2020)

7. Korolkova O.O. Determining the scope of the “Complete Dictionary of Russian Sign Language”. Sovremennye issledovaniya sotsial'nykh problem = Modern Studies of Social Issues, 2014, no. 3 (19), pp. 69–74. (In Russian).

8. Video dictionary of Russian sign language. Institute of Social Rehabilitation of NSTU: website. Novosibirsk, 2011. (In Russian). Available at: http://www.nisor.ru/snews/oa-/ (accessed 13.10.2020).

9. Geil'man I.F. Spetsificheskie sredstva obshcheniya glukhikh: daktilologiya i mimika. Ch. 1–4 [Specific means of deaf communication: dactylology and mimicry. Pt. 1–4]. Leningrad, 1975–1979.

10. Bazoev V.Z. et al. Slovar' russkogo zhestovogo yazyka [Dictionary of Russian sign language]. Moscow, Flinta Publ., 2009. 525 p.

11. Fradkina R.N. Govoryashchie ruki: tematicheskii slovar' zhestovogo yazyka glukhikh Rossii [Talking hands. Thematic dictionary of sign language for the deaf in Russia]. Moscow, MosgorVOG Publ., 2001.598 p.

12. Korolkova O.O. Osobennosti omonimii i polisemii v russkom zhestovom yazyke (na materiale videoslovarya russkogo zhestovogo yazyka) [Features homonymy and polysemy in russian sign language (based on videodictionary of russian sign language)]. V mire nauchnykh otkrytii = In the world of scientific discoveries, 2013, no. 5-1 (41), pp. 169–184.

13. Korolkova O.O. Osobennosti zhestov russkogo zhestovogo yazyka, nazvaniyami kotorykh yavlyayutsya omonimy russkogo yazyka [Features gestures Russian sign language, the name of which is a homonym Russian language]. V mire nauchnykh otkrytii = In the world of scientific discoveries, 2015, no. 7-8 (67), pp. 2931–2942.

14. Tripathi K., Baranwal N., Nandi G.C. Continuous dynamic Indian Sign Language gesture recognition with invariant backgrounds. 2015 International Conference on Advances in Computing, Communications and Informatics (ICACCI), Kochi, India, 2015, pp. 2211–2216.

15. Rekha J., Bhattacharya J, Majumder S. Shape, texture and local movement hand gesture features for indian sign language recognition. 3rd International Conference on Trendz in Information Sciences & Computing (TISC2011), Chennai, India, 2011, pp. 30–35.

16. Lilha H., Shivmurthy D. Evaluation of features for automated transcription of dual-handed sign language alphabets. 2011 International Conference on Image Information Processing, Shimla, India, 2011, pp. 1–5.

17. Adithya V., Vinod P.R., Gopalakrishnan U. Artificial neural network based method for Indian sign language recognition. 2013 IEEE Conference on Information & Communication Technologies, Thuckalay, Tamil Nadu, India, 2013, pp. 1080–1085.

18. Dixit K., Jalal A.S. Automatic Indian sign language recognition system. 2013 3rd IEEE International Advance Computing Conference (IACC), Ghaziabad, India, 2013, pp. 883–887.

19. Sahoo A.K., Ravulakollu K.K. Vision based Indian sign language character recognition. Journal of Theoretical & Applied Information Technology, 2014, vol. 67, iss. 3.

20. Singh A., Arora S., Shukla P., Mittal A. Indian Sign Language gesture classification as single or double handed gestures. 2015 Third International Conference on Image Information Processing (ICIIP), Waknaghat, India, 2015, pp. 378–381.

21. Gangrade J., Bharti J., Mulye A. Recognition of Indian Sign Language using ORB with bag of visual words by Kinect Sensor. IETE Journal of Research, 2020, 15 March, pp. 1–5. DOI: 10.1080/03772063.2020.1739569.

22. Bhuyan M.K., Ghosh D., Bora P.K. Continuous hand gesture segmentation and co-articulation detection. Computer vision, graphics and image processing: 5th Indian conference, ICVGIP 2006, Madurai, India, December 13–16, 2006: proceedings. Berlin, New York, Springer, 2006, pp. 564–575.

23. Li H., Greenspan M. Segmentation and recognition of continuous gestures. 2007 IEEE International Conference on Image Processing, 2007, vol. 1, pp. I-365–I-368.

24. Bhuyan M.K., Bora P.K., Ghosh D. Trajectory guided recognition of hand gestures having only global motions. World Academy of Science, Engineering and Technology, 2008, vol. 2, no. 9, pp. 2012–2023.

25. Kishore P.V., Kumar P.R. Segment, track, extract, recognize and convert sign language videos to voice/text. International Journal of Advanced Computer Science and Applications, 2012, vol. 3, no. 6, pp. 35–47.

26. Nanivadekar P.A., Kulkarni V. Indian sign language recognition: database creation, hand tracking and segmentation. 2014 International Conference on Circuits, Systems, Communication and Information Technology Applications (CSCITA), Mumbai, India, 2014, pp. 358–363.

27. Kishore P.V., Prasad M.V., Prasad C.R., Rahul R. 4-Camera model for sign language recognition using elliptical fourier descriptors and ANN. 2015 International Conference on Signal Processing and Communication Engineering Systems, Guntur, India, 2015, pp. 34–38.

28. Athira P.K., Sruthi C.J., Lijiya A. A signer independent sign language recognition with co-articulation elimination from live videos: an Indian scenario. Journal of King Saud University – Computer and Information Sciences, 2019. DOI: 10.1016/j.jksuci.2019.05.002.

29. Prasad M.V., Kishore P.V., Kumar E.K., Kumar D.A. Indian sign language recognition system using new fusion based edge operator. Journal of Theoretical & Applied Information Technology, 2016, vol. 88 (3), pp. 574–584.

30. Bhuyan M.K., Ghosh D., Bora P.K. A frame work of hand gesture recognition with applications to sign language. 2006 Annual IEEE India Conference, New Delhi, India, 2006, pp. 1–6.

31. Agrawal S.C., Jalal A.S., Bhatnagar C. Recognition of Indian Sign Language using feature fusion. 2012 4th International Conference on Intelligent Human Computer Interaction (IHCI), Kharagpur, India, 2012, pp. 1–5.

32. Joshi G., Vig R., Singh S. Analysis of Zernike moment-based features for sign language recognition. Intelligent Communication, Control and Devices. Singapore, Springer, 2018, pp. 1335–1343.

33. Kumar D.A., Sastry A.S., Kishore P.V., Kumar E.K., Kumar M.T. S3DRGF: spatial 3-D relational geometric features for 3-D sign language representation and recognition. IEEE Signal Processing Letters, 2019, vol. 26 (1), pp. 169–173.

34. Kaur B., Joshi G., Vig R. Identification of ISL alphabets using discrete orthogonal moments. Wireless Personal Communications, 2017, vol. 95 (4), pp. 4823–4845.

35. Raheja J.L., Mishra A., Chaudhary A. Indian Sign Language recognition using SVM 1. Pattern Recognition and Image Analysis, 2016, vol. 26 (2), pp. 434–441.

36. Kumar P., Gauba H., Roy P.P., Dogra D.P. A multimodal framework for sensor based sign language recognition. Neurocomputing, 2017, vol. 259, pp. 21–38.

37. Joshi G., Vig R., Singh S. DCA-based unimodal feature-level fusion of orthogonal moments for Indian sign language dataset. IET Computer Vision, 2018, vol. 12 (5), pp. 570–577.

38. Raghuveera T., Deepthi R., Mangalashri R., Akshaya R. A depth-based Indian Sign Language recognition using Microsoft Kinect. Sadhana, 2020, vol. 45, no. 1, p. 34.

39. Grif M.G., Prihodko A.L. Approach to the Sign language gesture recognition framework based on HamNoSys analysis. Actual Problems of Electronic Instrument Engineering (APEIE-2018): proceedings, Novosibirsk, 2018, vol. 1, pt. 4, pp. 426–429. DOI: 1109/APEIE.2018.8545086.

40. Grif M.G., Lukoyanychev A.V. Gesture localization in the test mode in the integral system of sign language training. Journal of Physics: Conference Series, 2019, vol.1333, p. 032023.

41. Börstell C. Differential object marking in sign languages. Glossa: a Journal of General Linguistics, 2019, vol. 4 (1).

42. Polinsky M. Sign languages in the context of heritage language: a new direction in language research. Sign Language Studies, 2018, vol. 18 (3), pp. 412–428.

43. Ryumin D., Karpov A.A. Towards automatic recognition of sign language gestures using kinect 2.0. International Conference on Universal Access in Human-Computer Interaction. Cham, Springer, 2017, pp. 89–101.

44. Gruber I., Ryumin D., Hrúz M., Karpov A. Sign language numeral gestures recognition using convolutional neural network. Interactive Collaborative Robotics. Cham, Springer, 2018, pp. 70–77.

45. Rozaliev V.L. Avtomatizatsiya raspoznavaniya kistei ruk cheloveka s pomoshch'yu Kinect dlya perevoda zhestovogo yazyka [Automated recognition of the hands of the person with Kinect for funds sign language]. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta = Izvestia of Volgograd State Technical University, 2015, no. 6 (163), pp. 74–78.

46. Dorofeev N.S., Rozaliev V.L., Orlova Yu.A., Soloshenko A.N. Raspoznavaniya daktil'nykh zhestov russkogo yazyka glukhikh [Recognition of fingerprints of the deaf Russian language]. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta = Izvestia of Volgograd State Technical University, 2013, no. 14 (117), pp. 42–45.

47. Konstantinov V.M., Orlova Yu.A., Rozaliev V.L. Razrabotka 3D-modeli tela cheloveka s ispol'zovaniem MS Kinect [Development of a 3D model of the human body using MS Kinect]. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta = Izvestia of Volgograd State Technical University, 2015, no. 6 (163), pp. 65–69.

48. Klimov A.S., Rozaliev V.L., Orlova Yu.A. Avtomatizatsiya postroeniya ob"emnoi modeli golovy cheloveka [Automation of the construction of a three-dimensional model of the human head]. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta = Izvestia of Volgograd State Technical University, 2014, no. 25(152), pp. 67–71.

49. Fan N.Kh., Spitsyn V.G. Raspoznavanie formy ruki na videoposledovatel'nosti v rezhime real'nogo vremeni na osnove Surf-deskriptorov i neironnoi seti [Hand shape recognition on real-time video sequences based on Surf descriptors and a neural network]. Elektromagnitnye volny i elektronnye sistemy = Electromagnetic Waves and Electronic Systems, 2012, vol. 17, no. 7, pp. 31–39.

50. IIITA-ROBITA Indian Sign Language Gesture Database. Available at: https://robita.iiita.ac.in/dataset.php (accessed 14.10.2020).

51. Ansari Z.A., Harit G. Nearest neighbour classification of Indian sign language gestures using Kinect camera. Sadhana, 2016, vol. 41 (2), pp. 161–182.

52. Singha J., Das K. Recognition of Indian sign language in live video. arXiv preprint, arXiv:1306.1301, 2013.

53. Elakkiya R., Vanitha V. Interactive real time fuzzy class level gesture similarity measure based sign language recognition using artificial neural networks. Journal of Intelligent & Fuzzy Systems, 2019, vol. 37, no. 5, pp. 6855–6864.

54. Elakkiya R., Selvamani K. Enhanced dynamic programming approach for subunit modelling to handle segmentation and recognition ambiguities in sign language. Journal of Parallel and Distributed Computing, 2018, vol. 117, pp. 246–255.

55. Kugaevskikh A.V., Sogreshilin A.A. Analyzing the efficiency of segment boundary detection using neural networks. Optoelectronics Instrumentation and Data Processing, 2019, vol. 55, no. 4, pp. 414–422. DOI: 10.3103/S8756699019040137.

56. Visual cortex. WikipediA. Available at: https://en.wikipedia.org/wiki/Visual_cortex (accessed 14.10.2020).

57. Jones J.P., Palmer L.A. An evaluation of the two-dimensional Gabor filter model of simple receptive fields in cat striate cortex. Journal of Neurophysiology, 1987, vol. 58(6), pp. 1233–1258.

58. Two-streams hypothesis. WikipediA. Available at: https://en.wikipedia.org/wiki/Two-streams_hypothesis (accessed 14.10.2020).