НАУЧНЫЙ ВЕСТНИК


НОВОСИБИРСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА

ISSN (печатн.): 1814-1196          ISSN (онлайн): 2658-3275
English | Русский

Последний выпуск
№3(72) Июль - Сентябрь 2018

Разработка алгоритма семантического анализа речи (текста) для перевода на русский жестовый язык

Выпуск № 1 (62) Январь - Март 2016
Авторы:

М.Г. ГРИФ,
Ю.С. МАНУЕВА
DOI: http://dx.doi.org/10.17212/1814-1196-2016-1-106-119
Аннотация
В статье рассмотрены существующие системы сурдоперевода, выявлены их преимущества и недостатки. Основным недостатком данных систем является отсутствие блока семантического анализа исходного текста, направленного на решение проблемы многозначности слов в языке. В статье приведена общая схема перевода с русского языка на русский жестовый язык, которая состоит из анализа исходного текста, перевода на жестовую речь и визуализации жестовой речи. Разработан блок анализа исходного текста с учетом семантической составляющей русского языка, работа которого основана на словаре В.А. Тузова. В статье описан алгоритм семантического анализа. Приведена схема семантического анализа имени существительного. Анализ текста завершается в случае, когда у каждого слова остается только одно семантическое описание, таким образом решается проблема многозначности. К наиболее приоритетным направлениям модификации модуля семантического анализа можно отнести следующие: расширение базы жестов, осуществление разбора сложных предложений, добавление учета в алгоритм анализа специфики русского жестового языка. Проводится перевод текста на жестовую речь, который осуществляется с помощью анализа синтаксических конструкций русского языка и русского жестового языка. На основе данного анализа определяется соответствие синтаксических конструкций, в котором сложные предложения разбиваются на более простые. В ходе преобразования исходное предложение подвергается определенным дополнительным модификациям. В частности, причастие заменяется соответствующим глаголом. Данное преобразование применяется к обоим согласованным причастиям. Для указания на идентичность упоминаемых объектов вводятся местоимения. Затем формируется стандартная схема предложения на разговорном русском жестовом языке: подлежащее, определение, обстоятельство, сказуемое, дополнение. Разработана соответствующая библиотека для определения синтаксических конструкций.
Ключевые слова: русский жестовый язык, компьютерный сурдоперевод, семантический анализ, морфологический анализ, синтаксический анализ, омонимы, синтаксические конструкции, альтернативы

Список литературы
1. Прозорова Е.В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания. – 2007. – № 1. – С. 44–61.

2. Мануева Ю.С., Гриф М.Г., Козлов А.Н. Построение системы компьютерного сурдоперевода русского языка // Труды СПИИРАН. – 2014. – Вып. 6 (37). – С. 170–187.

3. Гриф М.Г., Тимофеева М.К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сибирский филологический журнал. – 2012. – № 1. – С. 211–219.

4. Гриф М.Г. Методы и технологии компьютерного сурдоперевода: учебное пособие. – Новосибирск: Изд-во НГТУ, 2012. – 71 с.

5. Veale T., Conway A. Cross modal comprehension in ZARDOZ: an English to sign-language translation system // Proceedings of the Seventh International Workshop on Natural Language Generation, Kennebunkport, Maine, USA, 21–24 June 1994. – Kennebunkport, 1994. – P. 249–252.

6. Andre E. The generation of multimedia presentations // A Handbook of Natural Language Processing: Techniques and Applications for the Processing of Language. – New York: Marcel Dekker, 2000. – P. 305–327.

7. Multimodal generation in the COMIC dialogue system / M.E. Foster, M. White, A. Setzer, R. Catizone // Proceedings of the ACL 2005 on Interactive Poster and Demonstration Sessions, Ann Arbor, Michigan, 25–30 June 2005. – Morristown: Association for Computational Linguistics, 2005. – P. 40–48.

8. Zhao L., Kipper K., Schuler W. A machine translation system from English to American sign language // Lecture Notes in Computer Science. – 2000. – Vol. 1934. – P. 54–67.

9. Kopp S., Tepper P., Cassell J. Towards integrated microplanning of language and iconic gesture for multimodal output // 6th International conference on Multimodal interfaces, 6–9 August 2004. – USA, Pennsylvania: State College, 2004. – P. 136–144.

10. Cassell J., Stone M., Yan H. Coordination and context-dependence in the generation of embodied conversation // International Natural Language Generation Conference, 2–5 September 2000. – Stroudsburg, Pennsylvania, USA, 2000. – P. 171–178.

11. Wakefield M. VisiCAST Milestone: final report N IST-1999-10500 / Information Societies Technology. – [S. l.], 10 December 2002. – 97 p.

12. Speers A.L. Representation of American sign language for machine translation: doctoral dissertation / Georgetown University, Department of linguistics. – Washington, 2001. – 136 p.

13. Huenerfauth M. Improving spatial reference in American sign language animation through data collection from native ASL signers Proceedings of the 5th International Conference on Universal Access in Human-Computer Interaction, UAHCI 2009. Pt. 3: Applications and Services, San Diego, California, USA, 19–24 July 2009. – Berlin; Heidelberg: Springer, 2009. – P. 530–539.

14. Huenerfauth M. Spatial, temporal, and semantic models for American sign language generation: implications for gesture generation // International Journal of Semantic Computing. – 2008. – Vol. 2, iss. 1. – P. 21–45.

15. Сокирко А. Семантические словари в автоматической обработке текста: по материалам системы Диалинг: дис. … канд. техн. наук: 05.13.17 / Российский государственный гуманитарный университет. – М., 2000. – 120 c.

16. Тузов В.А. Компьютерная семантика русского языка: учебное пособие. – СПб.: Изд-во СПбГУ, 2003. – 391 c.

 
Просмотров: 1129