Аннотация
В данной работе рассмотрена архитектура, модули обработки данных и алгоритмы работы системы сопровождения распределенных мероприятий. Представленная система на основе анализа состояния аудио-, видео- и презентационного оборудования выбирает мультимедийный контент, необходимый удаленному участнику для восприятия хода дискуссии, а также формирует отчетные материалы по результатам мероприятия по заданным шаблонам. В статье описана архитектура разработанной системы, состоящей из 5 основных модулей, обрабатывающих аудиовизуальную информацию, и управляющего сервера. Приведен пример переключения режимов модулей и синхронизации аудио- и видеоконтента, отправляемого удаленному участнику, в зависимости от событий, поступающих с модулей аудиолокализации, видеомониторинга и модулей управления мультимедийными устройствами. Рассмотрена организация взаимодействия блоков обработки многоканальных аудиовизуальных сигналов, задействованных в системе сопровождения мероприятий для формирования мультимедийного отчета о мероприятии и истории поведения участников. Описана структура основной части реляционной БД, используемой для хранения данных, получаемых от различных программно-аппаратных модулей, и информации по проводимым мероприятиям и их участникам. Представлены результаты экспериментального тестирования, показавшие, что время отображения неверного контента составило около 3% от всего времени заседания. Разработанная система реализована в интеллектуальном зале СПИИРАН и применяется при проведении распределенных совещаний.
Ключевые слова: интеллектуальное пространство, сопровождение распределенных мероприятий, видеоконференцсвязь, дистанционное обучение, компьютерное зрение, аудиовизуальная обработка данных, многомодальные интерфейсы, веб-приложение
Список литературы
1. Erol B., Li Y. An overview of technologies for e-meeting and e-lecture // Proceedings IEEE International Conference on Multimedia and Expo. – 2005. – P. 6–12.
2. Cicco L., Mascolo S, Palmisano V. Skype Video congestion control: An experimental investigation // Computer Networks. – 2011. – Vol. 55, iss. 3. – P. 558–571.
3. Разработка веб-системы для предоставления обучающих сервисов удаленным мобильным пользователям / Д. Ганбат, А.Л. Ронжин, Р. Найдандорж, В.Ю. Будков, М.В. Прищепа // Труды СПИИРАН. – 2010. – Вып. 1 (12). –
С. 21–34.
4. Volfin I., Cohen I. Dominant speaker identification for multipoint videoconferencing // Computer Speech and Language. – 2013. – Vol. 27, iss. 4. – P. 895–910.
5. Басов О.О., Носов М.В., Шалагинов В.А. Исследование характеристик джиттера периода основного тона речевого сигнала // Труды СПИИРАН. – 2014. – Вып. 1 (32). – С. 27–44.
6. Ронжин А.Л., Будков В.Ю. Технологии поддержки гибридных e-совещаний на основе методов аудиовизуальной обработки // Вестник компьютерных и информационных технологий. – 2011. – № 4. – С. 31–35.
7. Redesigning multi-channel P2P live video systems with View-Upload Decoupling / D. Wu, C. Liang, Y. Liu, K.W. Ross // Computer Networks. – 2010. – Vol. 54, iss. 12. – P. 2007–2018.
8. Савельев А.И., Прищепа М.В. Архитектура обмена данными без потерь в пиринговом веб-приложении видеоконференц-связи // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2014. – № 2 (32). – С. 238–245.
9. Савельев А.И. Оптимизация алгоритмов распределения потоков мультимедийных данных между сервером и клиентом в приложениях видеоконференцсвязи // Труды СПИИРАН. – 2013. – Вып. 8 (31). – С. 61–79.
10. Мещеряков Р.В. Структура систем синтеза и распознавания речи // Известия Томского политехнического университета. – 2009. – Т. 315, № 5. – С. 127–132.
11. Ронжин А.Л. Топологические особенности морфофонемного способа представления словаря для распознавания русской речи // Вестник компьютерных и информационных технологий. – 2008. – № 9. – С. 12–19.
12. Тиунов С.Д., Мещеряков Р.В., Черных Д.В. Оптимизация вычисления одновременной маскировки речевого сигнала // Труды СПИИРАН. – 2014. – Вып. 1 (32). – С. 45–57.
13. Ronzhin A., Budkov V., Karpov A. Multichannel System of Audio-Visual Support of Remote Mobile Participant at E-Meeting // Smart Spaces and Next Generation Wired/Wireless Networking. Third Conference on Smart Spaces, ruSMART 2010, and 10th International Conference, NEW2AN 2010, St. Petersburg, Russia, August 23-25, 2010: Proceedings. – Berlin, Heidelberg, Springer-Verlag, 2010. – P. 62–71. – (Lecture Notes in Computer Science; vol. 6294). – DOI: 10.1007/978-3-642-14891-0_6.
