СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ
ISSN (печатн.): 2782-2001
ISSN (онлайн): 2782-215X
В статье представлены результаты экспериментальных исследований методов обработки речевого сигнала для паралингвистического анализа ложных и истинных речевых высказываний. Рассмотрены системы для определения типа информации, предложенные как в рамках международных соревнований по компьютерной паралингвистике ComputationalParalinguisticChallengeComParE-2016, так и вне этих соревнований. Также приведено описание речевой и многомодальной баз данных, содержащих ложные и истинные высказывания на английском языке: DeceptiveSpeechDatabase, в записи которой участвовали студенты Университета Аризоны, действовавшие согласно сценарию, и Real-LifeTrialDeceptionDetectionDataset, которая была собрана в Университете Мичигана с использованием записей открытых судебных слушаний. На основе анализа и сравнения различных подходов к выявлению ложных и истинных речевых сообщений были определены методы и их параметры, показавшие наилучшие результаты относительно базовой системы, предложенной организаторами соревнований (которая достигла результата распознавания по критерию невзвешенного среднего значения полноты UAR = 68,3 %). В результате объединения двух баз данных был получен более сбалансированный и разнообразный набор данных для обучения системы объемом в 1253 аудиозаписи. С использованием открытого программного обеспечения (Ffmpeg, Praat, openSMILE, WEKA) был разработан прототип системы автоматического определения ложной информации в речи. Наилучшие результаты были достигнуты при использовании метода бэггинга совместно с методом k ближайших соседей (UAR = 71,0 %), отдельного метода k ближайших соседей (UAR = 70,4 %), а также метода классификации путем регрессии совместно с методом k ближайших соседей (UAR = 69,5 %). Разработанная система может быть полезна в правоохранительной и банковской сферах, при исследованиях с использованием полиграфа, для предотвращения «телефонного терроризма» и т.д.
Величко Алёна Николаевна
Будков Виктор Юрьевич
Карпов Алексей Анатольевич
1. Potapova R., Lykova O. Verbal representation of lies in Russian and Anglo-American cultures //Procedia – Social and Behavioral Sciences. – 2016. – Vol. 236. – P. 114–118.
2. Величко А.Н., Будков В.Ю., Карпов А.А. Аналитический обзор компьютерных паралингвистических систем для автоматического распознавания лжи в речи человека // Информационно-управляющие системы. – 2017. – № 5. – С. 30–41.
3. Eyben F. Real-time speech and music classification by large audio feature space extraction. – Springer, 2016. – 298 p.
4. Montacié C., Caraty M.-J. Prosodic cues and answer type detection for the deception sub-challenge // Proceedings of INTERSPEECH-2016. – San Francisco, USA, 2016. – P. 2016–2020.
5. Combining acoustic-prosodic, lexical, and phonotactic features for automatic deception detection/ S.I. Levitan, G. An, M. Ma, R. Levitan, A. Rosenberg, J. Hirschberg // Proceedings of INTERSPEECH-2016. – San Francisco, USA, 2016. – P. 2006–2010.
6. Савченко В.В., Васильев Р.А. Анализ эмоционального состояния диктора по голосу на основе фонетического детектора лжи // Научные ведомости Белгородского государственного университета. – 2014. – № 21 (192). – С. 186–195.
7. Is deception emotional? An emotion-driven predictive approach / S. Amiriparian, J. Pohjalainen, E. Marchi, S. Pugachevskiy, B. Schuller//Proceedings of INTERSPEECH-2016. – San Francisco, USA, 2016. – P. 2011–2015.
8. Herms R. Prediction of deception and sincerity from speech using automatic phone recognition-based features // Proceedings of INTERSPEECH-2016. – San Francisco, USA, 2016. – P. 2036–2040.
9. Kaya H., Karpov A. Fusing acoustic feature representations for computational paralinguistics tasks //Proceedings of INTERSPEECH-2016. – San Francisco, USA, 2016. – P. 2046–2050.
10. Hybrid acoustic-lexical deep learning approach for deception detection / G. Mendels, S.I. Levitan, K. Lee, J. Hirschberg // Proceedings of INTERSPEECH-2017. – Stockholm, Sweden, 2017. – P. 1472–1476.
11. Hirschberg J. Detecting deceptive speech: requirements, resources and evaluation [Electronic resource] // Proceedings of LREC-2008. – Marrakech, Morocco, 2008. – URL: http://www.lrec-conf.org/proceedings/lrec2008/keynotes/Hirschberg.pdf (accessed: 11.09.2018).
12. Kirchhubel C., Stedmon A., Howard D.M. Analyzing deceptive speech // Proceedings of EPCE-2013. –Heidelberg:Springer, 2013. –Pt. 1. – P. 134–141. – (Lecture notes in computer science; vol. 8019). – doi: 10.1007/978-3-642-39360-0_15.
13. Pan X., Zhao H., Zhou Y. The application of fractional Mel cepstral coefficient in deceptive speech detection [Electronic resource] //PeerJ. – 2015. – 18 August. – URL: https://doi.org/10.7717/peerj.1194 (accessed: 11.09.2018).
14. Identifying individual differences in gender, ethnicity, and personality from dialogue for deception detection/ S.I. Levitan, Y. Levitan, G. An, M. Levine, A. Rosenberg, R. Levitan, J. Hirschberg // Proceedings of NAACL-HLT-2016. – San Diego, USA, 2016. – P. 40–44.
15. Cross-cultural production and detection of deception from speech / S.I. Levitan, G. An, M. Wang, G. Mendels, J. Hirschberg, M. Levine, A. Rosenberg // Proceedings of ACM Workshop on Multimodal Deception Detection. – Seattle, USA, 2015. – P. 1–8.
16. The INTERSPEECH 2016 Computational paralinguistics challenge: deception, sincerity & native language/ B. Schuller, S. Steidl, A. Batliner, J. Hirschberg, J.K. Burgoon, A. Baird, A. Elkins, Y. Zhang, E. Coutinho, K. Evanini// Proceedings of INTERSPEECH-2016. – San Francisco, USA, 2016. – P. 2001–2005.
17. Deception detection using real-life trial data / V. Pérez-Rosas, M. Abouelenien, R. Mihalcea, M. Burzo// Proceedings of ACM International Conference on Multimodal Interaction. –Seattle, USA, 2015. – P. 59–66.
18. Frank E., Hall M.A., Witten I.H. The WEKA workbench:online appendix for "Data mining: practical machine learning tools and techniques". –4th ed. – Burlington, MA:Morgan Kaufmann, 2016.
19. The INTERSPEECH 2013 Computational paralinguistics challenge: social signals, conflict, emotion, autism / B. Schuller, S. Steidl, A. Batliner, A. Vinciarelli, K. Scherer, F. Ringeval, M. Chetouani, F. Weninger, F. Eyben, K. Marchi, M. Mortilliaro, H. Salamin, A. Polychroniou, F. Valente, S. Kim // Proceedings of INTERSPEECH-2013. – Lyon, France, 2013. – P. 148–152.
20. Platt J.C. Sequential minimal optimization: a fast algorithm for training support vector machines. Technical report MSR-TR-98-14.–Redmond:Microsoft Research, 1998. – 21 p.
21. Freund Y., Schapire R.E. A decision-theoretic generalization of on-line learning and an application to boosting //Journal of Computer and System Sciences. – 1997. – Vol. 55. – P. 119–139.
22. Kiefer J., Wolfowitz J. Stochastic estimation of the maximum of a regression function //Annals of Mathematical Statistics. – 1952. – Vol. 23 (3). – P. 462–466.
23. Frank E., Witten I.H. Generating accurate rule sets without global optimization // ICML '98 Proceedings of the Fifteenth International Conference on Machine Learning. – San Francisco, CA, USA, 1998. – P. 144–151.
24. Kukreja M., Johnson S.A., Stafford P. Comparative study of classification algorithms for immunosignaturing data //BMC Bioinformatics. – 2012. – Vol. 13. – P. 139.
Работа выполнена при поддержке РФФИ (проекты № 16-37-60085 и № 18-07-01407), Совета по грантам Президента РФ (грант № МД-254.2017.8) и бюджетной темы (№ 0073-2018-0002).
Величко А.Н., Будков В.Ю., Карпов А.А. Исследование методов классификации для автоматического определения истинной или ложной информации в речевых сообщениях // Научный вестник НГТУ. – 2018. – № 3 (72). – С. 21–32. – doi: 10.17212/1814-1196-2018-3-21-32.
Velichko A.N., Budkov V.Yu., Karpov A.A. Issledovanie metodov klassifikatsii dlya avtomaticheskogo opredeleniya istinnoi ili lozhnoi informatsii v rechevykh soobshcheniyakh [Study of classification methods for automatic truth and deception detection in speech]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta – Science bulletin of the Novosibirsk state technical university, 2018, no. 3 (72), pp. 21–32. doi: 10.17212/1814-1196-2018-3-21-32.
