СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

Глазодвигательные процессы, такие как фиксации и саккады, играют важнейшую роль в когнитивной деятельности человека, поскольку они связаны с такими функциями, как восприятие, внимание и принятие решений. Эти процессы активно применяются в ряде областей, включая системы человекокомпьютерного взаимодействия и нейрофизиологические исследования. Современные методы отслеживания движений глаз, основанные на оптических системах, обеспечивают высокую точность, но имеют ряд существенных ограничений. В связи с этим использование электроэнцефалографических (ЭЭГ) данных для анализа глазодвигательной активности становится перспективным направлением, так как ЭЭГ предоставляет информацию о нейронных процессах, лежащих в основе движений глаз. Это позволяет преодолеть многие ограничения оптических устройств, обеспечивая возможность мониторинга движений глаз без прямого визуального отслеживания. Целью данного исследования является разработка метода предсказания глазодвигательной активности на основе данных, собранных с мобильного ЭЭГ-уст-ройства BrainBit. В работе использована нейронная сеть типа LSTM (долговременная кратковременная память). Результаты экспериментов показали, что предложенная модель обеспечивает высокую точность классификации основных типов глазодвигательной активности. Для фиксаций и саккад точность классификации достигла 91 %, что свидетельствует о высокой эффективности предложенной модели для этих типов движений. Однако классификация направленных движений глаз, таких как движения влево/вправо и вверх/вниз, оказалась более сложной задачей с точностью около 65 % и 63 % соответственно. Одной из ключевых проблем, выявленных в исследовании, стала высокая индивидуальная вариативность сигналов ЭЭГ между участниками. В связи с этим обучение модели было персонализировано для каждого участника эксперимента, что позволило повысить точность предсказаний для каждого отдельного человека. Таким образом, исследование демонстрирует потенциал использования ЭЭГ для анализа и предсказания движений глаз, особенно в контексте фиксаций и саккад.

1. Eye tracking in human interaction: Possibilities and limitations / N. Valtakari, I. Hooge, C. Viktorsson, P. Nystrom, T. Falck-Ytter, R. Hessels // Behavior Research Methods. – 2021. – Vol. 53 (3). – P. 1592–1608. – DOI: 10.3758/s13428-020-01517-x.

2. Сервис гибридного анализа электрической активности мозга и видео-трекинга состояния человека / Э.В. Глеклер, А.М. Кашевник, Н.В. Шемякина, Ж.В. Нагорнова, И.В. Брак, А.С. Станкевич // Информационные технологии и вычислительные системы. – 2023. – № 4. – С. 72–85. – DOI: 10.14357/20718632230407.

3. EEG-based detection of adverse mental state under multi-dimensional unsafe psychology for construction workers at height / Z. Li, X. Xiahou, G. Chen, S. Zhang, Q. Li // Developments in the Built Environment. – 2024. – Vol. 19. – P. 100513. – DOI: 10.1016/j.dibe.2024.100513.

4. Wang J., Wang Z., Liu G. Recording brain activity while listening to music using wearable EEG devices combined with bidirectional long short-term memory networks // Alexandria Engineering Journal. – 2024. – Vol. 109. – P. 1–10. – DOI: 10.1016/j.aej.2024.07.122.

5. Tracking gaze position from EEG: Exploring the possibility of an EEG-based virtual eye-tracker / R. Sun, A.S.K. Cheng, C. Chan, J. Hsiao, A.J. Privitera, J. Gao, C.-h. Fong, R. Ding, A.C. Tang // Brain and Behavior. – 2023. – Vol. 13 (10). – DOI: 10.1002/brb3.3205.

6. Neural correlation of EEG and eye movement in natural grasping intention estimation / C. Lin, C. Zhang, J. Xu, R. Liu, Y. Leng, C. Fu // IEEE Transactions on Neural Systems and Rehabilitation Engineering. – 2023. – Vol. 31. – P. 4329–4337.

7. Jia Y., Tyler C. Measurement of saccadic eye movements by electrooculography for simultaneous EEG recording // Behavior Research Methods. – 2019. – Vol. 51 (5). – P. 2139–2151. – DOI: 10.3758/s13428-019-01280-8.

8. Park S., Han C., Im C. Design of wearable EEG devices specialized for passive brain–computer interface applications // Sensors (Switzerland). – 2020. – Vol. 20 (16). – P. 4572. – DOI: 10.3390/s20164572.

9. Quality assessment of single-channel EEG for wearable devices / F. Grosselin, X. Navarro-Sune, A. Vozzi, K. Pandremmenou, F.D.V. Fallani, Y. Attal, M. Chavez // Sensors (Switzerland). – 2019. – Vol. 19 (3). – P. 601. – DOI: 10.3390/s19030601.

10. Mind the gap: State-of-the-art technologies and applications for EEG-based brain-computer interfaces / R. Portillo-Lara, B. Tahirbegi, C.A.R. Chapman, J.A. Goding, R.A. Green // APL Bioengineering. – 2021. – Vol. 5 (3). – P. 16. – DOI: 10.1063/5.0047237.

11. Gaming control using a wearable and wireless EEG-based brain-computer interface device with novel dry foam-based sensors / L. de Liao, C.Y. Chen, I.J. Wang, S.F. Chen, S.Y. Li, B.W. Chen, J.Y. Chang, C.T. Lin // Journal of NeuroEngineering and Rehabilitation. – 2012. – Vol. 9 (1). – DOI: 10.1186/1743-0003-9-5.

12. Deep learning in EEG: Advance of the last ten-year critical period / S. Gong, K. Xing, A. Cichocki, J. Li // IEEE Transactions On Cognitive And Developmental Systems. – 2022. – Vol. 14 (2). – P. 348–365. – DOI: 10.1109/TCDS.2021.3079712.

13. Deep learning-based construction equipment operators’ mental fatigue classification using wearable EEG sensor data / I. Mehmood, H. Li, Y. Qarout, W. Umer, S. Anwer, H. Wu, M. Hussain, M. Fordjour Antwi-Afari // Advanced Engineering Informatics. – 2023. – Vol. 56. – DOI: 10.1016/j.aei.2023.101978.

14. Classification of hand movements from EEG using a deep attention-based LSTM network / G. Zhang, V. Davoodnia, A. Sepas-Moghaddam, Y.  Zhang, A. Etemad // IEEE Sensors Journal. – 2019. – Vol. 20. – P. 3113–3122.

15. Klug M., Gramann K. Identifying key factors for improving ICA-based decomposition of EEG data in mobile and stationary experiments // European Journal of Neuroscience. – 2021. – Vol. 54 (12). – P. 8406–8420. – DOI: 10.1111/ejn.14992.

16. Removal of movement artefact for mobile EEG analysis in sports exercises / E. Butkeviciute, L. Bikulciene, T. Sidekerskiene, T. Blazauskas, R. Maskeliunas, R. Damasevicius, W. Wei // IEEE Access. – 2019. – Vol. 7. – P. 7206–7217. – DOI: 10.1109/ACCESS.2018.2890335.