Системы анализа и обработки данных

СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

ISSN (печатн.): 2782-2001          ISSN (онлайн): 2782-215X
English | Русский

Последний выпуск
№3(103) Июль-Сентябрь 2026

Интеллектуальный метод автоматического выявления подмены лица на изображении

Выпуск № 1 (97) Январь - Март 2025
Авторы:

Халеев Михаил Дмитриевич ,
DOI: http://dx.doi.org/10.17212/2782-2001-2025-1-105-120
Аннотация

Подмена лиц на изображениях является серьезной проблемой в современном цифровом пространстве. Такие изображения обычно создаются с использованием современных методов машинного обучения. Эти поддельные изображения могут вводить пользователей в заблуждение, создавая риски для конфиденциальности, безопасности и доверия. В настоящей статье представлен инновационный подход к формированию целевого набора признаков для выявления подменных изображений и  последующему обнаружению подмены лиц, сформирован набор данных размеченных изображений подмены на основе публичного набора данных с использованием генератора подмены лиц; вычислены и проанализированы ключевые точки лица в объемном формате для изображений набора данных и вычислены соответствующие признаки, выявленные экспертным способом; обучены несколько моделей классификаторов на основе трех наборов признаков, включающих в себя ключевые точки лица, экспертные признаки и их смешение; выполнена оценка работы классификаторов; построены матрицы спутанности и прослежены закономерности в зависимости от целевого набора признаков; достигнута точность 0.682 и F1-мера 0.680 на объединенном наборе признаков. При использовании коэффициентов полученных моделей была оценена важность признаков и выявлены наиболее значимые из них для более глубокого подхода к формированию наборов данных при обучении моделей машинного обучения. Для вычисленных экспертных признаков наиболее важными оказались черты лица, характеризующие его геометрическую форму, а в случае с ключевыми точками лица наиболее значимыми оказались границы объектов лица: контур лица, области вокруг глаз

и уголки губ.


Ключевые слова: подмена лиц, компьютерное зрение, искусственный интеллект, генеративный контент, маркировка контента, дипфейк, информационная безопасность, лицевые ориентиры
Халеев Михаил Дмитриевич
РФ, 199178, Санкт-Петербургский федеральный исследовательский центр Российской академии наук, Санкт-Петербург, 14-я линия В. О., 39,
Haleev.M@iias.spb.su
Orcid: 0009-0000-3480-0856

Список литературы

1. Riehle C. Europol report criminal use of deepfake technology // Eucrim. – 2022, 9 May. – URL: https://eucrim.eu/news/europol-report-criminal-use-of-deepfake-technology/ (accessed: 27.02.2025).



2. Facing reality? Law enforcement and the challenge of deepfakes: an observatory report from the Europol Innovation Lab. – Luxembourg: Publications office of the European Union, 2022. – DOI: 10.2813/158794.



3. Deepfakes and beyond: a survey of face manipulation and fake detection / R. Tolosana, R. Vera-Rodriguez, J. Fierrez, A. Morales, J. Ortega-Garcia // Information Fusion. – 2020. – Vol. 64. – P. 131–148. – DOI: 10.1016/J.INFFUS.2020.06.014.



4. Nawaz M. Javed A., Irtaza A. A deep learning model for FaceSwap and face-reenactment deepfakes detection / Applied Soft Computing. – 2024. – Vol. 162. – P. 111854. – 2024. – DOI: 10.1016/J.ASOC.2024.111854.



5. Reis P.M.G.I., Ribeiro R.O. A forensic evaluation method for DeepFake detection using DCNN-based facial similarity scores // Forensic Science International. – 2024. – Vol. 358. – P. 111747. – DOI: 10.1016/J.FORSCIINT.2023.111747.



6. Swapped face detection using deep learning and subjective assessment / X. Ding, Z. Raziei, E.C. Larson, E.V. Olinick, P. Krueger, M. Hahsler // EURASIP Journal on Information Security. – 2020. – Art. 6. – DOI: 10.1186/S13635-020-00109-8.



7. Yan B., Li C.T., Lu X. JRC: Deepfake detection via joint reconstruction and classification // Neurocomputing. – 2024. – Vol. 598. – P. 127862. – DOI: 10.1016/J.NEUCOM.2024.127862.



8. DFGNN: An interpretable and generalized graph neural network for deepfakes detection / F. Khalid, A. Javed, Q. ul Ain, H. Ilyas, A. Irtaza // Expert Systems with Applications. – 2023. – Vol. 222. – P. 119843. – DOI: 10.1016/J.ESWA.2023.119843.



9. Essa E. Feature fusion Vision Transformers using MLP-Mixer for enhanced deepfake detection // Neurocomputing. – 2024. – Vol. 598. – P. 128128. – DOI: 10.1016/J.NEUCOM.2024.128128.



10. Wang Y., Huang H. Audio-visual deepfake detection using articulatory representation learning // Computer Vision and Image Understanding. – 2024. – Vol. 248. – P. 104133. – 2024. – DOI: 10.1016/J.CVIU.2024.104133.



11. Preserving manipulated and synthetic Deepfake detection through face texture naturalness / C.J. Chew, Y.C. Lin, Y.C. Chen, Y.Y. Fan, J.S. Lee // Journal of Information Security and Applications. – 2024. – Vol. 83. – P. 103798. – DOI: 10.1016/J.JISA.2024.103798.



12. An efficient deepfake video detection using robust deep learning / A. Qadir, R. Mahum, M.A. El-Meligy, A.E. Ragab, A. AlSalman, M. Awais // Heliyon. – 2024. – Vol. 10 (5). – P. e25757. DOI: 10.1016/J.HELIYON.2024.E25757.



13. ViXNet: Vision Transformer with Xception Network for deepfakes based video and image forgery detection / S. Ganguly, A. Ganguly, S. Mohiuddin, S. Malakar, R. Sarkar // Expert Systems with Applications. – 2022. – Vol. 210. – P. 118423. – DOI: 10.1016/J.ESWA.2022.118423.



14. Deepfake detection via inter-frame inconsistency recomposition and enhancement / C. Zhu, B. Zhang, Q. Yin, C. Yin, W. Lu // Pattern Recognition. – 2024. – Vol. 147. – P. 110077. – DOI: 10.1016/J.PATCOG.2023.110077.



15. Deepfake detection using deep feature stacking and meta-learning / G. Naskar, S. Mohiuddin, S. Malakar, E. Cuevas, R. Sarkar // Heliyon. – 2024. – Vol. 10 (4). – P. e25933. – DOI: 10.1016/j.heliyon.2024.e25933.



16. A Deepfake detection algorithm based on fourier transform of biological signal / Y. Ni, W. Zeng, P. Xia, G.S. Yang, R. Tan // Computers, Materials & Continua. – 2024. – Vol. 79 (3). – P. 5295–5312. – DOI: 10.32604/CMC.2024.049911.



17. Texture and artifact decomposition for improving generalization in deep-learning-based deepfake detection / J. Gao, M. Micheletto, G. Orrù, S. Concas, X. Feng, G.L. Marcialis, F. Roli // Engineering Applications of Artificial Intelligence. – 2024. – Vol. 133. – P. 108450. – DOI: 10.1016/J.ENGAPPAI.2024.108450.



18. GazeForensics: DeepFake detection via gaze-guided spatial inconsistency learning / Q. He, C. Peng, D. Liu, N. Wang, X. Gao // Neural Networks. – 2024. – Vol. 180. – P. 106636. – DOI: 10.1016/J.NEUNET.2024.106636.



19. DeepFake detection method based on multi-scale interactive dual-stream network / Z. Cheng, Y. Wang, Y. Wan, C. Jiang // Journal of Visual Communication and Image Representation. – 2024. – Vol. 104. – P. 104263. – DOI: 10.1016/J.JVCIR.2024.104263.



20. Kingra S., Aggarwal N., Kaur N. SFormer: an end-to-end spatio-temporal transformer architecture for deepfake detection // Forensic Science International: Digital Investigation. – 2024. – Vol. 51. – P. 301817. – DOI: 10.1016/J.FSIDI.2024.301817.



21. Spatial-frequency feature fusion based deepfake detection through knowledge distillation / B. Wang, X. Wu, F. Wang, Y. Zhang, F. Wei, Z. Song // Engineering Applications of Artificial Intelligence. – 2024. – Vol. 133. – P. 108341. – DOI: 10.1016/J.ENGAPPAI.2024.108341.



22. DeepFake detection based on high-frequency enhancement network for highly compressed content / J. Gao, Z. Xia, G.L. Marcialis, C. Dang, J. Dai, X. Feng // Expert Systems with Applications. – 2024. – Vol. 249. – P. 123732. – DOI: 10.1016/J.ESWA.2024.123732.



23. Perceptron Algorithm for Classification using Sklearn // GeeksforGeeks: website. – 2023. – URL: https://www.geeksforgeeks.org/sklearn-classification-using-perceptron/?ysclid=m0novhnsyv693925398 (accessed: 04.03.2025).

Просмотров аннотации: 615
Скачиваний полного текста: 411
Просмотров интерактивной версии: 0
Для цитирования:

Халеев М.Д. Интеллектуальный метод автоматического выявления подмены лица на изображении // Системы анализа и обработки данных. – 2025. – № 1 (97). – С. 105–120. – DOI: 10.17212/2782-2001-2025-1-105-120.

For citation:

Haleev M.D Intellektual'nyi metod avtomaticheskogo vyyavleniya podmeny litsa na izobrazhenii [An intelligent method for automatic detection of face substitution in an image]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2025, no. 1 (97), pp. 105–120. DOI: 10.17212/2782-2001-2025-1-105-120.

 

 

Обработка персональных данных

Мы используем сервис веб-аналитики Яндекс Метрика, который использует cookie.

Собранная при помощи cookie информация не может идентифицировать вас, однако может помочь нам улучшить работу нашего сайта. Вы можете отказаться от использования cookies, выбрав соответствующие настройки в браузере. Также Вы можете запретить сбор данных с помощью расширения для браузера «Блокировщик Яндекс Метрики». Используя этот сайт, вы соглашаетесь на обработку персональных данных.