СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

Подмена лиц на изображениях является серьезной проблемой в современном цифровом пространстве. Такие изображения обычно создаются с использованием современных методов машинного обучения. Эти поддельные изображения могут вводить пользователей в заблуждение, создавая риски для конфиденциальности, безопасности и доверия. В настоящей статье представлен инновационный подход к формированию целевого набора признаков для выявления подменных изображений и  последующему обнаружению подмены лиц, сформирован набор данных размеченных изображений подмены на основе публичного набора данных с использованием генератора подмены лиц; вычислены и проанализированы ключевые точки лица в объемном формате для изображений набора данных и вычислены соответствующие признаки, выявленные экспертным способом; обучены несколько моделей классификаторов на основе трех наборов признаков, включающих в себя ключевые точки лица, экспертные признаки и их смешение; выполнена оценка работы классификаторов; построены матрицы спутанности и прослежены закономерности в зависимости от целевого набора признаков; достигнута точность 0.682 и F1-мера 0.680 на объединенном наборе признаков. При использовании коэффициентов полученных моделей была оценена важность признаков и выявлены наиболее значимые из них для более глубокого подхода к формированию наборов данных при обучении моделей машинного обучения. Для вычисленных экспертных признаков наиболее важными оказались черты лица, характеризующие его геометрическую форму, а в случае с ключевыми точками лица наиболее значимыми оказались границы объектов лица: контур лица, области вокруг глаз

и уголки губ.

1. Riehle C. Europol report criminal use of deepfake technology // Eucrim. – 2022, 9 May. – URL: https://eucrim.eu/news/europol-report-criminal-use-of-deepfake-technology/ (accessed: 27.02.2025).

2. Facing reality? Law enforcement and the challenge of deepfakes: an observatory report from the Europol Innovation Lab. – Luxembourg: Publications office of the European Union, 2022. – DOI: 10.2813/158794.

3. Deepfakes and beyond: a survey of face manipulation and fake detection / R. Tolosana, R. Vera-Rodriguez, J. Fierrez, A. Morales, J. Ortega-Garcia // Information Fusion. – 2020. – Vol. 64. – P. 131–148. – DOI: 10.1016/J.INFFUS.2020.06.014.

4. Nawaz M. Javed A., Irtaza A. A deep learning model for FaceSwap and face-reenactment deepfakes detection / Applied Soft Computing. – 2024. – Vol. 162. – P. 111854. – 2024. – DOI: 10.1016/J.ASOC.2024.111854.

5. Reis P.M.G.I., Ribeiro R.O. A forensic evaluation method for DeepFake detection using DCNN-based facial similarity scores // Forensic Science International. – 2024. – Vol. 358. – P. 111747. – DOI: 10.1016/J.FORSCIINT.2023.111747.

6. Swapped face detection using deep learning and subjective assessment / X. Ding, Z. Raziei, E.C. Larson, E.V. Olinick, P. Krueger, M. Hahsler // EURASIP Journal on Information Security. – 2020. – Art. 6. – DOI: 10.1186/S13635-020-00109-8.

7. Yan B., Li C.T., Lu X. JRC: Deepfake detection via joint reconstruction and classification // Neurocomputing. – 2024. – Vol. 598. – P. 127862. – DOI: 10.1016/J.NEUCOM.2024.127862.

8. DFGNN: An interpretable and generalized graph neural network for deepfakes detection / F. Khalid, A. Javed, Q. ul Ain, H. Ilyas, A. Irtaza // Expert Systems with Applications. – 2023. – Vol. 222. – P. 119843. – DOI: 10.1016/J.ESWA.2023.119843.

9. Essa E. Feature fusion Vision Transformers using MLP-Mixer for enhanced deepfake detection // Neurocomputing. – 2024. – Vol. 598. – P. 128128. – DOI: 10.1016/J.NEUCOM.2024.128128.

10. Wang Y., Huang H. Audio-visual deepfake detection using articulatory representation learning // Computer Vision and Image Understanding. – 2024. – Vol. 248. – P. 104133. – 2024. – DOI: 10.1016/J.CVIU.2024.104133.

11. Preserving manipulated and synthetic Deepfake detection through face texture naturalness / C.J. Chew, Y.C. Lin, Y.C. Chen, Y.Y. Fan, J.S. Lee // Journal of Information Security and Applications. – 2024. – Vol. 83. – P. 103798. – DOI: 10.1016/J.JISA.2024.103798.

12. An efficient deepfake video detection using robust deep learning / A. Qadir, R. Mahum, M.A. El-Meligy, A.E. Ragab, A. AlSalman, M. Awais // Heliyon. – 2024. – Vol. 10 (5). – P. e25757. DOI: 10.1016/J.HELIYON.2024.E25757.

13. ViXNet: Vision Transformer with Xception Network for deepfakes based video and image forgery detection / S. Ganguly, A. Ganguly, S. Mohiuddin, S. Malakar, R. Sarkar // Expert Systems with Applications. – 2022. – Vol. 210. – P. 118423. – DOI: 10.1016/J.ESWA.2022.118423.

14. Deepfake detection via inter-frame inconsistency recomposition and enhancement / C. Zhu, B. Zhang, Q. Yin, C. Yin, W. Lu // Pattern Recognition. – 2024. – Vol. 147. – P. 110077. – DOI: 10.1016/J.PATCOG.2023.110077.

15. Deepfake detection using deep feature stacking and meta-learning / G. Naskar, S. Mohiuddin, S. Malakar, E. Cuevas, R. Sarkar // Heliyon. – 2024. – Vol. 10 (4). – P. e25933. – DOI: 10.1016/j.heliyon.2024.e25933.

16. A Deepfake detection algorithm based on fourier transform of biological signal / Y. Ni, W. Zeng, P. Xia, G.S. Yang, R. Tan // Computers, Materials & Continua. – 2024. – Vol. 79 (3). – P. 5295–5312. – DOI: 10.32604/CMC.2024.049911.

17. Texture and artifact decomposition for improving generalization in deep-learning-based deepfake detection / J. Gao, M. Micheletto, G. Orrù, S. Concas, X. Feng, G.L. Marcialis, F. Roli // Engineering Applications of Artificial Intelligence. – 2024. – Vol. 133. – P. 108450. – DOI: 10.1016/J.ENGAPPAI.2024.108450.

18. GazeForensics: DeepFake detection via gaze-guided spatial inconsistency learning / Q. He, C. Peng, D. Liu, N. Wang, X. Gao // Neural Networks. – 2024. – Vol. 180. – P. 106636. – DOI: 10.1016/J.NEUNET.2024.106636.

19. DeepFake detection method based on multi-scale interactive dual-stream network / Z. Cheng, Y. Wang, Y. Wan, C. Jiang // Journal of Visual Communication and Image Representation. – 2024. – Vol. 104. – P. 104263. – DOI: 10.1016/J.JVCIR.2024.104263.

20. Kingra S., Aggarwal N., Kaur N. SFormer: an end-to-end spatio-temporal transformer architecture for deepfake detection // Forensic Science International: Digital Investigation. – 2024. – Vol. 51. – P. 301817. – DOI: 10.1016/J.FSIDI.2024.301817.

21. Spatial-frequency feature fusion based deepfake detection through knowledge distillation / B. Wang, X. Wu, F. Wang, Y. Zhang, F. Wei, Z. Song // Engineering Applications of Artificial Intelligence. – 2024. – Vol. 133. – P. 108341. – DOI: 10.1016/J.ENGAPPAI.2024.108341.

22. DeepFake detection based on high-frequency enhancement network for highly compressed content / J. Gao, Z. Xia, G.L. Marcialis, C. Dang, J. Dai, X. Feng // Expert Systems with Applications. – 2024. – Vol. 249. – P. 123732. – DOI: 10.1016/J.ESWA.2024.123732.

23. Perceptron Algorithm for Classification using Sklearn // GeeksforGeeks: website. – 2023. – URL: https://www.geeksforgeeks.org/sklearn-classification-using-perceptron/?ysclid=m0novhnsyv693925398 (accessed: 04.03.2025).