СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

В статье исследуется проблема преждевременного коллапса кластерных присваиваний в современных алгоритмах глубокой кластеризации, таких как глубокое встраиваемое кластерирование (DEC) и вариационное глубокое вложение (VaDE). Данное явление приводит к детерминированным, а не вероятностным распределениям принадлежности объектов, что противоречит природе реальных данных, где объекты обладают смешанной принадлежностью к нескольким кластерам (например, пользователи цифровых сервисов, биологические образцы с нечеткой классификацией, образцы в материаловедении). Для решения этой проблемы предложена модифицированная архитектура автоэнкодера на основе VaDE, в целевую функцию которой введен механизм энтропийной регуляризации, контролирующий баланс между качеством кластеризации и степенью мягкости (неопределенности) присваиваний. Используется прямое адаптивное сохранение высокой энтропии распределений мягких присваиваний на протяжении всего процесса обучения модели, что обеспечивает вероятностную интерпретацию результатов. Эксперименты на модернизированном наборе данных от Национального института стандартов и технологий (MNIST) демонстрируют оптимальное значение параметра регуляризации, равного 0,05, что позволяет повысить нормализованную взаимную информацию (NMI) на 61,6 % по сравнению с базовой моделью без регуляризации. При этом сохраняется способность модели нейронной сети к интерпретации через генерацию семантически значимых прототипов кластеров. Также модель имеет практическую значимость в таких прикладных областях, как маркетинговая сегментация и анализ поведенческих данных. Такой подход устраняет разрыв между алгоритмической эффективностью и потребностями прикладных специалистов в объяснимых и достоверных результатах кластеризации.

Deep clustering: A comprehensive survey / Y. Ren, J. Pu, Z. Yang, J. Xu, G. Li, X. Pu // IEEE Transactions on Neural Networks and Learning Systems. – 2024. – Vol. 36 (4). – P. 5858–5878. – DOI: 10.1109/TNNLS.2024.3403155.

Deep embedded clustering with data augmentation / C. Song, Y. Huang, W. Ouyang, L. Wang // Proceedings of the AAAI Conference on Artificial Intelligence. – 2023. – Vol. 37 (2). – P. 2345–2353. – DOI: 10.1609/aaai.v37i2.25345.

DVAEGMM: Dual variational autoencoder with Gaussian mixture model for anomaly detection on attributed networks / W. Khan, M. Haroon, A.N. Khan, M.N. Hasan, A. Khan, U. Mokhtar // IEEE Access. – 2022. – Vol. 10. – P. 91160–91176. – DOI: 10.1109/ACCESS.2022.3201332.

Entropy regularization for unsupervised clustering with adaptive neighbors / J. Wang, X. Wang, Z. Tian, C. Liu, Y. Liu // Pattern Recognition. – 2022. – Vol. 125 (2). – P. 108517. – DOI: 10.1016/j.patcog.2021.108517.

Алетдинова А.А. Кластерный анализ для исследования экономических условий эффективного функционирования АПК регионов // Формирование организационно-экономических условий эффективного функционирования АПК: сборник научных статей XVI Международной научно-практической конференции, 23–24 мая 2024. – Минск, 2024. – С. 37–40. – ISBN 978-985-25-0099-9.

Niu C., Shan H., Wang G. SPICE: Semantic pseudo-labeling for image clustering // IEEE Transactions on Image Processing. – 2022. – Vol. 31. – P. 7264–7278. – DOI: 10.1109/TiP.2022.3221290.

7. Wang Y., Blei D., Cunningham J.P. Posterior collapse and latent variable non-identifiability // Proceedings of the 35th International Conference on Neural Information Processing Systems (NeurIPS 2021). – 2021. – Vol. 34. – P. 5443–5455. – ISBN 978-1-7138-4539-3.

Yang L., Fan W., Bouguila N. Deep clustering analysis via dual variational autoencoder with spherical latent embeddings // IEEE Transactions on Neural Networks and Learning Systems. – 2023.

Caciularu A., Goldberger J. An entangled mixture of variational autoencoders approach to deep clustering // Neurocomputing. – 2023. – Vol. 529. – P. 182–189. – DOI: 10.1016/j.neucom.2023.01.069.

Deep clustering analysis via variational autoencoder with gamma mixture latent embeddings / J. Guo, M. Yand, Y. Zhang, Z. Liu // Neural Networks. – 2025. – Vol. 183. – P. 106979.

Cloud-VAE: Variational auroencoder with concepts embedded / Y. Liu, Z. Liu, S. Li, Z. Yu, Y. Guo, Q. Liu, G. Wang // Pattern Recognition. – 2023. – Vol. 140. – P. 109530. – DOI: 10.1016/j.patcog.2023.109530.

Svirsky J., Lindenbaum O. Interpretable deep clustering for tabular data // Proceedings of Machine Learning Research. – 2024. – Vol. 235: International Conference on Machine Learning (ICLM 2024). – P. 47314–47330. – ISBN 979-8-3313-0223-8.

Deep generative clustering with multimodal diffusion variational autoencoders / E. Palumbo, L. Manduchi, S. Laguna, D. Chopard, J. Vogt // The 12th International Conference on Learning Representations (ICLR 2024). – Vienna, Austria, 2024. – P. 35404–35429. – ISBN 978-1-7138-9865-8.

Controlling posterior collapse by an inverse Lipschitz constraint on the decoder network / Y. Kinoshita, K. Oono, K. Fukumizu, Y. Yoshida, Sh. Maeda // Proceedings of Machine Learning Research. – 2023. – Vol. 202: International Conference on Machine Learning, 23–29 July 2023, Honolulu, Hawaii, USA. – P. 17041–17060. – ISBN 978-1-7138-8918-2.

Ma H. Achieving deep clustering through the use of variational autoencoders and similarity-based loss // Mathematical Biosciences and Engineering. – 2022. – Vol. 19 (10). – P. 10344–10360. – DOI: 10.3934/mbe.2022484.