СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

В настоящее время методы анализа данных применяются к широкому спектру разнородной информации, включая временные ряды, пространственные и пространственно-временные структуры, тексты, изображения, видео-, аудиосигналы и их различные сочетания. В контексте анализа временных рядов применение моделей на основе нейронных сетей позволяет преодолеть ограничения классических методов и расширить область применения за счет учета данных разнородных источников, обучения универсальных моделей для различных задач и разработки новых постановок. Вместе с тем разнообразие прикладных областей и исходных данных обусловливает появление множества подходов к построению нейронных сетей, адаптированных под конкретную проблему, что заставляет исследователей либо разрабатывать новую конфигурацию сетей, либо проводить масштабный поиск подходящей модели.

Работа посвящена систематизации подходов к анализу многомерных временных рядов, использующих нейросетевые модели для выявления закономерностей в данных, то есть применяющих методы глубокого обучения. Рассматриваются основные аспекты, включая типы многомерных временных рядов, типы задач анализа, способы организации компонентов нейронной сети или их архитектур, а также подходы к построению моделей. Выделены типы многомерных временных рядов, такие как стандартные, пространственно-временные, регулярные и другие. Систематизированы базовые задачи анализа временных рядов, включая традиционные задачи, решаемые классическими подходами, и задачи, ставшие возможными с внедрением методов машинного обучения, а также новые подходы, разработанные благодаря глубокому обучению. Представлен обзор ключевых типов нейронных сетей, популярных архитектур, созданных на их основе, а также методов построения или обучения моделей, использующих эти архитектуры.

Настоящая работа, не ставя целью охватить все аспекты анализа многомерных временных рядов, предлагает классификацию, которая может стать основой для разработки базы знаний в этой области и выявления перспективных направлений дальнейших исследований.

1. Афанасьев В.Н., Юзбашев М.М. Анализ временных рядов и прогнозирование: учебник. – Москва: Финансы и статистика, 2012. – 320 с.

2. Anomaly detection in time series data and its application to semiconductor manufacturing / R. Hwang, S. Park, Y. Bin, H.J. Hwang // IEEE Access. – 2023. – Vol. 11. – P. 130483–130490. – DOI: 10.1109/ACCESS.2023.3333247.

3. Deep time series models: A comprehensive survey and benchmark / Y. Wang, H. Wu, J. Dong, Y. Liu, M. Long, J. Wang. – URL: https://arxiv.org/abs/2407.13278 (accessed: 09.09.2025).

4. Deep learning for multivariate time series imputation: A survey / J. Wang, W. Du, Y. Yang, L. Qian, W. Cao, K. Zhang, W. Wang, Y. Liang, Q. Wen. – URL: https://arxiv.org/abs/2402.04059 (accessed: 09.09.2025).

5. Online model-based anomaly detection in multivariate time series: Taxonomy, survey, research challenges and future directions / L. Correia, J.-C. Goos, P. Klein, T. Bäck, A.V. Kononova // Engineering Applications of Artificial Intelligence. – 2024. – Vol. 138, pt. A. – P. 109323. – DOI: 10.1016/j.engappai.2024.109323.

6. Deep learning for time series forecasting: Tutorial and literature survey / K. Benidis, S.S. Rangapuram, V. Flunkert, Y. Wang, D. Maddix, C. Turkmen, J. Gasthaus, M. Bohlke-Schneider, D. Salinas, L. Stella, F.-X. Aubet, L. Callot, T. Januschowski // ACM Computing Surveys. – 2022. – Vol. 55 (121). – P. 1–36. – DOI: 10.1145/3533382.

7. Generative adversarial networks in time series: A survey and taxonomy / E. Brophy, Z. Wang, Q. She, T. Ward. – URL: https://arxiv.org/abs/2107.11098 (accessed: 09.09.2025).

8. Large language models for time series: A survey / X. Zhang, R.R. Chowdhury, R.K. Gupta, J. Shang // Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence (IJCAI-24). – Jeju, South Korea, 2024. – P. 8335–8343.

9. Foundation models for time series analysis: A tutorial and survey / Y. Liang, H. Wen, Y. Nie, Y. Jiang, M. Jin, D. Song, S. Pan, Q. Wen // Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '24). – New York, 2024. – P. 6555–6565. – DOI: 10.1145/3637528.3671451.

10. Bivand R.S., Pebesma E., Gómez-Rubio V. Applied spatial data analysis with R. – New York: Springer, 2013. – 405 p. – DOI: 10.1007/978-1-4614-7618-4.

11. ContiFormer: Continuous-time transformer for irregular time series modeling / Y. Chen, K. Ren, Y. Wang, Y. Fang, W. Sun, D. Li. – URL: https://arxiv.org/abs/2402.10635 (accessed: 09.09.2025).

12. Lipton Z.C., Kale D., Wetzel R. Directly modeling missing data in sequences with RNNs: Improved classification of clinical time series // Proceedings of Machine Learning Research. – 2016. – Vol. 56. – P. 253–270.

13. Guo C., Berkhahn F. Entity embeddings of categorical variables. – URL: https://arxiv.org/abs/1604.06737 (accessed: 09.09.2025).

14. Хеннан Э. Многомерные временные ряды. – М.: Мир, 1974. – 576 с.

15. Khusnutdinov A., Karmanov V. Application of machine learning methods for predicting the dynamics of consumption of fuel and energy resources and assessing the effect of energy saving measures // AIP Conference Proceedings. – 2023. – Vol. 2999 (1). – P. 020062. – DOI: 10.1063/5.0158571.

16. Хуснутдинов А.О., Карманов В.С. Использование методов машинного обучения для прогнозирования временных рядов при планировании потребления энергетических ресурсов // Вестник Ошского государственного университета. Математика. Физика. Техника. – 2023. – № 1. – С. 220–232. – DOI: 10.52754/16948645_2023_1_220.

17. Anomaly detection in coastal wireless sensors via efficient deep sequential learning / M. Matar, T. Xia, K. Huguenard, D. Huston, S. Wshah // IEEE Access. – 2023. – Vol. 11. – P. 110260–110271. – DOI: 10.1109/ACCESS.2023.3322370.

18. Radford A., Metz L., Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. – URL: https://arxiv.org/abs/1511.06434 (accessed: 09.09.2025).

19. Ilbert R., Hoang T.V., Zhang Z. Data augmentation for multivariate time series classification: An experimental study. – URL: https://arxiv.org/abs/2406.06518 (accessed: 09.09.2025).

20. T-CGAN: Conditional generative adversarial network for data augmentation in noisy time series with irregular sampling / G. Ramponi, P. Protopapas, M. Brambilla, R. Janssen. – URL: https://arxiv.org/abs/1811.08295 (accessed: 09.09.2025).

21. Aminikhanghahi S., Cook D.J. A survey of methods for time series change point detection // Knowledge and Information Systems. – 2017. – Vol. 51. – P. 339–367. – DOI: 10.1007/s10115-016-0987-z.

22. Wei W.W.S. Multivariate time series analysis and applications. – Oxford: John Wiley & Sons, 2019. – 536 p.

23. Assessment of length-of-day and universal time predictions based on the results of the second earth orientation parameters prediction comparison campaign / J. Sliwinska-Bronowicz, T. Kur, M. Winska, et al. // Journal of Geodesy. – 2024. – Vol. 98 (22). – DOI: 10.1007/s00190-024-01824-7.

24. Модификация базового метода сингулярного спектрального анализа для повышения точности прогнозирования неравномерности вращения Земли / А.К. Гречкосеев, А.С. Толстиков, В.М. Тиссен, В.С. Карманов, А.И. Ваганова // Вычислительные технологии. – 2020. – Т. 25, № 3. – С. 54–65. – DOI: 10.25743/ICT.2020.25.3.007.

25. Umar N., Gray A. Comparing single and multiple imputation approaches for missing values in univariate and multivariate water level data // Water. – 2023. – Vol. 15 (8). – P. 1519. – DOI: 10.3390/w15081519.

26. A survey on multivariate time series imputation using adversarial learning / A. Richter, J. Ijaradar, U. Wetzker, V. Jain, A. Frotzscher // IEEE Access. – 2024. – Vol. 12. – P. 148167–148189. – DOI: 10.1109/ACCESS.2024.3473540.

27. Preptimize: Automation of time series data preprocessing and forecasting / M. Usmani, Z.A. Memon, A. Zulfiqar, R. Qureshi // Algorithms. – 2024. – Vol. 17 (8). – P. 332. – DOI: 10.3390/a17080332.

28. Scalable tensor factorizations with missing data / E. Acar, D.M. Dunlavy, T.G. Kolda, M. Mørup // Proceedings of the SDM10: 2010 SIAM International Conference on Data Mining. – Ohio, 2010. – P. 701–712.

29. Gabrielski J., Häger U. A Markov chain model for imputation of electricity consumption time series // 2023 58th International Universities Power Engineering Conference (UPEC). – IEEE, 2023. – DOI: 10.1109/UPEC57427.2023.10294910.

30. Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting / H. Wu, J. Xu, J. Wang, M. Long. – URL: https://arxiv.org/abs/2106.13008 (accessed: 09.09.2025).

31. Карманов В.С. Анализ временных рядов: конспект лекций. – Новосибирск: Изд-во НГТУ, 2007. – 28 с.

32. Taylor S.J., Letham B. Forecasting at scale // PeerJ Preprints. – 2017. – DOI: 10.7287/peerj.preprints.3190v2.

33. STL: A seasonal-trend decomposition procedure based on loess / R.B. Cleveland, W.S. Cleveland, J.E. McRae, I. Terpenning // Journal of Official Statistics. – 1990. – Vol. 6 (1). – P. 3–73.

34. Forecasting electricity consumption of electrical machines of a coal industry enterprise using the wavelet transform / V.Z. Manusov, D.V. Orlov, V.S. Karmanov, A.O. Khusnutdinov, E.S. Tretyakova, D.V. Korolev // IEEE 23rd International Conference of Young Professionals in Electron Devices and Materials (EDM), Altai, Russian Federation. – 2022. – DOI: 10.1109/EDM55285.2022.9855175.

35. Hu H., Xu W. Time series forecasting based on empirical mode decomposition and the varying-coefficient DBN-AR model // IEEE Access. – 2022. – Vol. 10. – P. 105169–105181. – DOI: 10.1109/ACCESS.2022.3210974.

36. Yaro A.S., Maly F., Prazak P. Outlier detection in time-series receive signal strength observation using Z-score method with ?? scale estimator for indoor localization // Applied Sciences. – 2023. – Vol. 13 (6). – P. 3900. – DOI: 10.3390/app13063900.

37. Shabou S. Time Series with R. – URL: https://s-ai-f.github.io/Time-Series/ (accessed: 10.09.2025).

38. Karaday? Y., Aydin M.N., Ögrenci A.S. A hybrid deep learning framework for unsupervised anomaly detection in multivariate spatio-temporal data // Applied Sciences. – 2020. – Vol. 10 (15). – P. 5191. – DOI: 10.3390/app10155191.

39. Fawwaz D.Z., Chung S.H. Real-time and robust hydraulic system fault detection via edge computing // Applied Sciences. – 2020. – Vol. 10 (17). – P. 5933. – DOI: 10.3390/app10175933.

40. An attention-based ConvLSTM autoencoder with dynamic thresholding for unsupervised anomaly detection in multivariate time series / T. Tayeh, S. Aburakhia, R. Myers, A. Shami // Machine Learning and Knowledge. – 2022. – Vol. 4 (2). – P. 350–370. – DOI: 10.3390/make4020015.

41. Pota M., De Pietro G., Esposito M. Real-time anomaly detection on time series of industrial furnaces: A comparison of autoencoder architectures // Engineering Applications of Artificial Intelligence. – 2023. – Vol. 124. – P. 106597. – DOI: 10.1016/j.engappai.2023.106597.

42. Aminikhanghahi S., Cook D.J. A survey of methods for time series change point detection // Knowledge and Information Systems. – 2017. – Vol. 51 (2). – P. 339–367. – DOI: 10.1007/s10115-016-0987-z.

43. Антонова Е.Н. Последовательный алгоритм обнаружения разладки многомерных временных рядов с высокой динамикой // Известия СПбГТИ (ТУ). – 2022. – № 63 (89). – С. 93–99. – DOI: 10.36807/1998-9849-2022-63-89-93-99.

44. Multivariate time series change-point detection with a novel Pearson-like scaled Bregman divergence / T. Si, Y. Wang, L. Zhang, E. Richmond, T.-H. Ahn, H. Gong // Stats. – 2024. – Vol. 7 (2). – P. 462–480. – DOI: 10.3390/stats7020028.

45. Hawkins M.D., Qiu P. The changepoint model for statistical process control // Journal of Quality Technology. – 2003. – Vol. 35 (4). – DOI: 10.1080/00224065.2003.11980233.

46. Shared temporal attention transformer for remaining useful lifetime estimation / G.S. Chadha, S.R.B. Shah, A. Schwung, S.X. Ding // IEEE Access. – 2022. – Vol. 10. – P. 74244–74258. – DOI: 10.1109/ACCESS.2022.3187702.

47. Gómez-Pau Á., Riba J.-R., Moreno-Eguilaz M. Time series RUL estimation of medium voltage connectors to ease predictive maintenance plans // Applied Sciences. – 2020. – Vol. 10 (24). – P. 9041. – DOI: 10.3390/app10249041.

48. Rahman M.M., Farahani M.A., Wuest T. Multivariate time-series classification of critical events from industrial drying hopper operations: A deep learning approach // Journal of Manufacturing and Materials Processing. – 2023. – Vol. 7 (5). – P. 164. – DOI: 10.3390/jmmp7050164.

49. Lei Y., Wu Z. Time series classification based on statistical features // Wireless Communications and Networking. – 2020. – Vol. 46. – DOI: 10.1186/s13638-020-1661-4.

50. Time series classification using support vector machine with Gaussian elastic metric kernel / D. Zhang, W. Zuo, D. Zhang, H. Zhang // 20th International Conference on Pattern Recognition. – Istanbul, 2010. – P. 29–32. – DOI: 10.1109/ICPR.2010.16.

51. Recurrent neural networks for multivariate time series with missing values / Z. Che, S. Purushotham, K. Cho, D. Sontag, Y. Liu. – URL: https://arxiv.org/abs/1606.01865 (accessed: 10.09.2025).

52. Remaining useful life estimation in prognostics using deep bidirectional LSTM neural network / J. Wang, G. Wen, S. Yang, Y. Liu // Proceedings of the 2018 Prognostics and System Health Management Conference (PHM-Chongqing). – Chongqing, 2018. – P. 1037–1042.

53. Attention is all you need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez, L. Kaiser, I. Polosukhin. – URL: https://arxiv.org/abs/1706.03762 (accessed: 10.09.2025).

54. A survey on graph neural networks for time series: Forecasting, classification, imputation, and anomaly detection / M. Jin, H.Y. Koh, Q. Wen, D. Zambon, C. Alippi, G.I. Webb, I. King, S. Pan. – URL: https://arxiv.org/abs/2307.03759 (accessed: 10.09.2025).

55. TimeTector: A twin-branch approach for unsupervised anomaly detection in livestock sensor noisy data (TT-TBAD) / J.K. Kakar, S. Hussain, S.C. Kim, H. Kim // Sensors. – 2024. – Vol. 24 (8). – P. 2453. – DOI: 10.3390/s24082453.

56. GTAD: Graph and temporal neural network for multivariate time series anomaly detection / S. Guan, B. Zhao, Z. Dong, M. Gao, Z. He // Entropy. – 2022. – Vol. 24 (6). – P. 759. – DOI: 10.3390/e24060759.

57. Long short-term memory Bayesian neural network for air pollution forecast / H.A.D. Nguyen, Q.P. Ha, H. Duc, M. Azzi, N. Jiang, X. Barthelemy, M. Riley // IEEE Access. – 2023. – Vol. 11. – P. 35710–35725. – DOI: 10.1109/ACCESS.2023.3265725.

58. Unsupervised anomaly detection of industrial robots using sliding-window convolutional variational autoencoder / T. Chen, X. Liu, B. Xia, W. Wang, Y. Lai // IEEE Access. – 2020. – Vol. 8. – P. 47072–47081. – DOI: 10.1109/ACCESS.2020.2977892.

59. Generative adversarial networks / I.J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio. – URL: https://arxiv.org/abs/1406.2661 (accessed: 10.09.2025).

60. Mogren O. C-RNN-GAN: Continuous recurrent neural networks with adversarial training. – URL: https://arxiv.org/abs/1611.09904 (accessed: 10.09.2025).

61. Conditional Sig-Wasserstein GANs for time series generation / S. Liao, H. Ni, L. Szpruch, M. Wiese, M. Sabate-Vidales, B. Xiao. – URL: https://arxiv.org/abs/2006.05421 (accessed: 10.09.2025).

62. MAD-GAN: Multivariate anomaly detection for time series data with generative adversarial networks / D. Li, D. Chen, L. Shi, B. Jin, J. Goh, S.-K. Ng // Lecture Notes in Computer Science. – 2019. – Vol. 11730. – P. 703–716. – DOI: 10.1007/978-3-030-30490-4_56.

63. Self-supervised representation learning: Introduction, advances and challenges / L. Ericsson, H. Gouk, C.C. Loy, T.M. Hospedales. – URL: https://arxiv.org/abs/2110.09327 (accessed: 10.09.2025).

64. Beyond just vision: A review on self-supervised representation learning on multimodal and temporal data / S. Deldari, H. Xue, A. Saeed, J. He, D.V. Smith, F.D. Salim. – URL: https://arxiv.org/abs/2206.02353 (accessed: 10.09.2025).