В работе рассмотрено применение метода опорных векторов с квадратичной функцией потерь (LS–SVM) для решения практических задач. Рассмотрен анализ известных выборок LIDAR и Motorcycle. Приведены краткое описание используемых выборок и построения LS–SVM обычной, робастной и разреженной регрессии. Для получения робастной LS–SVM регрессии использовались методы псевдонаблюдения и взвешивания. Для получения разреженной LS–SVM регрессии использованы различные подходы разбиения выборки, такие как разбиение выборки D-оптимальным планированием эксперимента и различные алгоритмы разбиения на основе критериев селекции моделей. К алгоритмам разбиения выборки на основе критерия селекции моделей относятся алгоритмы замены, исключения, включения точек, Add/Del, Del/Add и виртуальных опорных векторов. Иначе эти алгоритмы можно назвать алгоритмом дополнительной оптимизации состава точек. Для проверки работоспособности алгоритмов проведены вычислительные эксперименты. Повышение точности полученных результатов по методу LS–SVM проводилось посредством подбора масштаба гауссовой ядерной функции. Параметры ядерной функции подбирались по значению критериев оценки качество моделей. В качестве параметра регуляризации использовано фиксированное значение, равное 10. Окончательно точность полученных результатов оценивались по значению критерия детерминации. В табличном виде приведены результаты критерия детерминации для каждого способа получения модели регрессии. Результаты полученных LS–SVM регрессий показаны в графическом виде. Эти результаты показали, что для решения прикладных задач использование метода LS–SVM является вполне допустимым.

1. Vapnik V. Statistical learning theory. – New York: John Wiley, 1998. – 736 p.

2. Least squares support vector machines / J.A.K. Suykens, T. Van Gestel, J. De Brabanter, B. De Moor, J. Vandewalle. –Singapore: World Scientific, 2002. – 290 p.

3. Cherkassky V., Ma Y. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. – 2004. – N 17. – P. 113–126.

4. Попов А.А., Саутин А.С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сборник научных трудов НГТУ. – 2008. – № 2 (52). – С. 35–40.

5. Popov A.A., Sautin A.S. Selection of support vector machines parameters for regression using nested grids // The Third International Forum on Strategic Technology. – Novosibirsk, 2008. – P. 329–331.

6. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных векторов // Сборник научных трудов НГТУ. – 2015. – № 3 (81). – С. 69–78. – DOI: 10.17212/2307-6879-2015-3-69-78.

7. Попов А.А., Бобоев Ш.А. Получение тестовой выборки в методе LS–SVM с использованием оптимального планирования эксперимента // Научный вестник НГТУ. – 2016. – № 4. – С. 80–99. – DOI: 10.17212/1814-1196- 2016-4-80-99.

8. Большаков А.А., Каримов Р.Н. Методы обработки многомерных данных и временных рядов. – М.: Горячая линия-Телеком, 2007. – 522 с.

9. Попов А.А., Саутин С.А. Построение регрессионных зависимостей с использованием алгоритма опорных векторов с адаптивными функциями потерь // Научный вестник НГТУ. – 2011. – № 1 (42). – С. 17–26.

10. Попов А.А., Саутин С.А. Использование робастных функций потерь в алгоритме опорных векторов при решении задачи построения регрессии // Научный вестник НГТУ. – 2009. – № 4 (37). – С. 45–56.

11. Popov A.A., Boboev Sh.A. The construction of the robust regression models with the LS–SVM method using a nonquadratic loss function // 11th International Forum on Strategic Technology: proceedings of IFOST-2016. – Novosibirsk, 2016. – P. 394–396.

12. Попов А.А., Бобоев Ш.А. Построение робастных регрессионных моделей по методу LS–SVM с использованием функций потерь Хьюбера и взвешивания наблюдений // Обработка информации и математическое моделирование: материалы Российской научно-технической конференции. – Новосибирск, 2016. – С. 118–124.

13. Попов А.А., Бобоев Ш.А. Получение разреженных решений методом LS–SVM через построение обучающей выборки // Вестник Таджикского национального университета. Серия естественных наук. – 2017. – № 1–5. – С. 183–191.

14. Суходолов А.П., Попов А.А., Бобоев Ш.А. Настройка параметров ядерных функций в методе LS–SVM с использованием внешних критериев качества моделей // Доклады АН ВШ РФ. – 2017. – № 3 (36). – С. 88–104. – DOI: 10.17212/1727-2769-2017-3-88-104.

15. Попов А.А., Бобоев Ш.А. Использование методов оптимального планирования эксперимента для разбиения выборки на части и настройка параметров ядерных функций в методе LS–SVM на основе внешних критериев качества моделей // Обработка информации и математическое моделирование: материалы Российской научно-технической конференции. – Новосибирск, 2017. – С. 135–142.

16. Попов А.А., Бобоев Ш.А. Получение разреженных решений методом LS–SVM через построение выборки с помощью методов оптимального планирования и внешних критериев качества моделей // Вестник Иркутского государственного технического университета. – 2018. – Т. 22, № 1 (132). – С. 100–117. – DOI: 10.21285/1814-3520-2018-100-117.

17. Попов А.А., Бобоев Ш.А. Получение разреженных решений с использованием D-оптимального разбиения исходной выборки на обучающую и тестовую части и критерия регулярности // Вестник кибернетики. – 2018. – № 3 (31). – С. 162–168.

18. Silverman B.W. Some aspects of the spline smoothing approach to non-parametric regression curve fitting // Journal of the Royal Statistical Society. – 1985. – Vol. 47, N 1. – P. 1–52.

19. Smola A. Regression estimation with support vector learning machines: master's thesis / Technische Universität München. – München, 1996. – 78 p.