ДОКЛАДЫ АКАДЕМИИ НАУК
ВЫСШЕЙ ШКОЛЫ РОССИЙСКОЙ ФЕДЕРАЦИИ

В работе рассматривается задача восстановления регрессионной зависимости по методу опорных векторов с квадратичной функцией потерь (LS-SVM). Данный метод относится к классу ядерных методов. Для настройки ряда внутренних параметров алгоритма LS-SVM обсуждается проблема использования внешних критериев качества моделей. Приведены различные критерии селекции моделей, которые основываются на разбиении выборки на обучающую и тестовую части. Проблема разбиения выборки на тестовую и обучающую части с использованием метода D-оптимального планирования эксперимента подробно рассмотрена для случая линейных параметрических регрессионных моделей. Данный метод получения тестовой выборки предложено использовать для метода LS-SVM. Приводится последовательный алгоритм получения обучающей и тестовой частей выборки наблюдений применительно к методу LS-SVM. Для использования критериев в симметричной форме предлагается алгоритм построения бипланов. Приводятся результаты вычислительного эксперимента по анализу возможности использования трех внешних критериев  для подбора масштаба гауссовой ядерной функции. В качестве внешних критериев использовались критерий перекрестной проверки, критерий регулярности и критерий стабильности. Параметр масштаба ядерной функции подбирался по минимуму внешнего критерия качества. Окончательно точность получаемых решений проверялась по среднеквадратичной ошибке. Вычислительный эксперимент проводился на модельных данных. В качестве модели, порождающей данные, была выбрана нелинейная зависимость от входного фактора. Дисперсия помехи (уровень шума) определялся в процентах от мощности сигнала. Результаты отдельных проведенных вычислительных экспериментов приведены в таблицах и рисунках. По результатам проведенных вычислительных экспериментов делаются выводы о том, что эффективность использования критерия стабильности в целях получения решения с малой среднеквадратичной ошибкой, как правило, выше, чем при использовании критерия регулярности. Эффективность критерия перекрестной проверки выше эффективности критериев регулярности и стабильности в условиях повышенного шума и использования тестовых выборок малого относительного объема.

1. Least squares support vector machines / J.A.K. Suykens, T. van Gestel, J. de Brabanter, B. de Moor, J. Vandewalle. – New Jersey; London; Singapore; Hong Kong: World Scientific, 2002. – 290 p.
2. Regularization, optimization, kernels, and support vector machines / ed. by J.A.K. Suykens, M. Signoretto, A. Argyriou. – Boca Raton, FL: CRC Press, 2014. – 525 p. – (Chapman & Hall/CRC Machine Learning & Pattern Recognition Series).
3. Vapnik V. Statistical learning theory. – New York: John Wiley, 1998. – 736 p.
4. Cherkassky V., Ma Y.Q. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. – 2004. – N 17. – P. 113–126.
5. Stone M. Cross-validatory choice and assessment of statistical predictions // Journal of the Royal Statistical Society. Series B. – 1974. – N 36 (2). – P. 111–147.
6. Wahba G. A survey of some smoothing problems and the method of generalized cross-validation for solving them // Application of Statistics: Proceedings of the Symposium Held at Wright State University, Dayton, Ohio, 14–18 June 1976. – Amsterdam: North-Holland, 1977. – P. 507–523.
7. Wahba G. Support vector machines, reproducing kernel Hilbert spaces and the randomized GACV // Advances in Kernel Methods: Support Vector Learning. – Cambridge: MIT Press, 1999. – P. 69–88.
8. Попов А.А., Саутин А.С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сборник научных трудов НГТУ. – 2008. – № 2 (52). – С. 35–40.
9. Popov A.A., Sautin A.S. Selection of support vector machines parameters for regression using nested grids // The Third International Forum on Strategic Technology (IFOST 2008): proceedings, Novosibirsk–Tomsk, Russia, 23–29 June 2008. – Novosibirsk, 2008. – P. 329–331.
10. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных // Сборник научных трудов НГТУ. – 2015. – № 3 (81). – С. 69–78.
11. Гладкова А.В., Попов А.А. Выбор настраиваемых параметров алгоритма опорных векторов с квадратичной функцией потерь // Обработка информации и математическое моделирование: материалы Российской научно-технической конференции, Новосибирск, 23–24 апреля 2015 г. – Новосибирск, 2015. – С. 62–66.
12. Cawley G.C., Talbot N.L.C. Preventing over-fitting during model selection via Bayesian regularisation of the hyper-parameters // Journal of Machine Learning Research. – 2007. – Vol. 8. – P. 841–861.
13. Leave-one-out cross-validation-based model selection for multi-input multi-output support vector machine / W. Mao, X. Mu, Y. Zheng, G. Yan // Neural Computing and Application. – 2014. – Vol. 24, iss. 2. – P. 441–451.
14. Rivas-Perea P., Cota-Ruiz J., Rosiles J.-G. A nonlinear least squares quasi-Newton strategy for LP-SVR hyper-parameters selection // International Journal of Machine Learning and Cybernetics. – 2014. – Vol. 5, iss. 4. – P. 579–597.
15. Optimisation of turning parameters by integrating genetic algorithm with support vector regression and artificial neural networks / A. Gupta, S. Guntuku, R. Desu, A. Balu // The International Journal of Advanced Manufacturing Technology. – 2015. – Vol. 77, iss. 1–4. – P. 331–339.
16. Гультяева Т.А., Попов А.А., Саутин А.С. Методы статистического обучения в задачах регрессии и классификации: монография. – Новосибирск: Изд-во НГТУ, 2016. – 322 с.
17. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. – Новосибирск: Изд-во НГТУ, 2013. – 296 с.
18. Перельман И.И. Методология выбора структуры модели при идентификации объектов управления // Автоматика и телемеханика. – 1983. – № 11. – С. 5–29.
19. Романов В.Л. Выбор наилучшей линейной регрессии: сравнение формальных критериев // Заводская лаборатория. – 1990. – № 1. – С. 90–95.
20. Себер Дж. Линейный регрессионный анализ. – М.: Мир, 1980. – 456 с.
21. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. – 1985. –№ 5. – С. 29–37.
22. Кочерга Ю.Л. J-оптимальная редукция структуры модели в схеме Гаусса–Маркова // Автоматика. – 1988. – № 4. – С. 34–38.
23. Сарычев А.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. – 1990. – № 5. – С. 28–33.
24. Степашко В.С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. – 1988. – № 6. – С. 75–82.
25. Степашко В.С. Потенциальная помехоустойчивость моделирования по комбинаторному алгоритму МГУА без использования информации о помехах // Автоматика. – 1983. – № 3. – С. 18–28.
26. Степашко В.С. Селективные свойства критерия непротиворечивости моделей // Автоматика. – 1986. – № 2. – С. 40–49.
27. Попов А.А. Планирование эксперимента в задачах разбиения выборки в МГУА // Сборник научных трудов НГТУ. – 1995. – Вып. 2. – С. 35–40.
28. Попов А.А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. Диагностика материалов. – 1997. – № 1. – C. 49–53.
29. Юрачковский Ю.П., Грошков А.Н. Применение канонической формы внешних критериев для исследования их свойств // Автоматика. – 1979. – № 3. – С. 85–89.
30. Федоров В.В. Активные регрессионные эксперименты // Математические методы планирования эксперимента. – Новосибирск: Наука, 1981. – С. 19–73.
31. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. – 1995. – Вып. 1. – С. 39–44
32. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады АН ВШ РФ. – 2008. – № 1 (10). – С. 45–55.