Аннотация
Рассматривается один из методов непараметрического оценивания регрессионных зависимостей, принадлежащий к классу ядерных методов, – метод опорных векторов с квадратичной функцией потерь, который является модификацией алгоритма опорных векторов. Приводится исходная задача оптимизации для получения параметров регрес-сионной модели. Получаемое в явном виде решение выписывается в терминах двойственных переменных. То, что решение удается получить в явном виде, выгодно отличает LS SVM от базового SVM, требующего решения квадратичной задачи с ограничениями. В данной работе для LS SVM использовались полиномиальное и гауссово ядро. Проводится исследование возможности использования критерия скользящего контроля и критерия регулярности для настройки внутренних параметров алгоритма опорных векторов с квадратичной функцией потерь. Точность получаемых решений контролируется с использованием среднеквадратичной ошибки. Вычислительный эксперимент проводился на модельных данных. В качестве модели, порождающей данные, была выбрана нелинейная зависимость от входного фактора. Дисперсия помехи (уровень шума) определялась в процентах от мощности незашумленного сигнала. В работе в табличной форме отражены результаты восстановления зависимости с использованием гауссового ядра при фиксированном значении параметра регуляризации. Качество решения иллюстрируется графически. В работе сравнивались также качество восстановления зависимостей при использовании полиномиального или гауссова ядра. В работе делается вывод, что для настройки внутренних параметров алгоритма LS SVM можно использовать критерий скользящего контроля и критерий регулярности.

Список литературы
1. Least squares support vector machines / J.A.K. Suykens, T. van Gestel, J. de Brabanter, B. de Moor, J. Vandewalle. – New Jersey; London; Singapore; Hong Kong: World Scientific, 2002. – 290 p.

2. Smola A. Regression estimation with support vector learning machines: master’s thesis. – Munchen: Technische Universitat, 1996. – 78 p.

3. Smola A. Learning with kernels: PhD thesis in computer science. – Berlin: Technische Universitat, 1998. – 210 p.

4. Smola A. A tutorial on support vector regression // Statistics and Compu- ting. – 2004. – N 14. – P. 199–222.

5. Vapnik V.N. Estimation of dependences based on empirical data. – New York: Springer Verlag, 1982. – 399 p.

6. Vapnik V. Statistical learning theory. – New York: John Wiley, 1998. – 736 p.

7. Vapnik V.N. The nature of statistical learning theory. – New York: Springer Verlag, 1995. – 188 p.

8. Cherkassky V., Ma Y.Q. Practical selection of SVM parameters and noise es-timation for SVM regression // Neural Networks. – 2004. – N 17. – P. 113–126.

9. Huang C.M., Lee Y.J. Model selection for support vector machines via uni-form design // Computational Statistics & Data Analysis. – 2007. – N 52. – P. 335–346.

10. Лисицин Д.В., Попов А.А. Конструирование критериев селекции мно-гомерных регрессионных моделей // Сборник научных трудов НГТУ. – 1996. – № 1. – С. 13–20.

11. Попов А.А. Планирование эксперимента в задачах структурного моде-лирования с использованием критерия скользящего прогноза // Заводская ла-боратория. – 1996. – № 10. – С. 42–44.

12. Попов А.А. Разбиение выборки для внешних критериев селекции мо-делей с использованием методов планирования эксперимента // Заводская лаборатория. – 1997. – № 1. – C. 49–53.

13. Попов А.А, Саутин А.С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сборник научных тру-дов НГТУ. – 2008. – № 2 (52). – С. 35–40.

14. Попов А.А. Оптимальное планирование эксперимента в задачах струк-турной и параметрической идентификации моделей многофакторных систем: монография. – Новосибирск: Изд-во НГТУ, 2013. – 296 с.

15. Popov A.A. Sautin A.S. Selection of support vector machines parameters for regression using nested grids // The third international forum on strategic technolo-gy (IFOST 2008): proceedings, Novosibirsk–Tomsk, Russia, 23–29 June 2008. – Novosibirsk, 2008. – P. 329–331.