Доклады АН ВШ РФ

ДОКЛАДЫ АКАДЕМИИ НАУК
ВЫСШЕЙ ШКОЛЫ РОССИЙСКОЙ ФЕДЕРАЦИИ

Print ISSN: 1727-2769    Online ISSN: 2658-3747
English | Русский

Последний выпуск
№3(72) июль-сентябрь 2026

Настройка параметров ядерных функций в методе LS-SVM с использованием внешних критериев качества моделей

Выпуск № 3 (36) июль-сентябрь 2017
Авторы:

Суходолов Александр Петрович ,
Попов Александр Александрович ,
Бобоев Шараф Асрорович ,
DOI: http://dx.doi.org/10.17212/1727-2769-2017-3-88-104
Аннотация

В работе рассматривается задача восстановления регрессионной зависимости по методу опорных векторов с квадратичной функцией потерь (LS-SVM). Данный метод относится к классу ядерных методов. Для настройки ряда внутренних параметров алгоритма LS-SVM обсуждается проблема использования внешних критериев качества моделей. Приведены различные критерии селекции моделей, которые основываются на разбиении выборки на обучающую и тестовую части. Проблема разбиения выборки на тестовую и обучающую части с использованием метода D-оптимального планирования эксперимента подробно рассмотрена для случая линейных параметрических регрессионных моделей. Данный метод получения тестовой выборки предложено использовать для метода LS-SVM. Приводится последовательный алгоритм получения обучающей и тестовой частей выборки наблюдений применительно к методу LS-SVM. Для использования критериев в симметричной форме предлагается алгоритм построения бипланов. Приводятся результаты вычислительного эксперимента по анализу возможности использования трех внешних критериев  для подбора масштаба гауссовой ядерной функции. В качестве внешних критериев использовались критерий перекрестной проверки, критерий регулярности и критерий стабильности. Параметр масштаба ядерной функции подбирался по минимуму внешнего критерия качества. Окончательно точность получаемых решений проверялась по среднеквадратичной ошибке. Вычислительный эксперимент проводился на модельных данных. В качестве модели, порождающей данные, была выбрана нелинейная зависимость от входного фактора. Дисперсия помехи (уровень шума) определялся в процентах от мощности сигнала. Результаты отдельных проведенных вычислительных экспериментов приведены в таблицах и рисунках. По результатам проведенных вычислительных экспериментов делаются выводы о том, что эффективность использования критерия стабильности в целях получения решения с малой среднеквадратичной ошибкой, как правило, выше, чем при использовании критерия регулярности. Эффективность критерия перекрестной проверки выше эффективности критериев регулярности и стабильности в условиях повышенного шума и использования тестовых выборок малого относительного объема.


Ключевые слова: регрессия, метод LS-SVM, квадратичная функция потерь, тестовая выборка, обучающая выборка, оптимальное планирование эксперимента, D-оптимальный план, критерий регулярности, критерий стабильности, критерий скользящего контроля, ядерная функция, среднеквадратичная ошибка
Суходолов Александр Петрович
д-р экон. наук, профессор, ректор Байкальского государственного университета. Область научных интересов: социально-экономическое развитие регионов Сибири, российско-азиатские научные и образовательные связи, цифровая экономика, математическое моделирование, массовые коммуникации. (Адрес: 664003, Россия, Иркутская область, г. Иркутск, ул. Ленина, д.
• E-mail: ).

info@bgu.ru
Orcid:

Попов Александр Александрович
д-р техн. наук, профессор, профессор, кафедра теоретической и прикладной информатики Новосибирского государственного технического университета. Область научных интересов: методы анализа данных, оптимальное планирование экспериментов. Опубликовано более 150 научных работ. (Адрес: 630073, Россия, Новосибирск, пр. Карла Маркса,
•  E-mail: ).

a.popov@corp.nstu.ru
Orcid:

Бобоев Шараф Асрорович
аспирант, кафедра теоретической и прикладной информатики Новосибирского государственного технического университета. Область научных интересов: статистические методы анализа данных. Опубликовано 4 научные работы. (Адрес: 630073, Россия, Новосибирск, пр. Карла Маркса,
•  E-mail: ).

shboboev@mail.ru
Orcid:

Список литературы
  1. Least squares support vector machines / J.A.K. Suykens, T. van Gestel, J. de Brabanter, B. de Moor, J. Vandewalle. – New Jersey; London; Singapore; Hong Kong: World Scientific, 2002. – 290 p.
  2. Regularization, optimization, kernels, and support vector machines / ed. by J.A.K. Suykens, M. Signoretto, A. Argyriou. – Boca Raton, FL: CRC Press, 2014. – 525 p. – (Chapman & Hall/CRC Machine Learning & Pattern Recognition Series).
  3. Vapnik V. Statistical learning theory. – New York: John Wiley, 1998. – 736 p.
  4. Cherkassky V., Ma Y.Q. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. – 2004. – N 17. – P. 113–126.
  5. Stone M. Cross-validatory choice and assessment of statistical predictions // Journal of the Royal Statistical Society. Series B. – 1974. – N 36 (2). – P. 111–147.
  6. Wahba G. A survey of some smoothing problems and the method of generalized cross-validation for solving them // Application of Statistics: Proceedings of the Symposium Held at Wright State University, Dayton, Ohio, 14–18 June 1976. – Amsterdam: North-Holland, 1977. – P. 507–523.
  7. Wahba G. Support vector machines, reproducing kernel Hilbert spaces and the randomized GACV // Advances in Kernel Methods: Support Vector Learning. – Cambridge: MIT Press, 1999. – P. 69–88.
  8. Попов А.А., Саутин А.С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сборник научных трудов НГТУ. – 2008. – № 2 (52). – С. 35–40.
  9. Popov A.A., Sautin A.S. Selection of support vector machines parameters for regression using nested grids // The Third International Forum on Strategic Technology (IFOST 2008): proceedings, Novosibirsk–Tomsk, Russia, 23–29 June 2008. – Novosibirsk, 2008. – P. 329–331.
  10. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных // Сборник научных трудов НГТУ. – 2015. – № 3 (81). – С. 69–78.
  11. Гладкова А.В., Попов А.А. Выбор настраиваемых параметров алгоритма опорных векторов с квадратичной функцией потерь // Обработка информации и математическое моделирование: материалы Российской научно-технической конференции, Новосибирск, 23–24 апреля 2015 г. – Новосибирск, 2015. – С. 62–66.
  12. Cawley G.C., Talbot N.L.C. Preventing over-fitting during model selection via Bayesian regularisation of the hyper-parameters // Journal of Machine Learning Research. – 2007. – Vol. 8. – P. 841–861.
  13. Leave-one-out cross-validation-based model selection for multi-input multi-output support vector machine / W. Mao, X. Mu, Y. Zheng, G. Yan // Neural Computing and Application. – 2014. – Vol. 24, iss. 2. – P. 441–451.
  14. Rivas-Perea P., Cota-Ruiz J., Rosiles J.-G. A nonlinear least squares quasi-Newton strategy for LP-SVR hyper-parameters selection // International Journal of Machine Learning and Cybernetics. – 2014. – Vol. 5, iss. 4. – P. 579–597.
  15. Optimisation of turning parameters by integrating genetic algorithm with support vector regression and artificial neural networks / A. Gupta, S. Guntuku, R. Desu, A. Balu // The International Journal of Advanced Manufacturing Technology. – 2015. – Vol. 77, iss. 1–4. – P. 331–339.
  16. Гультяева Т.А., Попов А.А., Саутин А.С. Методы статистического обучения в задачах регрессии и классификации: монография. – Новосибирск: Изд-во НГТУ, 2016. – 322 с.
  17. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. – Новосибирск: Изд-во НГТУ, 2013. – 296 с.
  18. Перельман И.И. Методология выбора структуры модели при идентификации объектов управления // Автоматика и телемеханика. – 1983. – № 11. – С. 5–29.
  19. Романов В.Л. Выбор наилучшей линейной регрессии: сравнение формальных критериев // Заводская лаборатория. – 1990. – № 1. – С. 90–95.
  20. Себер Дж. Линейный регрессионный анализ. – М.: Мир, 1980. – 456 с.
  21. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. – 1985. –№ 5. – С. 29–37.
  22. Кочерга Ю.Л. J-оптимальная редукция структуры модели в схеме Гаусса–Маркова // Автоматика. – 1988. – № 4. – С. 34–38.
  23. Сарычев А.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. – 1990. – № 5. – С. 28–33.
  24. Степашко В.С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. – 1988. – № 6. – С. 75–82.
  25. Степашко В.С. Потенциальная помехоустойчивость моделирования по комбинаторному алгоритму МГУА без использования информации о помехах // Автоматика. – 1983. – № 3. – С. 18–28.
  26. Степашко В.С. Селективные свойства критерия непротиворечивости моделей // Автоматика. – 1986. – № 2. – С. 40–49.
  27. Попов А.А. Планирование эксперимента в задачах разбиения выборки в МГУА // Сборник научных трудов НГТУ. – 1995. – Вып. 2. – С. 35–40.
  28. Попов А.А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. Диагностика материалов. – 1997. – № 1. – C. 49–53.
  29. Юрачковский Ю.П., Грошков А.Н. Применение канонической формы внешних критериев для исследования их свойств // Автоматика. – 1979. – № 3. – С. 85–89.
  30. Федоров В.В. Активные регрессионные эксперименты // Математические методы планирования эксперимента. – Новосибирск: Наука, 1981. – С. 19–73.
  31. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. – 1995. – Вып. 1. – С. 39–44
  32. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады АН ВШ РФ. – 2008. – № 1 (10). – С. 45–55.
Просмотров аннотации: 2338
Скачиваний полного текста: 1106
Просмотров интерактивной версии: 0
Для цитирования:

Суходолов А.П., Попов А.А., Бобоев Ш.А. Настройка параметров ядерных функций в методе LS-SVM с использованием внешних критериев качества моделей // Доклады АН ВШ РФ. – 2017. – № 3 (36). – C. 88–104. doi: 10.17212/1727-2769-2017-3-88-104

For citation:

Sukhodolov A.P., Popov A.A, Boboev Sh.A. Nastroika parametrov yadernykh funktsii v metode LS-SVM s ispol'zovaniem vneshnikh kriteriev kachestva modelei [Kernel function parameter setting in the LS-SVM method using external criteria of model quality]. Doklady Akademii nauk vysshei shkoly Rossiiskoi Federatsii – Proceedings of the Russian higher school Academy of sciences, 2017, no. 3 (36), pp. 88–104. doi: 10.17212/1727-2769-2017-3-88-104

 

Обработка персональных данных

Мы используем сервис веб-аналитики Яндекс Метрика, который использует cookie.

Собранная при помощи cookie информация не может идентифицировать вас, однако может помочь нам улучшить работу нашего сайта. Вы можете отказаться от использования cookies, выбрав соответствующие настройки в браузере. Также Вы можете запретить сбор данных с помощью расширения для браузера «Блокировщик Яндекс Метрики». Используя этот сайт, вы соглашаетесь на обработку персональных данных.