Аннотация
В работе рассматривается задача восстановления регрессионной зависимости по методу опорных векторов с квадратичной функцией потерь. Данный метод относится к классу ядерных методов. Для настройки ряда внутренних параметров алгоритма LS–SVM обсуждается проблема получения тестовой выборки. Приведены различные критерии селекции моделей, которые основываются на разбиении выборки на обучающую и тестовую части. Проблема разбиения выборки на тестовую и обучающую части с использованием метода D-оптималь-ного планирования эксперимента подробно рассмотрена для случая линейных параметрических регрессионных моделей. Данный метод получения тестовой выборки предложено использовать для метода LS–SVM. Приводится последовательный алгоритм получения обучающей и тестовой частей выборки наблюдений применительно к методу LS–SVM. Для проверки работоспособности предлагаемого метода разбиения выборки проведен вычислительный эксперимент. В нем повышение точности решений по LS–SVM проводилось посредством подбора масштаба гауссовой ядерной функции. Данный параметр ядерной функции подбирался по минимуму ошибки прогноза на тестовой части выборки. Окончательно точность получаемых решений проверялась по среднеквадратичной ошибке. Вычислительный эксперимент проводился на модельных данных. В качестве модели, порождающей данные, была выбрана нелинейная зависимость от входного фактора. Дисперсия помехи (уровень шума) определялась в процентах от мощности сигнала. Сравнивались два способа разбиения выборки на обучающую и тестовую: случайное разбиение и разбиение по методу D-оптимального планирования эксперимента. Для выбора параметров алгоритма LS–SVM использовался также критерий перекрестной проверки. Результаты проведенных вычислительных экспериментов приведены в отдельных таблицах и рисунках. По результатам проведенных вычислительных экспериментов делаются выводы о том, что эффективность использования случайной тестовой выборки нестабильна и во много определяется конкретным вариантом разбиения. При этом стабильность результатов использования тестовой выборки, полученной при D-оптимальном разбиении выборки, значительно выше.
Ключевые слова: регрессия, метод LS–SVM, квадратичная функция потерь, тестовая выборка, обучающая выборка, оптимальное планирование эксперимента, D-оптимальный план, критерий регулярности, критерий скользящего контроля, коэффициент регуляризации, ядерная функция, среднеквадратичная ошибка
Список литературы
1. Перельман И.И. Методология выбора структуры модели при идентификации объектов управления // Автоматика и телемеханика. – 1983. – № 11. – С. 5–29.
2. Романов В.Л. Выбор наилучшей линейной регрессии: сравнение формальных критериев // Заводская лаборатория. – 1990. – № 1. – С. 90–95.
3. Себер Дж. Линейный регрессионный анализ. – М.: Мир, 1980. – 456 с.
4. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. – 1985. – № 5. – С. 29–37.
5. Кочерга Ю.Л. J-оптимальная редукция структуры модели в схеме Гаусса–Маркова // Автоматика. – 1988. – № 4. – С. 34–38.
6. Сарычев А.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. – 1990. – № 5. – С. 28–33.
7. Степашко В.С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. – 1988. – № 6. – С. 75–82.
8. Степашко В.С. Потенциальная помехоустойчивость моделирования по комбинаторному алгоритму МГУА без использования информации о помехах // Автоматика. – 1983. – № 3. – С. 18–28.
9. Степашко В.С. Селективные свойства критерия непротиворечивости моделей // Автоматика. – 1986. – № 2. – С. 40–49.
10. Попов А.А. Методы планирования эксперимента в задачах синтеза моделей оптимальной сложности // Машинные методы планирования эксперимента и оптимизации многофакторных систем / Новосибирский электротехнический институт. – Новосибирск, 1987. – С. 54–58.
11. Попов А.А. Использование повторных выборок в критериях селекции моделей // Планирование эксперимента, идентификация, анализ и оптимизация многофакторных систем / Новосибирский электротехнический институт. – Новосибирск, 1990. – С. 82–88.
12. Лисицин Д.В., Попов А.А. Выбор структуры для многомерной динамической системы // Сборник научных трудов НГТУ. – 1997. – Вып. 1 (6). – С. 33–40.
13. Лисицин Д.В., Попов А.А. Исследование критериев селекции многомерных моделей при наличии разнотипных факторов // Труды третьей международной научно-технической конференции «Актуальные проблемы электронного приборостроения» АПЭП-96. – Новосибирск, 1996. – Т. 6, ч. 1. – С. 54–58.
14. Лисицин Д.В., Попов А.А. Исследование критериев селекции многооткликовых регрессионных моделей // Сборник научных трудов НГТУ. – 1996. – Вып. 2. – С. 19–28.
15. Лисицин Д.В., Попов А.А. Конструирование критериев селекции многомерных регрессионных моделей // Сборник научных трудов НГТУ. – 1996. – Вып. 1. – С. 13–20.
16. Лисицин Д.В., Попов А.А. Структурная оптимизация многомерных регрессионных моделей // Второй Сибирский Конгресс по прикладной и индустриальной математике: тезисы докладов. – Новосибирск, 1996. – С. 179.
17. Попов А.А. Планирование эксперимента в задачах разбиения выборки в МГУА // Сборник научных трудов НГТУ. – 1995. – Вып. 2. – С. 35–40.
18. Попов А.А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. Диагностика материалов. – 1997. – № 1. – С. 49–53.
19. Юрачковский Ю.П., Грошков А.Н. Применение канонической формы внешних критериев для исследования их свойств // Автоматика. – 1979. – № 3. – С. 85–89.
20. Федоров В.В. Активные регрессионные эксперименты // Математические методы планирования эксперимента. – Новосибирск: Наука, 1981. – С. 19–73.
21. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. – Новосибирск: Изд-во НГТУ, 2013. – 296 с.
22. Least square support vector machines / J.A.K. Suykens, T. Van Gestel, J. De Brabanter, B. De Moor, J. Vandewalle. – New Jersey: World Scientific, 2002. – 290 p.
23. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных векторов // Сборник научных трудов НГТУ. – 2015. – № 3 (81). – С. 69–78.
24. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. – 1995. – Вып. 1. – С. 39–44.
25. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады АН ВШ РФ. – 2008. – № 1 (10). – С. 45–55.
