СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

Утверждается, что в основе некорректного применения непараметрических критериев согласия в различных приложениях в большинстве случаев лежат две причины. Первая причина заключается в том, что при проверке сложных гипотез и оценивании параметров закона по анализируемой выборке используют классические результаты, связанные с проверкой простых гипотез. При проверке сложных гипотез на распределения статистик критериев согласия влияют вид наблюдаемого закона F(x, q), соответствующий проверяемой гипотезе, тип и число оцениваемых параметров, метод оценивания, в некоторых случаях – значение параметра формы. В работе показано влияние всех названных факторов на распределения статистик критериев. Подчеркивается, что пренебрежение при проверке сложных гипотез факта потери критерием свойства «свободы от распределения» приводит к увеличению вероятности ошибок 2-го рода. Показывается, что распределение статистики критерия, необходимое для формирования вывода о результатах проверки сложной гипотезы, может находиться с использованием имитационного моделирования в интерактивном режиме непосредственно в процессе проверки. Вторая причина связана с наличием ошибок округления, которые могут существенно изменять распределения статистик критериев. В работе показано, что асимптотическими результатами при проверке простых и сложных гипотез можно пользоваться при ошибках округления D много меньше среднеквадратического отклонения  закона распределения ошибок измерения и объемах выборок n, не превышающих некоторых максимальных значений. При объемах выборок больших, чем эти максимальные значения, реальные распределения статистик критериев отклоняются от асимптотических в сторону больших значений статистик. В таких ситуациях использование асимптотических распределений для формирования вывода о результатах проверки приводит к увеличению вероятностей ошибок 1-го рода (к отклонению справедливой проверяемой гипотезы). Показано, что при соизмеримости ошибок округления и распределения статистик критериев отклоняются от асимптотических распределений и при малых n. А с ростом n ситуация только усугубляется. В работе изменения распределений статистик под влиянием округлений демонстрируются при проверке как простых, так и сложных гипотез. Показано, что единственным выходом, обеспечивающим корректность выводов по применяемым критериям в таких нестандартных условиях, является использование реальных распределений статистик. Эта задача может решаться в интерактивном режиме (в процессе проверки) и опираться на компьютерные технологии исследования и аппарат математической статистики.

1. Kolmogoroff A.N. Sulla determinazione empirica di una legge di distribuzione // Giornale del Istituto Italiano degli Attuari. – 1933. – Vol. 4, N 1. – P. 83–91.

2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. – 416 с.

3. Anderson T.W., Darling D.A. Asymptotic theory of certain “Goodness of fit” criteria based on stochastic processes // The Annals of Mathematical Statistics. – 1952. – Vol. 23. – P. 193–212.

4. Anderson T.W., Darling D.A. A test of goodness of fit // Journal of the American Statistical Association. – 1954. – Vol. 29. – P. 765–769.

5. Kuiper N.H. Tests concerning random points on a circle // Indagationes Mathematicae (Proceedings). – 1960. – Vol. 63. – P. 38–47.

6. Лемешко Б.Ю. Непараметрические критерии согласия: руководство по применению. – М.: Инфра-М, 2014. – 163 с. – DOI: 10.12737/11873.

7. Stephens M.A. The goodness-of-fit statistic V_N: distribution and significance points // Biometrika. – 1965. – Vol. 52, N 3–4. – P. 309–321.

8. Watson G.S. Goodness-of-fit tests on a circle. 1 // Biometrika. – 1961. – Vol. 48, N 1–2. – P. 109–114.

9. Watson G.S. Goodness-of-fit tests on a circle. 2 // Biometrika. – 1962. – Vol. 49, N 1–2. – P. 57–63.

10. Zhang J. Powerful goodness-of-fit and multi-sample tests: PhD Thesis / York University. – Toronto, 2001. – 113 p. – URL: http://www.collectionscanada.gc.ca/obj/s4/f2/dsk3/ftp05/NQ66371.pdf (дата обращения 02.05.2021).

11. Zhang J. Powerful goodness-of-fit tests based on the likelihood ratio // Journal of the Royal Statistical Society: Series B. – 2002. – Vol. 64, N 2. – P. 281–294.

12. Noughabi H.A, Arghami N.R. General treatment of goodness of fit tests based on Kullback–Leibler information // Journal of Statistical Computation and Simulation. – 2013. – Vol. 83. – P. 1556–1569.

13. Noughabi H.A. A new estimator of Kullback–Leibler information and its application in goodness of fit tests // Journal of Statistical Computation and Simulation. – 2019. – Vol. 89, N 10. – P. 1914–1934.

14. Kac M., Kiefer J., Wolfowitz J. On tests of normality and other tests of goodness of fit based on distance methods // The Annals of Mathematical Statistics. – 1955. – Vol. 26. – P. 189–211.

15. Lilliefors H.W. On the Kolmogorov-Smirnov test for normality with mean and variance unknown // Journal of the American Statistical Association. – 1967. – Vol. 62. – P. 399–402.

16. Lilliefors H.W. On the Kolmogorov-Smirnov test for the exponential distribution with mean unknown // Journal of the American Statistical Association. – 1969. – Vol. 64. – P. 387–389.

17. Мартынов Г.В. Критерии омега-квадрат. – М.: Наука, 1978. – 80 с.

18. Тюрин Ю.Н. О предельном распределении статистик Колмогорова–Смирнова для сложной гипотезы // Известия АН СССР. Серия математическая. – 1984. – Т. 48, № 6. – C. 1314–1343.

19. Тюрин Ю.Н., Саввушкина Н.Е. Критерии согласия для распределения Вейбулла–Гнеденко // Известия АН СССР. Серия: Техническая кибернетика. – 1984. – № 3. – C. 109–112.

20. Лемешко Б.Ю., Постовалов С.Н. О зависимости распределений статистик непараметрических критериев и их мощности от метода оценивания параметров // Заводская лаборатория. Диагностика материалов. – 2001. – Т. 67, № 7. – С. 62–71.

21. Р 50.1.037–2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Ч. 2. Непараметрические критерии. – М.: Изд-во стандартов, 2002. – 64 с.

22. Lemeshko B.Yu., Lemeshko S.B. Distribution models for nonparametric tests for fit in verifying complicated hypotheses and maximum-likelihood estimators. Pt. 1 // Measurement Techniques. – 2009. – Vol. 52, N 6. – P. 555–565.

23. Lemeshko B.Yu., Lemeshko S.B. Models for statistical distributions in nonparametric fitting tests on composite hypotheses based on maximum-likelihood estimators. Pt. 2 // Measurement Techniques. – 2009. – Vol. 52, N 8. – P. 799–812.

24. Lemeshko B.Yu., Lemeshko S.B., Postovalov S.N. Statistic distribution models for some nonparametric goodness-of-fit tests in testing composite hypotheses // Communications in Statistics. Theory and Methods. – 2010. – Vol. 39, N 3. – P. 460–471.

25. Lemeshko B.Yu., Lemeshko S.B. Models of statistic distributions of nonparametric goodness-of-fit tests in composite hypotheses testing for double exponential law cases // Communications in Statistics. Theory and Methods. – 2011. – Vol. 40, N 16. – P. 2879–2892.

26. Lemeshko B.Yu., Gorbunova A.A. Application of nonparametric Kuiper and Watson tests of goodness-of-fit for composite hypotheses // Measurement Techniques. – 2013. – Vol. 56, N 9. – P. 965–973.

27. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход: монография / Б.Ю. Лемешко, С.Б. Лемешко, С.Н. Постовалов, Е.В. Чимитова. - Новосибирск: Изд-во НГТУ, 2011. - 888 с.

28. Lemeshko B.Yu., Lemeshko S.B., Rogozhnikov A.P. Interactive investigation of statistical regularities in testing composite hypotheses of goodness of fit // Statistical models and methods for reliability and survival analysis / ed. by V. Couallier, L. Gerville-Reache, C. Huber-Carol. – Hoboken, NJ: Wiley-ISTE, 2013. – Ch. 5. – P. 61–76.

29. Статистический анализ интервальных наблюдений одномерных непрерывных случайных величин «Интервальная статистика 5.4»: свидетельство о гос. регистрации программы для ЭВМ № 2018666213 / Лемешко Б.Ю., Лемешко С.Б., Блинов П.Ю., Веретельникова И.В., Новикова А.Ю. – Заявка № 2018663206; заявл. 22.11.2018; зарег. 13.12.2018. – URL: https://ami.nstu.ru/~headrd/ISW.htm (дата обращения: 03.05.2021).

30. Лемешко Б.Ю. Лемешко С.Б., Семёнова М.А. К вопросу статистического анализа больших данных // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. – 2018. – № 44. – С. 40–49. – DOI: 10.17223/19988605/44/5.

31. Лемешко Б.Ю., Блинов П.Ю. Критерии проверки отклонения распределения от равномерного закона: руководство по применению. – М.: Инфра-М, 2015. – 183 с. – (Научная мысль. Математическая статистика). – DOI: 10.12737/11304.

32. Лемешко Б.Ю. Критерии проверки отклонения распределения от нормального закона: руководство по применению. – M.: Инфра-М, 2015. – 160 с. – (Научная мысль. Математическая статистика). – DOI: 10.12737/6086.

33. Лемешко Б.Ю., Блинов П.Ю. Критерии проверки отклонения от экспоненциального закона: руководство по применению. – М.: Инфра-М, 2021. – 352 с. – (Научная мысль. Математическая статистика). – DOI 10.12737/1097477.

34. Лемешко Б.Ю. Критерии проверки гипотез об однородности: руководство по применению. – 2-е изд., перераб. и доп. – М.: Инфра-М, 2021. – 248 с. – (Научная мысль. Математическая статистика). – DOI 10.12737/986695.

35. Pearson E.S., D’Agostino R.B., Bowman K.O. Tests for departure from normality: comparison of powers // Biometrika. – 1977. – Vol. 64. – P. 231–246. – DOI: 10.1093/biomet/64.2.427-a.

36. Tricker A.R. The effect of rounding on the significance level of certain normal test statistics // Journal of Applied Statistics. – 1990. – Vol. 17, N 1. – P. 31–38. – DOI: 10.1080/757582644.

37. Tricker A.R. The effect of rounding on the power level of certain normal test statistics // Journal of Applied Statistics. – 1990. – Vol. 17, N 2. – P. 219–228. – DOI: 10.1080/757582833.

38. Deidda R., Puliga M. Sensitivity of goodness-of-fit statistics to rainfall data rounding off // Physics and Chemistry of the Earth. – 2006. – Vol. 31. – P. 1240–1251. – DOI: 10.1016/j.pce.2006.04.041.

39. Лемешко Б.Ю., Лемешко С.Б. Влияние округления на свойства критериев проверки статистических гипотез // Автометрия. – 2020. – Т. 56, № 3. – С. 35–45. – DOI: 10.15372/AUT20200305.

40. Лемешко Б.Ю., Лемешко С.Б. О влиянии ошибок округления на распределения статистик критериев согласия // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. – 2020. – № 53. – С. 47–60. – DOI: 10.17223/19988605/53/5.

41. Lemeshko B.Y., Lemeshko S.B. About the effect of rounding on the properties of tests for testing statistical hypotheses // Journal of Physics: Conference Series. – 2021. – Vol. 1715. – P. 012063. – DOI: 10.1088/1742-6596/1715/1/012063.