Системы анализа и обработки данных

СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

ISSN (печатн.): 2782-2001          ISSN (онлайн): 2782-215X
English | Русский

Последний выпуск
№1(93) Январь - Март 2024

Непараметрические критерии согласия при проверке нормальности в условиях округления измерений

Выпуск № 2 (86) Апрель - Июнь 2022
Авторы:

Лемешко Борис Юрьевич,
Лемешко Станислав Борисович
DOI: http://dx.doi.org/10.17212/2782-2001-2022-2-21-38
Аннотация

При анализе рядов измерений в различных приложениях в качестве обязательной процедуры рассматривается проверка принадлежности ошибок измерений нормальному закону. В этих целях могут использоваться различные специальные критерии проверки гипотез о нормальности, могут применяться непараметрические критерии согласия или критерии типа хи-квадрат. При использовании для проверки нормальности непараметрических критериев согласия необходимо учитывать, что проверяется сложная гипотеза. При проверке сложной гипотезы распределения статистик критериев согласия существенно отличаются от классических, имеющих место при проверке простых гипотез. Известно, что наличие ошибок округления может существенно изменять распределения статистик критериев. В таких ситуациях игнорирование факта влияния может приводить к некорректным выводам о результатах проверки нормальности. Метрологи при проведении высокоточных измерений, как правило, не допускают и мысли о возможном влиянии ошибок округления D на результаты статистического анализа. Этим самым допускается возможность некорректности выводов, так как влияние округления отсутствует не просто при малых D, а при значениях D, много меньших среднеквадратического отклонения s закона распределения ошибок измерения, и объемах выборок n, не превышающих некоторых максимальных значений. При объемах выборок больших, чем эти максимальные значения, реальные распределения статистик критериев отклоняются от асимптотических в сторону больших значений статистик. В работе на реальных и хорошо знакомых данных с использованием методов статистического моделирования демонстрируется зависимость распределений статистик непараметрических критериев согласия при проверке нормальности от соотношения D и s при конкретных значениях n. Показывается и реализуется возможность корректного применения критериев в условиях влияния на выводы ошибок округления.


Ключевые слова: проверка нормальности, непараметрические критерии согласия, сложная гипотеза, распределение статистики, ошибки округления, достигнутый уровень значимости, ошибка 1-го рода, ошибка 2-го рода, имитационное моделирование

Список литературы

1. Лемешко Б.Ю. Критерии проверки отклонения распределения от нормального закона: руководство по применению. – M.: Инфра-М, 2015. – 160 с. – (Научная мысль. Математическая статистика). – DOI: 10.12737/6086.



2. Лемешко Б.Ю., Лемешко С.Б. Проблемы применения непараметрических критериев согласия в задачах обработки результатов измерений // Системы анализа и обработки данных. – 2021. – № 2 (82). – С. 47–66. – DOI: 10.17212/2782-2001-2021-2-47-66.



3. Лемешко Б.Ю., Лемешко С.Б. Влияние округления на свойства критериев проверки статистических гипотез // Автометрия. – 2020. – Т. 56, № 3. – С. 35–45. – DOI: 10.15372/AUT20200305.



4. Лемешко Б.Ю., Лемешко С.Б. О влиянии ошибок округления на распределения статистик критериев согласия // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. – 2020. – № 53. – С. 47–60. – DOI: 10.17223/19988605/53/5.



5. Lemeshko B.Y., Lemeshko S.B. About the effect of rounding on the properties of tests for testing statistical hypotheses // Journal of Physics: Conference Series. – 2021. – Vol. 1715. 012063. DOI: 10.1088/1742-6596/1715/1/012063.



6. Лемешко Б.Ю. Лемешко С.Б., Семёнова М.А. К вопросу статистического анализа больших данных // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. – 2018. – № 44. – С. 40–49. – DOI: 10.17223/19988605/44/5.



7. Fisher R.A. The use of multiple measurements in taxonomic problems // Annals of Eugenics. – 1936. – Vol. 7. – P. 179–188.



8. Kolmogoroff A.N. Sulla determinazione empirica di una legge di distribuzione // Giornale del Istituto Italiano degli Attuari. – 1933. – Vol. 4, N 1. – P. 83–91.



9. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. – 416 с.



10. Anderson T.W., Darling D.A. Asymptotic theory of certain “Goodness of fit” criteria based on stochastic processes // The Annals of Mathematical Statistics. – 1952. – Vol. 23. – P. 193–212.



11. Anderson T.W., Darling D.A. A test of goodness of fit // Journal of the American Statistical Association. – 1954. – Vol. 29. – P. 765–769.



12. Kuiper N.H. Tests concerning random points on a circle // Indagationes Mathematicae (Proceedings). – 1960. – Vol. 63. – P. 38–47.



13. Лемешко Б.Ю. Непараметрические критерии согласия: руководство по применению. – М.: Инфра-М, 2014. – 163 с. – DOI: 10.12737/11873.



14. Watson G.S. Goodness-of-fit tests on a circle. 1 // Biometrika. – 1961. – Vol. 48, N 1–2. – P. 109–114.



15. Watson G.S. Goodness-of-fit tests on a circle. 2 // Biometrika. – 1962. – Vol. 49, N 1–2. – P. 57–63.



16. Zhang J. Powerful goodness-of-fit and multi-sample tests: PhD Thesis / York University. – Toronto, 2001. – 113 p. – URL: http://www.collectionscanada.gc.ca/obj/s4/f2/dsk3/ftp05/NQ66371.pdf (дата обращения: 27.05.2022).



17. Zhang J. Powerful goodness-of-fit tests based on the likelihood ratio // Journal of the Royal Statistical Society: Series B. – 2002. – Vol. 64, N 2. – P. 281–294.



18. Lemeshko B.Yu., Lemeshko S.B. Distribution models for nonparametric tests for fit in verifying complicated hypotheses and maximum-likelihood estimators. Pt. 1 // Measurement Techniques. – 2009. – Vol. 52, N 6. – P. 555–565.



19. Lemeshko B.Yu., Lemeshko S.B., Postovalov S.N. Statistic distribution models for some nonparametric goodness-of-fit tests in testing composite hypotheses // Communications in Statistics. Theory and Methods. – 2010. – Vol. 39, N 3. – P. 460–471.



20. Lemeshko B.Yu., Gorbunova A.A. Application of nonparametric Kuiper and Watson tests of goodness-of-fit for composite hypotheses // Measurement Techniques. – 2013. – Vol. 56, N 9. – P. 965–973.



21. Статистический анализ интервальных наблюдений одномерных непрерывных случайных величин «Интервальная статистика 5.4»: свидетельство о гос. регистрации программы для ЭВМ № 2018666213 / Лемешко Б.Ю., Лемешко С.Б., Блинов П.Ю., Веретельникова И.В., Новикова А.Ю. – Заявка № 2018663206; заявл. 22.11.2018; зарег. 13.12.2018. – URL: https://ami.nstu.ru/~headrd/ISW.htm (дата обращения: 27.05.2022).



22. Pearson E.S., D’Agostino R.B., Bowman K.O. Tests for departure from normality: comparison of powers // Biometrika. – 1977. – Vol. 64. – P. 231–246. – DOI: 10.1093/biomet/64.2.427-a.



23. Tricker A.R. The effect of rounding on the significance level of certain normal test statistics // Journal of Applied Statistics. – 1990. – Vol. 17, N 1. – P. 31–38. – DOI: 10.1080/757582644.



24. Tricker A.R. The effect of rounding on the power level of certain normal test statistics // Journal of Applied Statistics. – 1990. – Vol. 17, N 2. – P. 219–228. – DOI: 10.1080/757582833.



25. Deidda R., Puliga M. Sensitivity of goodness-of-fit statistics to rainfall data rounding off // Physics and Chemistry of the Earth. – 2006. – Vol. 31. – P. 1240–1251. – DOI: 10.1016/j.pce.2006.04.041.



26. Uyanto S.S. An extensive comparisons of 50 univariate goodness-of-fit tests for normality // Austrian Journal of Statistics. – 2022. – Vol. 51. – P. 45–97.



27. Frosini B.V. A survey of a class of goodness-of-fit statistics // Metron. – 1978. – Vol. 36, N 1–2. – P. 3–49.



28. Epps T.W., Pulley L.B. A test for normality based on the empirical characteristic function // Biometrika. – 1983. – Vol. 70. – P. 723–726.



29. Hegazy Y.A.S., Green J.R. Some new goodness-of-fit tests using order statistics // Journal of the Royal Statistical Society: Series C (Applied Statistics). – 1975. – Vol. 24, N 3. – P. 299–308.



30. David H.A., Hartley H.O., Pearson E.S. The distribution of the ratio? In a single normal sample, of range to standard deviation // Biometrika. – 1964. – Vol. 512, N 3–4. – P. 484–487.



31. Geary R.C. Testing for Normality // Biometrika. – 1937. – Vol. 34. – P. 209–242.



32. D’Agostino R.B. Transformation to normality of the null distribution of g1 // Biometrika. – 1970. – Vol. 57 (3). – P. 679–681.



33. Chen L., Shapiro S.S. An alternative test for normality based on normalized spacings // Journal of Statistical and Simulation. – 2012. – Vol. 53. – P. 269–288.



34. Desgagne A., Micheaux P.L. de. A powerful and interpretable alternative to the Jarque–Bera test of normality based on 2nd-power skewness and kurtosis, using the rao's score test on the APD family // Journal of Applied Statistics. – 2018. – Vol. 45, N 13. – P. 2307–2327.



35. Gel Y.R., Gastwirth J.L. A robust modification of the Jarque–Bera test of normality // Economics Letters. – 2008. – Vol. 99, N 1. – P. 30–32.



36. Zamanzade E., Arghami N.R. Testing normality based on new entropy estimators // Journal of Statistical Computation and Simulation. – 2012. – Vol. 82, N 11. – P. 1701–1713.

Для цитирования:

Лемешко Б.Ю., Лемешко С.Б. Непараметрические критерии согласия при проверке нормальности в условиях округления измерений // Системы анализа и обработки данных. – 2022. – № 2 (86). – С. 21–38. – DOI: 10.17212/2782-2001-2022-2-21-38.

For citation:

Lemeshko B.Yu., Lemeshko S.B. Neparametricheskie kriterii soglasiya pri proverke normal'nosti v usloviyakh okrugleniya izmerenii [Nonparametric goodness-of-fit tests for normality testing under rounding-off measurements]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2022, no. 2 (86), pp. 21–38. DOI: 10.17212/2782-2001-2022-2-21-38.

 

Просмотров: 472