Методы обработки информации и прогнозирование для студентов специальности: «Менеджмент организаций». Табличные значения критерия Ирвина для крайних элементов вариационного ряда В.В

Если критические точки симметричны относительно нуля, двусторонняя критическая область определяется неравенствами: K набл <-k кр, K набл >k кр, или равносильным неравенством \K набл \>k кр (рисунок 1, в).

Рисунок 1 - Графическая интерпретация к распределению области принятия гипотезы

Основной принцип проверки статистических гипотез формулируется следующим образом: если наблюдаемое (опытное) значение критерия принадлежит критической области - гипотезу отвергают, если наблюдаемое значение критерия принадлежит области принятия гипотезы - гипотезу принимают.

Проверку статистической гипотезы проводят для принятого уровня значимости q (принимается равным 0,1; 0,05; 0,01 и т. д.). Так принятыйуровень значимости q = 0,05 означает, что выдвинутая нулеваястатистическая гипотеза может быть принята с доверительной вероятностью P = 0,95. Или есть вероятность отвергнуть эту гипотезу (совершить ошибку первого рода), равная P = 0,95.

Нулевая статистическая гипотеза подтверждает принадлежность проверяемого “подозрительного” результата измерения (наблюдения) данной группе измерений.

Формальным критерием аномальности результата наблюдений (а, следовательно, и основанием для принятия конкурирующей гипотезы: “подозрительный” результат не принадлежит данной группе измерений) при этом служит граница, отнесенная от центра распределения на величину tS , т. е.:

(1)

где x iпод – результат наблюдения, проверяемый на наличие грубой погрешности; t – коэффициент, зависящий от вида и закона распределения, объема выборки, уровня значимости; S - СКО.

Таким образом, границы погрешности зависят от вида распределения, объема выборки и выбранной доверительной вероятности.

При обработке уже имеющихся результатов наблюдений произвольно отбрасывать отдельные результаты не следует, так как это может привести к фиктивному повышению точности результата измерений. Группа измерений (выборка) может содержать несколько грубых погрешностей и их исключение производят последовательно, по одному.

Все методы исключения грубых погрешностей (промахов) могут быть разделены на два основных типа :

· методы исключения при известном генеральном СКО;

· методы исключения при неизвестном генеральном СКО.

В первом случае X ц . р . и СКО вычисляется по результатам всей выборки, во втором случае из выборки перед вычислением удаляются подозрительные результаты.

В случае ограниченного числа наблюдений и (или) сложности оценки параметров закона распределения рекомендуется исключать грубые погрешности, используя приближенные коэффициенты вида распределения. При этом исключаются значения x i < x r - и x i > x r + , где x r - , x r + – границы промахов, определяемые выражениями:

(2),(3)

где A – коэффициент, значение которого выбирается в зависимости от заданной доверительной вероятности в диапазоне от 0,85 до 1,30 (рекомендуется выбирать максимальное значение А равное 1,3); γ – контрэксцесс, значение которого зависит от формы закона распределения величины (ЗРВ).

После исключения промахов операции по определению оценок центра распределения и СКО результатов наблюдений и измерений необходимо повторить.

Поскольку на практике чаще встречаются измерения при неизвестном СКО (ограниченное число наблюдений), в пособии рассмотрены следующие критерии проверки подозрительных (с точки зрения погрешностей) результатов наблюдений: Ирвина, Романовского, вариационного размаха, Диксона, Смирнова, Шовене.

Поскольку критериальные требования (коэффициенты), определяющие границу, за которой находятся “грубые” (в смысле погрешностей) результаты наблюдений у разных авторов различны, то проверку следует выполнять сразу по нескольким критериям (рекомендуется использовать не меньше трех, из рассматриваемых ниже). Окончательное заключение о принадлежности “подозрительных” результатов рассматриваемой совокупности наблюдений следует делать по большинству критериев. Кроме этого выбор критерия для определения грубых погрешностей должен выполняться после построения гистограммы результатов наблюдений. По виду гистограммы выполняется предварительная идентификация вида закона распределения (нормальный, близкий к нормальному или отличный от него).

Критерий Ирвина. Для полученных экспериментальных данных определяют коэффициент по формуле:

(4)

где х n + 1, x n – наибольшие значения случайной величины; S – среднее квадратическое отклонение, вычисленное по всем значениям выборки.

Затем этот коэффициент сравнивается с табличным значением λ q , возможные значения которого приведены в таблице 1.

Таблица 1 - Критерий Ирвина λ q .

Если λ >λ q , то нулевая гипотеза не подтверждается, т. е. результат ошибочный, и он должен быть исключен при дальнейшей обработке результатов наблюдений.

Критерий Романовского. Конкурирующая гипотеза о наличии грубых погрешностей в подозрительных результатах подтверждается, если выполняется неравенство:

(5)

где t p - квантиль распределения Стьюдента при заданной доверительной вероятности с числом степеней свободы k = п -k п (k n - число подозрительных результатов наблюдений). Фрагмент квантилей для распределения Стьюдента представлен в таблице 2.

Точечные оценки распределения и СКО S результатов

наблюдений вычисляется без учета k n подозрительных результатов наблюдений.

Таблица 2 - Критерий Стьюдента t p (квантили Стьюдента)

Критерий вариационного размаха. Является одним из простых методов исключения грубой погрешности измерений (промаха). Для его использования определяют размах вариационного ряда упорядоченной совокупности наблюдений (x 1 ≤x 2 ≤...≤x k ≤...≤x n):

Если какой-либо член вариационного ряда, например x k , резко отличается от всех других, то производят проверку, используя следующее неравенство:

(7)

где X - выборочное среднее арифметическое значение, вычисленное после исключения предполагаемого промаха; z - критериальное значение.

Нулевую гипотезу (об отсутствии грубой погрешности) принимают, если указанное неравенство выполняется. Если x k не удовлетворяет условию (7), то этот результат исключают из вариационного ряда.

Коэффициент z зависит от числа членов вариационного ряда n ,что представлено в таблице 3.

Таблица 3 - Критерий вариационного размаха

Критерий Диксона. Критерий основан на предположении, что погрешности измерений подчиняются нормальному закону (предварительно необходимо построение гистограммы результатов наблюдений) и проверка гипотезы о принадлежности нормальному закону распределения. При использовании критерия вычисляют коэффициент Диксона (наблюдаемое значение критерия) для проверки наибольшего или наименьшего экстремального значения в зависимости от числа измерений. В таблице 4 приведены формулы для вычисления коэффициентов. Коэффициенты r 10 , r 11 применяют, когда имеется один выброс, а r 21 и r 22 - когда два выброса. Требуется первоначальное упорядочение результатов измерений (объема выборки). Критерий применяется, когда выборка может содержать более одной грубой погрешности.

Таблица 4 – Формулы коэффициентов Диксона

Вычисленные для выборки по формулам значения коэффициентов Диксона r сравнивают с принятым (табличным) значением критерия Диксона r q (таблица 5).

Нулевая гипотеза об отсутствии грубой погрешности выполняется, если выполняется неравенство r < r q .

Если r > r q , то результат признается грубой погрешностью и

исключается из дальнейшей обработки.

Таблица 5 – Критериальные значения коэффициентов Диксона (при принятом уровне

значимости q )

Критерии Райта. Критерий “правило трех сигм” является одним из простейших для проверки результатов, подчиняющихся нормальному закону распределения. Сущность правила трех сигм: если случайная величина распределена нормально, то абсолютная величина ее отклонения от математического ожидания не превосходит утроенного среднего квадратического отклонения.

На практике правило трех сигм применяют так: если распределение изучаемой случайной величины неизвестно, но условие, указанное в приведенном правиле, выполняется, то есть основания предполагать, что изучаемая величина распределена нормально; в противном случае она не распределена нормально. С этой целью для выборки (включая подозрительный результат) вычисляется центр распределения и оценка СКО результата наблюдений. Результат, который удовлетворяет условию

,

считается имеющим грубую погрешность и удаляется, а ранее вычисленные характеристики распределения уточняются.

Этому критерию аналогичен критерий Райта , основанный на том, что если остаточная погрешность больше четырех сигм, то этот результат измерения является грубой погрешностью и должен быть исключен при дальнейшей обработке. Оба критерия надежны при числе измерений больше 20…50. Их правомочно применять, когда известна величина генерального среднеквадратического отклонения (S ).

Может оказаться, что при новых значениях и S другие результаты попадут в категорию аномальных.

Критерий Смирнова. Критерий Смирнова используется при объемах выборки п ≥ 25 или при известных значениях генеральных среднего и СКО . Он устанавливает менее жесткие границы грубой погрешности. Для реализации этого критерия вычисляются действительные значения квантилей распределения (наблюдаемое значение критерия) по формуле:

(8)

Найденное значение сравнивается с критериальным β k , приведенным в таблице6

Таблица 6 – Квантили распределения β k

Критерий Шовене. Критерий Шовене применяется для законов, не противоречащих нормальному, и строится на определении числа ожидаемых результатов наблюдений n ож , которые имеют столь же большие погрешности, как и подозрительный. Гипотеза о наличии грубой погрешности принимается, если выполняется условие:

Порядок проверки гипотезы следующий:

1) вычисляются среднее арифметическое и СКО S результатов наблюдений для всей выборки;

2) из таблицы нормированного нормального распределения (Приложение 1 – интегральная функция нормированного нормального распределения) по величине

определяется вероятность появления подозрительного результата в генеральной совокупности чисел n :

(9)

3) число ожидаемых результатов п ож определяется по формуле:

Указанные выше критерии во многих случаях оказываются “жесткими”. Тогда рекомендуется пользоваться критерием грубой погрешности «k» , зависящим от объема выборки п и принятой доверительной вероятности Р.

Таблица 7 - Зависимость критерия грубой погрешности k от объема выборки п

и доверительной вероятности Р

Для распределений, отличных от нормального, таких классов, как двух модальных кругловершинных композиций нормального и дискретного распределения c эксцессом ε = 1,5 - 3,0; островершинных двумодальных; композиций дискретного двузначного распределения и распределения Лапласа с эксцессом ε = 1,5 - 6,0; композиций равномерного распределения с экспоненциальным распределением эксцесса ε = 1,8-6,0 и классом экспоненциальных распределений в пределах изменения эксцесса ε = 1,8-6,0 граница грубой погрешности определяется величиной ± (t гр . σ ) или ±(t гр . S ), где:

(11)

где γ - контрэксцесс;

(12)

Погрешности в определении оценок S СКО и t sp являются отрицательно коррелированными, т. е. возрастание СКО S сопровождается уменьшением t zp . Поэтому определение границ грубой погрешности для законов, отличных от нормального, с эксцессом ε < 6 с помощью критерия t zp является достаточно точным и может широко использоваться на практике.

Оценки , S и ε должны вычисляться после исключения подозрительных результатов из выборки. После расчета границ грубой погрешности результаты наблюдений, оказавшиеся внутри границ, возвращаются, а ранее найденные характеристики распределения уточняются.

Для равномерного распределения за границы грубой погрешности можно принять величину ±1,8 . S.

Рассмотрим пример применения критериев для исключения грубых погрешностей при измерении скорости ударной волны. Получены результаты, представленные в таблице 8.

Таблица 8 - Результаты наблюдений

Требуется определить, не содержит ли результат наблюдения V =3,50 км/с грубую погрешность.

Для графического определения вида закона распределения построим гистограмму. При построении разбиение на интервалы осуществляем таким образом, чтобы измеренные значения оказались серединами интервалов, что показано на рисунке 2.

Используется для оценки сомнительных значений выборки на грубые ошибки. Порядок его применения следующий.

Находят расчётное значение критерия λ расч = (|х к - х к пред |)/σ ,

где х к – сомнительное значение, х к пред – предыдущее значение в вариационном ряду, если х к оценивается от максимальных значений вариационного ряда, или последующее, если х к оценивается от минимальных значений вариационного ряда (Ирвин использовал в общем случае термин «первое значение»); σ – генеральное среднеквадратическое отклонение (СКО) непрерывной нормально распределённой случайной величины.

Если λ расч > λ табл , х к – грубая ошибка. Здесь λ табл – табличное значение (процентная точка) критерия Ирвина.

Возникающие при этом вопросы описаны на странице . В частности, в статье-первоисточнике табличные значения критерия рассчитаны для нормально распределенной случайной величины при известном генеральном среднеквадратическом отклонении (СКО) σ . Поскольку σ чаще всего неизвестно, Ирвином предложено использовать в расчётах вместо σ выборочное СКО s, определяемое по формуле

где n – объём выборки, х i – элементы выборки, х ср – среднее значение выборки.

Такой подход обычно и используется на практике. Однако приемлемость использования выборочного СКО, и при этом процентных точек для генерального СКО, не подтверждена.

В данной статье приведены табличные значения (процентные точки) критерия Ирвина, рассчитанные методом статистического компьютерного моделирования при использовании выборочного СКО для максимального значения вариационного ряда при стандартном нормальном распределении случайной величины (при других параметрах нормального распределения, а также для минимального значения вариационного ряда получаются такие же результаты). Для каждого объёма выборки n моделировали 10 6 выборок. Как показали предварительные расчёты, при параллельных определениях различия в значениях процентной точки могут достигать 0,003. Поскольку значения округляли до 0,01, в сомнительных случаях проводили от 2 до 4 параллельных определений.

Кроме того, по данным рассчитали табличные значения критерия Ирвина для известного генерального СКО и сопоставили их с приведёнными в .

Поскольку при практическом применении критерия Ирвина нередко возникают определённые затруднения из-за отсутствия в литературных источниках табличных значений критерия при некоторых объёмах выборок, были рассчитаны тем же методом статистического компьютерного моделирования некоторые из отсутствующих в табличных значений.

Ясно, что при объёме выборки 2 применение критерия с использованием выборочного СКО не имеет смысла. Это подтверждается тем, что упрощение выражения для расчётного значения критерия при выборочном СКО даёт квадратный корень из двух, что наглядно показывает бессмысленность применения критерия при объёме выборки 2 и выборочном СКО.

Полученные результаты приведены в табл. 1.

Таблица 1 - Табличные значения критерия Ирвина для крайних элементов вариационного ряда.

Если сравнить процентные точки для известного генерального СКО, приведённые в табл. 1, с соответствующими процентными точками, приведёнными в , то они в нескольких случаях различаются на 0,01, и в одном случае на 0,02. Видимо, приведённые в данной статье процентные точки более точны, поскольку в сомнительных случаях они проверялись статистическим компьютерным моделированием.

Из табл.1 видно, что процентные точки критерия Ирвина при использовании выборочного СКО при сравнительно небольших объёмах выборки заметно отличаются от процентных точек при использовании генерального СКО. Только при значительных объёмах выборки, примерно около 40, процентные точки становятся близки. Таким образом, при использовании критерия Ирвина следует пользоваться процентными точками, приведёнными в табл. 1, с учётом того, получено расчётное значение критерия по генеральному или по выборочному СКО.

ЛИТЕРАТУРА

1. Irvin J.O. On a criterion for the rejection of outlying observation //Biometrika.1925. V. 17. P. 238 – 250.

2. Кобзарь А.И. Прикладная математическая статистика. – М.: ФИЗМАТЛИТ, 2006. – 816с. © В.В. Заляжных
При использовании материалов ставьте ссылку.