По построению АКФ является четной функцией, т.е. . Ввиду четности АКФ обычно рассчитывается лишь для .

При значение АКФ представляет собой оценку дисперсии изучаемого поля, при АКФ выражает связь значений поля для соседних пикетов (дискретов) и представляет собой оценку коэффициента корреляции для этих значений, при АКФ выражает связь между значениями поля, отстоящими друг от друга на два дискрета и т.д.

На практике часто используются нормированные значения автокорреляционных функций R н. (m) . При этом нормирование осуществляется на R(0) :

(4.5)

Можно показать, что оценка нормированных значений автокорреляционной функции, при достаточном объеме выборки (количестве точек на профиле) обладает следующими свойствами :

3. Автокорреляционная функция является четной, то есть R н. (m)= R н. (-m), поэтому при оценках автокорреляционных функций обычно ограничиваются ее значениями для неотрицательных значений аргумента m>=0.

4.Два случайных процесса F 1 ={f 1 , f 2 ,…..f n } и F 2 ={kf 1 , kf 2 ,…..kf n } отличающиеся только постоянным множителем k, имеют один и тот же вид нормированной автокорреляционной функции R н (m).

5.Два случайных процесса F 1 ={f 1 , f 2 ,…..f n } и F 2 ={f 1 +k, f 2 +k,…..f n +k} смещенные относительно друг друга на постоянную величину k, имеют один и тот же вид нормированной автокорреляционной функции R н (m).

Анализируя выражения 4.1 и 4.5 можно сделать вывод о том, что нормированные значения автокорреляционной функции R н. (m) есть не что иное, как коэффициент корреляции, рассчитанный для точек удаленных друг от друга на m пикетов. Таким образом, значения корреляционной функции, для конкретного аргумента m показывает насколько значения поля, удаленные друг от друга на m пикетов, коррелированны между собой. Так, если R(5)=0.85 , то это свидетельствует о том, что значения поля, удаленные друг от друга на 5 пикетов, в целом, достаточно коррелированны, если R(9)=0.05 , то значения поля удаленные на 9 пикетов практически независимы (некоррелированны). Наконец, если, например, R(13)=-0.9 , то между значениями поля, отстоящими друг от друга на 13 пикетов, существует сильная обратная корреляционная связь. Случайный процесс, для которого даже при единичном смещении R(1)<=0 , получил название абсолютно некоррелируемого процесса (“белый шум”) .

На рисунке 4.1 приведены примеры расчета нормированных автокорреляционных функций для различных случайных процессов, близких по форме к константе (1), синусоиде (2), абсолютно некоррелируемому процессу (3), квадратичной (4) и линейной (5) функциям. Из второго рисунка следует, что автокорреляционная функция периодического процесса является также периодической. При этом период автокорреляционной функции совпадает с периодом процесса. Для абсолютно некоррелируемого сигнала значения автокорреляционной функции близки к нулю при любых значениях аргумента, отличных от нуля.

Нормированные значения автокорреляционной функции постоянного процесса тождественно равны единице, так как при любых смещениях m значения случайного процесса полностью совпадают, то есть абсолютно коррелируемы.

По АКФ определяется такой важный атрибут, как интервал корреляции. Под интервалом или радиусом корреляции понимают такое расстояние между значениями поля r , начиная с которого значения поля и можно считать некоррелированными, а при нормальном законе распределения – независимыми между собой. Для оценки интервала корреляции используются разные эвристические приемы. Наиболее распространенным приемом является оценка величины r по заданному значению , где . При этом r принимается равным аргументу АКФ, m , начиная с которого выполняется соотношение .

Для оценки интервала корреляции используются также соотношения:

или .

На практике, радиус корреляции оценивают по минимальному значение аргумента m, при котором автокорреляционная функция первый раз пересекает ось абсцисс.

Форма АКФ и интервал корреляции используются при решении различных задач обработки геофизических данных, из них выделим следующие:

1) Оценка корреляционных свойств сигналов и помех. При отсутствии корреляции между сигналом помехой , что обычно постулируется, т.е. появление сигнала не зависит от помехи, АКФ представляется суммой АКФ сигнала и АКФ помехи, поскольку :

Из этого выражения следует, что при малой интенсивности помехи по сравнению с интенсивностью сигнала АКФ представляет оценку корреляционных свойств сигнала, и, наоборот, на интервале, где отсутствует сигнал, АКФ оценивает свойства помехи;

2) АКФ сигнала и помех является основой расчета всех оптимальных фильтров, рассматриваемых в главе VII;

3) При совпадении формы сигнала и формы АКФ помехи никакая дополнительная обработка по их разделению не внесет ничего нового, поскольку при этом частотные диапазоны сигнала и помехи полностью перекрываются между собой;

4) Разделение на однородные в статистическом отношении участки с целью геологического картирования. С этой целью используются обычно одновременно среднее значение, дисперсия и интервал корреляции, рассчитываемые в скользящих окнах;

5) Оценка разрешающей способности сейсмической записи по величине отношения , где Т - период записи. При Н , близком к единице, разрешающая способность велика, при Н £0,5 - низкая;

6) Использование интервала корреляции для оценки глубины залегания h объектов по потенциальным полям .

На этом простом соотношении между глубиной h и интервалом корреляции r , точно выполняемом для объектов в виде цилиндров бесконечного простирания, основаны приемы гравитационного, предложенного А.М.Петрищевским, и корреляционного, предложенного А.В.Петровым, зондирований потенциальных полей;

7) Оценка длительности реализации, например, длины профиля, для которой рассчитывается АКФ. В общем случае дисперсия АКФ определяется выражением , из которого следует возможность оценивания длительности самой реализации n .

3.2. Найти среднее ряда и среднеквадратическое отклонение s t , нанести их на график:

3.3. Найти коэффициенты автокорреляции для лагов τ = 1;2.

Решение . Расчет выполним по формуле

Для τ = 1 и наших значений формула примет вид:

Рисунок 4.1 – Нестационарный случайный процесс роста выручки

Все промежуточные расчеты см. в таблице 4.2. Окончательно:

Аналогично для r(2), см. таблицу 4.3:

Таблица 4.2 – Лаг τ = 1

3.4. Построить по трем точкам (0,00; 1,00), (1,00; 0,32), (2,00; 0,10) автокорреляционную функцию.

Решение . См. рисунок 4.1.

Рисунок 4.1 Автокорреляционная функция для случайного процесса

Примечание: точки 4 и 5 вычислять необязательно.

Таблица 4.3 – Лаг τ = 2

1. Мнацаканян, А.Г. Методические указания по оформлению учебных текстовых работ (рефератов, контрольных, курсовых, выпускных квалификационных) / А.Г. Мнацаканян, Ю.Я. Настин, Э.С. Круглова. – Калининград, Изд-во КГТУ, 2017. – 22 с.

2. Кремер, Н.Ш. Эконометрика: учебник / Н.Ш. Кремер, Б.А. Путко. – Эконометрика: учебник. – М.: ЮНИТИ-ДАНА, 2012. – 387 с.

3. Настин, Ю,Я. Эконометрика: учеб пос. / Ю. Я. Настин. – Калининград: НОУ ВПО БИЭФ, 2004. – 82 с.

4. Настин, Ю.Я. Эконометрика: метод. указ. и задания по контрольной работе / Ю.Я. Настин. – Калининград: ФГОУ ВПО КГТУ, 2015. – 40 с.

5. Пахнутов, И.А. Введение в эконометрику: учебно-метод пос. / И.А. Пахнутов. – Калининград: ФГОУ ВПО «КГТУ», 2009. – 108 с.

6. Буравлев, А.И. Эконометрика: учебник / А.И. Буравлев. – М.: Бином. Лаборатория знаний, 2012. – 164 с.

7. Уткин, В.Б. Эконометрика: учебник / В.Б. Уткин – изд. 2-е – М.: Дашков и К, 2011. – 564 с.

8. Эконометрика: учебник /под ред. И.И. Елисеевой. –М.: Проспект, 2011.-288 с.

9. Валентинов, В.А. Эконометрика: учебник / В.А. Валентинов – изд. 2-е – М.: Дашков и К, 2010. – 448 с.

10. Магнус, Я.Р. Эконометрика: начальный курс / Я.Р. Магнус, П.К. Катышев, А.А. Пересецкий. – 8-е издание, М.: Дело, 2008. – 504 с.

11. http://window.edu.ru/resource/022/45022 Скляров Ю.С. Эконометрика. Краткий курс: Учебное пособие. - СПб.: ГУАП, 2007. - 140 с.

12. http://window.edu.ru/resource/537/74537 Шанченко, Н. И. Эконометрика: лабораторный практикум: учебное пособие / Н. И. Шанченко. - Ульяновск: УлГТУ, 2011. - 117 с.

13. Берндт, Э.Р. Практика эконометрики: классика и современность: Учебник / пер с англ / Э.Р. Берндт. – М.: ЮНИТИ-ДАНА, 2005. – 863 с.

Приложение А

Значения функции Лапласа

Автокорреляционная функция - зависимость взаимосвязи между функцией (сигналом) и ее сдвинутой копией от величины временного сдвига.

Для детерминированных сигналов автокорреляционная функция (АКФ ) сигнала f (t) {\displaystyle f(t)} определяется интегралом :

где E { } {\displaystyle \mathbb {E} \{\ \}} - математическое ожидание , звездочка означает комплексное сопряжение.

Если исходная функция строго периодическая , то на графике автокорреляционной функции тоже будет строго периодическая функция. Таким образом, из этого графика можно судить о периодичности исходной функции, а следовательно, и о её частотных характеристиках. Автокорреляционная функция применяется для анализа сложных колебаний , например, электроэнцефалограммы человека.

Энциклопедичный YouTube

1 / 3

Автокорреляционная функция

Что такое Автокорреляция?

Частная автокорреляционная функция

Субтитры

К сожалению, коэффициенты процесса скользящего среднего плохо интерпретируемы. Что означает 2ε(t- 1) + 3ε(t- 2) совершенно непонятно. И для интерпретации используют так называемую автокорреляционную функцию процесса: ρk или Corr(Yt, Yt- k) - эта функция называется автокорреляционной функцией процесса. По смыслу для стационарного процесса с нормально распределенными игриками ρk показывает, насколько в среднем изменится сегодняшний Y, если Y k-периодов назад, то есть Yt- k, вырос на 1. Давайте на примере того же самого МА (2)-процесса, процесса скользящего среднего порядка 2, посчитаем и проинтерпретируем автокорреляционную функцию на этот раз. Значит, нас интересует ρk, то есть это Corr (корреляция) между Yt и Y k-периодов назад. Сначала мы заметим какие-то общие соображения, как считать автокорреляционную функцию для любого процесса. По определению корреляции: Corr(Yt, Yt- k) это есть Cov(Yt, Yt- k), деленная на корень из произведения дисперсий: Var(Yt) * Var(Yt- k). Однако у нас стационарный процесс. Здесь мы пользуемся тем, что процесс стационарный, а именно – у него дисперсии одинаковые. Var(Yt) = Var (Yt -k). Ну, соответственно, раз эти две дисперсии равны, то корень из них просто равен - одной из них, любой - Cov(Yt, Yt- k) в числителе так и остается, а в знаменателе корень из произведения двух одинаковых чисел дает просто первое из этих чисел. И, соответственно, мы договорились, что вот это - это автоковариационная функция - это γk, а это дисперсия или γ0. Соответственно, мы получили, что ρk, на самом деле, автокорреляционная функция. Это просто отмасштабированная автоковариационная. Я напомню предыдущие результаты. В предыдущем упражнении мы выяснили, что γk = 14ς квадрат, если k = 0, это дисперсия; - 3ς квадрат, если k = 1;- 2ς квадрат, если k = 2 и 0 при больших значениях k, а именно больше либо равным 3. Исходя из общей формулы, мы получаем, что ρ0 - это и есть γ0 на γ0, это всегда 1 для любого процесса, поэтому это неинтересный показатель, а вот остальные уже более интересные. ρ1- это есть γ1/γ0, в нашем случае мы получаем- 3/14. ρ2 - это есть γ2/γ0, это есть - 2/14. И, соответственно, ρ3 = ρ4 =... = 0. Соответственно, мы можем проинтерпретировать эти коэффициенты. Что означает ρ1? Он означает, что если нам известно, что Yt-1 (вчерашний Y) вырос на одну единицу, то это приводит к тому, что в среднем Yt падает на 3/14. Это мы можем проинтерпретировать ρ1. Ну и, соответственно, ρ2 мы интерпретируем аналогично. Если известно, что Yt- 2 (то есть позавчерашнее значение Y) оказалось, скажем, больше среднего на 1, то есть по сравнению с каким-то средним значением выросло на одну единицу, то мы можем сделать вывод, что Yt в среднем упадет на 2/14. Это мы интерпретируем вот этот коэффициент. Ну а, соответственно, ρ3, ρ4 и так далее интерпретируется следующим образом, что информация о значении Yt- 3 она уже не несет никакой информации о текущем Yt и, в частности, бесполезна при прогнозировании. А вот предыдущие два значения они нам важны.

Применение в технике

Корреляционные свойства кодовых последовательностей, используемых в широкополосных системах, зависят от типа кодовой последовательности, её длины, частоты следования её символов и от её посимвольной структуры.

Изучение АКФ играет важную роль при выборе кодовых последовательностей с точки зрения наименьшей вероятности установления ложной синхронизации.

Другие применения

Автокорреляционная функция играет важную роль в математическом моделировании и анализе временных рядов, показывая характерные времена для исследуемых процессов (см., например: Турчин П. В. Историческая динамика. М.: УРСС , 2007. ISBN 978-5-382-00104-3). В частности, циклам в поведении динамических систем соответствуют максимумы автокорреляционной функции некоторого характерного параметра.

Скоростное вычисление

Часто приходится вычислять автокорреляционную функцию для временного ряда x i {\displaystyle x_{i}} . Вычисление «в лоб» работает за O (T 2) {\displaystyle O(T^{2})} . Однако есть способ сделать это за .

Суть этого способа состоит в следующем. Можно сделать некое обратное взаимно однозначное преобразование данных, называемое преобразованием Фурье, которое поставит им во взаимно однозначное соответствие набор данных в другом пространстве, называемом пространством частот. У операций над данными в нашем обычном пространстве, таких как сложение, умножение и, главное, автокорреляция, есть взаимно-однозначные соответствия в пространстве частот Фурье. Вместо того, чтобы вычислять автокорреляцию «в лоб» на наших исходных данных, мы произведем соответствующую ей операцию над соответствующими данными в пространстве частот Фурье-спектра, что делается за линейное время O(T) - автокорреляции в пространстве частот соответствует простое умножение. После этого мы по полученным данным восстановим соответствующие им в обычном пространстве. Переход из обычного пространства в пространство частот и обратно делается с помощью быстрого преобразования Фурье за O (T log ⁡ T) {\displaystyle O(T\log T)} , вычисление аналога автокорреляции в пространстве частот - за O(T). Таким образом, мы получили выигрыш по времени при вычислениях. и прямо пропорциональна первым n {\displaystyle n} элементам последовательности

Квадрат комплексного модуля берётся поэлементно: | a → | 2 = { Re 2 ⁡ a i + Im 2 ⁡ a i } {\displaystyle \left|{\vec {a}}\right|^{2}=\left\{\operatorname {Re} ^{2}a_{i}+\operatorname {Im} ^{2}a_{i}\right\}} . Если нет погрешностей вычисления, мнимая часть будет равна нулю. Коэффициент пропорциональности определяется из требования Ψ (0) = 1 {\displaystyle \Psi (0)=1} .

Изучая АКФ пачки прямоугольных видеоимпульсов, читатель, безусловно, обратил внимание на то, что соответствующий график имел специфический лепестковый вид. С практической точки зрения, имея в виду использование АКФ для решения задачи обнаружения такого сигнала или измерения его параметров, совершенно несущественно, что отдельные лепестки имеют треугольную форму. Важен лишь их относительный уровень по сравнению с центральным максимумом при .

Наша ближайшая задача - изменить определение автокорреляционной функции таким образом, чтобы можно было извлекать из нее полезную информацию, абстрагируясь от второстепенных подробностей. Основой для этого служит идея математической модели дискретного сигнала (см. гл. 1).

Описание сложных сигналов с дискретной структурой.

Пачка одинаковых прямоугольных видеоимпульсов - простейший представитель класса сложных сигналов, построенных в соответствии со следующим принципом. Весь интервал времени существования сигнала разделен на целое число М > 1 равных промежутков, называемых позициями. На каждой из позиций сигнал может находиться в одном из даух состояний, которым отвечают числа +1 и -1.

Рис. 3.6 поясняет некоторые способы формирования многопозиционного сложного сигнала. Для определенности здесь М = 3.

Видно, что физический облик дискретного сигнала может быть различным.

Рис. 3.6. Трехпозиционный сложный сигнал: а - амплитудное кодирование; б - фазовое кодирование

В случае а символу соответствует положительное значение высоты видеоимпульса, передаваемого на соответствующей позиции; символу -1 отвечает отрицательное значение - . Говорят, что при этом реализовано амплитудное кодирование сложного сигнала. В случае б происходит фазовое кодирование. Для передачи символа +1 на соответствующей позиции генерируется отрезок гармонического сигнала с нулевой начальной фазой. Чтобы отобразить символ -1, используется отрезок синусоиды такой же длительности и с той же частотой, но его фаза получает дополнительный сдвиг на 180°.

Несмотря на различие графиков этих даух сигйалов, между ними, в сущности, можно установить полное тождество с точки зрения их математических моделей. Действительно, модель любого такого сигнала - это последовательность чисел в которой каждый символ принимает одно из даух возможных значений +1. Для удобства договоримся в дальнейшем дополнять такую последовательность нулями на «пустых» позициях, где сигнал не определен. При этом, например, развернутая форма записи дискретного сигнала {1 1, -1, 1} будет иметь вид

Важнейшая операция при обработке дискретных сигналов состоит в сдвиге такого сигнала на некоторое число позиций относительно исходного положения без. изменения его формы. В качестве примера ниже представлен некоторый исходный сигнал (первая строка) и его копии (последующие строки), сдвинутые на 1, 2 и 3 позиции в сторону запаздывания:

Дискретная автокорреляционная функция.

Постараемся так обобщить формулу (3.15), чтобы можно было вычислять дискретный аналог АКФ применительно к многопозиционным сигналам. Ясно, что операцию интегрирования здесь следует заменить суммированием, а вместо переменной использовать целое число (положительное или отрицательное), указывающее, на сколько позиций сдвинута копия относительно исходного сигнала.

Так как в «пустых» позициях математическая модель сигнала содержит нули, запишем дискретную АКФ в виде

Эта функция целочисленного аргумента , естественно, обладает многими уже известными свойствами обычной автокорреляционной функции. Так, легко видеть, что дискретная АКФ четна:

При Пулевом сдвиге эта АКФ определяет энергию дискретного сигнала:

Некоторые примеры.

Для иллюстрации сказанного вычислим дискретную АКФ трехпозиционного сигнала с одинаковыми значениями на каждой позиции: Выпишем этот сигнал вместе с копиями, сдвинутыми на 1, 2 и 3 позиции:

Видно, что уже при сигнал и копия перестают накладываться друг на друга, так что произведения, входящие в формулу (3.29), становятся равными нулю при . Вычисляя суммы, получаем

Боковые лепестки автокорреляционной функции линейно спадают с ростом номера и, подобно тому, как в случае автокорреляционной функции трех аналоговых видеоимпульсов.

Рассмотрим дискретный сигнал, отличающийся от предыдущего знаком отсчета на второй позиции:

Поступая аналогичным образом, вычислим для этого сигнала значения дискретной автокорреляционной функции:

Можно обнаружить, что первый боковой лепесток изменяет свой знак, оставаясь неизменным по абсолютному значению.

Наконец, рассмотрим трехпозиционный дискретный сигнал с математической моделью вида

Его автокорреляционная функция такова:

Из трех изученных здесь дискретных сигналов именно третий наиболее совершенен с точки зрения корреляционных свойств, поскольку при этом реализуется наименьший уровень боковых лепестков автокорреляционной функции.

Сигналы Баркера.

Дискретные сигналы с наилучшей структурой автокорреляционной функции явились в 50-60-е годы объектом интенсивных исследований специалистов в области теоретической радиотехники и прикладной математики. Были найдены целые классы сигналов с совершенными корреляционными свойствами. Среди них большую известность получили так называемые сигналы (коды) Баркера. Эти сигналы обладают уникальным свойством: независимо от числа позиции М значения их автокорреляционных функций, вычисляемые по формуле (3.29), при всех не превышают единицы. В то же время энергия этих сигналов, т. е. величина численно равна М.

Сигналы Баркера удается реализовать лишь при числе позиций М = 2, 3, 4, 5, 7, 11 и 13. Случай является тривиальным. Сигнал Баркера при был исследован нами в конце предыдущего пункта. Математические модели сигналов Баркера и отвечающие им автокорреляционные функции приведены в табл. 3.2.

Таблица 3.2 Модели сигналов Баркера

Для иллюстрации на рис. 3.7 приведен вид наиболее часто используемого 13-позиционного сигнала Баркера при даух способах кодирования, а также графическое представление его АКФ.

Рис. 3.7. Сигнал Баркера при М = 13: а - амплитудное кодирование; б - фазовое кодирование; в - автокорреляционная функция

Отметим в заключение, что исследование некоторых свойств дискретных сигналов и их автокорреляционных функций, проведенное в данной главе, имеет предварительный, вводный характер. Систематическое изучение этого круга вопросов будет предпринято в гл. 15.

Автокорреляционная функция. Коррелограмма.

При наличии во временном ряду тенденции и циклических изменений значения последующего уровня ряда зависят от предыдущих. Зависимость между последовательными уровнями временного ряда называют автокорреляцией уровней ряда.

Количественно ее можно измерить с помощью индекса корреляции между уровнями исходного временного ряда и уровнями этого ряда, сдвинутыми на несколько шагов во времени.

Пусть задан временный ряд: у ,у,…у и пусть имеет место линейная корреляция между y t и y t -1 .

Определим коэффициент корреляции между рядами у t и у t -1 .

Для этого воспользуемся следующей формулой:

Пологая x j = у t -1 , y j = у t -1 , получим

(5.1)

Аналогично определяются коэффициенты автокорреляции второго и более высоких порядков. Так, коэффициент автокорреляции 2-го порядка характеризует тесноту связи между уровнями у и у и определяется по формуле:

(5.2)

Порядок уровня ряда автокорреляции называют лагом.

Для формулы (5.1) лаг равен единице, для (5.3) –двум.

Последовательность коэффициентов автокорреляции уровней первого, второго и т.д. порядков называют автокорреляционной функцией временного ряда (АКФ).

График зависимости ее значений от величины лага называется коррелограмой.

АКФ и коррелограмма позволяют определить лаг, при котором автокорреляция наиболее высокая, а, следовательно, и лаг, при котором связь между текущим и предыдущим уровнями ряда наиболее тесная, т.е. с их помощью можно выявить структуру ряда.

Коэффициент автокорреляции и АКФ целесообразно использовать для выявления во временном ряде наличия или отсутствия трендовой компоненты и циклической компоненты:

­ если наиболее высоким оказался коэффициент автокорреляции 1-го порядка, то исследуемый ряд содержит только тенденцию;

­ если наиболее высоким оказался коэффициент автокорреляции к-го порядка, то ряд содержит циклические колебания с периодичностью в к-моментов времени;

­ если, ни один из коэффициентов не является значимым, то можно сделать одно из двух предположений, относительно структуры этого ряда: либо ряд не содержит тенденции и циклических изменений и имеет структуру, сходную со структурой ряда, изображенного на рис.5.1в, либо ряд содержит сильную нелинейную тенденцию, для выявления которой нужно провести дополнительный анализ.

49. Обобщенная модель регрессии. Обобщенный метод наименьших квадратов. Теорема Айткена

При построении модели, например, линейного вида

У = а + b 1 * x 1 + b 2 * x 2 +… + b p * x p + ε (59.1)

случайная величина  представляет собой ненаблюдаемую величину. Для разных спецификаций модели разности между теоретическими и фактическими значениями могут меняться. В задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений  i т.е. остаточных величин. После построения уравнения регрессии проводится проверка наличия у оценок  i некоторых свойств. Эти свойства оценок, полученных МНК, имеют очень важное практическое значение в использовании результатов регрессии и корреляции.

Коэффициенты регрессии b­ i , найденные на основе системы нормальных уравнений и представляющие собой выборочные оценки характеристики силы связи, должны обладать свойством несмещености. Несмещенность оценки означает, что математическое ожидание остатков равно нулю.

Это означает, что найденный параметр регрессии b­ i , можно рассматривать как среднее значение возможных значений коэффициентов регрессии с несмещенными оценками остатков.

Для практических целей важны не только несмещенность, но и эффективность оценок. Оценки считаются эффективными,если они характеризуются наименьшей дисперсией.

Для того, чтобы доверительные интервалы параметров регрессии были реальными, необходимо, чтобы оценки были состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.

Исследования остатков  i предполагают проверку наличия следующих пяти предпосылок МНК:

­ случайный характер остатков;

­ нулевая средняя величина остатков, не зависящая от х i ;

­ гомоскедастичность–дисперсия каждого отклонения  i одинакова для всех значений х;

­ отсутствие автокорреляции остатков. Значения остатков  i распределены независимо друг от друга;

­ остатки подчиняются нормальному распределению.

Если распределение случайных остатков  i не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

Прежде всего, проверяется случайный характер остатков  i .

Если на графике получена горизонтальная полоса распределения остатков, то остатки представляют собой случайные величины и МНК оправдан, теоретические значения у x хорошо аппроксимируют фактические значения у.

Возможны следующие случаи: если  i . зависит от у x то:

­ остатки  i . не случайны

­ остатки  i . не имеют постоянной дисперсии

­ остатки  i . носят систематический характер

В этих случаях необходимо либо применить другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки  i не будут случайными величинами.

Вторая предпосылка означает равенство нулю средней величины остатков:

. (59.2)

В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора х j остатки  i имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность.

50. Доступный обобщенный метод наименьших квадратов

Метод наименьших квадратов. Некоторые более общие типы регрессионных моделей рассмотрены в разделе Основные типы нелинейных моделей. После выбора модели возникает вопрос: каким образом можно оценить эти модели? Если вы знакомы с методами линейной регрессии (описанными в разделе Множественная регрессия) или дисперсионного анализа (описанными в разделе Дисперсионный анализ), то вы знаете, что все эти методы используют оценивание по методу наименьших квадратов. Основной смысл этого метода заключается в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной от значений, предсказанных моделью. (Термин наименьшие квадраты впервые был использован в работе Лежандра - Legendre, 1805.)
Метод взвешенных наименьших квадратов. Третьим по распространенности методом, в дополнение к методу наименьших квадратов и использованию для оценивания суммы модулей отклонений (см. выше), является метод взвешенных наименьших квадратов. Обычный метод наименьших квадратов предполагает, что разброс остатков одинаковый при всех значениях независимых переменных. Иными словами, предполагается, что дисперсия ошибки при всех измерениях одинакова. Часто, это предположение не является реалистичным. В частности, отклонения от него встречаются в бизнесе, экономике, приложениях в биологии (отметим, что оценки параметров по методу взвешенных наименьших квадратов могут быть также получены с помощью модуля Множественная регрессия).

Например, вы хотите изучить связь между проектной стоимостью постройки здания и суммой реально потраченных средств. Это может оказаться полезным для получения оценки ожидаемых перерасходов. В этом случае разумно предположить, что абсолютная величина перерасходов (выраженная в долларах) пропорциональна стоимости проекта. Поэтому, для подбора линейной регрессионной модели следует использовать метод взвешенных наименьших квадратов. Функция потерь может быть, например, такой (см. книгу Neter, Wasserman, and Kutner, 1985, стр.168):

Потери = (наблюд.-предск.) 2 * (1/x 2)

В этом уравнении первая часть функции потерь означает стандартную функцию потерь для метода наименьших квадратов (наблюдаемые минус предсказанные в квадрате; т.е., квадрат остатков), а вторая равна “весу” этой потери в каждом конкретном случае - единица деленная на квадрат независимой переменной (x) для каждого наблюдения. В ситуации реального оценивания, программа просуммирует значения функции потерь по всем наблюдениям (например, конструкторским проектам), как описано выше и подберет параметры, минимизирующие сумму. Возвращаясь к рассмотренному примеру, чем больше проект (x), тем меньше для нас значит одна и та же ошибка в предсказании его стоимости. Этот метод дает более устойчивые оценки для параметров регрессии (более подробно, см. Neter, Wasserman, and Kutner. 1985).

51. Тест Чоу

Формальный статистический тест для оценки модели тенденции временного ряда при наличии структурных изменений был предложен Грегори Чоу*. Применение этого теста предполагает расчет параметров уравнений трендов. Введем систему обозначений, приведенную в табл.

Таблица 3 –Условные обозначения для алгоритма теста Чоу

Предположим, гипотеза Н0 утверждает структурную стабильность тенденции изучаемого временного ряда. Остаточную сумму квадратов по кусочно-линейной модели (C кл ост) можно найти как сумму С 1 ост и C 2 ост

C кл ост = С 1 ост + C 2 ост (62.1)

Соответствующее ей число степеней свободы составит:

(n 1 - k 1) + (n 2 – k 2) = n – k 1 - k 2 (62.2)

Тогда сокращение остаточной дисперсии при переходе единого уравнения тренда к кусочно-линейной модели определить следующим образом:

DС ост = C 3 ост - С кл ост (62.3)

Число степеней свободы, соответствующее DС с учетом соотношения (23) составит:

n – k 3 - (n – n 1 – k 2) = k 1 + k 2 - k 3 (62.4)

Затем, в соответствии с Г. Чоу методикой Г. Чоу находится фактическое значение F-критерия по следующим дисперсиям на одну степень свободы вариации:

(62.5)

Найденное значение F факт сравнивают с табличным, (таблица распределения Фишера для уровня значимости α ‚ а и числа степеней свободы (k 1 + k 2 – k 3) и (n - k 1 - k 2)

Если F факт > F табл ‚ то гипотеза о структурной стабильности тенденции отклоняется, а влияние структурных измен на динамику изучаемого показателя признают значимым. В этом случае моделирование тенденции временного ряда следует произвести с помощью кусочно-линейной модели. Если

F факт < F табл то нулевая гипотеза структурной стабильности тенденции не отвергается. Ее моделирование следует осуществлять с помощью единого для всей совокупности уравнения тренда.

Особенности применения теста Чоу.

1. Если число параметров во всех уравнениях из таблицы 3 (1), (2), (3) одинаково и равно k, то формула (56) упрощается:

(62.6)

2. Тест Чоу позволяет сделать вывод о наличии или отсутствии структурной стабильности в изучаемом временном ряде. Если F факт < F табл, то это означает, что уравнения (1) и (2) описывают одну и ту же тенденцию, а различия численных оценок их пара метров а 1 и а 2 , а также b 1 и b 2 соответственно статистически не значимы. Если же F факт > F табл то гипотеза о структурной стабильности отклоняется, что означает статистическую значимость различий в оценках параметров уравнений (1) и (2).

З. Применение теста Чоу предполагает соблюдение предпосылок о нормальном распределении остатков в уравнениях (1) и (2) и независимость их распределений.

Если гипотеза о структурной стабильности тенденции ряда у, отклоняется, дальнейший анализ может заключаться в, исследовании вопроса о причинах этих структурных различий и более де 1 изучении характера изменения тенденции. В принятых обозначениях эти причины обусловливают различия в оценках параметров уравнений (1) и (2).

Возможны следующие сочетания изменений числейных оценок параметров этих уравнений:

Изменение численной оценки свободного члена уравнения Тренда а 2 по сравнению с а 1 при условии, что различия b 1 и b 2 статистически незначимы. Геометрически это означает, что прямые (1) (2) параллельны. Происходит скачкообразное изменение уровня ряда у t , в момент времени t ‚ и неизменном среднем абсолютном приросте за период;

Изменение численной оценки параметра b 2 по сравнению с b 1 при условии, что различия между а 1 и а 2 статистически незначимы. Геометрически это означает, что прямые (1) и (2) пересекают ось координат в одной точке. Изменение тенденции происходит посредством изменение среднего абсолютного прироста временного ряда, начиная с момента времени t ‚ при неизменном начальном уровне ряда в момент времени t =0

Изменение численных оценок параметров а 1 и а 2 , а так же b 1 и b 2 . На графике это отображается изменением начального уровня и счреднего за период абсолютного прироста