14. Оценка коэффициентов модели парной регрессии с помощью выборочного коэффициента регрессии Помимо метода наименьших квадратов, с помощью которого в большинстве случаев определяются неизвестные параметры модели регрессии, в случае линейной модели парной регрессии

15. Оценка дисперсии случайной ошибки модели регрессии При проведении регрессионного анализа основная трудность заключается в том, что генеральная дисперсия случайной ошибки является неизвестной величиной, что вызывает необходимость в расчёте её несмещённой

18. Характеристика качества модели регрессии Качеством модели регрессии называется адекватность построенной модели исходным (наблюдаемым) данным.Для оценки качества модели регрессии используются специальные показатели.Качество линейной модели парной регрессии

35. Проверка гипотезы о значимости коэффициентов регрессии и модели множественной регрессии в целом Проверка значимости коэффициентов регрессии означает проверку основной гипотезы об их значимом отличии от нуля.Основная гипотеза состоит в предположении о незначимости

39. Модели регрессии, нелинейные по факторным переменным При исследовании социально-экономических явлений и процессов далеко не все зависимости можно описать с помощью линейной связи. Поэтому в эконометрическом моделировании широко используется класс нелинейных

40. Модели регрессии, нелинейные по оцениваемым коэффициентам Нелинейными по оцениваемым параметрам моделями регрессииназываются модели, в которых результативная переменная yi нелинейно зависит от коэффициентов модели?0…?n.К моделям регрессии, нелинейными по

41. Модели регрессии с точками разрыва Определение. Моделями регрессии с точками разрыва называются модели, которые нельзя привести к линейной форме, т. е. внутренне нелинейные модели регрессии.Модели регрессии делятся на два класса:1) кусочно-линейные модели регрессии;2)

44. Методы нелинейного оценивания коэффициентов модели регрессии Функцией потерь или ошибок называется функционал вида Также в качестве функции потерь может быть использована сумма модулей отклонений наблюдаемых значений результативного признака у от теоретических

46. Проверка гипотезы о значимости нелинейной модели регрессии. Проверка гипотезы о линейной зависимости между переменными модели регрессии На нелинейные модели регрессии, которые являются внутренне линейными, т. е. сводимыми к линейному виду, распространяются все

58. Тест Глейзера обнаружения гетероскедастичности остатков модели регрессии Существует несколько тестов на обнаружение гетероскедастичности остатков модели регрессии.Рассмотрим применение теста Глейзера на примере линейной модели парной регрессии.Предположим, что

59. Тест Голдфелда-Квандта обнаружения гетероскедастичности остатков модели регрессии Основным условием проведения теста Голдфелда-Квандта является предположение о нормальном законе распределения случайной ошибки?i модели регрессии.Рассмотрим применение данного

60. Устранение гетероскедастичности остатков модели регрессии Существует множество методов устранения гетероскедастичности остатков модели регрессии. Рассмотрим некоторые из них.Наиболее простым методом устранения гетероскедастичности остатков модели регрессии

61. Автокорреляция остатков модели регрессии. Последствия автокорреляции. Автокорреляционная функция Автокорреляцией называется корреляция, возникающая между уровнями изучаемой переменной. Это корреляция, проявляющаяся во времени. Наличие автокорреляции чаще всего

62. Критерий Дарбина-Уотсона обнаружения автокорреляции остатков модели регрессии Помимо автокорреляционной и частной автокорреляционной функций для обнаружения автокорреляции остатков модели регрессии используется критерий Дарбина-Уотсона. Однако данный критерий

63. Устранение автокорреляции остатков модели регрессии В связи с тем, что наличие в модели регрессии автокорреляции между остатками модели может привести к негативным результатам всего процесса оценивания неизвестных коэффициентов модели, автокорреляция остатков

67. Модели регрессии с переменной структурой. Фиктивные переменные При построении модели регрессии может возникнуть ситуация, когда в неё необходимо включить не только количественные, но и качественные переменные (например, возраст, образование, пол, расовую

Оценка точности регрессионных моделей.

Для оценки точности чаще всего используют два показателя, которые для линейных, так и для нелинейных моделей имеют вид:

1. Средняя ошибка аппроксимации

2. Среднеквадратическая ошибка аппроксимации

8.1. Сущность и причины гетероскедастичности

Второе условие Гаусса – Маркова о гомоскедастичности, то есть равноизменчивости остатков – это одно из важнейших предпосылок МНК.

Так как математическое ожидание остатков в каждом наблюдении равно нулю, то квадраты остатков могут служить оценками их дисперсий.

Эти квадраты остатков входят в ESS (которая минимизируется в МНК) с одинаковыми единичными весами, а это не всегда правомерно, так как на практике гетероскедастичность не так уж редко встречается.

Например, с ростом дохода растёт не только средний уровень потребления, но и разброс в потреблении. Он более присущ субъектам с высоким доходом, так как они имеют больший простор для распределения доходов. Проблема гетероскедастичности более характерна для пространственных выборок. Очевидно, что при наличии гетероскедастичности наблюдениям с большей дисперсией следует в ESS придавать меньший вес и наоборот, а не учитывать их равновзвешенными, как это делается в классическом МНК.

Точка на диаграмме рассеяния, полученная из наблюдения с меньшей дисперсией, более точно определяет направление линии регрессии, чем точка из наблюдения с большей дисперсией.

Последствия гетероскедастичности таковы:

1. Оценки параметров не будут эффективными, то есть не будут иметь наименьшую дисперсию по сравнению с другими оценками; при этом они будут оставаться несмещенными.

2. Дисперсии оценок будут смещены, так как будет смещена дисперсия на одну степень свободы которая используется при вычислении оценок дисперсий всех коэффициентов.

3. Выводы, получаемые на основе завышенных F и t статистик, и интервальные оценки будут ненадёжны.

8.2. Выявление гетероскедастичности

Это достаточно непростая задача; дисперсию σ 2 (ε i ) обычно определить не удаётся, так как для конкретного значения объясняющей переменой х i или конкретного значения вектора x при множественной регрессии мы располагаем лишь единственным значением зависимой переменой у i и можем вычислить единственное модельное значение переменной

Тем не менее, в настоящее время разработан ряд методов и тестов для обнаружения гетероскедастичности:

1. Графический – мы уже говорили, что М (ε i )=0; это значит что дисперсию остатка можно заменить её оценкой, а в качестве этой оценки можно взять величину . В таком случае можно построить график в координатах: есть функция от х i и по нему изучить характер указанной зависимости. Если объясняющих переменных несколько, то проверяется зависимость по каждой переменной х j , то есть изучается зависимость

Можно также исследовать зависимость , так как переменная у является линейной комбинацией всех объясняющих переменных.

2. Тест ранговой корреляции Спирмена

Значения x i и ε i упорядочиваются по возрастанию, и для каждого наблюдения в ряду х и в ряду ε устанавливается свой ранг (номер) в соответствии с этим упорядочением. Разность d i между рангами x и ε для каждого номера наблюдения рассчитывается как

Затем вычисляется коэффициент ранговой корреляции:

.

Известно, что если остатки не коррелируют с объясняющими переменными, то статистика

имеет распределение Стьюдента с числом степеней свободы

df = n−2 .

Если вычисленное значение t – статистики превышает табличное критическое значение при назначенном уровне значимости γ гипотезы Н 0 , то гипотеза об отсутствии гетероскедастичности отвергается и гетероскедастичность признаётся существенной. Критическое значение t– статистики определяется по таблице как

В том случае, если модель регрессии множественная, проверка гипотезы Н 0 выполняется для каждой объясняющей переменной.

3. Тест Гольдфельда–-Квандта

Предполагается, что дисперсия остатков в каждом наблюдении пропорциональна или обратно пропорциональна интересующему нас регрессору, также предполагается, что остатки распределены нормально и нет автокорреляции в остатках.

В случае множественной регрессии тест целесообразно проводить по каждому регрессору отдельно.

Последовательность проведения теста:

а) наблюдения (строки таблицы) упорядочиваются по возрастанию интересующего нас регрессора;

б) упорядоченная таким образом выборка разбивается на 3 подвыборки объемами , , , при этом Можно считать, что Авторы теста предлагают следующие значения: n = 30, k = 11; n = 60, k = 22; n = 100, k = 36…38; n = 300, k = 110 и так далее (см. табл. 8.1).

При оценке параметров уравнения регрессии мы применяем метод наименьших квадратов. При этом делаем определенные предпосылки относительно случайной составляющей . В модели

у = а + b 1  x + 

случайная составляющая  представляет собой ненаблюдаемую величину. После того как проведена оценка параметров модели, рассчитав разности фактических и теоретических значений результативного признака у , можно определить оценки случайной составляющей (у ). При изменении спецификации модели, добавлении в нее новых наблюдений выборочные оценки остатков i , могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений  i , т.е. остаточных величин.

В предыдущем разделе рассматривались формальные проверки статистической достоверности коэффициентов регрессии и корреляции с помощью t -критерия Стьюдента и F -критерия. При использовании этих критериев делаются предположения относительно поведения остатков  i . Остатки представляют собой независимые случайные величины, и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Оценки параметров регрессии должны отвечать определенным критериям: быть несмещенными, состоятельными и эффективными.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр регрессии b i можно рассматривать как среднее значение из возможного большого количества несмещенных оценок.

Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными , если они характеризуются наименьшей дисперсией.

Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными . Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.

Исследования остатков  i предполагают проверку наличия следующих пяти предпосылок МНК (см. условия ГауссаМаркова):

Случайный характер остатков.

Для этого строится график зависимости остатков  i от теоретических значений результативного признака .Если на графике нет направленности в расположении точек  i , то остатки  i представляют собой случайные величины и МНК оправдан, теоретические значения хорошо аппроксимируют фактические значенияу .

Нулевая средняя величина остатков, не зависящая от х i .

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что (у ) = 0. Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей, нелинейных по оцениваемым параметрам и приводимых к линейному виду логарифмированием, средняя ошибка равна нулю для логарифмов исходных данных. Так, для модели вида

Гомоскедастичность  дисперсия каждого отклонения  i одинакова для всех значений х .

В соответствии с третьей предпосылкой метода наименьших квадратов требуется, чтобы дисперсия остатков была гомоскедастичной . Это значит, что для каждого значения фактора х i остатки имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность (рис. 1).

Гомоскедастичность остатков означает, что дисперсия остатков  i одинакова для каждого значения х .

Наличие гетероскедастичности в отдельных случаях может привести к смещенности оценок коэффициентов регрессии, хотя несмещенность оценок коэффициентов регрессии в основном зависит от соблюдения второй предпосылки МНК, т.е. независимости остатков и величин факторов.

Гетероскедастичность будет сказываться на уменьшении эффективности оценок b i . В частности, становится затруднительным использование формулы стандартной ошибки коэффициента регрессии , предполагающей единую дисперсию остатков для любых значений фактора.

Рассмотрим тесты , которые позволяют провести анализ модели на гомоскедастичность.

При малом объеме выборки, что наиболее характерно для эконометрических исследований, для оценки гетероскедастичности может использоваться метод Гольдфельда  Квандта , разработанный в 1965 г. Гольдфельд и Квандт рассмотрели однофакторную линейную модель, для которой дисперсия остатков возрастает пропорционально квадрату фактора. Для того чтобы оценить нарушение гомоскедастичности, они предложили параметрический тест , который включает в себя следующие шаги:

Упорядочение п наблюдений по мере возрастания переменной х .

Исключение из рассмотрения С центральных наблюдений; при этом (п  С)/2 > р , где р  число оцениваемых параметров.

Из экспериментальных расчетов, проведенных авторами метода для случая одного фактора, рекомендовано при п = 30 принимать С = 8, а при п = 60 – соответственно С = 16.

Разделение совокупности из (п  С ) наблюдений на две группы (соответственно с малыми и большими значениями фактора х ) и определение по каждой из групп уравнений регрессии.

Определение остаточной суммы квадратов для первой (S 1) и второй (S 2) групп и нахождение их отношения: R = S 1 /S 2 , где S 1 > S 2 .

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F -критерию с (п С 2р )/2 степенями свободы для каждой остаточной суммы квадратов. Чем больше величина R превышает табличное значение F -критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Критерий ГольдфельдаКвандта используется и при проверке остатков множественной регрессии на гетероскедастичность.

Наличие гетероскедастичности в остатках регрессии можно проверить и с помощью ранговой корреляции Спирмэна . Суть проверки заключается в том, что в случае гетероскедастичности абсолютные остатки  i коррелированы со значениями фактора х i . Эту корреляцию можно измерять с помощью коэффициента ранговой корреляции Спирмэна:

, (31)

где d  абсолютная разность между рангами значений х i и | i |.

Статистическую значимость  можно оценить с помощью t -критерия:

. (32)

Сравнив эту величину с табличной величиной при  = 0,05 и числе степеней свободы (п  m ). Принято считать, что если t  > t  , то корреляция между  i и х i статистически значима, т. е. имеет место гетероскедастичность остатков. В противном случае принимается гипотеза об отсутствии гeтероскедастичности остатков.

Рассмотренные критерии не дают количественной оценки зависимости дисперсии ошибок регрессии от соответствующих значений факторов, включенных в регрессию. Они позволяют лишь определить наличие или отсутствие гетероскедастичности остатков. Поэтому если гетероскедастичность остатков установлена, можно количественно оценить зависимость дисперсии ошибок регрессии от значений факторов. С этой целью могут быть использованы тесты Уайта, Парка, Глейзера и др.

Тест Уайта предполагает, что дисперсия ошибок регрессии представляет собой квадратичную функцию от значений факторов, т.е. при наличии одного фактора  2 = а + bx + cx 2 + u , или при наличии факторов:

 2 = a + b 1 x 1 + b 11 +b 2 x 2 + b 22 +b 12 x 1 x 2 + … + b p x p + b pp + + b 1 p x 1 x p + b 2 p x 2 x p + … + u .

Так что модель включает в себя не только значения факторов, но и их квадраты, а также попарные произведения. Поскольку каждый параметр модели =f (х i ) должен быть рассчитан на основе достаточного числа степеней свободы, то чем меньше объем исследуемой совокупности, тем в меньшей мере квадратичная функция сможет содержать попарные произведения факторов. Например, если регрессия строится по 30 наблюдениям как y i = a + b 1 x +  i , то последующая квадратичная функция для остатков может быть представлена лишь как

 2 = а + b 1 x + b 11 х 2 + u ,

поскольку на каждый параметр при х должно приходиться не менее 67 наблюдений. В настоящее время тест Уайта включен в стандартную программу регрессионного анализа в пакете Econometric Views. О наличии или отсутствии гетероскедастичности остатков судят по величине F -критерия Фишера для квадратичной функции регрессии остатков. Если фактическое значение F -критерия выше табличного, то, следовательно, существует четкая корреляционная связь дисперсии ошибок от значений факторов, включенных в регрессию, и имеет место гетероскедастичность остатков. В противном случае (F факт < F табл) делается вывод об отсутствии гeтероскедастичности остатков регрессии.

Тест Парка также относится к формализованным тестам гетероскедастичности. Предполагается, что дисперсия остатков связана со значениями факторов функций ln  2 = а + b ln х + и . Данная регрессия строится для каждого фактора в условиях многофакторной модели. Проверяется значимость коэффициента регрессии b по t -критерию Стьюдента. Если коэффициент регрессии для уравнения ln 2 окажется статистически значимым, то, следовательно, существует зависимость ln 2 от lnх , т.е. имеет место гетероскедастичность остатков.

Если тесты Уайта и Парка предназначены для оценки гетероскедастичности для квадрата остатков  2 , то тест Глейзера основывается на регрессии абсолютных значений остатков ||, т.е. рассматривается функция | i | = а + b + и i . Регрессия | i | от х i строится при разных значениях параметра с , и далее отбирается та функция, для которой коэффициент регрессии b оказывается наиболее значимым, т.е. имеет место наибольшее значение t -критерия Стьюдента или F -критерия Фишера и R 2 .

При обнаружении гетероскедастичности остатков регрессии ставится цель ее устранения, чему служит применение обобщенного метода наименьших квадратов (см. ниже).

Отсутствие автокорреляции остатков. Значения остатков  i , распределены независимо друг от друга .

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений.

При построении регрессионных моделей чрезвычайно важно соблюдение данного условия. Коэффициент корреляции между  i и  i -1 , где  i  остатки текущих наблюдений,  i -1  остатки предыдущих наблюдений может быть определен как

, (33)

что соответствует формуле линейного коэффициента корреляции. Если этот коэффициент окажется существенно отличным от нуля, то остатки автокоррелированы и функция плотности вероятности F () зависит от j -й точки наблюдения и от распределения значений остатков в других точках наблюдения.

Отсутствие автокорреляции остатков обеспечивает состоятельность и эффективность оценок коэффициентов регрессии. Особенно актуально соблюдение данной предпосылки МНК при построении регрессионных моделей по рядам динамики, где при наличии тенденции последующие уровни динамического ряда, как правило, зависят от своих предыдущих уровней.

Остатки подчиняются нормальному распределению.

Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью критериев t иF . Вместе с тем оценки регрессии, найденные с применением МНК, обладают хорошими свойствамидаже при отсутствии нормального распределения остатков, т.е. при нарушении пятой предпосылки метода наименьших квадратов.

Наряду с предпосылками метода наименьших квадратов как метода оценивания параметров регрессии при построении регрессионных моделей должны соблюдаться определенные требования относительно переменных, включаемых в модель. Прежде всего, число переменных т должно быть не больше, чем
. Иначе параметры регрессии оказываются статистически незначимыми. В общем виде применение МНК возможно, если число наблюдений п превышает число оцениваемых параметров т , т.е. система нормальных уравнений имеет решение только тогда, когда п > т .

При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии. Этой цели, как уже указывалось, служит применение обобщенного метода наименьших квадратов.