14. Оцінка коефіцієнтів моделі парної регресії за допомогою вибіркового коефіцієнтарегресії Крім методу найменших квадратів, за допомогою якого в більшості випадків визначаються невідомі параметри моделі регресії, у разі лінійної моделі парної регресії

15. Оцінка дисперсії випадкової помилки моделі регресії Під час проведення регресійного аналізуосновна проблема полягає в тому, що генеральна дисперсіявипадкової помилки є невідомою величиною, що викликає необхідність розрахунку її незміщеної

18. Характеристика якості моделі регресії Якістю моделі регресії називається адекватність побудованої моделі вихідним (спостережуваним) даним. Для оцінки якості моделі регресії використовуються спеціальні показники. Якість лінійної моделі парної регресії

35. Перевірка гіпотези про значимість коефіцієнтів регресії та моделі множинної регресії в цілому Перевірка значимості коефіцієнтів регресії означає перевірку основної гіпотези про їх значну відмінність від нуля. Основна гіпотеза полягає у припущенні про незначущість

39. Моделі регресії, нелінійні за факторними змінними При дослідженні соціально-економічних явищ і процесів далеко не всі залежності можна описати за допомогою лінійного зв'язку. Тому в економетричному моделюванні широко використовується клас нелінійних.

40. Моделі регресії, нелінійні за оцінюваними коефіцієнтами Нелінійними за оцінюваними параметрами моделями регресії називаються моделі, в яких результативна змінна yi нелінійно залежить від коефіцієнтів моделі?

41. Моделі регресії з точками розриву Визначення. Моделями регресії з точками розриву називаються моделі, які не можна призвести до лінійної форми, тобто внутрішньо нелінійні моделі регресії.

44. Методи нелінійного оцінювання коефіцієнтів моделі регресії Функцією втрат або помилок називається функціонал виду Також як функція втрат може бути використана сума модулів відхилень значень результативної ознаки у від теоретичних

46. ​​Перевірка гіпотези про значущість нелінійної моделі регресії. Перевірка гіпотези про лінійної залежностіміж змінними моделі регресії На нелінійні моделі регресії, які є внутрішньо лінійними, тобто зведеними до лінійного вигляду, поширюються всі

58. Тест Глейзера виявлення гетероскедастичності залишків моделі регресії Існує кілька тестів на виявлення гетероскедастичності залишків моделі регресії. Розглянемо застосування тесту Глейзера на прикладі лінійної моделі парної регресії.

59. Тест Голдфелда-Квандта виявлення гетероскедастичності залишків моделі регресії Основною умовою проведення тесту Голдфелда-Квандта є припущення про нормальному законірозподілу випадкової помилки? i моделі регресії. Розглянемо застосування даного

Існує безліч методів усунення гетероскедастичності залишків моделі регресії. Розглянемо деякі з них. Найбільше простим методомусунення гетероскедастичності залишків моделі регресії

61. Автокореляція залишків моделі регресії. Наслідки автокореляції. Автокореляційна функція Автокореляцією називається кореляція, що виникає між рівнями змінної, що вивчається. Це кореляція, яка у часі. Наявність автокореляції найчастіше

62. Критерій Дарбіна-Уотсона виявлення автокореляції залишків моделі регресії Крім автокореляційної та приватної автокореляційної функціїДля виявлення автокореляції залишків моделі регресії використовується критерій Дарбіна-Уотсона. Однак цей критерій

63. Усунення автокореляції залишків моделі регресії У зв'язку з тим, що наявність моделі регресії автокореляції між залишками моделі може призвести до негативним результатамвсього процесу оцінювання невідомих коефіцієнтів моделі, автокореляція залишків

67. Моделі регресії зі змінною структурою. Фіктивні змінні При побудові моделі регресії може виникнути ситуація, коли до неї необхідно включити як кількісні, а й якісні змінні (наприклад, вік, освіту, стать, расову

Оцінка точності регресійних моделей.

Для оцінки точності найчастіше використовують два показники, які для лінійних, так і для нелінійних моделеймають вигляд:

1. Середня помилка апроксимації

2. Середньоквадратична помилка апроксимації

8.1. Сутність та причини гетероскедастичності

Друга умова Гауса – Маркова про гомоскедастичність, тобто рівнозмінність залишків – це одна з найважливіших передумов МНК.

Оскільки математичне очікування залишків у кожному спостереженні дорівнює нулю, квадрати залишків можуть бути оцінками їх дисперсій.

Ці квадрати залишків входять у ESS(яка мінімізується в МНК) з однаковими одиничними вагами, а це не завжди правомірно, тому що на практиці гетероскедастічність не так вже й рідко зустрічається.

Наприклад, зі зростанням доходу зростає не тільки середній рівеньспоживання, а й розкид у споживанні. Він більш властивий суб'єктам з високим доходом, оскільки вони мають більший простір розподілу доходів. Проблема гетероскедастичності є більш характерною для просторових вибірок. Очевидно, що за наявності гетероскедастичності спостереження з більшою дисперсією слід у ESSнадавати меншу вагу і навпаки, а не враховувати їх рівнозваженими, як це робиться у класичному МНК.

Точка на діаграмі розсіювання, отримана зі спостереження з меншою дисперсією, точніше визначає напрямок лінії регресії, ніж точка зі спостереження з більшою дисперсією.

Наслідки гетероскедастичності такі:

1. Оцінки параметрів не будуть ефективними, тобто не матимуть найменшої дисперсії порівняно з іншими оцінками; при цьому вони залишатимуться незміщеними.

2. Дисперсії оцінок будуть зміщені, тому що буде зміщена дисперсія на один ступінь свободи, яка використовується при обчисленні оцінок дисперсій всіх коефіцієнтів.

3. Висновки, одержувані з урахуванням завищених Fі tстатистик, та інтервальні оцінкибудуть ненадійні.

8.2.Виявлення гетероскедастичності

Це досить складне завдання; дисперсію σ 2 (ε i) зазвичай визначити не вдається, так як для конкретного значення пояснює зміною х iабо конкретного значення вектора xпри множинні регресії ми маємо лише єдине значення залежною зміною у iі можемо обчислити єдине модельне значення змінної

Тим не менш, в даний час розроблено низку методів та тестів для виявлення гетероскедастичності:

1. Графічний– ми вже казали, що М(ε i) = 0; це означає, що дисперсію залишку можна замінити її оцінкою, а як цю оцінку можна взяти величину . У такому разі можна побудувати графік у координатах: є функція від х iі ним вивчити характер зазначеної залежності. Якщо пояснюючих змінних кілька, то перевіряється залежність щодо кожної змінної х j, тобто вивчається залежність

Можна також дослідити залежність, оскільки змінна ує лінійною комбінацією всіх пояснюючих змінних.

2. Тест рангової кореляціїСпірмена

Значення x iі ε iупорядковуються за зростанням, і для кожного спостереження у ряді хі в ряді ε встановлюється свій ранг (номер) відповідно до цього упорядкування. Різниця d iміж рангами xі ε для кожного номера спостереження розраховується як

Потім обчислюється коефіцієнт рангової кореляції:

.

Відомо, що якщо залишки не корелюють із змінними, що пояснюють, то статистика

має розподіл Стьюдента з числом ступенів свободи

df = n−2.

Якщо обчислене значення t- Статистики перевищує табличне критичне значення при призначеному рівні значимості γ гіпотези Н 0 то гіпотеза про відсутність гетероскедастичності відкидається і гетероскедастичність визнається істотною. Критичне значення t-статистики визначається за таблицею як

Якщо модель регресії множинна, перевірка гіпотези. Н 0 виконується для кожної пояснюючої змінної.

3. Тест Гольдфельда-Квандта

Передбачається, що дисперсія залишків у кожному спостереженні пропорційна або обернено пропорційна регресору, що цікавить нас, також передбачається, що залишки розподілені нормально і немає автокореляції в залишках.

У разі множинної регресії тест доцільно проводити по кожному регресору окремо.

Послідовність проведення тесту:

а) спостереження (рядки таблиці) упорядковуються за зростанням цікавого для нас регресора;

б) впорядкована таким чином вибірка розбивається на 3 підвибірки обсягами , , , при цьому Можна вважати, що автори тесту пропонують наступні значення: n = 30, k = 11; n = 60, k = 22; n = 100, k= 36…38; n = 300, k = 110 і так далі (див. Табл. 8.1).

Оцінюючи параметрів рівняння регресії ми застосовуємо метод найменших квадратів. При цьому робимо певні передумови щодо випадкової складової . У моделі

у = а + b 1  x + 

випадкова складова  є неспостережуваною величиною. Після того як проведено оцінку параметрів моделі, розрахувавши різниці фактичних і теоретичних значень результативної ознаки у, можна визначити оцінки випадкової складової ( у). При зміні специфікації моделі, додаванні до неї нових спостережень вибіркові оцінки залишків iможуть змінюватися. Тому завдання регресійного аналізу входить як побудова самої моделі, а й дослідження випадкових відхилень  i, тобто. залишкових величин.

У попередньому розділі розглядалися формальні перевірки статистичної достовірності коефіцієнтів регресії та кореляції за допомогою t-критерія Стьюдента та F-Критерія. При використанні цих критеріїв робляться припущення щодо поведінки залишків  i. Залишки є незалежними випадковими величинами, та їх середнє значення дорівнює 0; вони мають однакову (постійну) дисперсію та підкоряються нормальному розподілу.

Оцінки параметрів регресії мають відповідати певним критеріям: бути незміщеними, заможними та ефективними.

Незміщеність оцінкиозначає, що математичне очікування залишків дорівнює нулю. Отже, за великої кількості вибіркових оцінювань залишки не накопичуватимуться і знайдений параметр регресії b iможна розглядати як середнє значення із можливої ​​великої кількості незміщених оцінок.

Для практичних цілей важлива як незміщеність, а й ефективність оцінок. Оцінки вважаються ефективнимиякщо вони характеризуються найменшою дисперсією.

Ступінь реалістичності довірчих інтервалів параметрів регресії забезпечується, якщо оцінки будуть не лише незміщеними та ефективними, а й заможними. Спроможність оцінок характеризує збільшення їх точності зі збільшенням обсягу вибірки.

Дослідження залишків  iпередбачають перевірку наявності наступних п'яти передумов МНК (див. умови Гауса-Маркова):

Випадковий характер залишків.

Для цього будується графік залежності залишків  iвід теоретичних значень результативної ознаки .Якщо на графіку немає спрямованості в розташуванні точок  i, то залишки  iявляють собою випадкові величини і МНК виправданий, теоретичні значення добре апроксимують фактичні значення у.

Нульова середня величиназалишків, що не залежить від х i .

Друга передумова МНК щодо нульової середньої величини залишків означає, що ( у ) = 0. Це можливо для лінійних моделей і моделей, нелінійних щодо змінних, що включаються. Для моделей, нелінійних за оцінюваними параметрами і логарифмуванням, що приводяться до лінійного вигляду, середня помилкадорівнює нулю для логарифмів вихідних даних. Так, для моделі виду

Гомоскедастичність дисперсія кожного відхилення i однакова для всіх значеньх.

Відповідно до третьої передумови методу найменших квадратів потрібно, щоб дисперсія залишків була гомоскедастичної. Це означає, що для кожного значення фактора х iзалишки мають однакову дисперсію. Якщо цієї умови застосування МНК не дотримується, має місце гетероскедастичність(Рис. 1).

Гомоскедастичність залишків означає, що дисперсія залишків  iоднакова для кожного значення х.

Наявність гетероскедастичності в окремих випадкахможе призвести до зміщення оцінок коефіцієнтів регресії, хоча незміщеність оцінок коефіцієнтів регресії переважно залежить від дотримання другої передумови МНК, тобто. незалежності залишків та величин факторів.

Гетероскедастичність позначатиметься на зменшенні ефективності оцінок b i. Зокрема, стає скрутним використання формули стандартної помилки коефіцієнта регресії. що передбачає єдину дисперсію залишків для будь-яких значень фактора.

Розглянемо тестиякі дозволяють провести аналіз моделі на гомоскедастичність.

При малому обсязі вибірки, що є найбільш характерним для економетричних досліджень, для оцінки гетероскедастичності може використовуватися метод Гольдфельда  Квандта , Розроблений в 1965 р. Гольдфельд і Квандт розглянули однофакторну лінійну модель, для якої дисперсія залишків зростає пропорційно квадрату фактора. Для того, щоб оцінити порушення гомоскедастичності, вони запропонували параметричний тест, який включає наступні кроки:

Упорядкування пспостережень у міру зростання змінної х.

Виняток із розгляду Зцентральних спостережень; при цьому ( п С)/2 > р, де р кількість оцінюваних параметрів.

З експериментальних розрахунків, проведених авторами методу для випадку одного фактора, рекомендовано при п= 30 приймати З= 8, а при п= 60 – відповідно З = 16.

Поділ сукупності з ( п  З) спостережень на дві групи (відповідно з малими та великими значеннями фактора х) та визначення за кожною з груп рівнянь регресії.

Визначення залишкової суми квадратів для першої ( S 1) та другий ( S 2) груп та знаходження їх відносини: R = S 1 /S 2 , де S 1 > S 2 .

За виконання нульової гіпотези про гомоскедастичність ставлення Rбуде задовольняти F-критерію з ( пЗ2р)/2 ступенями свободи для кожної залишкової суми квадратів. Чим більша величина Rперевищує табличне значення F-Критерію, тим більше порушена передумова про рівність дисперсій залишкових величин.

Критерій ГольдфельдаКвандта використовується і при перевірці залишків множинної регресії на гетероскедастичність.

Наявність гетероскедастичності у залишках регресії можна перевірити і за допомогою рангової кореляції Спірмена . Суть перевірки полягає в тому, що у разі гетероскедастичності абсолютні залишки  iкорельовані зі значеннями фактора х i. Цю кореляцію можна вимірювати за допомогою коефіцієнта рангової кореляції Спірмена:

, (31)

де d абсолютна різниця між рангами значень х iта | i |.

Статистичну значущість  можна оцінити за допомогою t-критерія:

. (32)

Порівнявши цю величину з табличною величиною при  = 0,05 та числі ступенів свободи ( п  m). Вважають, що якщо t  > t , то кореляція між  iі х iстатистично значуща, т. е. має місце гетероскедастичність залишків. В іншому випадку приймається гіпотеза про відсутність гетероскедастичності залишків.

Розглянуті критерії не дають кількісної оцінки залежності дисперсії помилок регресії від відповідних значень факторів, включених до регресії. Вони дозволяють лише визначити наявність чи відсутність гетероскедастичності залишків. Тому якщо гетероскедастичність залишків встановлена, можна кількісно оцінити залежність дисперсії помилок регресії від значень факторів. З цією метою можуть бути використані тести Уайта, Парку, Глейзер та ін.

Тест Уайта передбачає, що дисперсія помилок регресії є квадратичну функцію від значень чинників, тобто. за наявності одного фактора  2 = а+ bx + cx 2 + u, або за наявності факторів:

 2 = a + b 1 x 1 + b 11 +b 2 x 2 + b 22 +b 12 x 1 x 2 + … + b p x p + b pp + + b 1 p x 1 x p + b 2 p x 2 x p + … + u.

Так що модель включає не тільки значення факторів, але і їх квадрати, а також попарні твори. Оскільки кожен параметр моделі =f(х i) повинен бути розрахований на основі достатньої кількості ступенів свободи, то чим менший обсяг досліджуваної сукупності, тим меншою мірою квадратична функція зможе містити попарні твори факторів. Наприклад, якщо регресія будується за 30 спостереженнями як y i = a + b 1 x +  i, то наступна квадратична функція для залишків може бути представлена ​​лише як

 2 = а + b 1 x + b 11 х 2 + u,

оскільки на кожен параметр при хмає припадати щонайменше 6–7 спостережень. В даний час тест Уайта включений до стандартної програми регресійного аналізу в пакеті Econometric Views. Про наявність чи відсутність гетероскедастичності залишків судять за величиною F-критерія Фішера для квадратичні функціїрегресії залишків. Якщо фактичне значення F-Критерію вище табличного, то, отже, існує чіткий кореляційний зв'язок дисперсії помилок від значень факторів, включених до регресії, і має місце гетероскедастичність залишків. В іншому випадку ( Fфакт< Fтабл) робиться висновок про відсутність гетероскедастичності залишків регресії.

Тест Парку також відноситься до формалізованих тестів гетероскедастичності. Передбачається, що дисперсія залишків пов'язана із значеннями факторів функцій ln  2 = а + b ln х + і. Ця регресія будується кожному за чинника за умов багатофакторної моделі. Перевіряється значущість коефіцієнта регресії bпо t-Крітерію Стьюдента. Якщо коефіцієнт регресії для рівняння ln2 виявиться статистично значущим, то, отже, існує залежність ln2 від ln х, тобто. має місце гетероскедастичність залишків.

Якщо тести Уайта та Парку призначені для оцінки гетероскедастичності для квадрата залишків  2, то тест Глейзера ґрунтується на регресії абсолютних значень залишків ||, тобто. розглядається функція | i | = а + b + і i. Регресія | i| від х iбудується при різних значенняхпараметра з, і далі відбирається та функція, на яку коефіцієнт регресії bвиявляється найзначнішим, тобто. має місце найбільше значення t-критерія Стьюдента або F-критерія Фішера та R 2 .

При виявленні гетероскедастичності залишків регресії ставиться мета її усунення, чому використовується застосування узагальненого методу найменших квадратів (див. нижче).

Відсутність автокореляції залишків. Значення залишків i , розподілені незалежно один від одного.

Автокореляція залишків означає наявність кореляції між залишками поточних та попередніх (наступних) спостережень.

При побудові регресійних моделей надзвичайно важливе дотримання цієї умови. Коефіцієнт кореляції між  iта  i-1 , де  i залишки поточних спостережень,  i-1  залишки попередніх спостережень може бути визначено як

, (33)

що відповідає формулі лінійного коефіцієнта кореляції. Якщо цей коефіцієнт виявиться суттєво відмінним від нуля, то залишки автокорельовані та функція щільності ймовірності F() залежить від j-ї точки спостереження та від розподілу значень залишків в інших точках спостереження.

Відсутність автокореляції залишків забезпечує спроможність та ефективність оцінок коефіцієнтів регресії. Особливо актуальним є дотримання цієї передумови МНК при побудові регресійних моделей за рядами динаміки, де за наявності тенденції наступні рівні динамічного ряду, як правило, залежать від своїх попередніх рівнів.

Залишки підпорядковуються нормальному розподілу.

Передумова нормального розподілу залишків дозволяє проводити перевірку параметрів регресії та кореляції за допомогою критеріїв tі F. Разом про те оцінки регресії, знайдені із застосуванням МНК, мають хороші властивості навіть за відсутності нормального розподілу залишків, тобто. при порушенні п'ятої причини способу менших квадратів.

Поряд із передумовами методу найменших квадратів як методу оцінювання параметрів регресії при побудові регресійних моделей повинні дотримуватися певних вимог щодо змінних, що включаються до моделі. Насамперед, кількість змінних тмає бути не більше, ніж
. Інакше параметри регресії виявляються статистично незначущими. У загальному виглядізастосування МНК можливе, якщо кількість спостережень пперевищує кількість оцінюваних параметрів т, тобто. система нормальних рівняньмає рішення лише тоді, коли п > т.

При недотриманні основних передумов МНК доводиться коригувати модель, змінюючи її специфікацію, додавати (виключати) деякі фактори, перетворювати вихідні дані для того, щоб отримати оцінки коефіцієнтів регресії, які мають властивість незміщеності, мають менше дисперсії залишків і забезпечують у зв'язку з цим більш ефективну статистичну перевірку значимості властивостей регресії. Цій меті, як зазначалося, служить застосування узагальненого методу найменших квадратів.