Відповідно до методу найменших квадратів мінімізується такий вираз. Знаходження параметрів лінії регресії

Наблизимо функцію многочленом 2-го ступеня. Для цього обчислимо коефіцієнти нормальної системи рівнянь:

, ,

Складемо нормальну систему найменших квадратів, яка має вигляд:

Рішення системи легко перебуває: , .

Таким чином, многочлен другого ступеня виявлено: .

Теоретична довідка

Повернутися на сторінку<Введение в вычислительную математику. Примеры>

Приклад 2. Знаходження оптимального ступеня багаточлену.

Повернутися на сторінку<Введение в вычислительную математику. Примеры>

Приклад 3. Виведення нормальної системи рівнянь знаходження параметрів емпіричної залежності.

Виведемо систему рівнянь для визначення коефіцієнтів та функції , що здійснює середньоквадратичну апроксимацію заданої функціїза точками. Складемо функцію і запишемо для неї необхідна умоваекстремуму:

Тоді нормальна системанабуде вигляду:

Отримали лінійну системурівнянь щодо невідомих параметрів та, яка легко вирішується.

Теоретична довідка

Повернутися на сторінку<Введение в вычислительную математику. Примеры>

приклад.

Експериментальні дані про значення змінних хі унаведено у таблиці.

В результаті їх вирівнювання отримано функцію

Використовуючи метод найменших квадратів, апроксимувати ці дані лінійною залежністю y=ax+b(Знайти параметри аі b). З'ясувати, яка з двох ліній краще (у сенсі способу найменших квадратів) вирівнює експериментальні дані. Зробити креслення.

Суть методу найменших квадратів (МНК).

Завдання полягає у знаходженні коефіцієнтів лінійної залежності, при яких функція двох змінних аі bприймає найменше значення. Тобто, за даними аі bсума квадратів відхилень експериментальних даних від знайденої прямої буде найменшою. У цьому суть методу найменших квадратів.

Таким чином, рішення прикладу зводиться до знаходження екстремуму функції двох змінних.

Висновок формул знаходження коефіцієнтів.

Складається та вирішується система із двох рівнянь із двома невідомими. Знаходимо приватні похідні функції за змінними аі b, Прирівнюємо ці похідні до нуля.

Вирішуємо отриману систему рівнянь будь-яким методом (наприклад методом підстановкиабо методом Крамера) і отримуємо формули для знаходження коефіцієнтів методом найменших квадратів (МНК).

За даними аі bфункція набуває найменшого значення. Доказ цього факту наведено нижче в кінці сторінки.

Ось і весь спосіб найменших квадратів. Формула для знаходження параметра aмістить суми , , , та параметр n- Кількість експериментальних даних. Значення цих сум рекомендуємо обчислювати окремо.

Коефіцієнт bзнаходиться після обчислення a.

Настав час згадати про вихідний приклад.

Рішення.

У нашому прикладі n=5. Заповнюємо таблицю для зручності обчислення сум, що входять до формул шуканих коефіцієнтів.

Значення у четвертому рядку таблиці отримані множенням значень 2-го рядка на значення 3-го рядка для кожного номера i.

Значення у п'ятому рядку таблиці отримані зведенням у квадрат значень другого рядка для кожного номера i.

Значення останнього стовпця таблиці – це суми значень рядків.

Використовуємо формули методу найменших квадратів для знаходження коефіцієнтів аі b. Підставляємо у них відповідні значення з останнього стовпця таблиці:

Отже, y = 0.165x+2.184- Шукана апроксимуюча пряма.

Залишилося з'ясувати, яка з ліній y = 0.165x+2.184або краще апроксимує вихідні дані, тобто провести оцінку шляхом найменших квадратів.

Оцінка похибки способу менших квадратів.

Для цього потрібно обчислити суми квадратів відхилень вихідних даних від цих ліній і менше значення відповідає лінії, яка краще в сенсі методу найменших квадратів апроксимує вихідні дані.

Оскільки , то пряма y = 0.165x+2.184краще наближає вихідні дані.

Графічна ілюстрація методу найменших квадратів (МНК).

На графіках все чудово видно. Червона лінія – це знайдена пряма y = 0.165x+2.184, синя лінія – це , Рожеві точки - це вихідні дані.

Навіщо це потрібно, до чого всі ці апроксимації?

Я особисто використовую для вирішення завдань згладжування даних, задач інтерполяції та екстраполяції (у вихідному прикладі могли б попросити знайти значення спостережуваної величини yпри x=3або при x=6методом МНК). Але докладніше поговоримо про це пізніше в іншому розділі сайту.

На початок сторінки

Доведення.

Щоб при знайдених аі bфункція приймала найменше значення, необхідно, щоб у цій точці матриця квадратичної форми диференціала другого порядку для функції була позитивно визначеною. Покажемо це.

Диференціал другого порядку має вигляд:

Тобто

Отже, матриця квадратичної форми має вигляд

причому значення елементів не залежать від аі b.

Покажемо, що матриця є позитивно визначеною. Для цього потрібно, щоб кутові мінори були позитивними.

Кутовий мінор першого порядку . Нерівність сувора, оскільки точки несупадні. Надалі це матимемо на увазі.

Кутовий мінор другого порядку

Доведемо, що методом математичної індукції.

Висновок: знайдені значення аі bвідповідають найменшому значенню функції , отже, є параметрами для методу найменших квадратів.

Нема коли розбиратися?
Замовте рішення

На початок сторінки

Розробка прогнозу з допомогою методу найменших квадратів. Приклад розв'язання задачі

Екстраполяція - це метод наукового дослідження, який ґрунтується на поширенні минулих та реальних тенденцій, закономірностей, зв'язків на майбутній розвиток об'єкта прогнозування. До методів екстраполяції відносяться метод ковзної середньої, метод експоненційного згладжування, метод найменших квадратів.

Сутність методу найменших квадратів полягає у мінімізації суми квадратичних відхиленьміж спостережуваними та розрахунковими величинами. Розрахункові величини перебувають за підібраним рівнянням – рівнянням регресії. Чим менша відстань між фактичними значеннями та розрахунковими, тим точніший прогноз, побудований на основі рівняння регресії.

Теоретичний аналіз сутності явища, що вивчається, зміна якого відображається тимчасовим рядом, служить основою для вибору кривої. Іноді беруться до уваги міркування характері зростання рівнів ряду. Так, якщо зростання випуску продукції очікується у арифметичної прогресії, Згладжування проводиться по прямій. Якщо ж виявляється, що зростання йде в геометричній прогресії, то згладжування треба проводити за показовою функцією.

Робоча формула методу найменших квадратів : У t+1 = а * Х + b, де t + 1 – прогнозний період; Уt+1 – прогнозований показник; a та b - коефіцієнти; Х - умовне позначеннячасу.

Розрахунок коефіцієнтів a і b здійснюється за такими формулами:

де, УФ - фактичні значення низки динаміки; n – число рівнів часового ряду;

Згладжування часових рядів шляхом найменших квадратів служить відображення закономірності розвитку досліджуваного явища. В аналітичному вираженні тренда час сприймається як незалежна змінна, а рівні низки виступають як функція цієї незалежної змінної.

Розвиток явища залежить немає від цього, скільки років минуло з відправного моменту, як від того, які чинники впливали його розвиток, у напрямі і з якою інтенсивністю. Звідси ясно, що розвиток явища у часі постає як наслідок цих чинників.

Правильно встановити тип кривої, тип аналітичної залежності від часу – одна з найбільш складних завданьпередпрогнозного аналізу .

Підбір виду функції, що описує тренд, параметри якої визначаються методом найменших квадратів, проводиться в більшості випадків емпірично шляхом побудови ряду функцій і порівняння їх між собою за величиною середньоквадратичної помилки, що обчислюється за формулою:

де УФ - фактичні значення низки динаміки; Ур - розрахункові (згладжені) значення низки динаміки; n – число рівнів часового ряду; р - Число параметрів, що визначаються у формулах, що описують тренд (тенденцію розвитку).

Недоліки методу найменших квадратів :

• при спробі описати досліджуване економічне явище за допомогою математичного рівнянняпрогноз буде точний для невеликого періоду часу і рівняння регресії слід перераховувати в міру надходження нової інформації;
• складність підбору рівняння регресії, яка можна розв'язати при використанні типових комп'ютерних програм.

Приклад застосування методу найменших квадратів для розробки прогнозу

Завдання . Є дані, що характеризують рівень безробіття у регіоні, %

• Побудуйте прогноз рівня безробіття в регіоні на листопад, грудень, січень місяці, використовуючи методи: ковзного середнього, експоненційного згладжування, найменших квадратів.
• Розрахуйте помилки отриманих прогнозів під час використання кожного методу.
• Порівняйте отримані результати, зробіть висновки.

Рішення методом найменших квадратів

Для вирішення складемо таблицю, в якій будемо проводити необхідні розрахунки:

ε = 28,63/10 = 2,86% точність прогнозувисока.

Висновок : Порівнюючи результати, отримані при розрахунках методом ковзної середньої , методом експоненційного згладжування і методом найменших квадратів, можна сказати, що середня відносна помилкапри розрахунках шляхом експоненційного згладжування потрапляє у межі 20-50%. Це означає, що точність прогнозу в даному випадкує лише задовільною.

У першому та третьому випадку точність прогнозу є високою, оскільки середня відносна помилка менша за 10%. Але метод ковзних середніх дозволив отримати більш достовірні результати (прогноз на листопад – 1,52%, прогноз на грудень – 1,53%, прогноз на січень – 1,49%), оскільки середня відносна помилка під час використання цього найменша – 1 13%.

Метод найменших квадратів

Інші статті на цю тему:

Список використаних джерел

1. Науково-методичні рекомендації з питань діагностики соціальних ризиків та прогнозування викликів, загроз та соціальних наслідків. Російський державний соціальний університет. Москва. 2010;
2. Володимирова Л.П. Прогнозування та планування в умовах ринку: Навч. допомога. М.: Видавничий будинок"Дашков і Ко", 2001;
3. Новікова Н.В., Поздєєва О.Г. Прогнозування національної економіки: Навчально-методичний посібник. Єкатеринбург: Вид-во Урал. держ. екон. ун-ту, 2007;
4. Слуцкін Л.М. Курс МБА з прогнозування у бізнесі. М: Альпіна Бізнес Букс, 2006.

Програма МНК

Введіть дані

Дані та апроксимація y = a + b x

i- Номер експериментальної точки;
x i- значення фіксованого параметра у точці i;
y i- значення параметра, що вимірюється в точці i;
ω i- вага виміру в точці i;
y i, розрах.- різниця між виміряним та обчисленим за регресією значенням yу точці i;
S x i (x i)- Оцінка похибки x iпри вимірі yу точці i.

Дані та апроксимація y = k x

i	x i	y i	ω i	y i, розрах.	Δy i	S x i (x i)

Клацніть за графіком,

Інструкція користувача онлайн-програми МНК.

У полі даних введіть на кожному окремому рядку значення `x` та `y` в одній експериментальній точці. Значення повинні відокремлюватися символом пробілу (пробілом або знаком табуляції).

Третім значенням може бути вага точки `w`. Якщо вага точки не вказана, то вона дорівнює одиниці. У переважній більшості випадків ваги експериментальних точок невідомі чи обчислюються, тобто. всі експериментальні дані вважаються рівнозначними. Іноді ваги в досліджуваному інтервалі значень точно не рівнозначні і навіть можуть бути обчислені теоретично. Наприклад, в спектрофотометрії ваги можна обчислити за простими формулами, щоправда, в основному, цим все нехтують для зменшення трудовитрат.

Дані можна вставити через буфер обміну з електронної таблиці офісних пакетів, наприклад Excel з Microsoft Офісу або Calc з Оупен Офісу. Для цього в електронної таблицівиділіть діапазон копійованих даних, скопіюйте в буфер обміну та вставте дані у поле даних на цій сторінці.

Для розрахунку за методом найменших квадратів необхідно не менше двох точок для визначення двох коефіцієнтів `b` - тангенса кута нахилу прямої та `a` - значення, що відсікається прямою на осі `y`.

Для оцінки похибки коефіцієнтів регресії, що розраховуються, потрібно задати кількість експериментальних точок більше двох.

Метод найменших квадратів (МНК).

Чим більша кількість експериментальних точок, тим точніша статистична оцінкакоефіцієнтів (за рахунок зниження коефіцієнта Стьюдента) і тим більше близька оцінка до оцінки генеральної вибірки.

Отримання значень у кожній експериментальній точці часто пов'язане зі значними трудовитратами, тому часто проводять компромісне число експериментів, які дає зручну оцінку і не призведе до надмірних витрат праці. Як правило, кількість експериментів точок для лінійної МНК залежності з двома коефіцієнтами вибирає в районі 5-7 точок.

Коротка теорія методу найменших квадратів для лінійної залежності

Допустимо у нас є набір експериментальних даних у вигляді пар значень [`y_i`, `x_i`], де `i` - номер одного експериментального виміру від 1 до `n`; `y_i` - значення виміряної величини в точці `i`; `x_i` - значення параметра, що задається в точці `i`.

Як приклад можна розглянути дію закону Ома. Змінюючи напругу (різницю потенціалів) між ділянками електричного ланцюга, Ми вимірюємо величину струму, що проходить по цій ділянці. Фізика нам дає залежність, знайдену експериментально:

`I = U/R`,
де `I` - сила струму; `R` - опір; `U` - напруга.

У цьому випадку `y_i` у нас вимірювана величина струму, а `x_i` - значення напруги.

Як інший приклад розглянемо поглинання світла розчином речовини у розчині. Хімія дає нам формулу:

`A = ε l C`,
де `A` - оптична щільність розчину; `ε` - коефіцієнт пропускання розчиненої речовини; `l` – довжина шляху при проходженні світла через кювету з розчином; `C` - концентрація розчиненої речовини.

У цьому випадку `y_i` у нас вимірювана величина відптичної щільності `A`, а `x_i` - значення концентрації речовини, яку ми задаємо.

Ми розглядатимемо випадок, коли відносна похибка в завданні `x_i` значно менша, відносної похибкивиміру `y_i`. Також ми будемо припускати, що це виміряні величини `y_i` випадкові і нормально розподілені, тобто. підкоряються нормальному законурозподілу.

У разі лінійної залежності `y` від `x`, ми можемо написати теоретичну залежність:
`y = a + b x`.

З геометричної точкизору, коефіцієнт `b` позначає тангенс кута нахилу лінії до осі `x`, а коефіцієнт `a` - значення `y` у точці перетину лінії з віссю `y` (при `x = 0`).

Знаходження параметрів лінії регресії.

В експерименті виміряні значення `y_i` не можуть точно лягти на теоретичну пряму через помилки виміру, що завжди властиві реального життя. Тому лінійне рівняння потрібно представити системою рівнянь:
`y_i = a + b x_i + ε_i` (1),
де `ε_i` - невідома помилка вимірювання `y` в `i`-ому експерименті.

Залежність (1) також називають регресією, тобто. залежністю двох величин одна від одної зі статистичною значимістю.

Завданням відновлення залежності є знаходження коефіцієнтів `a` та `b` по експериментальних точках [`y_i`, `x_i`].

Для знаходження коефіцієнтів `a` та `b` зазвичай використовується метод найменших квадратів(МНК). Він є окремим випадком принципу максимальної правдоподібності.

Перепишемо (1) у вигляді `ε_i = y_i - a - b x_i`.

Тоді сума квадратів помилок буде
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Принципом МНК (методу найменших квадратів) є мінімізація суми (2) щодо параметрів `a` та `b`.

Мінімум досягається, коли приватні похідні від суми (2) за коефіцієнтами `a` та `b` дорівнюють нулю:
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`

Розкриваючи похідні, отримуємо систему із двох рівнянь із двома невідомими:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Розкриваємо дужки та переносимо незалежні від шуканих коефіцієнтів суми в іншу половину, отримаємо систему лінійних рівнянь:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

Вирішуючи, отриману систему, знаходимо формули для коефіцієнтів `a` та `b`:

a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 — sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

b = frac(n sum_(i=1)^(n) x_iy_i — sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

Ці формули мають рішення, коли `n > 1` (лінію можна побудувати не менш ніж за 2-ма точками) і коли детермінант `D = n sum_(i=1)^(n) x_i^2 - (sum_(i= 1) ^ (n) x_i) ^ 2! = 0 `, тобто. коли точки `x_i` в експерименті розрізняються (тобто коли лінія не вертикальна).

Оцінка похибок коефіцієнтів лінії регресії

Для більш точної оцінки похибки обчислення коефіцієнтів `a` та `b` бажано велика кількістьекспериментальних точок. При `n = 2` оцінити похибку коефіцієнтів неможливо, т.к. апроксимуюча лінія однозначно проходитиме через дві точки.

Похибка випадкової величини`V` визначається законом накопичення помилок
`S_V^2 = sum_(i=1)^p (frac(partial f)(partial z_i))^2 S_(z_i)^2`,
де `p` - число параметрів `z_i` з похибкою `S_(z_i)`, які впливають на похибку `S_V`;
`f` - функція залежності `V` від `z_i`.

Розпишемо закон накопичення помилок для похибки коефіцієнтів `a` та `b`
`S_a^2 = sum_(i=1)^(n)(frac(partial a)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial a )(partial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(partial a)(partial y_i))^2`,
`S_b^2 = sum_(i=1)^(n)(frac(partial b)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial b) )(partial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(partial b)(partial y_i))^2 `,
т.к. `S_(x_i)^2 = 0` (ми раніше зробили застереження, що похибка `x` зневажливо мала).

`S_y^2 = S_(y_i)^2` - похибка (дисперсія, квадрат стандартного відхилення) у вимірі `y` у припущенні, що похибка однорідна для всіх значень `y`.

Підставляючи в отримані вирази формули для розрахунку `a` та `b` отримаємо

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 — x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) `(4.2)

У більшості реальних експериментів значення Sy не вимірюється. Для цього потрібно проводити кілька паралельних вимірів (дослідів) в одній або кількох точках плану, що збільшує час (і, можливо, вартість) експерименту. Тому зазвичай вважають, що відхилення 'y' від лінії регресії вважатимуться випадковим. Оцінку дисперсії `y` у цьому випадку вважають за формулою.

`S_y^2 = S_(y, ост)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Дільник `n-2` з'являється тому, що у нас знизилося число ступенів свободи через розрахунок двох коефіцієнтів з цієї ж вибірки експериментальних даних.

Таку оцінку ще називають залишковою дисперсією щодо лінії регресії `S_(y, ост)^2`.

Оцінка значущості коефіцієнтів проводиться за критерієм Стьюдента

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Якщо розраховані критерії `t_a`, `t_b` менше табличних критеріїв`t(P, n-2)`, то вважається, що відповідний коефіцієнт не значимо відрізняється від нуля із заданою ймовірністю `P`.

Для оцінки якості опису лінійної залежності, можна порівняти `S_(y, ост)^2` та `S_(bar y)` щодо середнього з використанням критерію Фішера.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - вибіркова оцінкадисперсії `y` щодо середнього.

Для оцінки ефективності рівняння регресії для опису залежності розраховують коефіцієнт Фішера
`F = S_(bar y) / S_(y, ост)^2`,
який порівнюють з табличним коефіцієнтом Фішера `F(p, n-1, n-2)`.

Якщо `F > F(P, n-1, n-2)`, вважається статистично значущим з ймовірністю `P` різницю між описом залежності `y = f(x)` за допомогою урівняння регресії та описом за допомогою середнього. Тобто. регресія краще описує залежність, ніж розкид `y` щодо середнього.

Клацніть за графіком,
щоб додати значення до таблиці

Метод найменших квадратів. Під методом найменших квадратів розуміється визначення невідомих параметрів a, b, c, прийнятої функціональної залежності

Під методом найменших квадратів розуміється визначення невідомих параметрів a, b, c,…прийнятої функціональної залежності

y = f(x, a, b, c, …),

які б забезпечували мінімум середнього квадрата (дисперсії) помилки

, (24)

де x i, y i - Сукупність пар чисел, отриманих з експерименту.

Оскільки умовою екстремуму функції кількох змінних є умова рівності нулю її похідних, то параметри a, b, c,…визначаються із системи рівнянь:

; ; ; … (25)

Необхідно пам'ятати, що метод найменших квадратів застосовується для вибору параметрів після того, як вид функції y = f(x)визначено.

Якщо з теоретичних міркувань не можна зробити жодних висновків про те, якою має бути емпірична формула, то доводиться керуватися наочними уявленнями, Насамперед графічним зображенням спостережених даних.

Насправді найчастіше обмежуються такими видами функций:

1) лінійна ;

2) квадратична a.

Якщо деяка фізична величиназалежить від іншої величини, то цю залежність можна досліджувати, вимірюючи y при різних значеннях x. В результаті вимірів виходить ряд значень:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

За даними такого експерименту, можна побудувати графік залежності y = ƒ(x). Отримана крива дозволяє судити про вид функції ƒ(x). Однак постійні коефіцієнти, які входять до цієї функції, залишаються невідомими. Визначити їх дозволяє метод найменших квадратів. Експериментальні точки, зазвичай, не лягають точно на криву. Метод найменших квадратів вимагає, щоб сума квадратів відхилень експериментальних точок від кривої, тобто. 2 була найменшою.

Насправді цей метод найчастіше (і найпростіше) використовується у разі лінійної залежності, тобто. коли

y = kxабо y = a + bx.

Лінійна залежність дуже поширена у фізиці. І навіть коли нелінійна залежність, зазвичай намагаються будувати графік так, щоб отримати пряму лінію. Наприклад, якщо припускають, що показник заломлення скла n пов'язаний з довжиною λ світлової хвилі співвідношенням n = a + b/λ 2 то на графіку будують залежність n від λ -2 .

Розглянемо залежність y = kx(Пряма, що проходить через початок координат). Складемо величину φ суму квадратів відхилень наших точок від прямої

Величина φ завжди позитивна і виявляється тим меншою, чим ближче до прямої лежать наші точки. Метод найменших квадратів стверджує, що для k слід вибирати таке значення, при якому має мінімум

або
(19)

Обчислення показує, що середньоквадратична помилка визначення величини k дорівнює при цьому

, (20)
де n число вимірювань.

Розглянемо тепер трохи більше важкий випадок, коли точки повинні задовольнити формулу y = a + bx(Пряма, що не проходить через початок координат).

Завдання полягає в тому, щоб за наявним набором значень x i , y i знайти найкращі значення a та b.

Знову складемо квадратичну форму φ , рівну суміквадратів відхилень точок x i , y i від прямої

і знайдемо значення a і b , при яких має мінімум

;

.

.

Спільне рішенняцих рівнянь дає

(21)

Середньоквадратичні помилки визначення a та b рівні

(23)

.  (24)

При обробці результатів вимірювання цим методом зручно всі дані зводити в таблицю, в якій попередньо підраховуються всі суми, що входять до формул (19) (24). Форми цих таблиць наведені в наведених нижче прикладах.

приклад 1.Досліджувалося основне рівняння динаміки обертального рухуε = M/J (пряма, яка проходить через початок координат). За різних значень моменту M вимірювалося кутове прискоренняε деякого тіла. Потрібно визначити момент інерції цього тіла. Результати вимірювань моменту сили та кутового прискорення занесені до другого та третього стовпців таблиці 5.

Таблиця 5

n	M, Н · м	ε, c -1	M 2	M · ε	ε - kM	(ε - kM) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑	–	–	123.1886	41.1115	–	0.016436

За формулою (19) визначаємо:

.

Для визначення середньоквадратичної помилки скористаємося формулою (20)

0.005775кг-1 · м -2 .

За формулою (18) маємо

; .

S J = (2.996 · 0.005775) / 0.3337 = 0.05185 кг · м 2.

Задавшись надійністю P = 0.95, за таблицею коефіцієнтів Стьюдента для n = 5, знаходимо t = 2.78 і визначаємо абсолютну помилку ΔJ = 2.78 · 0.05185 = 0.1441 ≈ 0.2 кг · м 2.

Результати запишемо у вигляді:

J = (3.0 ± 0.2) кг · м 2;

приклад 2.Обчислимо температурний коефіцієнт опору металу методом найменших квадратів. Опір залежить від температури за лінійним законом

R t = R 0 (1 + α t °) = R 0 + R 0 α t °.

Вільний член визначає опір R 0 при температурі 0 ° C , а кутовий коефіцієнт твір температурного коефіцієнтаα на опір R 0 .

Результати вимірювань та розрахунків наведені в таблиці ( див. таблицю 6).

Таблиця 6

n	t°, c	r, Ом	t-¯ t	(t-¯ t) 2	(t-¯ t)r	r - bt - a	(r - bt - a) 2,10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403	–	8166.833	21.5985	–	746.804
∑/n	85.83333	1.4005	–	–	–	–	–

За формулами (21), (22) визначаємо

R 0 = ? R - α R 0 ? Ом.

Знайдемо помилку у визначенні α. Оскільки , то за формулою (18) маємо:

.

Користуючись формулами (23), (24) маємо

;

0.014126 Ом.

Задавшись надійністю P = 0.95, за таблицею коефіцієнтів Стьюдента для n = 6, знаходимо t = 2.57 та визначаємо абсолютну помилку Δα = 2.57 · 0.000132 = 0.000338 град -1.

α = (23 ± 4) · 10 -4 град-1 за P = 0.95.

приклад 3.Потрібно визначити радіус кривизни лінзи по кільцях Ньютона. Вимірювалися радіуси кілець Ньютона r m та визначалися номери цих кілець m. Радіуси кілець Ньютона пов'язані з радіусом кривизни лінзи R і номером кільця рівнянням

r 2 m = mλR - 2d 0 R,

де d 0 товщина зазору між лінзою і плоскопаралельною пластинкою (або деформація лінзи),

λ | довжина хвилі падаючого світла.

λ = (600 ± 6) нм;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

тоді рівняння набуде вигляду y = a + bx.

.

Результати вимірювань та обчислень занесені до таблицю 7.

Таблиця 7

n	x = m	y = r 2 10 -2 мм 2	m - m	(m - m) 2	(m - m)y	y - bx - a, 10 -4	(y - bx - a) 2 , 10 -6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129	–	17.5	1.041175	–	3.12176
∑/n	3.5	20.8548333	–	–	–	–	–

Яке знаходить найширше застосування в різних областяхнауки та практичної діяльності. Це може бути фізика, хімія, біологія, економіка, соціологія, психологія і таке інше. Волею долі мені часто доводиться мати справу з економікою, і тому сьогодні я оформлю вам путівку до дивовижну країнупід назвою Економетрика=) …Як це не хочете?! Там дуже добре – треба тільки наважитися! …Але ось те, що ви, напевно, точно хочете – так це навчитися вирішувати завдання методом найменших квадратів. І особливо старанні читачі навчаться вирішувати їх не тільки безпомилково, але ще й ДУЖЕ ШВИДКО;-) Але спочатку загальна постановка задачі+ супутній приклад:

Нехай у деякій предметної областідосліджуються показники, які мають кількісний вираз. У цьому є підстави вважати, що показник залежить від показника . Це становище може бути як науковою гіпотезою, так і ґрунтуватися на елементарному здоровому глузді. Залишимо, проте, науку осторонь і досліджуємо більш апетитні області - зокрема, продовольчі магазини. Позначимо через:

– торгову площу продовольчого магазину, кв.м.,
- Річний товарообіг продовольчого магазину, млн. руб.

Цілком зрозуміло, що чим більше площамагазину, тим у більшості випадків буде більшим його товарообіг.

Припустимо, що після проведення спостережень/дослідів/підрахунків/танців з бубном у нашому розпорядженні виявляються числові дані:

З гастрономами, гадаю, все зрозуміло: - це площа 1-го магазину, - його річний товарообіг, - площа 2-го магазину, - його річний товарообіг і т.д. До речі, зовсім не обов'язково мати доступ до секретним матеріалам- Досить точну оцінкутоварообігу можна отримати засобами математичної статистики. Втім, не відволікаємось, курс комерційного шпигунства – він уже платний =)

Табличні дані також можна записати у вигляді точок та зобразити у звичній для нас декартовій системі .

Відповімо на важливе питання: скільки точок потрібно для якісного дослідження?

Чим більше тим краще. Мінімально допустимий набір складається з 5-6 пікселів. Крім того, при невеликій кількості даних у вибірку не можна включати «аномальні» результати. Так, наприклад, невеликий елітний магазин може рятувати на порядки більше "своїх колег", спотворюючи тим самим загальну закономірність, Яку і потрібно знайти!

Якщо дуже просто - нам потрібно підібрати функцію, графікякою проходить якомога ближче до точок . Таку функцію називають апроксимуючою (апроксимація – наближення)або теоретичною функцією . Взагалі кажучи, тут одразу з'являється очевидний «претендент» – багаточлен високого ступеня, Графік якого проходить через ВСІ точки. Але цей варіант складний, а часто й просто некоректний (т.к. графік буде весь час «петляти» і погано відображатиме головну тенденцію).

Таким чином, розшукувана функція повинна бути досить простою і в той же час відображати залежність адекватно. Як ви здогадуєтеся, один із методів знаходження таких функцій і називається методом найменших квадратів. Спочатку розберемо його суть у загальному вигляді. Нехай деяка функція наближає експериментальні дані:


Як оцінити точність наближення? Обчислимо і різниці (відхилення) між експериментальними та функціональними значеннями (Вивчаємо креслення). Перша думка, яка спадає на думку – це оцінити, наскільки велика сума, але проблема полягає в тому, що різниці можуть бути і негативні. (наприклад, ) та відхилення внаслідок такого підсумовування будуть взаємознищуватись. Тому як оцінка точності наближення напрошується прийняти суму модуліввідхилень:

або в згорнутому вигляді: (раптом хто не знає: – це значок суми, а – допоміжна змінна-«лічильник», яка набуває значення від 1 до ).

Наближаючи експериментальні точки різними функціями, ми отримуватимемо різні значення, і, очевидно, де ця сума менше – та функція і точніше.

Такий метод існує і називається він методом найменших модулів. Однак на практиці набув значно більшого поширення метод найменших квадратів, в якому можливі від'ємні значенняліквідуються не модулем, а зведенням відхилень у квадрат:

, після чого зусилля спрямовані на підбір такої функції, щоб сума квадратів відхилень була якнайменше. Власне, звідси й назва методу.

І зараз ми повертаємось до іншого важливому моменту: Як зазначалося вище, функція, що підбирається, повинна бути досить проста - але ж і таких функцій теж чимало: лінійна , гіперболічна, експоненційна, логарифмічна, квадратична і т.д. І, звичайно, тут одразу б хотілося «скоротити поле діяльності». Який клас функцій вибрати на дослідження? Примітивний, але ефективний прийом:

- Найпростіше зобразити точки на кресленні та проаналізувати їх розташування. Якщо вони мають тенденцію розташовуватися по прямій, слід шукати рівняння прямої з оптимальними значеннями та . Іншими словами, завдання полягає у знаходженні ТАКИХ коефіцієнтів – щоб сума квадратів відхилень була найменшою.

Якщо ж точки розташовані, наприклад, по гіперболі, то свідомо зрозуміло, що лінійна функція даватиме погане наближення. У цьому випадку шукаємо найбільш «вигідні» коефіцієнти для рівняння гіперболи – ті, що дають мінімальну суму квадратів .

А тепер зверніть увагу, що в обох випадках мова йде про функції двох змінних, аргументами якої є параметри залежностей, що розшукуються:

І по суті нам потрібно вирішити стандартне завдання – знайти мінімум функції двох змінних.

Згадаймо про наш приклад: припустимо, що «магазинні» точки мають тенденцію розташовуватися по прямій лінії і є підстави вважати наявність лінійної залежностітоварообігу від торгової площі Знайдемо ТАКІ коефіцієнти «а» та «бе», щоб сума квадратів відхилень була найменшою. Все як завжди - спочатку приватні похідні 1-го порядку. Згідно правилу лінійностідиференціювати можна прямо під значком суми:

Якщо хочете використати цю інформаціюдля реферату або курсовика – буду дуже вдячний за посилання в списку джерел, такі докладні викладки знайдете мало де:

Складемо стандартну систему:

Скорочуємо кожне рівняння на «двійку» і, крім того, «розвалюємо» суми:

Примітка : самостійно проаналізуйте, чому «а» та «бе» можна винести за значок суми До речі, формально це можна зробити і із сумою

Перепишемо систему у «прикладному» вигляді:

після чого починає промальовуватися алгоритм розв'язання нашого завдання:

Координати точок ми знаємо? Знаємо. Суми знайти можемо? Легко. Складаємо найпростішу систему двох лінійних рівнянь із двома невідомими(«а» та «бе»). Систему вирішуємо, наприклад, методом Крамера, в результаті чого отримуємо стаціонарну точку. Перевіряючи достатня умова екстремумуможна переконатися, що в даній точці функція досягає саме мінімуму. Перевірка пов'язана з додатковими викладками і тому залишимо її за кадром (при необхідності кадр, що бракує, можна подивитися ). Робимо остаточний висновок:

Функція найкращим чином (принаймні, порівняно з будь-якою іншою лінійною функцією)наближає експериментальні точки . Грубо кажучи, її графік відбувається максимально близько до цих точок. У традиціях економетрикиотриману апроксимуючу функцію також називають рівнянням парної лінійної регресії .

Розглянуте завдання має велике практичне значення. У ситуації з нашим прикладом, рівняння дозволяє прогнозувати, який товарообіг («Ігрек»)буде біля магазину при тому чи іншому значенні торгової площі (Тому чи іншому значенні «ікс»). Так, отриманий прогноз буде лише прогнозом, але у багатьох випадках він виявиться досить точним.

Я розберу лише одне завдання з «реальними» числами, оскільки ніяких труднощів у ньому немає – всі обчислення на рівні шкільної програми 7-8 класи. У 95 відсотків випадків вам буде запропоновано знайти саме лінійну функцію, але в самому кінці статті я покажу, що нітрохи не складніше знайти рівняння оптимальної гіперболи, експоненти та деяких інших функцій.

По суті, залишилося роздати обіцяні плюшки – щоб ви навчилися вирішувати такі приклади не лише безпомилково, а ще й швидко. Уважно вивчаємо стандарт:

Завдання

В результаті дослідження взаємозв'язку двох показників отримані такі пари чисел:

Методом найменших квадратів знайти лінійну функцію, яка найкраще наближає емпіричні (досвідчені)дані. Зробити креслення, на якому в декартовій прямокутної системикоординат побудувати експериментальні точки та графік апроксимуючої функції . Знайти суму квадратів відхилень між емпіричними та теоретичними значеннями. З'ясувати, чи буде функція кращою (з погляду методу найменших квадратів)наближати експериментальні точки.

Зауважте, що «іксові» значення – натуральні, і це має характерний змістовний зміст, про який я розповім трохи згодом; але вони, зрозуміло, можуть і дробовими. Крім того, залежно від змісту того чи іншого завдання як «іксові», так і «ігрові» значення повністю або частково можуть бути негативними. Ну а у нас дане «безлике» завдання, і ми починаємо її Рішення:

Коефіцієнти оптимальної функції знайдемо як розв'язання системи:

З метою більш компактного запису змінну-«лічильник» можна опустити, оскільки і так зрозуміло, що підсумовування здійснюється від 1 до .

Розрахунок потрібних сум зручніше оформити у табличному вигляді:


Обчислення можна провести на мікрокалькуляторі, але краще використовувати Ексель - і швидше, і без помилок; дивимося короткий відеоролик:

Таким чином, отримуємо наступну систему:

Тут можна помножити друге рівняння на 3 та від 1-го рівняння почленно відняти 2-е. Але це везіння - на практиці системи частіше не подарункові, і в таких випадках рятує метод Крамера:
Отже, система має єдине рішення.

Виконаємо перевірку. Розумію, що не хочеться, але навіщо пропускати помилки там, де їх можна стовідсотково не пропустити? Підставимо знайдене рішення в ліву частину кожного рівняння системи:

Отримано праві частини відповідних рівняньОтже, система вирішена правильно.

Таким чином, шукана апроксимуюча функція: – з всіх лінійних функційекспериментальні дані найкраще наближає саме вона.

На відміну від прямий залежності товарообігу магазину від його площі, знайдена залежність є зворотній (Принцип «що більше – тим менше»), і цей факт відразу виявляється по негативному кутовому коефіцієнту. Функція повідомляє нам про те, що зі збільшення якогось показника на 1 одиницю значення залежного показника зменшується в середньомуна 0,65 одиниць. Як то кажуть, що вище ціна на гречку, то менше її продано.

Для побудови графіка апроксимуючої функції знайдемо два її значення:

і виконаємо креслення:


Побудована пряма називається лінією тренду (а саме – лінією лінійного тренду, тобто в загальному випадкутренд – це не обов'язково пряма лінія). Всім знайомий вислів «бути в тренді», і, гадаю, що цей термін не потребує додаткових коментарів.

Обчислимо суму квадратів відхилень між емпіричними та теоретичними значеннями. Геометрично – це сума квадратів довжин «малинових» відрізків (два з яких настільки малі, що їх навіть не видно).

Обчислення зведемо до таблиці:


Їх можна знову ж таки провести вручну, про всяк випадок наведу приклад для 1-ї точки:

але набагато ефективніше вчинити вже відомим чином:

Ще раз повторимо: у чому сенс отриманого результату?З всіх лінійних функційу функції показник є найменшим, тобто у своїй родині це найкраще наближення. І тут, до речі, не випадковий заключне питаннязавдання: а раптом запропонована експоненційна функція краще наближати експериментальні точки?

Знайдемо відповідну суму квадратів відхилень – щоб розрізняти, я позначу їх літерою «епсілон». Техніка така сама:


І знову на будь-який пожежний обчислення для 1-ї точки:

В Екселі користуємося стандартною функцією EXP (Синтаксис можна подивитися в екселевський Довідці).

Висновок: , отже, експоненційна функція наближає експериментальні точки гірше, ніж пряма .

Але тут слід зазначити, що «гірше» – це ще не означає, що погано. Зараз збудував графік цієї експоненційної функції – і він теж проходить близько до точок - Так, що без аналітичного дослідження і сказати важко, яка функція точніше.

На цьому рішення закінчено, і я повертаюся до питання про натуральні значення аргументу. У різних дослідженнях, зазвичай, економічних чи соціологічних, натуральними «іксами» нумерують місяці, роки чи інші рівні часові проміжки. Розглянемо, наприклад, таке завдання.

Він має безліч застосувань, оскільки дозволяє здійснювати наближене уявлення заданої функції іншими більш простими. МНК може виявитися надзвичайно корисним при обробці спостережень і його активно використовують для оцінки одних величин за результатами вимірювань інших, що містять випадкові помилки. З цієї статті ви дізнаєтеся, як реалізувати обчислення методом найменших квадратів в Excel.

Постановка задачі на конкретному прикладі

Припустимо, є два показники X і Y. Причому Y залежить від X. Так як МНК цікавить нас з погляду регресійного аналізу (в Excel його методи реалізуються за допомогою вбудованих функцій), то відразу ж перейти до розгляду конкретної задачі.

Отже, нехай X - торгівельна площапродовольчого магазину, що вимірюється в квадратних метрах, а Y - Річний товарообіг, що визначається в мільйонах рублів.

Потрібно зробити прогноз, який товарообіг (Y) матиме магазин, якщо в нього та чи інша торгова площа. Очевидно, що функція Y = f(X) зростаюча, оскільки гіпермаркет продає більше товарів, ніж ларьок.

Декілька слів про коректність вихідних даних, що використовуються для передбачення

Припустимо, ми маємо таблицю, побудовану за даними для n магазинів.

Згідно математичної статистики, результати будуть більш-менш коректними, якщо досліджуються дані щодо хоча б 5-6 об'єктів. Крім того, не можна використовувати "аномальні" результати. Зокрема, невеликий елітний бутік може мати товарообіг у рази більший, ніж товарообіг великих торгових точок класу «масмаркет».

Суть методу

Дані таблиці можна зобразити на декартової площиниу вигляді точок M 1 (x 1, y 1), … M n (x n, y n). Тепер розв'язання задачі зведеться до підбору апроксимуючої функції y = f(x), що має графік, що проходить якомога ближче до точок M1, M2,.. Mn.

Звичайно, можна використовувати багаточлен високого ступеня, але такий варіант не тільки важко реалізувати, але й просто некоректний, тому що не відображатиме основну тенденцію, яку і потрібно виявити. Найрозумнішим рішенням є пошук прямої у = ax + b, яка найкраще наближає експериментальні дані, a точніше, коефіцієнтів – a та b.

Оцінка точності

При будь-якій апроксимації особливої ​​важливості набуває оцінка її точності. Позначимо через e i різницю (відхилення) між функціональними та експериментальними значеннями для точки x i , тобто e i = y i - f (x i).

Очевидно, що для оцінки точності апроксимації можна використовувати суму відхилень, тобто при виборі прямої для наближеного уявлення залежності X від Y потрібно віддавати перевагу тій, у якої найменше значення суми e i у всіх точках. Однак, не все так просто, тому що поряд із позитивними відхиленнями практично будуть присутні і негативні.

Вирішити питання можна, використовуючи модулі відхилень або їх квадрати. Останній метод отримав найбільш широке розповсюдження. Він використовується в багатьох областях, включаючи регресійний аналіз(В Excel його реалізація здійснюється за допомогою двох вбудованих функцій), і давно довів свою ефективність.

Метод найменших квадратів

В Excel, як відомо, існує вбудована функція автосуми, що дозволяє обчислити значення всіх значень, які розташовані у виділеному діапазоні. Таким чином, ніщо не завадить нам розрахувати значення виразу (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

У математичному записі це має вигляд:

Оскільки спочатку було прийнято рішення про апроксимування за допомогою прямої, то маємо:

Таким чином, завдання знаходження прямої, яка найкраще описує конкретну залежність величин X та Y, зводиться до обчислення мінімуму функції двох змінних:

Для цього потрібно прирівняти до нуля приватні похідні за новими змінними a і b, і вирішити примітивну систему, що складається з двох рівнянь з двома невідомими видами:

Після нехитрих перетворень, включаючи поділ на 2 та маніпуляції із сумами, отримаємо:

Вирішуючи її, наприклад, методом Крамера, отримуємо стаціонарну точку з деякими коефіцієнтами a* та b*. Це і є мінімум, тобто для передбачення, який товарообіг буде у магазину при певної площі, підійде пряма y = a * x + b * , що є регресійну модельдля прикладу, про який мова йде. Звичайно, вона не дозволить знайти точний результатАле допоможе отримати уявлення про те, чи окупиться покупка в кредит магазину конкретної площі.

Як реалізувати метод найменших квадратів в Excel

У "Ексель" є функція для розрахунку значення МНК. Вона має наступний вигляд: «ТЕНДЕНЦІЯ» (відом. значення Y; відом. значення X; нові значення X; конст.). Застосуємо формулу розрахунку МНК Excel до нашої таблиці.

Для цього в комірку, в якій має бути відображено результат розрахунку за методом найменших квадратів в Excel, введемо знак = і виберемо функцію ТЕНДЕНЦІЯ. У вікні заповнимо відповідні поля, виділяючи:

• діапазон відомих значень для Y (у разі дані для товарообігу);
• діапазон x 1, … x n, тобто величини торгових площ;
• і відомі, і невідомі значення x, для якого потрібно з'ясувати розмір товарообігу (інформацію про їхнє розташування на робочому аркуші див. далі).

Крім того, у формулі є логічна змінна «Конст». Якщо ввести у відповідне їй поле 1, це означатиме, що слід здійснити обчислення, вважаючи, що b = 0.

Якщо потрібно дізнатися прогноз більш ніж одного значення x, то після введення формули слід натиснути не на «Введення», а потрібно набрати на клавіатурі комбінацію «Shift» + «Control» + «Enter» («Введення»).

Деякі особливості

Регресійний аналіз може бути доступним навіть чайникам. Формула Excelдля передбачення значення масиву невідомих змінних — «ТЕНДЕНЦІЯ» — можна використовувати навіть тими, хто ніколи не чув про метод найменших квадратів. Достатньо просто знати деякі особливості її роботи. Зокрема:

• Якщо розташувати діапазон відомих значень змінної y в одному рядку або стовпці, то кожен рядок (стовпець) з відомими значеннями x буде сприйматися програмою як окрема змінна.
• Якщо у вікні «ТЕНДЕНЦІЯ» не вказаний діапазон з відомими x, то у разі використання функції Excel програмабуде розглядати його як масив, що складається з цілих чисел, кількість яких відповідає діапазону із заданими значеннями змінної y.
• Щоб одержати на виході масив "передбачених" значень, вираз для обчислення тенденції потрібно вводити як формулу масиву.
• Якщо не вказано нових значень x, то функція «ТЕНДЕНЦІЯ» вважає їх рівним відомим. Якщо вони не задані, то як аргумент береться масив 1; 2; 3; 4;…, який пропорційний діапазону з вже заданими параметрами y.
• Діапазон, що містить нові значення x повинен складатися з такого ж або більшої кількостірядків або стовпців, як діапазон із заданими значеннями y. Іншими словами він має бути пропорційним незалежним змінним.
• У масиві з відомими значеннями x може бути кілька змінних. Однак якщо мова йделише одну, то потрібно, щоб діапазони із заданими значеннями x і y були пропорційні. У разі кількох змінних потрібно, щоб діапазон із заданими значеннями y вміщався в одному стовпчику або в одному рядку.

Функція «ПЕРЕДСКАЗ»

Реалізується за допомогою кількох функцій. Одна з них називається «Предказ». Вона аналогічна «ТЕНДЕНЦІЇ», тобто видає результат обчислень методом найменших квадратів. Однак лише для одного X, для якого невідомо значення Y.

Тепер ви знаєте формули в Excel для чайників, що дозволяють спрогнозувати величину майбутнього значення того чи іншого показника згідно з лінійним трендом.

Знаходить широке застосування економетриці як чіткої економічної інтерпретації її параметрів.

Лінійна регресія зводиться до знаходження рівняння виду

або

Рівняння виду дозволяє по заданим значеннямпараметра хмати теоретичні значення результативної ознаки, підставляючи в нього фактичні значення фактора х.

Побудова лінійної регресії зводиться до оцінки її параметрів аі в.Оцінки параметрів лінійної регресії можна знайти різними методами.

Класичний підхід до оцінювання параметрів лінійної регресії заснований на методі найменших квадратів(МНК).

МНК дозволяє отримати такі оцінки параметрів аі в,при яких сума квадратів відхилень фактичних значень результативної ознаки (у)від розрахункових (теоретичних) мінімальна:

Щоб знайти мінімум функції, треба обчислити часткові похідні по кожному з параметрів аі bта прирівняти їх до нуля.

Позначимо через S, тоді:

Перетворюючи формулу, отримаємо наступну систему нормальних рівняньдля оцінки параметрів аі в:

Вирішуючи систему нормальних рівнянь (3.5) чи шляхом послідовного виключеннязмінних, чи шляхом визначників, знайдемо шукані оцінки властивостей аі в.

Параметр вназивається коефіцієнтом регресії. Його величина показує середню зміну результату із зміною фактора на одну одиницю.

Рівняння регресії завжди доповнюється показником тісноти зв'язку. При використанні лінійної регресії як такий показник виступає лінійний коефіцієнт кореляції. Існують різні модифікації формули лінійного коефіцієнтакореляції. Деякі з них наведені нижче:

Як відомо, лінійний коефіцієнт кореляції знаходиться у межах: -1 ≤ ≤ 1.

Для оцінки якості підбору лінійної функціїрозраховується квадрат

Лінійний коефіцієнт кореляції званий коефіцієнтом детермінації.Коефіцієнт детермінації характеризує частку дисперсії результативної ознаки у,пояснювану регресією, в загальної дисперсіїрезультативної ознаки:

Відповідно величина 1 - характеризує частку диспер-сії у,викликану впливом інших не врахованих у моделі чинників.

Запитання для самоконтролю

1. Суть методу найменших квадратів?

2. Скільки змінних надається парна регресія?

3. Яким коефіцієнтом визначається тіснота зв'язку між змінами?

4. У яких межах визначається коефіцієнт детермінації?

5. Оцінка параметра b у кореляційно-регресійному аналізі?

1. Крістофер Доугерті. Введення в економетрію. – М.: ІНФРА – М, 2001 – 402 с.

2. С.А. Бородіч. Економетрики. Мінськ ТОВ "Нове знання" 2001.

3. Р.У. Рахметова Короткий курсз економетрики. Навчальний посібник. Алмати. 2004. -78с.

4. І.І. Елісєєва. Економетрика. - М.: «Фінанси та статистика», 2002

5. Щомісячний інформаційно-аналітичний журнал.

Нелінійні економічні моделі. Нелінійні моделі регресії. Перетворення змінних.

Нелінійні економічні моделі..

Перетворення змінних.

Коефіцієнт еластичності.

Якщо між економічними явищамиіснують нелінійні співвідношення, то вони виражаються за допомогою відповідних нелінійних функцій: наприклад, рівносторонньої гіперболи , параболи другого ступеня та ін.

Розрізняють два класи нелінійних регресій:

1. Регресії, нелінійні щодо включених в аналіз пояснюючих змінних, але лінійні за параметрами, що оцінюються, наприклад:

Поліноми різних ступенів - , ;

Рівностороння гіпербола -;

Напівлогарифмічна функція - .

2. Регресії, нелінійні за параметрами, що оцінюються, наприклад:

Ступінна -;

Показова -;

Експонентна - .

Загальна сума квадратів відхилень індивідуальних значеньрезультативної ознаки увід середнього значення спричинена впливом безлічі причин. Умовно розділимо всю сукупність причин на дві групи: досліджуваний фактор хі інші фактори.

Якщо фактор не впливає на результат, то лінія регресії на графіку паралельна осі охі

Тоді вся дисперсія результативної ознаки обумовлена ​​впливом інших факторів та Загальна сумаквадратів відхилень збігається з залишковою. Якщо інші чинники не впливають на результат, то у пов'язанийз хфункціонально та залишкова сумаквадратів дорівнює нулю. І тут сума квадратів відхилень, пояснена регресією, збігається із загальною сумою квадратів.

Оскільки не всі точки поля кореляції лежать на лінії регресії, то завжди має місце їх розкид як обумовлений впливом фактора х, тобто регресією упо х,і викликаний дією інших причин (непояснена варіація). Придатність лінії регресії для прогнозу залежить від того, яка частина загальної варіаціїознаки уприпадає на пояснену варіацію

Очевидно, що якщо сума квадратів відхилень, обумовлена ​​регресією, буде більшою від залишкової суми квадратів, то рівняння регресії статистично значуще і фактор хістотно впливає на результат у.

, тобто з числом свободи незалежного варіювання ознаки. Число ступенів свободи пов'язане з числом одиниць сукупності n і з числом констант, що визначаються за нею. Стосовно досліджуваної проблеми число ступенів свободи має показати, скільки незалежних відхилень з п

Оцінка значущості рівняння регресії в цілому дається за допомогою F-Крітерія Фішера. У цьому висувається нульова гіпотеза, що коефіцієнт регресії дорівнює нулю, тобто. b = 0, і отже, фактор хне впливає на результат у.

Безпосереднім розрахунком F-критерію передує аналіз дисперсії. Центральне місце в ньому займає розкладання загальної суми квадратів відхилень змінної увід середнього значення уна дві частини - «пояснену» та «непояснену»:

- загальна сума квадратів відхилень;

- Сума квадратів відхилення пояснена регресією;

- Залишкова сума квадратів відхилення.

Будь-яка сума квадратів відхилень пов'язана з числом ступенів свободи , тобто з числом свободи незалежного варіювання ознаки. Число ступенів свободи пов'язане з числом одиниць сукупності nі з числом визначених нею констант. Стосовно досліджуваної проблеми число ступенів свободи має показати, скільки незалежних відхилень з пможливих потрібно освіти цієї суми квадратів.

Дисперсія на один ступінь свободиD.

F-відносини (F-критерій):

Якщо нульова гіпотеза справедлива, то факторна і залишкова дисперсіяне відрізняються одна від одної. Для Н 0 необхідно спростування, щоб факторна дисперсія перевищувала залишкову у кілька разів. Англійським статистиком Снедекором розроблені таблиці критичних значень F-відносин при різних рівнях суттєвості нульової гіпотезиі різному числістепенів свободи. Табличне значення F-критерія - це максимальна величина відношення дисперсій, яка може мати місце привипадковому їх розбіжності для даного рівняймовірність наявності нульової гіпотези. Обчислене значення F-відносини визнається достовірним, якщо про більше табличного.

У цьому випадку нульова гіпотеза про відсутність зв'язку ознак відхиляється і робиться висновок про суттєвість зв'язку: F факт > F таблН0 відхиляється.

Якщо ж величина виявиться меншою за табличну F факт ‹, F табл, то ймовірність нульової гіпотези вище заданого рівня і вона може бути відхилена без серйозного ризику зробити неправильний висновок про наявність зв'язку. І тут рівняння регресії вважається статистично незначимим. Але не відхиляється.

Стандартна помилка коефіцієнта регресії

Для оцінки суттєвості коефіцієнта регресії його величина порівнюється з його стандартною помилкою, Т. е. визначається фактичне значення t-критерія Стьюдента: яке потім порівнюється з табличним значеннямпри певному рівні значущості та числі ступенів свободи ( n- 2).

Стандартна помилка параметра а:

Значимість лінійного коефіцієнта кореляції перевіряється на основі величини помилки коефіцієнта кореляції т r:

Загальна дисперсія ознаки х:

Множинна лінійна регресія

Побудова моделі

Множинна регресіяє регресією результативної ознаки з двома і більшим числомфакторів, тобто модель виду

Регресія може дати хороший результат при моделюванні, якщо впливом інших факторів, що впливають на об'єкт дослідження, можна знехтувати. Поведінка окремих економічних змінних контролювати не можна, тобто не вдається забезпечити рівність всіх інших умов для оцінки впливу одного досліджуваного фактора. У цьому випадку слід спробувати виявити вплив інших факторів, ввівши їх у модель, тобто пострівняти рівняння множинної регресії: y = a+b 1 x 1 +b 2 +…+b p x p + .

Основна мета множинної регресії - побудувати модель з великою кількістю факторів, визначивши при цьому вплив кожного з них окремо, а також сукупний їх вплив на показник, що моделюється. Специфікація моделі включає два кола питань: відбір факторів і вибір виду рівняння регресії