Näide.

Eksperimentaalsed andmed muutujate väärtuste kohta X ja juures on toodud tabelis.

Nende joondamise tulemusena funktsioon

Kasutades vähima ruudu meetod, lähendage neid andmeid lineaarse sõltuvusega y=kirves+b(leidke valikud a ja b). Uurige, milline kahest joonest on parem (vähimruutude meetodi mõttes), mis joondab katseandmeid. Tee joonistus.

Vähimruutude meetodi (LSM) olemus.

Ülesanne on leida lineaarsed sõltuvuskoefitsiendid, mille puhul on kahe muutuja funktsioon a ja b võtab väikseima väärtuse. St andmeid arvestades a ja b katseandmete ruutude hälvete summa leitud sirgest on väikseim. See on kogu vähimruutude meetodi mõte.

Seega taandatakse näite lahendus kahe muutuja funktsiooni ekstreemumi leidmisele.

Valemite tuletamine koefitsientide leidmiseks.

Koostatakse ja lahendatakse kahest võrrandist koosnev süsteem kahe tundmatuga. Funktsiooni osatuletiste leidmine muutujate suhtes a ja b, võrdsustame need tuletised nulliga.

Lahendame saadud võrrandisüsteemi mis tahes meetodiga (näiteks asendusmeetod või ) ja saada valemid koefitsientide leidmiseks, kasutades vähimruutude meetodit (LSM).

Andmetega a ja b funktsiooni võtab väikseima väärtuse. Selle fakti tõestus on esitatud.

See on kogu vähimruutude meetod. Valem parameetri leidmiseks a sisaldab summasid , , , ja parameetrit n- katseandmete hulk. Nende summade väärtused on soovitatav arvutada eraldi. Koefitsient b leitud pärast arvutamist a.

On aeg meenutada algset näidet.

Lahendus.

Meie näites n = 5. Nõutavate koefitsientide valemites sisalduvate summade arvutamise mugavuse huvides täidame tabeli.

Tabeli neljanda rea ​​väärtused saadakse, korrutades iga numbri 2. rea väärtused 3. rea väärtustega i.

Tabeli viienda rea ​​väärtused saadakse iga numbri 2. rea väärtuste ruudustamisel i.

Tabeli viimase veeru väärtused on ridade väärtuste summad.

Koefitsientide leidmiseks kasutame vähimruutude meetodi valemeid a ja b. Asendame neis vastavad väärtused tabeli viimasest veerust:

Järelikult y=0,165x+2,184 on soovitud ligikaudne sirgjoon.

Jääb välja selgitada, milline ridadest y=0,165x+2,184 või lähendab paremini algandmeid, st teha hinnang vähimruutude meetodil.

Vähimruutude meetodi vea hindamine.

Selleks peate arvutama nendelt ridadelt algandmete ruuduhälbete summad ja , vastab väiksem väärtus joonele, mis lähendab paremini algandmeid vähimruutude meetodil.

Alates , siis rida y=0,165x+2,184 läheneb paremini algandmetele.

Vähimruutude meetodi (LSM) graafiline illustratsioon.

Tabelites näeb kõik suurepärane välja. Punane joon on leitud joon y=0,165x+2,184, sinine joon on , on roosad täpid algandmed.

Milleks see on mõeldud, milleks kõik need ligikaudsed hinnangud?

Kasutan isiklikult andmete silumisprobleemide, interpolatsiooni ja ekstrapolatsiooni probleemide lahendamiseks (algses näites võiks paluda leida vaadeldava väärtuse väärtus y juures x=3 või millal x=6 vastavalt MNC meetodile). Kuid me räägime sellest lähemalt hiljem saidi teises jaotises.

Tõestus.

Nii et kui leitakse a ja b funktsioon võtab väikseima väärtuse, siis on vajalik, et selles punktis funktsiooni teist järku diferentsiaali ruutkuju maatriks oli positiivne kindel. Näitame seda.

Lähendame funktsiooni 2. astme polünoomiga. Selleks arvutame normaalse võrrandisüsteemi koefitsiendid:

, ,

Koostagem tavaline vähimruutude süsteem, mille vorm on:

Süsteemi lahendust on lihtne leida:, , .

Seega leitakse 2. astme polünoom: .

Teoreetiline taust

Tagasi lehele<Введение в вычислительную математику. Примеры>

Näide 2. Polünoomi optimaalse astme leidmine.

Tagasi lehele<Введение в вычислительную математику. Примеры>

Näide 3. Normaalse võrrandisüsteemi tuletamine empiirilise sõltuvuse parameetrite leidmiseks.

Tuletame võrrandisüsteemi koefitsientide ja funktsioonide määramiseks , mis teostab antud funktsiooni punktide suhtes ruutkeskmise lähenduse. Koostage funktsioon ja kirjuta selle jaoks vajalik äärmustingimus:

Siis on tavaline süsteem järgmine:

Oleme saanud tundmatute parameetrite jaoks lineaarse võrrandisüsteemi, mida on lihtne lahendada.

Teoreetiline taust

Tagasi lehele<Введение в вычислительную математику. Примеры>

Näide.

Eksperimentaalsed andmed muutujate väärtuste kohta X ja juures on toodud tabelis.

Nende joondamise tulemusena funktsioon

Kasutades vähima ruudu meetod, lähendage neid andmeid lineaarse sõltuvusega y=kirves+b(leidke valikud a ja b). Uurige, milline kahest joonest on parem (vähimruutude meetodi mõttes), mis joondab katseandmeid. Tee joonistus.

Vähimruutude meetodi (LSM) olemus.

Ülesanne on leida lineaarsed sõltuvuskoefitsiendid, mille puhul on kahe muutuja funktsioon a ja bvõtab väikseima väärtuse. St andmeid arvestades a ja b katseandmete ruutude hälvete summa leitud sirgest on väikseim. See on kogu vähimruutude meetodi mõte.

Seega taandatakse näite lahendus kahe muutuja funktsiooni ekstreemumi leidmisele.

Valemite tuletamine koefitsientide leidmiseks.

Koostatakse ja lahendatakse kahest võrrandist koosnev süsteem kahe tundmatuga. Funktsioonide osatuletiste leidmine muutujate järgi a ja b, võrdsustame need tuletised nulliga.

Lahendame saadud võrrandisüsteemi mis tahes meetodiga (näiteks asendusmeetod või Crameri meetod) ja saada valemid koefitsientide leidmiseks, kasutades vähimruutude meetodit (LSM).

Andmetega a ja b funktsiooni võtab väikseima väärtuse. Selle fakti tõestus on toodud allpool lehe lõpus olevas tekstis.

See on kogu vähimruutude meetod. Valem parameetri leidmiseks a sisaldab summasid , , , ja parameetrit n on eksperimentaalsete andmete hulk. Nende summade väärtused on soovitatav arvutada eraldi.

Koefitsient b leitud pärast arvutamist a.

On aeg meenutada algset näidet.

Lahendus.

Meie näites n = 5. Nõutavate koefitsientide valemites sisalduvate summade arvutamise mugavuse huvides täidame tabeli.

Tabeli neljanda rea ​​väärtused saadakse, korrutades iga numbri 2. rea väärtused 3. rea väärtustega i.

Tabeli viienda rea ​​väärtused saadakse iga numbri 2. rea väärtuste ruudustamisel i.

Tabeli viimase veeru väärtused on ridade väärtuste summad.

Koefitsientide leidmiseks kasutame vähimruutude meetodi valemeid a ja b. Asendame neis vastavad väärtused tabeli viimasest veerust:

Järelikult y=0,165x+2,184 on soovitud ligikaudne sirgjoon.

Jääb välja selgitada, milline ridadest y=0,165x+2,184 või lähendab paremini algandmeid, st teha hinnang vähimruutude meetodil.

Vähimruutude meetodi vea hindamine.

Selleks peate arvutama nendelt ridadelt algandmete ruuduhälbete summad ja , vastab väiksem väärtus joonele, mis lähendab paremini algandmeid vähimruutude meetodil.

Alates , siis rida y=0,165x+2,184 läheneb paremini algandmetele.

Vähimruutude meetodi (LSM) graafiline illustratsioon.

Tabelites näeb kõik suurepärane välja. Punane joon on leitud joon y=0,165x+2,184, sinine joon on , on roosad täpid algandmed.

Milleks see on mõeldud, milleks kõik need ligikaudsed hinnangud?

Kasutan isiklikult andmete silumisprobleemide, interpolatsiooni ja ekstrapolatsiooni probleemide lahendamiseks (algses näites võiks paluda leida vaadeldava väärtuse väärtus y juures x=3 või millal x=6 vastavalt MNC meetodile). Kuid me räägime sellest lähemalt hiljem saidi teises jaotises.

Lehe ülaosa

Tõestus.

Nii et kui leitakse a ja b funktsioon võtab väikseima väärtuse, siis on vajalik, et selles punktis funktsiooni teist järku diferentsiaali ruutkuju maatriks oli positiivne kindel. Näitame seda.

Teist järku diferentsiaalil on vorm:

See on

Seetõttu on ruutvormi maatriksil vorm

ja elementide väärtused ei sõltu a ja b.

Näitame, et maatriks on positiivne kindel. See eeldab, et nurk-mollid on positiivsed.

I järgu nurgeline moll . Ebavõrdsus on range, kuna punktid ei lange kokku. Sellele viidatakse järgnevas.

Teise järgu nurgeline moll

Tõestame seda matemaatilise induktsiooni meetod.

Järeldus: leitud väärtused a ja b vastavad funktsiooni väikseimale väärtusele Seetõttu on vähimruutude meetodi soovitud parameetrid.

Kas olete kunagi aru saanud?
Tellige lahendus

Lehe ülaosa

Prognoosi koostamine vähimruutude meetodil. Probleemilahenduse näide

Ekstrapoleerimine - see on teadusliku uurimistöö meetod, mis põhineb mineviku ja praeguste suundumuste, mustrite, seoste levitamisel prognoosiobjekti tulevase arenguga. Ekstrapoleerimismeetodid hõlmavad liikuva keskmise meetod, eksponentsiaalse silumise meetod, vähimruutude meetod.

Essents vähimruutude meetod seisneb vaadeldud ja arvutatud väärtuste vaheliste ruutude hälvete summa minimeerimises. Arvutatud väärtused leitakse vastavalt valitud võrrandile - regressioonivõrrandile. Mida väiksem on vahemaa tegelike väärtuste ja arvutatud väärtuste vahel, seda täpsem on regressioonivõrrandil põhinev prognoos.

Kõvera valiku aluseks on uuritava nähtuse olemuse teoreetiline analüüs, mille muutust kuvatakse aegreaga. Mõnikord võetakse arvesse ka seeria tasemete kasvu olemust. Seega, kui toodangu kasvu oodatakse aritmeetilises progressioonis, siis silumine toimub sirgjooneliselt. Kui selgub, et kasv on eksponentsiaalne, siis tuleks silumine teha eksponentsiaalfunktsiooni järgi.

Vähimruutude meetodi töövalem : Y t+1 = a*X + b, kus t + 1 on prognoosiperiood; Уt+1 – prognoositav näitaja; a ja b on koefitsiendid; X on aja sümbol.

Koefitsiendid a ja b arvutatakse järgmiste valemite abil:

kus Uf - dünaamika seeria tegelikud väärtused; n on aegrea tasemete arv;

Aegridade silumine vähimruutude meetodil peegeldab uuritava nähtuse arengumustreid. Trendi analüütilises väljenduses käsitletakse aega sõltumatu muutujana ja seeria tasemed toimivad selle sõltumatu muutuja funktsioonina.

Nähtuse areng ei sõltu sellest, mitu aastat on alguspunktist möödunud, vaid sellest, millised tegurid, mis suunas ja millise intensiivsusega selle arengut mõjutasid. Sellest on selge, et nähtuse areng ajas ilmneb nende tegurite toime tulemusena.

Kõvera tüübi õige seadmine, analüütilise sõltuvuse tüüp ajast, on üks keerulisemaid eelennustusanalüüsi ülesandeid. .

Trendi kirjeldava funktsiooni tüübi valik, mille parameetrid määratakse vähimruutude meetodil, on enamikul juhtudel empiiriline, konstrueerides mitmeid funktsioone ja võrreldes neid omavahel juurkeskmise väärtusega. -ruutviga arvutatakse järgmise valemiga:

kus Uf - dünaamika seeria tegelikud väärtused; Ur – aegrea arvutatud (silutud) väärtused; n on aegrea tasemete arv; p on trendi (arengutrendi) kirjeldavates valemites määratletud parameetrite arv.

Vähimruutude meetodi puudused :

• kui püütakse kirjeldada uuritavat majandusnähtust matemaatilise võrrandi abil, on prognoos lühikest aega täpne ja regressioonivõrrand tuleks uue teabe ilmnemisel ümber arvutada;
• regressioonivõrrandi valiku keerukus, mis on lahendatav standardsete arvutiprogrammide abil.

Näide vähimruutude meetodi kasutamisest prognoosi koostamiseks

Ülesanne . Regiooni tööpuuduse taset iseloomustavad andmed, %

• Koostage piirkonna töötuse määra prognoos novembriks, detsembriks, jaanuariks, kasutades meetodeid: liikuv keskmine, eksponentsiaalne silumine, vähimruutud.
• Arvutage saadud prognooside vead iga meetodi abil.
• Võrrelge saadud tulemusi, tehke järeldused.

Vähimruutude lahendus

Lahenduse jaoks koostame tabeli, milles teeme vajalikud arvutused:

ε = 28,63/10 = 2,86% prognoosi täpsus kõrge.

Järeldus : Arvutustes saadud tulemuste võrdlemine liikuva keskmise meetod , eksponentsiaalne silumine ja vähimruutude meetodit, võime öelda, et eksponentsiaalse silumise meetodil tehtud arvutuste keskmine suhteline viga jääb 20-50% vahemikku. See tähendab, et ennustuse täpsus on antud juhul vaid rahuldav.

Esimesel ja kolmandal juhul on prognoosi täpsus kõrge, kuna keskmine suhteline viga on alla 10%. Kuid libiseva keskmise meetod võimaldas saada usaldusväärsemaid tulemusi (novembri prognoos - 1,52%, prognoos detsembriks - 1,53%, prognoos jaanuariks - 1,49%), kuna keskmine suhteline viga selle meetodi kasutamisel on väikseim - 1 ,13%.

Vähima ruudu meetod

Muud seotud artiklid:

Kasutatud allikate loetelu

1. Teaduslikud ja metoodilised soovitused sotsiaalsete riskide diagnoosimise ning väljakutsete, ohtude ja sotsiaalsete tagajärgede prognoosimise küsimustes. Venemaa Riiklik Sotsiaalülikool. Moskva. 2010;
2. Vladimirova L.P. Prognoosimine ja planeerimine turutingimustes: Proc. toetust. M .: kirjastus "Dashkov ja Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Rahvamajanduse prognoosimine: hariduslik ja metoodiline juhend. Jekaterinburg: kirjastus Ural. olek majandust ülikool, 2007;
4. Slutskin L.N. MBA kursus ettevõtluse prognoosimises. Moskva: Alpina Business Books, 2006.

MNE programm

Sisestage andmed

Andmed ja lähendamine y = a + b x

i- katsepunkti number;
x i- fikseeritud parameetri väärtus punktis i;
y i- mõõdetud parameetri väärtus punktis i;
ω i- mõõta kaal punktis i;
y i, arvut.- erinevus mõõdetud väärtuse ja regressiooni põhjal arvutatud väärtuse vahel y punktis i;
S x i (x i)- veahinnang x i mõõtmisel y punktis i.

Andmed ja lähendamine y = kx

i	x i	y i	ω i	y i, arvut.	Δy i	S x i (x i)

Klõpsake diagrammil

MNC võrguprogrammi kasutusjuhend.

Sisestage andmeväljale igale eraldi reale x ja y väärtused ühes katsepunktis. Väärtused tuleb eraldada tühikuga (tühik või tabeldusmärk).

Kolmas väärtus võib olla "w" punkti kaal. Kui punkti kaal pole määratud, on see võrdne ühega. Enamikul juhtudel on katsepunktide kaalud teadmata või arvutamata; kõiki katseandmeid peetakse samaväärseteks. Mõnikord ei ole kaalud uuritud väärtuste vahemikus kindlasti samaväärsed ja neid saab isegi teoreetiliselt arvutada. Näiteks spektrofotomeetrias saab kaalusid arvutada lihtsate valemite abil, kuigi põhimõtteliselt jätavad kõik selle tööjõukulude vähendamiseks tähelepanuta.

Andmeid saab lõikepuhvrisse kleepida kontorikomplekti arvutustabelitest (nt Excel Microsoft Office'ist või Calc Open Office'ist). Selleks valige arvutustabelis kopeeritavate andmete vahemik, kopeerige lõikepuhvrisse ja kleepige andmed selle lehe andmeväljale.

Vähimruutude meetodi abil arvutamiseks on vaja vähemalt kahte punkti, et määrata kaks koefitsienti "b" - sirge kaldenurga puutuja ja "a" - väärtus, mille lõikab sirge "y" `telg.

Arvutatud regressioonikordajate vea hindamiseks on vaja katsepunktide arvuks määrata rohkem kui kaks.

Vähimruutude meetod (LSM).

Mida suurem on katsepunktide arv, seda täpsem on koefitsientide statistiline hinnang (tulenevalt Studenti koefitsiendi vähenemisest) ja seda lähemal on hinnang üldvalimi hinnangule.

Väärtuste saamine igas katsepunktis on sageli seotud märkimisväärsete tööjõukuludega, seetõttu viiakse sageli läbi kompromissiline arv katseid, mis annab seeditava hinnangu ja ei too kaasa liigseid tööjõukulusid. Reeglina valitakse kahe koefitsiendiga lineaarse vähimruutude sõltuvuse katsepunktide arv vahemikus 5-7 punkti.

Lineaarse sõltuvuse vähimate ruutude lühiteooria

Oletame, et meil on eksperimentaalsete andmete kogum väärtuspaaride kujul ["y_i", "x_i"], kus i on ühe katselise mõõtmise arv vahemikus 1 kuni n; y_i – mõõdetud väärtuse väärtus punktis i; „x_i” – parameetri väärtus, mille me määrame punktis „i”.

Näiteks võib tuua Ohmi seaduse toimimise. Muutes pinget (potentsiaalide erinevust) elektriahela sektsioonide vahel, mõõdame seda sektsiooni läbiva voolu suurust. Füüsika annab meile eksperimentaalselt leitud sõltuvuse:

"I=U/R",
kus "I" - voolutugevus; `R` - takistus; "U" - pinge.

Sel juhul on "y_i" mõõdetud voolu väärtus ja "x_i" on pinge väärtus.

Teise näitena vaadeldakse valguse neeldumist aine lahuses. Keemia annab meile valemi:

"A = εl C",
kus "A" on lahuse optiline tihedus; `ε` – lahustunud aine läbilaskvus; `l` - tee pikkus, kui valgus läbib lahusega küveti; "C" on lahustunud aine kontsentratsioon.

Sel juhul on "y_i" mõõdetud optiline tihedus "A" ja "x_i" on aine kontsentratsioon, mille me määrame.

Vaatleme juhtu, kui suhteline viga väärtuse x_i seadmisel on palju väiksem kui y_i mõõtmise suhteline viga. Samuti eeldame, et kõik y_i mõõdetud väärtused on juhuslikud ja normaalse jaotusega, st. järgige normaaljaotuse seadust.

Kui "y" on lineaarne sõltuvusest "x", võime kirjutada teoreetilise sõltuvuse:
y = a + bx.

Geomeetrilisest vaatenurgast tähistab koefitsient "b" sirge kaldenurga puutujat x-telje suhtes ja koefitsient "a" - y väärtust joone lõikepunktis. joon y-teljega (x = 0 puhul).

Regressioonisirge parameetrite leidmine.

Katses ei saa y_i mõõdetud väärtused olla täpselt teoreetilisel joonel mõõtmisvigade tõttu, mis on reaalses elus alati omased. Seetõttu tuleb lineaarvõrrandit esitada võrrandisüsteemiga:
"y_i = a + b x_i + ε_i" (1),
kus ε_i on y tundmatu mõõtmisviga i-ndas katses.

Sõltuvust (1) nimetatakse ka regressioon, st. kahe suuruse sõltuvus üksteisest statistilise olulisusega.

Sõltuvuse taastamise ülesanne on leida katsepunktidest [`y_i`, `x_i`] koefitsiendid `a` ja `b`.

Koefitsientide leidmiseks kasutatakse tavaliselt "a" ja "b". vähima ruudu meetod(MNK). See on maksimaalse tõenäosuse põhimõtte erijuhtum.

Kirjutame (1) ümber järgmiselt: ε_i = y_i - a - b x_i.

Siis on vigade ruudu summa
"Φ = summa_(i=1)^(n) ε_i^2 = summa_(i=1)^(n) (y_i - a - b x_i)^2". (2)

Vähimruutude meetodi põhimõte on minimeerida summa (2) parameetrite "a" ja "b" suhtes.

Miinimum saavutatakse, kui summa (2) osatuletised koefitsientide "a" ja "b" suhtes on võrdsed nulliga:
`frac(osaline Φ)(osaline a) = murd(osaline summa_(i=1)^(n) (y_i - a - b x_i)^2)(osaline a) = 0
`murd(osaline Φ)(osaline b) = murd(osasumma_(i=1)^(n) (y_i - a - b x_i)^2)(osaline b) = 0

Laiendades tuletisi, saame kahe tundmatuga võrrandisüsteemi:
`summa_(i=1)^(n) (2a + 2bx_i - 2y_i) = summa_(i=1)^(n) (a + bx_i - y_i) = 0
`summa_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = summa_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Avame sulud ja kanname soovitud koefitsientidest sõltumatud summad teisele poolele, saame lineaarvõrrandisüsteemi:
`summa_(i=1)^(n) y_i = a n + b summa_(i=1)^(n) bx_i
`summa_(i=1)^(n) x_iy_i = a summa_(i=1)^(n) x_i + b summa_(i=1)^(n) x_i^2

Lahendades saadud süsteemi, leiame koefitsientide "a" ja "b" valemid:

`a = frac(summa_(i=1)^(n) y_i summa_(i=1)^(n) x_i^2 - summa_(i=1)^(n) x_i summa_(i=1)^(n ) x_iy_i) (n summa_(i=1)^(n) x_i^2 — (summa_(i=1)^(n) x_i)^2)" (3.1)

`b = frac(n summa_(i=1)^(n) x_iy_i - summa_(i=1)^(n) x_i summa_(i=1)^(n) y_i) (n summa_(i=1)^ (n) x_i^2 – (summa_(i=1)^(n) x_i)^2)" (3.2)

Nendel valemitel on lahendused, kui `n > 1` (joont saab tõmmata vähemalt 2 punktiga) ja kui determinant `D = n summa_(i=1)^(n) x_i^2 — (summa_(i= 1) )^(n) x_i)^2 != 0`, st. kui katse x_i punktid on erinevad (st kui joon ei ole vertikaalne).

Regressioonisirge koefitsientide vigade hindamine

Koefitsientide "a" ja "b" arvutamise vea täpsemaks hindamiseks on soovitav kasutada palju katsepunkte. Kui `n = 2`, on koefitsientide viga võimatu hinnata, sest ligikaudne joon läbib üheselt kahte punkti.

Määratakse juhusliku suuruse `V` viga vigade kogunemise seadus
`S_V^2 = summa_(i=1)^p (frac(osaline f)(osaline z_i))^2 S_(z_i)^2,
kus p on S_(z_i) veaga parameetrite z_i arv, mis mõjutavad viga S_V;
„f” on V sõltuvusfunktsioon väärtusest „z_i”.

Kirjutame koefitsientide "a" ja "b" vea jaoks vigade kuhjumise seaduse
`S_a^2 = summa_(i=1)^(n)(murd(osaline a)(osaline y_i))^2 S_(y_i)^2 + summa_(i=1)^(n)(frac(osaline a) )(osaline x_i))^2 S_(x_i)^2 = S_y^2 summa_(i=1)^(n)(frac(osaline a)(osaline y_i))^2 `,
`S_b^2 = summa_(i=1)^(n)(murd(osaline b)(osaline y_i))^2 S_(y_i)^2 + summa_(i=1)^(n)(murd(osaline b) )(osaline x_i))^2 S_(x_i)^2 = S_y^2 summa_(i=1)^(n)(frac(osaline b)(osaline y_i))^2 `,
sest "S_(x_i)^2 = 0" (varem tegime reservatsiooni, et x-i viga on tühine).

S_y^2 = S_(y_i)^2 – viga (dispersioon, ruudu standardhälve) y-dimensioonis, eeldades, et viga on kõigi y väärtuste puhul ühtlane.

Asendades saadud avaldistes valemid `a` ja `b` arvutamiseks, saame

`S_a^2 = S_y^2 frac(summa_(i=1)^(n) (summa_(i=1)^(n) x_i^2 - x_i summa_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n summa_(i=1)^(n) x_i^2 - (summa_(i=1)^(n) x_i)^2) summa_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(summa_(i=1)^(n) x_i^2) (D)" (4.1)

`S_b^2 = S_y^2 frac(summa_(i=1)^(n) (n x_i - summa_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n summa_(i=1)^(n) x_i^2 - (summa_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) (4.2)

Enamikus reaalsetes katsetes ei mõõdeta "Sy" väärtust. Selleks on vaja ühes või mitmes plaani punktis läbi viia mitu paralleelset mõõtmist (katset), mis suurendab katse aega (ja võib-olla ka maksumust). Seetõttu eeldatakse tavaliselt, et `y` kõrvalekallet regressioonisirgest võib pidada juhuslikuks. Dispersioonihinnang "y" arvutatakse sel juhul valemiga.

`S_y^2 = S_(y, ülejäänud)^2 = frac(summa_(i=1)^n (y_i - a - b x_i)^2) (n-2)".

Jagaja "n-2" ilmub, kuna oleme sama katseandmete valimi jaoks kahe koefitsiendi arvutamise tõttu vähendanud vabadusastmete arvu.

Seda hinnangut nimetatakse ka regressioonijoone S_(y, rest)^2 suhtes jääkvariatsiooniks.

Koefitsientide olulisuse hindamine toimub Üliõpilase kriteeriumi järgi

"t_a = frac(|a|) (S_a)", "t_b = frac(|b|) (S_b)"

Kui arvutatud kriteeriumid `t_a`, `t_b` on väiksemad kui tabeli kriteeriumid `t(P, n-2)`, siis arvestatakse, et vastav koefitsient ei erine antud tõenäosusega `P` oluliselt nullist.

Lineaarse seose kirjelduse kvaliteedi hindamiseks saate Fisheri kriteeriumi abil võrrelda väärtusi "S_(y, rest)^2" ja "S_(bar y)" keskmisega.

`S_(bar y) = murd(summa_(i=1)^n (y_i - bar y)^2) (n-1) = frac(summa_(i=1)^n (y_i - (summa_(i=) 1)^n y_i) /n)^2) (n-1) – valimi hinnang y dispersioonile keskmise suhtes.

Regressioonivõrrandi efektiivsuse hindamiseks sõltuvuse kirjeldamisel arvutatakse Fisheri koefitsient
"F = S_(bar y) / S_(y, ülejäänud)^2",
mida võrreldakse tabeli Fisheri koefitsiendiga "F(p, n-1, n-2)".

Kui "F > F(P, n-1, n-2)", peetakse erinevust regressioonivõrrandit kasutava sõltuvuse kirjelduse "y = f(x)" ja keskmist kasutava kirjelduse vahel tõenäoliselt statistiliselt oluliseks. "P". Need. regressioon kirjeldab sõltuvust paremini kui y levik keskmise ümber.

Klõpsake diagrammil
tabelisse väärtuste lisamiseks

Vähima ruudu meetod. Vähimruutude meetod tähendab tundmatute parameetrite a, b, c, aktsepteeritud funktsionaalse sõltuvuse määramist

Vähimruutude meetod tähendab tundmatute parameetrite määramist a, b, c,… aktsepteeritud funktsionaalne sõltuvus

y = f(x,a,b,c,…),

mis annaks vea keskmise ruudu (dispersiooni) miinimumi

, (24)

kus x i , y i - katsest saadud arvupaaride hulk.

Kuna mitme muutuja funktsiooni ekstreemumi tingimuseks on tingimus, et selle osatuletised on võrdsed nulliga, siis parameetrid a, b, c,… määratakse võrrandisüsteemist:

; ; ; … (25)

Tuleb meeles pidada, et parameetrite valimiseks funktsiooni vormi järel kasutatakse vähimruutude meetodit y = f(x) määratletud.

Kui teoreetiliselt on võimatu teha järeldusi selle kohta, milline peaks olema empiiriline valem, siis tuleb lähtuda visuaalsetest esitustest, eelkõige vaadeldavate andmete graafilisest esitusest.

Praktikas piirdub see enamasti järgmist tüüpi funktsioonidega:

1) lineaarne ;

2) ruutkeskne a .

• õpetus

Sissejuhatus

Olen arvutiprogrammeerija. Tegin oma karjääri suurima hüppe, kui õppisin ütlema: "Ma ei saa millestki aru!" Nüüd ma ei häbene teaduse valgustajale öelda, et ta peab mulle loengut, et ma ei saa aru, millest see, valgusti, minuga räägib. Ja see on väga raske. Jah, on raske ja piinlik tunnistada, et sa ei tea. Kellele meeldib tunnistada, et ta ei tea millegi põhitõdesid-seal. Oma ametist tulenevalt pean osalema paljudel ettekannetel ja loengutel, kus, tunnistan, tunnen valdavalt enamikul juhtudel unisust, sest ma ei saa millestki aru. Ja ma ei saa aru, sest teaduse praeguse olukorra suur probleem seisneb matemaatikas. See eeldab, et kõik õpilased tunnevad absoluutselt kõiki matemaatika valdkondi (mis on absurdne). Tunnistada, et te ei tea, mis on tuletis (et see on veidi hiljem), on häbi.

Aga ma olen õppinud ütlema, et ma ei tea, mis on korrutamine. Jah, ma ei tea, mis on alamgebra üle Lie algebra. Jah, ma ei tea, miks on ruutvõrrandid elus vaja. Muide, kui olete kindel, et teate, siis on meil millestki rääkida! Matemaatika on trikkide jada. Matemaatikud püüavad avalikkust segadusse ajada ja hirmutada; kus pole segadust, mainet ega autoriteeti. Jah, prestiižne on rääkida võimalikult abstraktses keeles, mis on iseenesest täielik jama.

Kas sa tead, mis on tuletis? Tõenäoliselt räägite mulle erinevuse suhte piirist. Peterburi Riikliku Ülikooli matemaatika esimesel kursusel Viktor Petrovitš Khavin mind määratletud tuletis kui funktsiooni Taylori seeria esimese liikme koefitsient punktis (see oli eraldi võimlemine Taylori seeria määramiseks ilma tuletisi). Naersin selle määratluse üle kaua, kuni lõpuks sain aru, millega tegu. Tuletis ei ole midagi muud kui lihtsalt mõõt selle kohta, kui palju eristatav funktsioon sarnaneb funktsiooniga y=x, y=x^2, y=x^3.

Nüüd on mul au pidada loenguid üliõpilastele, kes hirm matemaatika. Kui kardad matemaatikat – oleme teel. Niipea, kui proovite mõnda teksti lugeda ja teile tundub, et see on liiga keeruline, teadke, et see on halvasti kirjutatud. Ma väidan, et pole ühtegi matemaatika valdkonda, millest ei saaks rääkida "näpuga" ilma täpsust kaotamata.

Lähituleviku väljakutse: andsin õpilastele korralduse mõista, mis on lineaar-ruutkontroller. Ära ole häbelik, raiska kolm minutit oma elust, järgi linki. Kui te millestki aru ei saa, siis oleme teel. Ka mina (professionaalne matemaatik-programmeerija) ei saanud millestki aru. Ja ma kinnitan teile, et seda saab lahendada "näpuga". Praegu ma ei tea, mis see on, kuid ma kinnitan teile, et saame selle välja mõelda.

Niisiis, esimene loeng, mille ma oma õpilastele pean pärast seda, kui nad õudusega minu juurde jooksevad sõnadega, et lineaar-ruutkontroller on kohutav viga, mida te kunagi oma elus ei valda. vähimruutude meetodid. Kas saate lahendada lineaarvõrrandeid? Kui sa seda teksti loed, siis suure tõenäosusega mitte.

Seega, kui on antud kaks punkti (x0, y0), (x1, y1), näiteks (1,1) ja (3,2), on ülesandeks leida neid kahte punkti läbiva sirge võrrand:

illustratsioon

Sellel sirgel peaks olema järgmine võrrand:

Siin on alfa ja beeta meile tundmatud, kuid selle joone kaks punkti on teada:

Selle võrrandi saate kirjutada maatriksi kujul:

Siin tuleks teha lüüriline kõrvalepõik: mis on maatriks? Maatriks pole midagi muud kui kahemõõtmeline massiiv. See on andmete salvestamise viis, sellele ei tohiks rohkem väärtusi anda. See, kuidas teatud maatriksit täpselt tõlgendada, sõltub meist. Perioodiliselt tõlgendan seda lineaarse kaardistusena, perioodiliselt ruutvormina ja mõnikord lihtsalt vektorite kogumina. Seda kõike selgitatakse kontekstis.

Asendame konkreetsed maatriksid nende sümboolse esitusega:

Siis (alfa, beeta) saab hõlpsasti leida:

Täpsemalt meie varasemate andmete kohta:

Mis annab punkte (1,1) ja (3,2) läbiva sirge järgmise võrrandi:

Olgu, siin on kõik selge. Ja leiame läbiva sirge võrrandi kolm punktid: (x0,y0), (x1,y1) ja (x2,y2):

Oi-oi-oi, aga kahe tundmatu jaoks on meil kolm võrrandit! Tavaline matemaatik ütleb, et lahendust pole. Mida programmeerija ütleb? Ja kõigepealt kirjutab ta eelmise võrrandisüsteemi ümber järgmisel kujul:

Meie puhul on vektorid i, j, b kolmemõõtmelised, seetõttu (üldjuhul) sellele süsteemile lahendust ei ole. Iga vektor (alfa\*i + beeta\*j) asub vektorite (i, j) poolt katval tasapinnal. Kui b ei kuulu sellele tasapinnale, siis pole lahendust (võrdsust võrrandis ei saa saavutada). Mida teha? Otsime kompromissi. Tähistagem e (alfa, beeta) kuidas me täpselt võrdsust ei saavutanud:

Ja me püüame seda viga minimeerida:

Miks ruut?

Me ei otsi lihtsalt normi miinimumi, vaid normi ruudu miinimumi. Miks? Miinimumpunkt ise langeb kokku ja ruut annab sujuva funktsiooni (argumentide ruutfunktsioon (alfa, beeta)), samas kui lihtsalt pikkus annab funktsiooni koonuse kujul, mis ei ole miinimumpunktis eristatav. Brr. Ruut on mugavam.

Ilmselt on viga minimeeritud, kui vektor e vektorite poolt hõlmatud tasapinnaga risti i ja j.

Illustratsioon

Teisisõnu: otsime joont, mille kõigi punktide ja selle sirgeni ulatuvate kauguste ruudu pikkuste summa on minimaalne:

VÄRSKENDUS: siin on mul lengi, kaugust joonest tuleks mõõta vertikaalselt, mitte ortograafilise projektsiooniga. Sellel kommenteerijal on õigus.

Illustratsioon

Täiesti erinevate sõnadega (hoolsalt, halvasti vormistatud, kuid see peaks olema sõrmedel selge): võtame kõik võimalikud jooned kõigi punktipaaride vahel ja otsime kõigi vahelt keskmist joont:

Illustratsioon

Veel üks selgitus sõrmede kohta: kinnitame vedru kõigi andmepunktide (siin on kolm) ja otsitava joone vahele ning tasakaaluseisundi joon on täpselt see, mida otsime.

Ruutvormi miinimum

Niisiis, vektorit arvestades b ja maatriksi veergude-vektorite poolt haaratud tasapind A(antud juhul (x0,x1,x2) ja (1,1,1)), otsime vektorit e minimaalse ruudu pikkusega. Ilmselgelt on miinimum saavutatav ainult vektori puhul e, risti maatriksi veergude-vektoritega kaetud tasapinnaga A:

Teisisõnu otsime vektorit x=(alfa, beeta), et:

Tuletan teile meelde, et see vektor x=(alfa, beeta) on ruutfunktsiooni ||e(alfa, beeta)||^2 miinimum:

Siin on kasulik meeles pidada, et maatriksit saab tõlgendada nii nagu ruutvormi, näiteks identiteedimaatriksit ((1,0),(0,1)) saab tõlgendada funktsioonina x^2 + y ^2:

ruutvorm

Kogu seda võimlemist tuntakse lineaarse regressioonina.

Laplace'i võrrand Dirichlet' piirtingimusega

Nüüd kõige lihtsam tegelik probleem: on teatud kolmnurkne pind, seda on vaja siluda. Näiteks laadime minu näomudeli:

Algne kohustus on saadaval. Väliste sõltuvuste minimeerimiseks võtsin oma tarkvara renderdaja koodi, juba Habré peal. Lineaarse süsteemi lahendamiseks kasutan OpenNL , see on suurepärane lahendaja, kuid seda on väga raske installida: peate kopeerima kaks faili (.h + .c) oma projekti kausta. Kogu silumine toimub järgmise koodiga:

For (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = näod[i]; jaoks (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

X, Y ja Z koordinaadid on eraldatavad, silun eraldi. See tähendab, et lahendan kolm lineaarvõrrandisüsteemi, millest igaühel on sama arv muutujaid kui minu mudeli tippude arv. Maatriksi A esimesel n real on ainult üks 1 rea kohta ja vektori b esimesel n real on mudeli algsed koordinaadid. See tähendab, et ma seon uue tipupositsiooni ja vana tipupositsiooni vahele – uued ei tohiks olla vanadest liiga kaugel.

Kõigil järgnevatel maatriksi A ridadel (faces.size()*3 = ruudustiku kõigi kolmnurkade servade arv) on üks esinemissagedus 1 ja üks esinemine -1, samas kui vektoril b on null komponente. See tähendab, et panen meie kolmnurkse võrgu igale servale vedru: kõik servad püüavad saada sama tippu kui nende algus- ja lõpp-punkt.

Veel kord: kõik tipud on muutujad ja nad ei saa oma algsest asukohast kaugele kõrvale kalduda, kuid samal ajal püüavad nad muutuda üksteisega sarnaseks.

Siin on tulemus:

Kõik oleks hästi, mudel on tõesti silutud, kuid see liikus oma esialgsest servast eemale. Muudame veidi koodi:

For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Meie maatriksis A serval olevate tippude jaoks ei lisa ma rida kategooriast v_i = verts[i][d], vaid 1000*v_i = 1000*verts[i][d]. Mida see muudab? Ja see muudab meie vea ruutkuju. Nüüd ei maksa üks kõrvalekalle ülemisest servast mitte ühe ühiku, nagu varem, vaid 1000 * 1000 ühikut. See tähendab, et äärmiste tippude külge riputasime tugevama vedru, lahendus eelistab teisi tugevamalt venitada. Siin on tulemus:

Kahekordistame tippude vahel olevate vedrude tugevust:
nlKoefitsient(nägu[ j ], 2); nlKoefitsient(nägu[(j+1)%3], -2);

On loogiline, et pind on muutunud siledamaks:

Ja nüüd isegi sada korda tugevam:

Mis see on? Kujutage ette, et oleme kastnud traatrõnga seebivette. Selle tulemusena püüab saadud seebikile olla võimalikult väike kumerus, puudutades sama piiri - meie traatrõngast. Täpselt selle saimegi, kui kinnitasime piirde ja palusime seest sileda pinna. Õnnitleme, lahendasime just Laplace'i võrrandi Dirichlet' piirtingimustega. Kõlab lahedalt? Kuid tegelikult tuleb lahendada vaid üks lineaarvõrrandisüsteem.

Poissoni võrrand

Anname veel ühe laheda nime.

Oletame, et mul on selline pilt:

Kõik on tublid, aga mulle tool ei meeldi.

Lõikasin pildi pooleks:

Ja ma valin oma kätega tooli:

Seejärel lohistan kõik, mis on maskis valge, pildi vasakusse serva ja samal ajal ütlen kogu pildi ulatuses, et kahe naaberpiksli vahe peaks olema võrdne kahe naaberpiksli vahega. parem pilt:

For (int i=0; i

Siin on tulemus:

Kood ja pildid on olemas

Vähima ruudu meetod

Vähima ruudu meetod ( MNK, OLS, tavalised vähimruudud) - üks peamisi meetodeid regressioonianalüüs et hinnata näidisandmete põhjal regressioonimudelite tundmatuid parameetreid. Meetod põhineb regressioonijääkide ruutude summa minimeerimisel.

Tuleb märkida, et vähimruutude meetodit ennast võib nimetada meetodiks mis tahes valdkonna ülesande lahendamiseks, kui lahendus koosneb või vastab teatud kriteeriumile tundmatute muutujate mõne funktsiooni ruutude summa minimeerimiseks. Seetõttu saab vähimruutude meetodit kasutada ka antud funktsiooni ligikaudseks esitamiseks (lähendamiseks) teiste (lihtsamate) funktsioonidega, leides võrrandite või piirangute jaoks vastava suuruste hulga, mille arv ületab nende suuruste arvu. , jne.

MNC olemus

Olgu mõni (parameetriline) mudel tõenäosusliku (regressiooni) sõltuvuse kohta (seletatud) muutuja vahel y ja paljud tegurid (selgitavad muutujad) x

kus on tundmatute mudeliparameetrite vektor

- Juhuslik mudeli viga.

Olgu ka näidisvaatlused näidatud muutujate väärtuste kohta. Laskma olema vaatlusnumber (). Siis on muutujate väärtused -ndas vaatluses. Seejärel on parameetrite b antud väärtuste puhul võimalik arvutada selgitatud muutuja y teoreetilised (mudel) väärtused:

Jääkide väärtus sõltub parameetrite b väärtustest.

LSM-i (tavaline, klassikaline) olemus on leida sellised parameetrid b, mille jääkide ruutude summa ( Inglise Ruudude jääksumma) on minimaalne:

Üldjuhul saab seda probleemi lahendada arvuliste optimeerimise (minimeerimise) meetoditega. Sel juhul räägitakse mittelineaarsed vähimruudud(NLS või NLLS - Inglise Mittelineaarsed vähimruudud). Paljudel juhtudel on võimalik saada analüütiline lahendus. Minimeerimisülesande lahendamiseks on vaja leida funktsiooni statsionaarsed punktid, diferentseerides seda tundmatute parameetrite b suhtes, võrdsustades tuletised nulliga ja lahendades saadud võrrandisüsteemi:

Kui juhuslikud mudeli vead on normaaljaotus, millel on sama dispersioon ja need ei ole omavahel korrelatsioonis, parameetrite vähimruutude hinnangud langevad kokku hinnangutega maksimaalse tõenäosuse meetod (MLM).

MNC juhul lineaarne mudel

Olgu regressioonisõltuvus lineaarne:

Lase y- selgitatud muutuja vaatluste veeruvektor ja - tegurite vaatluste maatriks (maatriksi read - teguriväärtuste vektorid antud vaatluses, veergude kaupa - antud teguri väärtuste vektor kõigis vaatlustes) . Maatriksesitus lineaarne mudel on kujul:

Siis on seletatava muutuja hinnangute vektor ja regressioonijääkide vektor võrdne

vastavalt on regressioonijääkide ruutude summa võrdne

Diferentseerides selle funktsiooni parameetrivektori suhtes ja võrdsustades tuletised nulliga, saame võrrandisüsteemi (maatriksi kujul):

.

Selle võrrandisüsteemi lahendus annab lineaarse mudeli vähimruutude hinnangute üldvalemi:

Analüütilistel eesmärkidel osutub selle valemi viimane esitus kasulikuks. Kui andmed regressioonimudelis tsentreeritud, siis selles esituses on esimene maatriks tegurite valimi kovariatsioonimaatriksi tähendus ja teine ​​on sõltuva muutujaga tegurite kovariatsioonide vektor. Kui lisaks andmed on ka normaliseeritud SKO-s (see tähendab lõpuks standardiseeritud), siis esimesel maatriksil on tegurite valimi korrelatsioonimaatriksi tähendus, teisel vektoril - sõltuva muutujaga tegurite valimikorrelatsioonide vektor.

Mudelite LLS-i hinnangute oluline omadus konstandiga- konstrueeritud regressiooni joon läbib näidisandmete raskuskeskme, see tähendab, et võrdsus on täidetud:

Eriti äärmuslikul juhul, kui ainsaks regressoriks on konstant, leiame, et ühe parameetri (konstandi enda) OLS-hinnang on võrdne seletatava muutuja keskmise väärtusega. See tähendab, et aritmeetiline keskmine, mis on tuntud oma heade omaduste poolest suurte arvude seaduste järgi, on ka vähimruutude hinnang – see täidab sellest kõrvalekallete minimaalse ruudusumma kriteeriumi.

Näide: lihtne (paaripõhine) regressioon

Paaritud lineaarse regressiooni korral on arvutusvalemid lihtsustatud (saate teha ilma maatriksalgebrata):

OLS-i hinnangute omadused

Kõigepealt märgime, et lineaarsete mudelite puhul on vähimruutude hinnangud lineaarsed hinnangud, nagu ülaltoodud valemist. Sest erapooletus OLS-i hinnangud on kõige olulisema tingimuse täitmiseks vajalikud ja piisavad regressioonianalüüs: sõltub teguritest oodatud väärtus juhuslik viga peaks olema null. See tingimus on täidetud eelkõige juhul, kui

1. juhuslike vigade matemaatiline ootus on null ja
2. tegurid ja juhuslikud vead on sõltumatud juhuslikud muutujad.

Teine tingimus - eksogeensete tegurite seisund - on fundamentaalne. Kui see omadus ei ole rahul, siis võime eeldada, et peaaegu kõik hinnangud on äärmiselt ebarahuldavad: nad ei ole isegi jõukas(st isegi väga suur hulk andmeid ei võimalda antud juhul kvalitatiivseid hinnanguid saada). Klassikalisel juhul tehakse tugevam eeldus tegurite determinismi kohta, vastupidiselt juhuslikule veale, mis tähendab automaatselt, et eksogeenne tingimus on täidetud. Üldjuhul piisab hinnangute järjepidevuse tagamiseks eksogeensuse tingimuse täitmisest koos maatriksi konvergentsiga mõnele mittesingulaarsele maatriksile koos valimi suuruse suurendamisega lõpmatuseni.

Selleks, et lisaks maksevõimele ja erapooletus, olid ka (tavalise) LSM-i hinnangud tõhusad (parimad lineaarsete erapooletute hinnangute klassis), on vaja täita juhusliku vea lisaomadusi:

Neid eeldusi saab sõnastada kovariatsioonimaatriks juhuslikud veavektorid

Neid tingimusi rahuldavat lineaarset mudelit nimetatakse klassikaline. Klassikalise lineaarse regressiooni OLS-i hinnangud on erapooletu , jõukas ja enamus tõhus hinnangud kõigi lineaarsete erapooletute hinnangute klassis (ingliskeelses kirjanduses kasutatakse mõnikord lühendit sinine (Parim lineaarne aluseta hindaja) on parim lineaarne erapooletu hinnang; kodumaises kirjanduses tsiteeritakse sagedamini Gaussi-Markovi teoreemi). Nagu on lihtne näidata, on koefitsientide hinnangute vektori kovariatsioonimaatriks võrdne:

Üldistatud vähimruutud

Vähimruutude meetod võimaldab teha laia üldistuse. Selle asemel, et minimeerida jääkide ruutude summat, saab minimeerida jääkvektori mõnda positiivset kindlat ruutvormi, kus on mingi sümmeetriline positiivne kindla kaaluga maatriks. Tavalised vähimruutud on selle lähenemisviisi erijuhtum, kui kaalumaatriks on võrdeline identiteedimaatriksiga. Nagu on teada sümmeetriliste maatriksite (või operaatorite) teooriast, on selliste maatriksite jaoks olemas dekomponeerimine. Seetõttu saab määratud funktsionaalset esitada järgmiselt, st seda funktsionaalset saab esitada mõne teisendatud "jääkide" ruutude summana. Seega saame eristada vähimruutude meetodite klassi - LS-meetodid (Least Squares).

On tõestatud (Aitkeni teoreem), et üldistatud lineaarse regressioonimudeli puhul (milles juhuslike vigade kovariatsioonimaatriksile piiranguid ei seata) on kõige efektiivsemad (lineaarsete erapooletute hinnangute klassis) hinnangud nn. üldistatud OLS (OMNK, GLS – üldistatud vähimruudud)- LS-meetod kaalumaatriksiga, mis on võrdne juhuslike vigade pöördkovariatsioonimaatriksiga: .

Võib näidata, et lineaarse mudeli parameetrite GLS-hinnangute valem on kujul

Nende hinnangute kovariatsioonimaatriks on vastavalt võrdne

Tegelikult seisneb OLS-i olemus algandmete teatud (lineaarses) teisenduses (P) ja tavaliste vähimruutude rakendamises teisendatud andmetele. Selle teisenduse eesmärk on, et teisendatud andmete juhuslikud vead rahuldaksid juba klassikalisi eeldusi.

Kaalutud vähimruudud

Diagonaalse kaalumaatriksi (ja sellest ka juhuslike vigade kovariatsioonimaatriksi) puhul on meil nn kaalutud vähimruutud (WLS – Weighted Least Squares). Sel juhul on mudeli jääkide kaalutud ruutude summa minimeeritud, see tähendab, et iga vaatlus saab "kaalu", mis on pöördvõrdeline selle vaatluse juhusliku vea dispersiooniga: . Tegelikult teisendatakse andmed vaatluste kaalumise teel (jagades summaga, mis on proportsionaalne juhuslike vigade oletatava standardhälbega) ja kaalutud andmetele rakendatakse normaalseid vähimruutusid.

Mõned LSM-i praktikas rakendamise erijuhud

Lähendamine lineaarne sõltuvus

Mõelge juhtumile, kui õppimise tulemusena sõltuvused mõned skalaar suurus mõnest skalaarsuurusest (see võib olla näiteks sõltuvus Pinge alates voolutugevus: , kus on konstantne väärtus, vastupanu dirigent) viidi läbi mõõdud need kogused, mille tulemusena saadi väärtused ja vastavad väärtused. Mõõtmisandmed tuleks registreerida tabelis.

Tabel. Mõõtmistulemused.

Mõõtmise nr.
1
2
3
4
5
6

Küsimus on: mis on selle tähendus koefitsient saab valida sõltuvuse kõige paremaks kirjeldamiseks? Vähimruutude järgi peaks see väärtus olema selline, et summa ruudud väärtuste kõrvalekalded väärtustest

oli minimaalne

Ruuthälvete summal on üks äärmus on miinimum, mis võimaldab meil seda kasutada valem. Leiame sellest valemist koefitsiendi väärtuse. Selleks teisendame selle vasaku külje järgmiselt:

Viimane valem võimaldab meil leida ülesandes nõutava koefitsiendi väärtuse.

Lugu

Kuni XIX sajandi alguseni. teadlastel polnud otsustamiseks kindlaid reegleid võrrandisüsteemid, milles tundmatute arv on väiksem kui võrrandite arv; Kuni selle ajani kasutati konkreetseid meetodeid, olenevalt võrrandite tüübist ja kalkulaatorite leidlikkusest ning seetõttu jõudsid erinevad kalkulaatorid samadest vaatlusandmetest lähtudes erinevatele järeldustele. Gauss(1795) kuulub meetodi esimesse rakendusse ja Legend(1805) avastas selle iseseisvalt ja avaldas tänapäevase pealkirja all ( fr. Methode des moindres quarres ) . Laplace seotud meetodiga tõenäosusteooria, ja Ameerika matemaatik Adrain (1808) kaalus selle tõenäosuslikke rakendusi. Meetod on laialt levinud ja seda täiustavad edasised uuringud Encke , Bessel, Hansen ja teised.

MNC-de alternatiivne kasutamine

Vähimruutude meetodi ideed saab kasutada ka muudel juhtudel, mis pole regressioonanalüüsiga otseselt seotud. Fakt on see, et ruutude summa on üks levinumaid vektorite lähedusnäitajaid (eukleidese meetrika lõplike mõõtmetega ruumides).

Üks rakendus on lineaarsete võrrandisüsteemide "lahendamine", milles võrrandite arv on suurem kui muutujate arv

kus maatriks ei ole ruudu, vaid ristkülikukujuline.

Sellisel võrrandisüsteemil üldjuhul lahendus puudub (kui auaste on tegelikult suurem muutujate arvust). Seetõttu saab seda süsteemi "lahendada" ainult sellise vektori valimise mõttes, et minimeerida "kaugust" vektorite ja . Selleks saate rakendada süsteemi võrrandite vasak- ja parempoolsete osade ruudu erinevuste summa minimeerimise kriteeriumi, st . Lihtne on näidata, et selle minimeerimisülesande lahendamine viib järgmise võrrandisüsteemi lahendamiseni