Metoden for minste kvadrater i enkle ord. Minste kvadrater i Excel

Eksempel.

Eksperimentelle data om verdiene til variabler X og på er gitt i tabellen.

Som et resultat av deres justering, funksjonen

Ved hjelp av minste kvadrat-metoden, tilnærme disse dataene med en lineær avhengighet y=ax+b(finn alternativer en og b). Finn ut hvilken av de to linjene som er best (i betydningen minste kvadraters metode) som justerer eksperimentelle data. Lag en tegning.

Essensen av metoden for minste kvadrater (LSM).

Problemet er å finne de lineære avhengighetskoeffisientene som funksjonen til to variabler en og b tar den minste verdien. Det vil si gitt dataene en og b summen av de kvadrerte avvikene til eksperimentelle data fra den funnet rette linjen vil være den minste. Dette er hele poenget med minste kvadraters metode.

Dermed er løsningen av eksempelet redusert til å finne ekstremumet til en funksjon av to variabler.

Utledning av formler for å finne koeffisienter.

Et system med to ligninger med to ukjente er kompilert og løst. Finne partielle deriverte av en funksjon med hensyn til variabler en og b, likestiller vi disse derivatene til null.

Vi løser det resulterende likningssystemet ved hjelp av en hvilken som helst metode (for eksempel substitusjonsmetode eller ) og få formler for å finne koeffisienter ved å bruke minste kvadraters metode (LSM).

Med data en og b funksjon tar den minste verdien. Beviset for dette faktum er gitt.

Det er hele metoden med minste kvadrater. Formel for å finne parameteren en inneholder summene , , og parameteren n- mengde eksperimentelle data. Verdiene av disse summene anbefales å beregnes separat. Koeffisient b funnet etter beregning en.

Det er på tide å huske det originale eksemplet.

Løsning.

I vårt eksempel n=5. Vi fyller ut tabellen for å gjøre det lettere å beregne beløpene som er inkludert i formlene til de nødvendige koeffisientene.

Verdiene i den fjerde raden i tabellen oppnås ved å multiplisere verdiene i den andre raden med verdiene i den tredje raden for hvert tall Jeg.

Verdiene i den femte raden i tabellen oppnås ved å kvadrere verdiene i den andre raden for hvert tall Jeg.

Verdiene i den siste kolonnen i tabellen er summene av verdiene på tvers av radene.

Vi bruker formlene til minste kvadraters metode for å finne koeffisientene en og b. Vi erstatter i dem de tilsvarende verdiene fra den siste kolonnen i tabellen:

Følgelig y=0,165x+2,184 er den ønskede tilnærmede rette linjen.

Det gjenstår å finne ut hvilken av linjene y=0,165x+2,184 eller tilnærmer de opprinnelige dataene bedre, det vil si å lage et estimat ved å bruke minste kvadraters metode.

Estimering av feilen til minste kvadraters metode.

For å gjøre dette må du beregne summene av kvadrerte avvik fra de opprinnelige dataene fra disse linjene og , tilsvarer en mindre verdi en linje som bedre tilnærmer de opprinnelige dataene i form av minste kvadraters metode.

Siden , så linjen y=0,165x+2,184 tilnærmer de opprinnelige dataene bedre.

Grafisk illustrasjon av minste kvadraters metode (LSM).

Alt ser bra ut på listene. Den røde linjen er den funnet linjen y=0,165x+2,184, er den blå linjen , de rosa prikkene er de originale dataene.

Hva er det for, hva er alle disse tilnærmingene til?

Jeg bruker personlig til å løse datautjevningsproblemer, interpolasjons- og ekstrapolasjonsproblemer (i det originale eksemplet kan du bli bedt om å finne verdien av den observerte verdien y på x=3 eller når x=6 i henhold til MNC-metoden). Men vi vil snakke mer om dette senere i en annen del av nettstedet.

Bevis.

Så når funnet en og b funksjonen tar den minste verdien, er det nødvendig at på dette punktet matrisen til kvadratisk form av andreordens differensial for funksjonen var positiv definitivt. La oss vise det.

Vi tilnærmer funksjonen med et polynom av 2. grad. For å gjøre dette, beregner vi koeffisientene til det normale ligningssystemet:

, ,

La oss komponere et normalt system av minste kvadrater, som har formen:

Løsningen til systemet er lett å finne:, , .

Dermed er polynomet av 2. grad funnet: .

Teoretisk bakgrunn

Tilbake til siden<Введение в вычислительную математику. Примеры>

Eksempel 2. Finne den optimale graden av et polynom.

Tilbake til siden<Введение в вычислительную математику. Примеры>

Eksempel 3. Utledning av et normalt ligningssystem for å finne parametrene til en empirisk avhengighet.

La oss utlede et likningssystem for å bestemme koeffisientene og funksjonene , som utfører rot-middel-kvadrat-tilnærmingen til den gitte funksjonen med hensyn til punkter. Lag en funksjon og skriv den nødvendige ekstremumbetingelsen for det:

Deretter vil det normale systemet ha formen:

Vi har fått et lineært ligningssystem for ukjente parametere og, som er lett å løse.

Teoretisk bakgrunn

Tilbake til siden<Введение в вычислительную математику. Примеры>

Eksempel.

Eksperimentelle data om verdiene til variabler X og på er gitt i tabellen.

Som et resultat av deres justering, funksjonen

Essensen av metoden for minste kvadrater (LSM).

Problemet er å finne de lineære avhengighetskoeffisientene som funksjonen til to variabler en og btar den minste verdien. Det vil si gitt dataene en og b summen av de kvadrerte avvikene til eksperimentelle data fra den funnet rette linjen vil være den minste. Dette er hele poenget med minste kvadraters metode.

Dermed er løsningen av eksempelet redusert til å finne ekstremumet til en funksjon av to variabler.

Utledning av formler for å finne koeffisienter.

Et system med to ligninger med to ukjente er kompilert og løst. Finne partielle deriverte av funksjoner etter variabler en og b, likestiller vi disse derivatene til null.

Vi løser det resulterende likningssystemet ved hjelp av en hvilken som helst metode (for eksempel substitusjonsmetode eller Cramers metode) og få formler for å finne koeffisienter ved bruk av minste kvadraters metode (LSM).

Med data en og b funksjon tar den minste verdien. Beviset for dette er gitt nedenfor i teksten på slutten av siden.

Det er hele metoden med minste kvadrater. Formel for å finne parameteren en inneholder summene , , og parameteren n er mengden eksperimentelle data. Verdiene av disse summene anbefales å beregnes separat.

Koeffisient b funnet etter beregning en.

Det er på tide å huske det originale eksemplet.

Løsning.

I vårt eksempel n=5. Vi fyller ut tabellen for å gjøre det lettere å beregne beløpene som er inkludert i formlene til de nødvendige koeffisientene.

Verdiene i den fjerde raden i tabellen oppnås ved å multiplisere verdiene i den andre raden med verdiene i den tredje raden for hvert tall Jeg.

Verdiene i den femte raden i tabellen oppnås ved å kvadrere verdiene i den andre raden for hvert tall Jeg.

Verdiene i den siste kolonnen i tabellen er summene av verdiene på tvers av radene.

Vi bruker formlene til minste kvadraters metode for å finne koeffisientene en og b. Vi erstatter i dem de tilsvarende verdiene fra den siste kolonnen i tabellen:

Følgelig y=0,165x+2,184 er den ønskede tilnærmede rette linjen.

Det gjenstår å finne ut hvilken av linjene y=0,165x+2,184 eller tilnærmer de opprinnelige dataene bedre, det vil si å lage et estimat ved å bruke minste kvadraters metode.

Estimering av feilen til minste kvadraters metode.

Siden , så linjen y=0,165x+2,184 tilnærmer de opprinnelige dataene bedre.

Grafisk illustrasjon av minste kvadraters metode (LSM).

Alt ser bra ut på listene. Den røde linjen er den funnet linjen y=0,165x+2,184, er den blå linjen , de rosa prikkene er de originale dataene.

Hva er det for, hva er alle disse tilnærmingene til?

Toppen av siden

Bevis.

Den andre ordensdifferensialen har formen:

Det er

Derfor har matrisen til den kvadratiske formen formen

og verdiene til elementene avhenger ikke av en og b.

La oss vise at matrisen er positiv bestemt. Dette krever at vinkelminorene er positive.

Kantet moll av første orden . Ulikheten er streng, siden punktene ikke er sammenfallende. Dette vil bli antydet i det følgende.

Kantet moll av andre orden

La oss bevise det metode for matematisk induksjon.

Konklusjon: funnet verdier en og b tilsvarer den minste verdien av funksjonen , derfor er de ønskede parameterne for minste kvadraters metode.

Har du noen gang forstått?
Bestill en løsning

Toppen av siden

Utvikling av en prognose ved bruk av minste kvadraters metode. Eksempel på problemløsning

Ekstrapolering - Dette er en metode for vitenskapelig forskning, som er basert på formidling av tidligere og nåværende trender, mønstre, forhold til den fremtidige utviklingen av prognoseobjektet. Ekstrapoleringsmetoder inkluderer glidende gjennomsnittsmetode, eksponentiell utjevningsmetode, minste kvadraters metode.

Essens minste kvadraters metode består i å minimere summen av kvadratavvik mellom de observerte og beregnede verdier. De beregnede verdiene er funnet i henhold til den valgte ligningen - regresjonsligningen. Jo mindre avstanden er mellom de faktiske verdiene og de beregnede, desto mer nøyaktig er prognosen basert på regresjonsligningen.

Den teoretiske analysen av essensen av fenomenet som studeres, hvor endringen vises av en tidsserie, tjener som grunnlag for å velge en kurve. Betraktninger om arten av veksten av nivåene i serien blir noen ganger tatt i betraktning. Så hvis veksten av produksjonen forventes i en aritmetisk progresjon, utføres utjevning i en rett linje. Hvis det viser seg at veksten er eksponentiell, bør utjevning gjøres i henhold til eksponentiell funksjon.

Arbeidsformelen til metoden for minste kvadrater : Y t+1 = a*X + b, hvor t + 1 er prognoseperioden; Уt+1 – predikert indikator; a og b er koeffisienter; X er et symbol på tid.

Koeffisientene a og b beregnes i henhold til følgende formler:

hvor, Uf - de faktiske verdiene for serien av dynamikk; n er antall nivåer i tidsserien;

Utjevningen av tidsserier med minste kvadraters metode tjener til å reflektere utviklingsmønstrene til fenomenet som studeres. I det analytiske uttrykket av en trend betraktes tid som en uavhengig variabel, og nivåene i serien fungerer som en funksjon av denne uavhengige variabelen.

Utviklingen av et fenomen avhenger ikke av hvor mange år som har gått siden utgangspunktet, men av hvilke faktorer som påvirket utviklingen, i hvilken retning og med hvilken intensitet. Fra dette er det klart at utviklingen av et fenomen i tid vises som et resultat av virkningen av disse faktorene.

Korrekt innstilling av kurvetypen, typen analytisk avhengighet av tid er en av de vanskeligste oppgavene med pre-prediktiv analyse. .

Valget av typen funksjon som beskriver trenden, hvis parametere bestemmes av minste kvadraters metode, er i de fleste tilfeller empirisk, ved å konstruere en rekke funksjoner og sammenligne dem med verdien av rotmiddelverdien. -kvadratfeil beregnet av formelen:

hvor Uf - de faktiske verdiene for serien med dynamikk; Ur - beregnede (utjevnede) verdier av tidsserien; n er antall nivåer i tidsserien; p er antall parametere definert i formlene som beskriver trenden (utviklingstrend).

Ulemper med minste kvadraters metode :

når man prøver å beskrive det økonomiske fenomenet som studeres ved hjelp av en matematisk ligning, vil prognosen være nøyaktig i en kort periode, og regresjonsligningen bør beregnes på nytt etter hvert som ny informasjon blir tilgjengelig;
kompleksiteten i utvalget av regresjonsligningen, som kan løses ved bruk av standard dataprogrammer.

Et eksempel på bruk av minste kvadraters metode for å utvikle en prognose

En oppgave . Det finnes data som karakteriserer nivået på arbeidsledigheten i regionen, %

Bygg en prognose for arbeidsledigheten i regionen for månedene november, desember, januar, ved å bruke metodene: glidende gjennomsnitt, eksponentiell utjevning, minste kvadrater.
Beregn feilene i de resulterende prognosene ved å bruke hver metode.
Sammenlign de oppnådde resultatene, trekk konklusjoner.

Minste kvadraters løsning

For løsningen vil vi sette sammen en tabell der vi vil gjøre de nødvendige beregningene:

ε = 28,63/10 = 2,86 % prognosenøyaktighet høy.

Konklusjon : Sammenligning av resultatene oppnådd i beregningene glidende gjennomsnittsmetode , eksponensiell utjevning og minste kvadraters metode, kan vi si at den gjennomsnittlige relative feilen i beregninger med eksponentiell utjevningsmetode faller innenfor 20-50 %. Dette betyr at prediksjonsnøyaktigheten i dette tilfellet bare er tilfredsstillende.

I det første og tredje tilfellet er prognosenøyaktigheten høy, siden den gjennomsnittlige relative feilen er mindre enn 10 %. Men metoden med glidende gjennomsnitt gjorde det mulig å oppnå mer pålitelige resultater (prognose for november - 1,52%, prognose for desember - 1,53%, prognose for januar - 1,49%), siden den gjennomsnittlige relative feilen ved bruk av denne metoden er den minste - 1 ,1. 3%.

Minste kvadratiske metode

Andre relaterte artikler:

Liste over kilder som er brukt

Vitenskapelige og metodiske anbefalinger om spørsmål om diagnostisering av sosiale risikoer og prognoser for utfordringer, trusler og sosiale konsekvenser. Russian State Social University. Moskva. 2010;
Vladimirova L.P. Prognoser og planlegging under markedsforhold: Pros. godtgjørelse. M .: Publishing House "Dashkov and Co", 2001;
Novikova N.V., Pozdeeva O.G. Forecasting the National Economy: Educational and Methodological Guide. Jekaterinburg: Forlag Ural. stat økonomi universitet, 2007;
Slutskin L.N. MBA-kurs i forretningsprognoser. Moskva: Alpina Business Books, 2006.

MNE-program

Skriv inn data

Data og tilnærming y = a + b x

Jeg- nummeret på forsøkspunktet;
x i- verdien av den faste parameteren på punktet Jeg;
y jeg- verdien av den målte parameteren på punktet Jeg;
ω i- målingsvekt på punkt Jeg;
y i, beregnet.- forskjellen mellom den målte verdien og verdien beregnet fra regresjonen y på punktet Jeg;
S x i (x i)- feilestimat x i ved måling y på punktet Jeg.

Data og tilnærming y = kx

Jeg	x i	y jeg	ω i	y i, beregnet.	Δy i	S x i (x i)

Klikk på diagrammet

Brukerhåndbok for MNC online-programmet.

I datafeltet skriver du inn verdiene for "x" og "y" på hver separate linje på ett eksperimentelt punkt. Verdier må skilles med mellomrom (mellomrom eller tabulator).

Den tredje verdien kan være poengvekten til "w". Hvis punktvekten ikke er spesifisert, er den lik én. I det overveldende flertallet av tilfellene er vekten av forsøkspunktene ukjent eller ikke beregnet; alle eksperimentelle data anses som likeverdige. Noen ganger er vektene i det studerte verdiområdet definitivt ikke ekvivalente og kan til og med beregnes teoretisk. For eksempel, i spektrofotometri, kan vekter beregnes ved hjelp av enkle formler, selv om i utgangspunktet alle neglisjerer dette for å redusere arbeidskostnadene.

Data kan limes inn gjennom utklippstavlen fra et regneark for en kontorpakke, for eksempel Excel fra Microsoft Office eller Calc fra Open Office. For å gjøre dette, i regnearket, velg dataområdet som skal kopieres, kopier til utklippstavlen og lim inn dataene i datafeltet på denne siden.

For å beregne med minste kvadraters metode, kreves det minst to punkter for å bestemme to koeffisienter `b` - tangenten til helningsvinkelen til den rette linjen og `a` - verdien avskåret av den rette linjen på `y ` akse.

For å estimere feilen til de beregnede regresjonskoeffisientene, er det nødvendig å sette antall eksperimentelle punkter til mer enn to.

Minste kvadraters metode (LSM).

Jo større antall eksperimentelle poeng, desto mer nøyaktig er det statistiske estimatet av koeffisientene (på grunn av reduksjonen i Elevens koeffisient) og jo nærmere estimatet er estimatet for det generelle utvalget.

Innhenting av verdier på hvert eksperimentelt punkt er ofte forbundet med betydelige arbeidskostnader, derfor blir det ofte utført et kompromiss antall eksperimenter, noe som gir et fordøyelig estimat og ikke fører til for høye arbeidskostnader. Som regel velges antall eksperimentelle punkter for en lineær minste kvadraters avhengighet med to koeffisienter i området 5-7 poeng.

En kort teori om minste kvadrater for lineær avhengighet

Anta at vi har et sett med eksperimentelle data i form av par med verdier [`y_i`, `x_i`], der `i` er tallet på én eksperimentell måling fra 1 til `n`; `y_i` - verdien av den målte verdien ved punktet `i`; `x_i` - verdien av parameteren vi satte i punktet `i`.

Et eksempel er driften av Ohms lov. Ved å endre spenningen (potensialforskjellen) mellom seksjoner av den elektriske kretsen, måler vi mengden strøm som går gjennom denne seksjonen. Fysikken gir oss avhengigheten funnet eksperimentelt:

`I=U/R`,
hvor `I` - strømstyrke; `R` - motstand; `U` - spenning.

I dette tilfellet er `y_i` den målte strømverdien, og `x_i` er spenningsverdien.

Som et annet eksempel, tenk på absorpsjonen av lys av en løsning av et stoff i løsning. Kjemi gir oss formelen:

`A = εl C`,
hvor "A" er den optiske tettheten til løsningen; `ε` - transmittans av oppløst stoff; `l` - banelengde når lys passerer gjennom en kyvette med en løsning; `C` er konsentrasjonen av det oppløste stoffet.

I dette tilfellet er `y_i` den målte optiske tettheten `A`, og `x_i` er konsentrasjonen av stoffet vi angir.

Vi vil vurdere tilfellet når den relative feilen ved innstilling av `x_i` er mye mindre enn den relative feilen ved måling av `y_i`. Vi vil også anta at alle målte verdier av `y_i` er tilfeldige og normalfordelte, dvs. følge normalfordelingsloven.

I tilfellet med en lineær avhengighet av `y` av `x`, kan vi skrive den teoretiske avhengigheten:
`y = a + bx`.

Fra et geometrisk synspunkt angir koeffisienten "b" tangenten til helningsvinkelen til linjen til "x"-aksen, og koeffisienten "a" - verdien av "y" ved skjæringspunktet mellom linje med `y`-aksen (for `x = 0`).

Finne parametrene til regresjonslinjen.

I et eksperiment kan ikke de målte verdiene til `y_i` ligge nøyaktig på den teoretiske linjen på grunn av målefeil, som alltid er iboende i det virkelige liv. Derfor må en lineær ligning representeres av et ligningssystem:
`y_i = a + b x_i + ε_i` (1),
der "ε_i" er den ukjente målefeilen til "y" i det "i" eksperimentet.

Avhengighet (1) kalles også regresjon, dvs. avhengigheten av de to størrelsene av hverandre med statistisk signifikans.

Oppgaven med å gjenopprette avhengigheten er å finne koeffisientene `a` og `b` fra forsøkspunktene [`y_i`, `x_i`].

For å finne koeffisientene brukes vanligvis `a` og `b` minste kvadrat-metoden(MNK). Det er et spesielt tilfelle av maksimum sannsynlighetsprinsippet.

La oss omskrive (1) som `ε_i = y_i - a - b x_i`.

Da blir summen av kvadrerte feil
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Prinsippet for minste kvadraters metode er å minimere summen (2) med hensyn til parameterne `a` og `b`.

Minimumet nås når de partielle deriverte av summen (2) med hensyn til koeffisientene `a` og `b` er lik null:
`frac(delvis Φ)(delvis a) = frac(delsum_(i=1)^(n) (y_i - a - b x_i)^2)(delvis a) = 0`
`frac(delvis Φ)(delvis b) = frac(delsum_(i=1)^(n) (y_i - a - b x_i)^2)(delvis b) = 0`

Ved å utvide de deriverte får vi et system med to ligninger med to ukjente:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Vi åpner parentesene og overfører summene uavhengig av de ønskede koeffisientene til den andre halvdelen, vi får et system med lineære ligninger:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

Ved å løse det resulterende systemet finner vi formler for koeffisientene `a` og `b`:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n) ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

Disse formlene har løsninger når `n > 1` (linjen kan tegnes med minst 2 punkter) og når determinanten `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1) )^(n) x_i)^2 != 0`, dvs. når «x_i»-punktene i eksperimentet er forskjellige (dvs. når linjen ikke er vertikal).

Estimering av feil i koeffisientene til regresjonslinjen

For et mer nøyaktig estimat av feilen ved beregning av koeffisientene `a` og `b`, er et stort antall eksperimentelle punkter ønskelig. Når `n = 2`, er det umulig å estimere feilen til koeffisientene, fordi den tilnærmede linjen vil unikt gå gjennom to punkter.

Feilen til den tilfeldige variabelen "V" bestemmes lov om feilakkumulering
`S_V^2 = sum_(i=1)^p (frac(delvis f)(delvis z_i))^2 S_(z_i)^2`,
hvor `p` er antall `z_i`-parametere med `S_(z_i)`-feil som påvirker `S_V`-feilen;
`f` er en avhengighetsfunksjon av `V` på `z_i`.

La oss skrive loven om akkumulering av feil for feilen til koeffisientene `a` og `b`
`S_a^2 = sum_(i=1)^(n)(frac(delvis a)(delvis y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(delvis a) )(delvis x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(delvis a)(delvis y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(delvis b)(delvis y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(delvis b )(delvis x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(delvis b)(delvis y_i))^2 `,
fordi `S_(x_i)^2 = 0` (vi har tidligere tatt forbehold om at feilen til `x` er ubetydelig).

`S_y^2 = S_(y_i)^2` - feilen (varians, kvadratisk standardavvik) i `y`-dimensjonen, forutsatt at feilen er enhetlig for alle `y`-verdier.

Ved å erstatte formler for å beregne `a` og `b` i de resulterende uttrykkene, får vi

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

I de fleste virkelige eksperimenter måles ikke verdien av "Sy". For å gjøre dette er det nødvendig å utføre flere parallelle målinger (eksperimenter) på ett eller flere punkter i planen, noe som øker tiden (og muligens kostnaden) for eksperimentet. Derfor antas det vanligvis at avviket til `y` fra regresjonslinjen kan betraktes som tilfeldig. Variansestimatet "y" i dette tilfellet beregnes ved hjelp av formelen.

`S_y^2 = S_(y, hvile)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)".

Divisoren `n-2` vises fordi vi har redusert antall frihetsgrader på grunn av beregningen av to koeffisienter for samme utvalg av eksperimentelle data.

Dette estimatet kalles også restvariansen i forhold til regresjonslinjen `S_(y, rest)^2`.

Vurderingen av koeffisientenes betydning foretas etter Studentens kriterium

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Hvis de beregnede kriteriene `t_a`, `t_b` er mindre enn tabellkriteriene `t(P, n-2)`, anses det at den tilsvarende koeffisienten ikke er signifikant forskjellig fra null med en gitt sannsynlighet `P`.

For å vurdere kvaliteten på beskrivelsen av et lineært forhold, kan du sammenligne `S_(y, hvile)^2` og `S_(bar y)` i forhold til gjennomsnittet ved å bruke Fisher-kriteriet.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - utvalgsestimat av variansen til `y` i forhold til gjennomsnittet.

For å evaluere effektiviteten til regresjonsligningen for å beskrive avhengigheten, beregnes Fisher-koeffisienten
`F = S_(takt y) / S_(y, hvile)^2`,
som sammenlignes med den tabellformede Fisher-koeffisienten `F(p, n-1, n-2)`.

Hvis `F > F(P, n-1, n-2)`, regnes forskjellen mellom beskrivelsen av avhengigheten `y = f(x)` ved bruk av regresjonsligningen og beskrivelsen som bruker gjennomsnittet statistisk signifikant med sannsynlighet `P`. De. regresjonen beskriver avhengigheten bedre enn spredningen av `y` rundt gjennomsnittet.

Klikk på diagrammet
for å legge til verdier til tabellen

Minste kvadratiske metode. Metoden med minste kvadrater betyr bestemmelse av ukjente parametere a, b, c, den aksepterte funksjonelle avhengigheten

Metoden med minste kvadrater betyr bestemmelse av ukjente parametere a, b, c,... akseptert funksjonell avhengighet

y = f(x,a,b,c,...),

som ville gi et minimum av middelkvadraten (variansen) av feilen

, (24)

hvor x i , y i - sett med tallpar hentet fra eksperimentet.

Siden betingelsen for ekstremumet til en funksjon av flere variabler er betingelsen om at dens partielle deriverte er lik null, vil parametrene a, b, c,... bestemmes ut fra ligningssystemet:

; ; ; … (25)

Det må huskes at minste kvadraters metode brukes til å velge parametere etter formen til funksjonen y = f(x) definert.

Hvis det ut fra teoretiske betraktninger er umulig å trekke noen konklusjoner om hva den empiriske formelen skal være, så må man ledes av visuelle representasjoner, først og fremst en grafisk representasjon av de observerte dataene.

I praksis, oftest begrenset til følgende typer funksjoner:

1) lineær ;

2) kvadratisk a .

opplæringen

Introduksjon

Jeg er en dataprogrammerer. Jeg tok det største spranget i karrieren min da jeg lærte å si: "Jeg forstår ingenting!" Nå skammer jeg meg ikke over å fortelle vitenskapens lysmann at han holder meg en forelesning, at jeg ikke forstår hva den, lysmannen, snakker til meg om. Og det er veldig vanskelig. Ja, det er vanskelig og flaut å innrømme at du ikke vet. Som liker å innrømme at han ikke kan det grunnleggende om noe-der. I kraft av yrket mitt må jeg overvære et stort antall presentasjoner og forelesninger, hvor jeg innrømmer at jeg i de aller fleste tilfeller føler meg trøtt, fordi jeg ikke forstår noe. Og jeg forstår ikke fordi det store problemet med dagens situasjon i naturfag ligger i matematikk. Den forutsetter at alle elever er kjent med absolutt alle områder av matematikken (noe som er absurd). Å innrømme at du ikke vet hva et derivat er (at dette er litt senere) er synd.

Men jeg har lært å si at jeg ikke vet hva multiplikasjon er. Ja, jeg vet ikke hva en subalgebra over en Lie-algebra er. Ja, jeg vet ikke hvorfor andregradsligninger er nødvendig i livet. Forresten, hvis du er sikker på at du vet, så har vi noe å snakke om! Matematikk er en rekke triks. Matematikere prøver å forvirre og skremme publikum; der det ikke er forvirring, ikke noe rykte, ingen autoritet. Ja, det er prestisjefylt å snakke på et mest mulig abstrakt språk, noe som er fullstendig tull i seg selv.

Vet du hva et derivat er? Mest sannsynlig vil du fortelle meg om grensen for forskjellsforholdet. I det første året av matematikk ved St. Petersburg State University, Viktor Petrovich Khavin meg definert derivat som koeffisienten til det første leddet i Taylor-serien til funksjonen på punktet (det var en egen gymnastikk for å bestemme Taylor-serien uten derivater). Jeg lo lenge av denne definisjonen, helt til jeg endelig forsto hva den handlet om. Den deriverte er ikke noe mer enn bare et mål på hvor mye funksjonen vi differensierer er lik funksjonen y=x, y=x^2, y=x^3.

Jeg har nå æren av å forelese studenter som frykt matematikk. Er du redd for matematikk - vi er på vei. Så snart du prøver å lese en tekst og det virker som om den er altfor komplisert, så vet du at den er dårlig skrevet. Jeg argumenterer for at det ikke er et eneste område av matematikk som ikke kan snakkes om "på fingrene" uten å miste nøyaktigheten.

Utfordringen for nær fremtid: Jeg instruerte elevene mine til å forstå hva en lineær-kvadratisk kontroller er. Ikke vær sjenert, kast bort tre minutter av livet ditt, følg linken. Hvis du ikke forstår noe, så er vi på vei. Jeg (en profesjonell matematiker-programmerer) forsto heller ingenting. Og jeg forsikrer deg, dette kan ordnes "på fingrene." For øyeblikket vet jeg ikke hva det er, men jeg forsikrer deg om at vi vil klare å finne ut av det.

Så, den første forelesningen jeg skal holde for studentene mine etter at de kommer løpende til meg forskrekket med ordene om at den lineær-kvadratiske kontrolleren er en forferdelig feil som du aldri vil mestre i livet ditt, er minste kvadraters metoder. Kan du løse lineære ligninger? Hvis du leser denne teksten, så mest sannsynlig ikke.

Så gitt to punkter (x0, y0), (x1, y1), for eksempel (1,1) og (3,2), er oppgaven å finne ligningen til en rett linje som går gjennom disse to punktene:

illustrasjon

Denne rette linjen skal ha en ligning som følgende:

Her er alfa og beta ukjent for oss, men to punkter på denne linjen er kjent:

Du kan skrive denne ligningen i matriseform:

Her bør vi gjøre en lyrisk digresjon: hva er en matrise? En matrise er ikke annet enn en todimensjonal matrise. Dette er en måte å lagre data på, det skal ikke gis flere verdier. Det er opp til oss hvordan vi skal tolke en bestemt matrise. Med jevne mellomrom vil jeg tolke det som en lineær kartlegging, med jevne mellomrom som en kvadratisk form, og noen ganger ganske enkelt som et sett med vektorer. Alt dette vil bli avklart i sammenheng.

La oss erstatte spesifikke matriser med deres symbolske representasjon:

Da (alfa, beta) kan du enkelt finne:

Mer spesifikt for våre tidligere data:

Som fører til følgende ligning av en rett linje som går gjennom punktene (1,1) og (3,2):

Ok, alt er klart her. Og la oss finne ligningen til en rett linje som går gjennom tre poeng: (x0,y0), (x1,y1) og (x2,y2):

Å-å-å, men vi har tre ligninger for to ukjente! Standardmatematikeren vil si at det ikke finnes noen løsning. Hva vil programmereren si? Og han vil først omskrive det forrige likningssystemet i følgende form:

I vårt tilfelle er vektorene i, j, b tredimensjonale, derfor (i det generelle tilfellet) er det ingen løsning på dette systemet. Enhver vektor (alfa\*i + beta\*j) ligger i planet som strekkes av vektorene (i, j). Hvis b ikke tilhører dette planet, er det ingen løsning (likhet i ligningen kan ikke oppnås). Hva å gjøre? La oss se etter et kompromiss. La oss betegne med e (alfa, beta) hvordan vi ikke oppnådde likestilling:

Og vi vil prøve å minimere denne feilen:

Hvorfor en firkant?

Vi ser ikke bare etter minimum av normen, men minimum av kvadratet av normen. Hvorfor? Selve minimumspunktet er sammenfallende, og kvadratet gir en jevn funksjon (en kvadratisk funksjon av argumentene (alfa,beta)), mens bare lengden gir en funksjon i form av en kjegle, ikke-differensierbar ved minimumspunktet. Brr. Square er mer praktisk.

Åpenbart er feilen minimert når vektoren e ortogonalt til planet som spennes over av vektorene Jeg og j.

Illustrasjon

Med andre ord: vi ser etter en linje slik at summen av de kvadrerte lengdene av avstandene fra alle punktene til denne linjen er minimal:

OPPDATERING: her har jeg en jamb, avstanden til linjen skal måles vertikalt, ikke ortografisk projeksjon. Denne kommentatoren er riktig.

Illustrasjon

Med helt andre ord (forsiktig, dårlig formalisert, men det skal være tydelig på fingrene): vi tar alle mulige linjer mellom alle punktpar og ser etter gjennomsnittslinjen mellom alle:

Illustrasjon

En annen forklaring på fingrene: vi fester en fjær mellom alle datapunkter (her har vi tre) og linjen som vi ser etter, og linjen til likevektstilstanden er akkurat det vi ser etter.

Minimum kvadratisk form

Så gitt vektoren b og planet som strekkes av kolonne-vektorene til matrisen EN(i dette tilfellet (x0,x1,x2) og (1,1,1)), leter vi etter en vektor e med minimum kvadratisk lengde. Åpenbart er minimum oppnåelig bare for vektoren e, ortogonalt til planet som strekkes av søyle-vektorene til matrisen EN:

Med andre ord, vi ser etter en vektor x=(alfa, beta) slik at:

Jeg minner deg om at denne vektoren x=(alfa, beta) er minimum av den kvadratiske funksjonen ||e(alfa, beta)||^2:

Her er det nyttig å huske at matrisen kan tolkes så vel som den kvadratiske formen, for eksempel kan identitetsmatrisen ((1,0),(0,1)) tolkes som en funksjon av x^2 + y ^2:

kvadratisk form

All denne gymnastikken er kjent som lineær regresjon.

Laplace-likning med Dirichlet-grensebetingelse

Nå er det enkleste virkelige problemet: det er en viss triangulert overflate, det er nødvendig å glatte den. La oss for eksempel laste inn ansiktsmodellen min:

Den originale forpliktelsen er tilgjengelig. For å minimere eksterne avhengigheter tok jeg koden til programvaregjengiveren min, allerede på Habré. For å løse det lineære systemet bruker jeg OpenNL , det er en flott løsning, men det er veldig vanskelig å installere: du må kopiere to filer (.h + .c) til prosjektmappen din. All utjevning gjøres med følgende kode:

For (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&ansikt = ansikter[i]; for (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

X-, Y- og Z-koordinater kan separeres, jeg glatter dem separat. Det vil si at jeg løser tre systemer med lineære ligninger, hver med samme antall variabler som antall toppunkter i modellen min. De første n radene av matrise A har bare én 1 per rad, og de første n radene av vektor b har originale modellkoordinater. Det vil si at jeg fjærer mellom den nye toppunktet og den gamle toppunktet - de nye bør ikke være for langt unna de gamle.

Alle påfølgende rader av matrise A (faces.size()*3 = antall kanter til alle trekanter i rutenettet) har én forekomst av 1 og én forekomst av -1, mens vektoren b har null komponenter motsatt. Dette betyr at jeg setter en fjær på hver kant av vårt trekantede nett: alle kanter prøver å få samme toppunkt som start- og sluttpunktene.

Nok en gang: alle toppunkter er variable, og de kan ikke avvike langt fra sin opprinnelige posisjon, men samtidig prøver de å bli like hverandre.

Her er resultatet:

Alt ville være bra, modellen er virkelig glattet, men den har beveget seg bort fra den opprinnelige kanten. La oss endre koden litt:

For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

I vår matrise A, for toppunktene som er på kanten, legger jeg ikke til en rad fra kategorien v_i = verts[i][d], men 1000*v_i = 1000*verts[i][d]. Hva endrer det? Og dette endrer vår kvadratiske form av feilen. Nå vil et enkelt avvik fra toppen ved kanten ikke koste én enhet, som før, men 1000 * 1000 enheter. Det vil si at vi hang en sterkere fjær på de ekstreme hjørnene, løsningen foretrekker å strekke andre sterkere. Her er resultatet:

La oss doble styrken til fjærene mellom toppunktene:
nlKoeffisient(ansikt[ j ], 2); nlKoeffisient(ansikt[(j+1)%3], -2);

Det er logisk at overflaten har blitt jevnere:

Og nå til og med hundre ganger sterkere:

Hva er dette? Tenk deg at vi har dyppet en trådring i såpevann. Som et resultat vil den resulterende såpefilmen prøve å ha minst mulig krumning, og berøre den samme grensen - trådringen vår. Dette er akkurat det vi fikk ved å fikse kanten og be om en glatt overflate inni. Gratulerer, vi har nettopp løst Laplace-ligningen med Dirichlets grensebetingelser. Høres kult ut? Men faktisk bare ett system med lineære ligninger å løse.

Poisson-ligningen

La oss få et annet kult navn.

La oss si at jeg har et bilde som dette:

Alle er flinke, men jeg liker ikke stolen.

Jeg kuttet bildet i to:

Og jeg vil velge en stol med hendene:

Deretter vil jeg dra alt som er hvitt i masken til venstre side av bildet, og samtidig vil jeg si gjennom hele bildet at forskjellen mellom to nabopiksler skal være lik forskjellen mellom to nabopiksler av høyre bilde:

For (int i=0; i

Her er resultatet:

Kode og bilder er tilgjengelig

Minste kvadratiske metode

Minste kvadratiske metode ( MNK, OLS, Vanlige minste kvadrater) - en av de grunnleggende metodene regresjonsanalyseå estimere ukjente parametere for regresjonsmodeller fra prøvedata. Metoden er basert på å minimere summen av kvadrater av regresjonsrester.

Det skal bemerkes at minste kvadraters metode i seg selv kan kalles en metode for å løse et problem i et hvilket som helst område, hvis løsningen består av eller tilfredsstiller et visst kriterium for å minimere kvadratsummen av noen funksjoner av de ukjente variablene. Derfor kan minste kvadraters metode også brukes for en omtrentlig representasjon (tilnærming) av en gitt funksjon ved hjelp av andre (enklere) funksjoner, når man finner et sett med mengder som tilfredsstiller ligninger eller restriksjoner, hvis antall overstiger antallet av disse mengdene , etc.

Essensen av MNC

La en eller annen (parametrisk) modell av sannsynlighet (regresjon) avhengighet mellom den (forklarte) variabelen y og mange faktorer (forklarende variabler) x

hvor er vektoren av ukjente modellparametere

- Tilfeldig modellfeil.

La det også være prøveobservasjoner av verdiene til de angitte variablene. La være observasjonsnummeret (). Deretter er verdiene til variablene i den -te observasjonen. Deretter, for gitte verdier av parameterne b, er det mulig å beregne de teoretiske (modell) verdiene til den forklarte variabelen y:

Verdien av residualene avhenger av verdiene til parameterne b.

Essensen av LSM (vanlig, klassisk) er å finne slike parametere b som summen av kvadratene til residualene ( Engelsk Restsum av kvadrater) vil være minimal:

I det generelle tilfellet kan dette problemet løses med numeriske metoder for optimalisering (minimering). I dette tilfellet snakker man om ikke-lineære minste kvadrater(NLS eller NLLS - Engelsk Ikke-lineære minste kvadrater). I mange tilfeller kan en analytisk løsning oppnås. For å løse minimeringsproblemet er det nødvendig å finne de stasjonære punktene til funksjonen ved å differensiere den med hensyn til de ukjente parameterne b, likestille de deriverte til null og løse det resulterende ligningssystemet:

Hvis tilfeldige modellfeil har normal distribusjon, har samme varians og ikke er korrelert med hverandre, faller minste kvadraters estimatene av parameterne sammen med estimatene maksimal sannsynlighetsmetode (MLM).

MNC i tilfelle lineær modell

La regresjonsavhengigheten være lineær:

La y- kolonnevektor av observasjoner av den forklarte variabelen, og - matrise av observasjoner av faktorer (rader av matrisen - vektorer av faktorverdier i en gitt observasjon, etter kolonner - vektor av verdier av en gitt faktor i alle observasjoner) . Matriserepresentasjon lineær modell har formen:

Da vil vektoren av estimater for den forklarte variabelen og vektoren for regresjonsresidier være lik

følgelig vil summen av kvadratene til regresjonsrestene være lik

Ved å differensiere denne funksjonen med hensyn til parametervektoren og likestille de deriverte til null, får vi et system av ligninger (i matriseform):

Løsningen av dette ligningssystemet gir den generelle formelen for minste kvadraters estimater for den lineære modellen:

For analytiske formål viser den siste representasjonen av denne formelen seg å være nyttig. Hvis dataene i regresjonsmodellen sentrert, så i denne representasjonen har den første matrisen betydningen av prøvens kovariansmatrise av faktorer, og den andre er vektoren av kovariansene til faktorer med avhengig variabel. Hvis i tillegg dataene også er normalisert på SKO (det vil si til syvende og sist standardisert), så har den første matrisen betydningen av prøvekorrelasjonsmatrisen av faktorer, den andre vektoren - vektoren av prøvekorrelasjoner av faktorer med den avhengige variabelen.

En viktig egenskap ved LLS estimater for modeller med en konstant- linjen til den konstruerte regresjonen går gjennom tyngdepunktet til prøvedataene, det vil si at likheten er oppfylt:

Spesielt i det ekstreme tilfellet, når den eneste regressoren er en konstant, finner vi at OLS-estimatet for en enkelt parameter (konstanten i seg selv) er lik middelverdien til variabelen som forklares. Det vil si at det aritmetiske gjennomsnittet, kjent for sine gode egenskaper fra lovene for store tall, også er et minstekvadrat-estimat - det tilfredsstiller kriteriet for minimumssummen av kvadrerte avvik fra det.

Eksempel: enkel (parvis) regresjon

I tilfelle av paret lineær regresjon, er beregningsformlene forenklet (du kan klare deg uten matrisealgebra):

Egenskaper til OLS-estimater

Først av alt, merker vi at for lineære modeller er minste kvadraters estimater lineære estimater, som følger av formelen ovenfor. Til upartiskhet OLS estimater er nødvendige og tilstrekkelige for å oppfylle den viktigste betingelsen regresjonsanalyse: betinget av faktorer forventet verdi tilfeldig feil skal være null. Denne betingelsen er oppfylt, spesielt hvis

den matematiske forventningen til tilfeldige feil er null, og
faktorer og tilfeldige feil er uavhengige tilfeldige variabler.

Den andre tilstanden - tilstanden til eksogene faktorer - er grunnleggende. Hvis denne egenskapen ikke er fornøyd, kan vi anta at nesten alle estimater vil være ekstremt utilfredsstillende: de vil ikke engang rik(det vil si at selv en veldig stor mengde data ikke tillater å oppnå kvalitative estimater i dette tilfellet). I det klassiske tilfellet gjøres det en sterkere antagelse om faktorers determinisme, i motsetning til en tilfeldig feil, som automatisk betyr at den eksogene betingelsen er oppfylt. I det generelle tilfellet, for konsistensen av estimater, er det tilstrekkelig å oppfylle eksogenitetsbetingelsen sammen med konvergensen av matrisen til en ikke-singular matrise med en økning i prøvestørrelsen til uendelig.

For å, i tillegg til soliditet og upartiskhet, estimatene for den (vanlige) LSM var også effektive (de beste i klassen av lineære objektive estimater), er det nødvendig å oppfylle ytterligere egenskaper til den tilfeldige feilen:

Disse forutsetningene kan formuleres for kovariansmatrise tilfeldige feilvektorer

En lineær modell som tilfredsstiller disse betingelsene kalles klassisk. OLS-estimatene for klassisk lineær regresjon er upartisk , rik og de fleste effektive estimater i klassen for alle lineære objektive estimater (i engelsk litteratur brukes forkortelsen noen ganger blå (Beste lineære ugrunnlagde estimator) er det beste lineære objektive estimatet; i innenlandsk litteratur blir Gauss-Markov-teoremet oftere sitert). Som det er lett å vise, vil kovariansmatrisen til koeffisientestimatvektoren være lik:

Generaliserte minste kvadrater

Metoden med minste kvadrater tillater en bred generalisering. I stedet for å minimere summen av kvadrater av residualene, kan man minimere en positiv bestemt kvadratisk form av restvektoren , hvor er en symmetrisk positiv bestemt vektmatrise. Vanlige minste kvadrater er et spesielt tilfelle av denne tilnærmingen, når vektmatrisen er proporsjonal med identitetsmatrisen. Som kjent fra teorien om symmetriske matriser (eller operatorer), er det en dekomponering for slike matriser. Derfor kan den spesifiserte funksjonelle representeres som følger, det vil si at denne funksjonelle kan representeres som summen av kvadratene til noen transformerte "rester". Dermed kan vi skille en klasse av minste kvadraters metoder - LS-metoder (minste kvadrater).

Det er bevist (Aitkens teorem) at for en generalisert lineær regresjonsmodell (der ingen restriksjoner er pålagt kovariansmatrisen av tilfeldige feil), er de mest effektive (i klassen av lineære objektive estimater) estimater av såkalte. generalisert OLS (OMNK, GLS - generaliserte minste kvadrater)- LS-metode med en vektmatrise lik den inverse kovariansmatrisen av tilfeldige feil: .

Det kan vises at formelen for GLS-estimatene for parameterne til den lineære modellen har formen

Kovariansmatrisen til disse estimatene vil henholdsvis være lik

Faktisk ligger essensen av OLS i en viss (lineær) transformasjon (P) av de opprinnelige dataene og bruken av de vanlige minste kvadrater på de transformerte dataene. Hensikten med denne transformasjonen er at for de transformerte dataene tilfredsstiller de tilfeldige feilene allerede de klassiske forutsetningene.

Vekte minste kvadrater

Når det gjelder en diagonal vektmatrise (og derav kovariansmatrisen av tilfeldige feil), har vi de såkalte vektet minste kvadrater (WLS – Weighted Least Squares). I dette tilfellet minimeres den vektede summen av kvadrater av modellens residualer, det vil si at hver observasjon mottar en "vekt" som er omvendt proporsjonal med variansen til den tilfeldige feilen i denne observasjonen: . Faktisk transformeres dataene ved å vekte observasjonene (dele med en mengde proporsjonal med det antatte standardavviket til de tilfeldige feilene), og normale minste kvadrater brukes på de vektede dataene.

Noen spesielle tilfeller av anvendelse av LSM i praksis

Tilnærming lineær avhengighet

Vurder tilfelle når, som et resultat av å studere avhengigheter noen skalar mengde på en skalar mengde (Dette kan for eksempel være avhengigheten Spenning fra strømstyrke: , hvor er en konstant verdi, motstand dirigent) Ble båret ut målinger disse mengdene, som et resultat av at verdiene og de tilsvarende verdiene ble oppnådd. Måledata skal registreres i en tabell.

Bord. Måleresultater.

Mål nr.
1
2
3
4
5
6

Spørsmålet er: hva er meningen koeffisient kan velges for å best beskrive avhengigheten? I henhold til minste kvadrater skal denne verdien være slik at summen firkanter avvik av verdier fra verdier

var minimal

Summen av kvadrerte avvik har en ekstremum er minimum som gjør at vi kan bruke dette formel. La oss finne verdien av koeffisienten fra denne formelen. For å gjøre dette transformerer vi venstre side som følger:

Den siste formelen lar oss finne verdien av koeffisienten , som var nødvendig i oppgaven.

Historie

Fram til begynnelsen av XIX århundre. forskere hadde ingen klare regler for å avgjøre ligningssystemer, der antall ukjente er mindre enn antall ligninger; Inntil den tid ble det brukt spesielle metoder, avhengig av type ligninger og på oppfinnsomheten til kalkulatorene, og derfor kom forskjellige kalkulatorer, med utgangspunkt i de samme observasjonsdataene, til forskjellige konklusjoner. Gauss(1795) tilhører den første anvendelsen av metoden, og Legendre(1805) uavhengig oppdaget og publisert den under den moderne tittelen ( fr. Methode des moindres quarres ) . Laplace assosiert metode med sannsynlighetsteori, og den amerikanske matematikeren Adrain (1808) vurderte dens sannsynlige anvendelser. Metoden er utbredt og forbedret ved videre forskning Encke , Bessel, Hansen og andre.

Alternativ bruk av MNC

Ideen om minste kvadraters metode kan også brukes i andre tilfeller som ikke er direkte relatert til regresjonsanalyse. Faktum er at summen av kvadrater er et av de vanligste nærhetsmålene for vektorer (den euklidiske metrikken i endelig-dimensjonale rom).

En applikasjon er å "løse" systemer av lineære ligninger der antallet ligninger er større enn antallet variabler

hvor matrisen ikke er kvadratisk, men rektangulær.

Et slikt ligningssystem har i det generelle tilfellet ingen løsning (hvis rangeringen faktisk er større enn antall variabler). Derfor kan dette systemet bare "løses" i betydningen å velge en slik vektor for å minimere "avstanden" mellom vektorene og . For å gjøre dette kan du bruke kriteriet for å minimere summen av kvadratiske forskjeller til venstre og høyre del av likningene til systemet, det vil si . Det er lett å vise at løsningen av dette minimeringsproblemet fører til løsningen av følgende ligningssystem