Odabir parametara metodom najmanjih kvadrata. Linearna parna regresijska analiza
Metoda najmanjeg kvadrata
Metoda najmanjeg kvadrata ( MNK, OLS, obični najmanji kvadrati) - jedna od osnovnih metoda regresijske analize za procjenu nepoznatih parametara regresijskih modela iz podataka uzorka. Metoda se temelji na minimiziranju zbroja kvadrata regresijskih reziduala.
Treba napomenuti da se sama metoda najmanjih kvadrata može nazvati metodom za rješavanje problema u bilo kojem području, ako se rješenje sastoji od ili zadovoljava određeni kriterij za minimiziranje zbroja kvadrata nekih funkcija nepoznatih varijabli. Stoga se metoda najmanjih kvadrata može koristiti i za aproksimativni prikaz (aproksimaciju) dane funkcije drugim (jednostavnijim) funkcijama, pri pronalaženju skupa veličina koje zadovoljavaju jednadžbe ili ograničenja, čiji broj premašuje broj tih veličina itd.
Suština MNC-a
Neka je neki (parametarski) model vjerojatnosne (regresijske) ovisnosti između (objašnjene) varijable g i mnogo čimbenika (objašnjavajuće varijable) x
gdje je vektor nepoznatih parametara modela
- Slučajna pogreška modela.Neka postoje i ogledna promatranja vrijednosti navedenih varijabli. Neka je broj promatranja (). Zatim su vrijednosti varijabli u -tom promatranju. Tada je za zadane vrijednosti parametara b moguće izračunati teorijske (modelske) vrijednosti objašnjene varijable y:
Vrijednost reziduala ovisi o vrijednostima parametara b.
Bit LSM-a (običnog, klasičnog) je pronaći takve parametre b za koje je zbroj kvadrata reziduala (eng. Preostali zbroj kvadrata) bit će minimalan:
U općem slučaju ovaj se problem može riješiti numeričkim metodama optimizacije (minimizacije). U ovom slučaju govori se o nelinearni najmanji kvadrati(NLS ili NLLS - engleski. Nelinearni najmanji kvadrati). U mnogim slučajevima može se dobiti analitičko rješenje. Za rješavanje problema minimizacije potrebno je pronaći stacionarne točke funkcije diferenciranjem u odnosu na nepoznate parametre b, izjednačavanjem derivacija s nulom i rješavanjem dobivenog sustava jednadžbi:
Ako su slučajne pogreške modela normalno raspoređene, imaju istu varijancu i nisu međusobno povezane, procjene parametara najmanjih kvadrata iste su kao procjene metode maksimalne vjerojatnosti (MLM).
LSM u slučaju linearnog modela
Neka je regresijska ovisnost linearna:
Neka g- stupac vektora opažanja objašnjene varijable, te - matrica opažanja faktora (redovi matrice - vektori vrijednosti faktora u danom promatranju, po stupcima - vektor vrijednosti danog faktora u svim promatranjima) . Matrična reprezentacija linearnog modela ima oblik:
Tada će vektor procjena objašnjene varijable i vektor regresijskih reziduala biti jednak
prema tome, zbroj kvadrata regresijskih reziduala bit će jednak
Diferenciranjem ove funkcije s obzirom na vektor parametra i izjednačavanjem derivacija s nulom, dobivamo sustav jednadžbi (u matričnom obliku):
.Rješenje ovog sustava jednadžbi daje opću formulu za procjene najmanjih kvadrata za linearni model:
Za analitičke svrhe, posljednji prikaz ove formule pokazao se korisnim. Ako podaci u regresijskom modelu centriran, tada u ovom prikazu prva matrica ima značenje ogledne matrice kovarijanci faktora, a druga je vektor kovarijanci faktora sa zavisnom varijablom. Ako su uz to i podaci normalizirao u SKO-u (tj. u konačnici standardizirani), tada prva matrica ima značenje uzorka korelacijske matrice faktora, drugi vektor - vektor uzorka korelacije faktora sa zavisnom varijablom.
Važno svojstvo LLS procjena za modele s konstantom- linija konstruirane regresije prolazi kroz težište podataka uzorka, odnosno ispunjena je jednakost:
Konkretno, u ekstremnom slučaju, kada je jedini regresor konstanta, nalazimo da je OLS procjena jednog parametra (sama konstanta) jednaka srednjoj vrijednosti varijable koja se objašnjava. To jest, aritmetička sredina, poznata po svojim dobrim svojstvima iz zakona velikih brojeva, također je procjena najmanjih kvadrata - ona zadovoljava kriterij za minimalni zbroj kvadratnih odstupanja od nje.
Primjer: jednostavna regresija (po parovima).
U slučaju uparene linearne regresije, formule za izračun su pojednostavljene (možete i bez matrične algebre):
Svojstva OLS procjena
Prije svega, napominjemo da su za linearne modele procjene najmanjih kvadrata linearne procjene, kao što slijedi iz gornje formule. Za nepristrane OLS procjene potrebno je i dovoljno ispuniti najvažniji uvjet regresijske analize: matematičko očekivanje slučajne pogreške uvjetovane faktorima mora biti jednako nuli. Ovaj uvjet je posebno zadovoljen ako
- matematičko očekivanje slučajnih pogrešaka je nula, i
- faktori i slučajne pogreške su neovisne slučajne varijable.
Drugi uvjet – uvjet egzogenih čimbenika – temeljan je. Ako ovo svojstvo nije zadovoljeno, tada možemo pretpostaviti da će gotovo svaka procjena biti krajnje nezadovoljavajuća: neće biti čak ni konzistentna (to jest, čak ni vrlo velika količina podataka ne dopušta dobivanje kvalitativnih procjena u ovom slučaju). U klasičnom slučaju radi se o jačoj pretpostavci o determinizmu faktora, za razliku od slučajne pogreške, što automatski znači da je egzogeni uvjet zadovoljen. U općem slučaju, za konzistentnost procjena dovoljno je ispuniti uvjet egzogenosti zajedno s konvergencijom matrice na neku nesingularnu matricu s povećanjem veličine uzorka do beskonačnosti.
Da bi, osim konzistentnosti i nepristranosti, procjene (uobičajenih) najmanjih kvadrata bile i učinkovite (najbolje u klasi linearnih nepristranih ocjena), potrebno je ispuniti dodatna svojstva slučajne pogreške:
Ove se pretpostavke mogu formulirati za matricu kovarijance vektora slučajne pogreške
Linearni model koji zadovoljava ove uvjete naziva se klasični. OLS procjene za klasičnu linearnu regresiju su nepristrane, konzistentne i najučinkovitije procjene u klasi svih linearnih nepristranih procjena (u engleskoj literaturi ponekad se koristi skraćenica plava (Najbolji linearni nebazirani procjenitelj) je najbolja linearna nepristrana procjena; u domaćoj literaturi češće se navodi Gauss-Markovljev teorem). Kao što je lako pokazati, matrica kovarijance vektora procjene koeficijenata bit će jednaka:
Generalizirani najmanji kvadrati
Metoda najmanjih kvadrata dopušta široku generalizaciju. Umjesto minimiziranja zbroja kvadrata reziduala, može se minimizirati neki pozitivno određeni kvadratni oblik vektora reziduala, gdje je neka simetrična pozitivno određena matrica težine. Obični najmanji kvadrati su poseban slučaj ovog pristupa, kada je matrica težine proporcionalna matrici identiteta. Kao što je poznato iz teorije simetričnih matrica (ili operatora), za takve matrice postoji dekompozicija. Stoga se navedeni funkcional može prikazati na sljedeći način, odnosno taj se funkcional može prikazati kao zbroj kvadrata nekih transformiranih "reziduala". Dakle, možemo razlikovati klasu metoda najmanjih kvadrata - LS-metode (Least Squares).
Dokazuje se (Aitkenov teorem) da su za model generalizirane linearne regresije (u kojem se ne nameću nikakva ograničenja na kovarijancijsku matricu slučajnih pogrešaka) najučinkovitije (u klasi linearnih nepristranih procjena) procjene tzv. generalizirani OLS (OMNK, GLS - generalizirani najmanji kvadrati)- LS-metoda s matricom težine jednakom inverznoj kovarijancijskoj matrici slučajnih pogrešaka: .
Može se pokazati da formula za GLS-procjene parametara linearnog modela ima oblik
Matrica kovarijance ovih procjena bit će jednaka
Zapravo, bit OLS-a leži u određenoj (linearnoj) transformaciji (P) izvornih podataka i primjeni uobičajenih najmanjih kvadrata na transformirane podatke. Svrha ove transformacije je da za transformirane podatke slučajne pogreške već zadovoljavaju klasične pretpostavke.
Ponderirani najmanji kvadrati
U slučaju dijagonalne matrice težine (a time i matrice kovarijance slučajnih pogrešaka) imamo takozvane ponderirane najmanje kvadrate (WLS - Weighted Least Squares). U ovom slučaju, ponderirani zbroj kvadrata reziduala modela je minimiziran, to jest, svako promatranje dobiva "težinu" koja je obrnuto proporcionalna varijanci slučajne pogreške u ovom promatranju: . Zapravo, podaci se transformiraju ponderiranjem opažanja (dijeleći s iznosom proporcionalnim pretpostavljenoj standardnoj devijaciji slučajnih pogrešaka), a normalni najmanji kvadrati se primjenjuju na ponderirane podatke.
Neki posebni slučajevi primjene LSM-a u praksi
Linearna aproksimacija
Razmotrimo slučaj kada, kao rezultat proučavanja ovisnosti određene skalarne veličine o određenoj skalarnoj veličini (To može biti, na primjer, ovisnost napona o jakosti struje: , gdje je konstantna vrijednost, otpor vodiča ), te su količine izmjerene, uslijed čega su dobivene vrijednosti i njihove odgovarajuće vrijednosti. Podatke mjerenja treba zabilježiti u tablici.
Stol. Rezultati mjerenja.
| Mjerni br. | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
Pitanje zvuči ovako: koja se vrijednost koeficijenta može odabrati da najbolje opiše ovisnost? Prema najmanjim kvadratima, ova vrijednost treba biti takva da zbroj kvadrata odstupanja vrijednosti od vrijednosti
bila minimalna
Zbroj kvadrata odstupanja ima jedan ekstrem - minimum, što nam omogućuje korištenje ove formule. Nađimo vrijednost koeficijenta iz ove formule. Da bismo to učinili, transformiramo njegovu lijevu stranu na sljedeći način:
Posljednja formula nam omogućuje da pronađemo vrijednost koeficijenta , koja je bila potrebna u problemu.
Priča
Sve do početka XIX stoljeća. znanstvenici nisu imali određena pravila za rješavanje sustava jednadžbi u kojima je broj nepoznanica manji od broja jednadžbi; Do tada su se koristile posebne metode, ovisno o vrsti jednadžbi i domišljatosti kalkulatora, pa su različiti kalkulatori, polazeći od istih podataka opažanja, dolazili do različitih zaključaka. Gauss (1795) je zaslužan za prvu primjenu metode, a Legendre (1805) ju je neovisno otkrio i objavio pod njenim modernim imenom (fr. Methode des moindres quarres ) . Laplace je metodu povezao s teorijom vjerojatnosti, a američki matematičar Adrain (1808.) razmatrao je njezinu probabilističku primjenu. Metoda je raširena i poboljšana daljnjim istraživanjima Enckea, Bessela, Hansena i drugih.
Alternativna uporaba MNC-a
Ideja metode najmanjih kvadrata također se može koristiti u drugim slučajevima koji nisu izravno povezani s regresijskom analizom. Činjenica je da je zbroj kvadrata jedna od najčešćih mjera blizine za vektore (euklidska metrika u konačnodimenzionalnim prostorima).
Jedna primjena je "rješavanje" sustava linearnih jednadžbi u kojima je broj jednadžbi veći od broja varijabli
gdje matrica nije kvadratna, već pravokutna.
Takav sustav jednadžbi, u općem slučaju, nema rješenja (ako je rang stvarno veći od broja varijabli). Stoga se ovaj sustav može "riješiti" samo u smislu odabira takvog vektora kako bi se minimalizirala "udaljenost" između vektora i . Da biste to učinili, možete primijeniti kriterij za minimiziranje zbroja kvadrata razlika lijevog i desnog dijela jednadžbi sustava, tj. Lako je pokazati da rješenje ovog problema minimizacije vodi do rješenja sljedećeg sustava jednadžbi
- tutorial
Uvod
Ja sam računalni programer. Najveći skok u karijeri napravio sam kada sam naučio reći: "Ne razumijem ništa!" Sada se ne sramim reći svjetlu znanosti da mi drži predavanje, da ne razumijem o čemu ono, svjetlo, priča sa mnom. I jako je teško. Da, teško je i neugodno priznati da ne znaš. Tko voli priznati da ne zna osnove nečega-tamo. Po struci moram prisustvovati velikom broju izlaganja i predavanja, gdje mi se, priznajem, u velikoj većini slučajeva spava, jer ništa ne razumijem. I ne razumijem jer veliki problem trenutne situacije u znanosti leži u matematici. Pretpostavlja se da svi učenici poznaju apsolutno sva područja matematike (što je apsurdno). Priznati da ne znaš što je izvedenica (da je ovo malo kasnije) je šteta.
Ali naučio sam reći da ne znam što je množenje. Da, ne znam što je subalgebra nad Liejevom algebrom. Da, ne znam zašto su kvadratne jednadžbe potrebne u životu. Usput, ako ste sigurni da znate, onda imamo o čemu razgovarati! Matematika je niz trikova. Matematičari pokušavaju zbuniti i zastrašiti javnost; gdje nema zabune, nema ugleda, nema autoriteta. Da, prestižno je govoriti što apstraktnijim jezikom, što je samo po sebi potpuna besmislica.
Znate li što je derivat? Najvjerojatnije ćete mi reći o granici relacije razlike. Na prvoj godini matematike na St. Petersburg State University, Viktor Petrovich Khavin me definiran derivacija kao koeficijent prvog člana Taylorovog reda funkcije u točki (bila je posebna gimnastika odrediti Taylorov red bez derivacija). Dugo sam se smijao ovoj definiciji, dok konačno nisam shvatio o čemu se radi. Derivacija nije ništa više nego samo mjera koliko je funkcija koju diferenciramo slična funkciji y=x, y=x^2, y=x^3.
Sada imam čast predavati studentima koji strah matematika. Ako se bojite matematike - mi smo na putu. Čim pokušate pročitati neki tekst i čini vam se da je prekompliciran, onda znajte da je loše napisan. Tvrdim da ne postoji nijedno područje matematike o kojem se ne može govoriti "na prste", a da se ne izgubi na točnosti.
Izazov za blisku budućnost: uputio sam svoje učenike da razumiju što je linearno-kvadratni regulator. Nemojte se sramiti, izgubite tri minute svog života, slijedite link. Ako ništa ne razumijete, onda smo na putu. Ja (profesionalni matematičar-programer) također nisam ništa razumio. I uvjeravam vas, ovo se može riješiti "na prste". U ovom trenutku ne znam o čemu se radi, ali uvjeravam vas da ćemo to moći otkriti.
Dakle, prvo predavanje koje ću održati svojim studentima nakon što mi užasnuti dotrče s riječima da je linearno-kvadratni kontroler užasna greška koju nikada u životu nećete savladati je metode najmanjih kvadrata. Možete li riješiti linearne jednadžbe? Ako čitate ovaj tekst, onda vrlo vjerojatno ne.
Dakle, dane su dvije točke (x0, y0), (x1, y1), na primjer, (1,1) i (3,2), zadatak je pronaći jednadžbu ravne linije koja prolazi kroz te dvije točke:
ilustracija
Ova ravna linija trebala bi imati jednadžbu poput sljedeće:
Ovdje su nam alfa i beta nepoznate, ali dvije točke ove linije su poznate:
Ovu jednadžbu možete napisati u matričnom obliku:
Ovdje treba napraviti lirsku digresiju: što je matrica? Matrica nije ništa drugo nego dvodimenzionalni niz. Ovo je način pohranjivanja podataka, ne smiju mu se davati više vrijednosti. Na nama je kako točno interpretirati određenu matricu. Povremeno ću ga tumačiti kao linearno preslikavanje, povremeno kao kvadratni oblik, a ponekad jednostavno kao skup vektora. Sve će to biti razjašnjeno u kontekstu.
Zamijenimo određene matrice njihovim simboličkim prikazom:
Tada se (alfa, beta) može lako pronaći:
Konkretnije za naše prethodne podatke:
Što dovodi do sljedeće jednadžbe pravca koji prolazi kroz točke (1,1) i (3,2):
Dobro, ovdje je sve jasno. Nađimo jednadžbu ravne linije koja prolazi kroz nju tri točke: (x0,y0), (x1,y1) i (x2,y2):
Oh-oh-oh, ali imamo tri jednadžbe za dvije nepoznanice! Standardni matematičar će reći da rješenja nema. Što će reći programer? I prvo će prepisati prethodni sustav jednadžbi u sljedećem obliku:
U našem slučaju vektori i, j, b su trodimenzionalni, stoga (u općem slučaju) nema rješenja za ovaj sustav. Svaki vektor (alfa\*i + beta\*j) leži u ravnini razapetoj vektorima (i, j). Ako b ne pripada ovoj ravnini, tada rješenja nema (ne može se postići jednakost u jednadžbi). Što učiniti? Tražimo kompromis. Označimo sa e(alfa, beta) kako točno nismo postigli ravnopravnost:
Pokušat ćemo minimizirati ovu grešku:
Zašto kvadrat?
Ne tražimo samo minimum norme, nego minimum kvadrata norme. Zašto? Sama točka minimuma koincidira, a kvadrat daje glatku funkciju (kvadratnu funkciju argumenata (alfa,beta)), dok samo duljina daje funkciju u obliku stošca, nediferencijabilnu u točki minimuma. Brr. Kvadrat je prikladniji.
Očito, greška je minimizirana kada vektor e okomito na ravninu koju vektori premošćuju ja i j.
Ilustracija
Drugim riječima: tražimo pravac takav da je zbroj kvadrata duljina udaljenosti od svih točaka do tog pravca minimalan:
UPDATE: ovdje imam zastoj, udaljenost do linije treba mjeriti okomito, a ne ortografskom projekcijom. Ovaj komentator je u pravu.
Ilustracija
Potpuno drugim riječima (pažljivo, loše formalizirano, ali trebalo bi biti jasno na prstima): uzimamo sve moguće linije između svih parova točaka i tražimo prosječnu liniju između svih:
Ilustracija
Još jedno objašnjenje na prstima: pričvrstimo oprugu između svih podatkovnih točaka (ovdje ih imamo tri) i linije koju tražimo, a linija stanja ravnoteže je upravo ono što tražimo.
Minimum kvadratnog oblika
Dakle, s obzirom na vektor b a ravnina prevučena stupcima-vektorima matrice A(u ovom slučaju (x0,x1,x2) i (1,1,1)), tražimo vektor e s minimalnim kvadratom duljine. Očito je minimum ostvariv samo za vektor e, okomito na ravninu razapetu stupcima-vektorima matrice A:Drugim riječima, tražimo vektor x=(alfa, beta) takav da je:
Podsjećam vas da je ovaj vektor x=(alpha, beta) minimum kvadratne funkcije ||e(alpha, beta)||^2:
Ovdje je korisno zapamtiti da se matrica može tumačiti kao i kvadratni oblik, na primjer, matrica identiteta ((1,0),(0,1)) može se tumačiti kao funkcija od x^2 + y ^2:
kvadratni oblik
Sva ova gimnastika poznata je kao linearna regresija.
Laplaceova jednadžba s Dirichletovim rubnim uvjetom
Sada najjednostavniji pravi problem: postoji određena trokutasta površina, potrebno ju je izravnati. Na primjer, učitajmo moj model lica:
Izvorni commit je dostupan. Kako bih smanjio vanjske ovisnosti, uzeo sam kod svog softverskog renderera koji je već na Habréu. Za rješavanje linearnog sustava koristim OpenNL, odličan je alat za rješavanje problema, ali ga je vrlo teško instalirati: trebate kopirati dvije datoteke (.h + .c) u mapu projekta. Svo izglađivanje vrši se pomoću sljedećeg koda:
Za (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Koordinate X, Y i Z su odvojive, ja ih zasebno glačam. To jest, rješavam tri sustava linearnih jednadžbi, svaki s istim brojem varijabli kao i broj vrhova u mom modelu. Prvih n redaka matrice A ima samo jednu 1 po retku, a prvih n redaka vektora b imaju izvorne koordinate modela. To jest, vezujem između novog položaja vrha i starog položaja vrha - novi ne bi trebali biti previše udaljeni od starih.
Svi sljedeći redovi matrice A (faces.size()*3 = broj bridova svih trokuta u mreži) imaju jedno pojavljivanje 1 i jedno pojavljivanje -1, dok vektor b ima nula komponenti nasuprot. To znači da sam stavio oprugu na svaki rub naše trokutaste mreže: svi rubovi pokušavaju dobiti isti vrh kao njihova početna i završna točka.
Još jednom: svi vrhovi su varijable i ne mogu daleko odstupiti od svog izvornog položaja, ali istovremeno pokušavaju postati slični jedni drugima.
Evo rezultata:
Sve bi bilo u redu, model je stvarno izglađen, ali se odmaknuo od originalnog ruba. Promijenimo malo kod:
Za (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
U našoj matrici A, za vrhove koji su na rubu, ne dodajem red iz kategorije v_i = verts[i][d], već 1000*v_i = 1000*verts[i][d]. Što to mijenja? I ovo mijenja naš kvadratni oblik pogreške. Sada jedno odstupanje od vrha na rubu neće koštati jednu jedinicu, kao prije, već 1000 * 1000 jedinica. To jest, objesili smo jaču oprugu na krajnje vrhove, rješenje preferira da se drugi jače protežu. Evo rezultata:
Udvostručimo snagu opruga između vrhova:
nlKoeficijent(lice[ j ], 2); nlKoeficijent(lice[(j+1)%3], -2);
Logično je da je površina postala glatkija:
A sada još sto puta jače:
Što je ovo? Zamislimo da smo umočili žičani prsten u sapunicu. Kao rezultat toga, dobiveni sapunski film pokušat će imati što je moguće manju zakrivljenost, dodirujući istu granicu - naš žičani prsten. To je upravo ono što smo dobili popravljajući rub i tražeći glatku površinu iznutra. Čestitamo, upravo smo riješili Laplaceovu jednadžbu s Dirichletovim rubnim uvjetima. Zvuči super? Ali zapravo, samo jedan sustav linearnih jednadžbi za rješavanje.
Poissonova jednadžba
Hajdemo imati još jedno cool ime.Recimo da imam ovakvu sliku:
Svi su dobri, ali meni se ne sviđa stolica.
Prerezao sam sliku na pola: 
I ja ću izabrati stolicu svojim rukama: 
Zatim ću sve što je bijelo u maski povući na lijevu stranu slike, a ujedno ću kroz cijelu sliku reći da razlika između dva susjedna piksela treba biti jednaka razlici između dva susjedna piksela na slici. desna slika:
Za (int i=0; i Evo rezultata: Šifra i slike su dostupni Bit metode najmanjih kvadrata je
u pronalaženju parametara modela trenda koji najbolje opisuje trend razvoja neke slučajne pojave u vremenu ili prostoru (trend je crta koja karakterizira trend tog razvoja). Zadatak metode najmanjih kvadrata (OLS) je pronaći ne samo neki model trenda, već pronaći najbolji ili optimalan model. Ovaj model će biti optimalan ako je zbroj kvadrata odstupanja između promatranih stvarnih vrijednosti i odgovarajućih izračunatih vrijednosti trenda minimalan (najmanji): gdje je standardna devijacija između promatrane stvarne vrijednosti i odgovarajuću izračunatu vrijednost trenda, Stvarna (opažena) vrijednost fenomena koji se proučava, Procijenjena vrijednost modela trenda, Broj opažanja fenomena koji se proučava. MNC se rijetko koristi samostalno. U pravilu se najčešće koristi samo kao nužna tehnika u korelacijskim studijama.
Treba imati na umu da informacijska osnova LSM-a može biti samo pouzdana statistička serija, a broj opažanja ne smije biti manji od 4, inače bi postupci izglađivanja LSM-a mogli izgubiti svoj zdrav razum. OLS skup alata svodi se na sljedeće postupke: Prvi postupak.
Ispostavlja se postoji li uopće tendencija promjene rezultantnog atributa kada se promijeni odabrani faktor-argument, ili drugim riječima, postoji li veza između " na
" i " x
». Drugi postupak.
Određuje se koja linija (trajektorija) najbolje opisuje ili karakterizira ovaj trend. Treći postupak.
Primjer. Pretpostavimo da imamo informacije o prosječnom prinosu suncokreta za farmu koja se proučava (tablica 9.1). Tablica 9.1 Broj opažanja Produktivnost, c/ha Budući da se razina tehnologije proizvodnje suncokreta u našoj zemlji nije bitno mijenjala u proteklih 10 godina, to znači da su, najvjerojatnije, kretanja prinosa u analiziranom razdoblju uvelike ovisila o fluktuacijama vremenskih i klimatskih prilika. To je istina? Prvi MNC postupak.
Provjerava se hipoteza o postojanju trenda promjene prinosa suncokreta ovisno o promjenama vremenskih i klimatskih uvjeta tijekom analiziranih 10 godina. U ovom primjeru, za " g
» preporučljivo je uzeti prinos suncokreta, a za « x
» je broj promatrane godine u analiziranom razdoblju. Testiranje hipoteze o postojanju bilo kakvog odnosa između " x
" i " g
» može se obaviti na dva načina: ručno i uz pomoć računalnih programa. Naravno, uz dostupnost računalne tehnologije, ovaj problem se rješava sam po sebi. No, kako bismo bolje razumjeli OLS alate, preporučljivo je testirati hipotezu o postojanju odnosa između " x
" i " g
» ručno, kada su vam pri ruci samo olovka i obični kalkulator. U takvim slučajevima hipotezu o postojanju trenda najbolje je vizualno provjeriti položajem grafičke slike analizirane vremenske serije – korelacijsko polje: Korelacijsko polje u našem primjeru nalazi se oko linije koja se polako povećava. To samo po sebi ukazuje na postojanje određenog trenda u kretanju prinosa suncokreta. Nemoguće je govoriti o postojanju bilo kakvog trenda samo kada korelacijsko polje izgleda kao krug, kružnica, strogo okomit ili strogo vodoravan oblak, ili se sastoji od nasumično razbacanih točaka. U svim ostalim slučajevima potrebno je potvrditi hipotezu o postojanju veze između " x
" i " g
i nastaviti istraživanje. Drugi MNC postupak.
Određuje se koja linija (trajektorija) najbolje opisuje ili karakterizira trend promjene prinosa suncokreta za analizirano razdoblje. Uz dostupnost računalne tehnologije, odabir optimalnog trenda događa se automatski. S "ručnom" obradom, izbor optimalne funkcije provodi se, u pravilu, vizualno - prema položaju korelacijskog polja. Odnosno, prema vrsti grafikona odabire se jednadžba linije koja najbolje odgovara empirijskom trendu (stvarnoj putanji). Kao što znate, u prirodi postoji velika raznolikost funkcionalnih ovisnosti, pa je vrlo teško vizualno analizirati čak i mali dio njih. Srećom, u stvarnoj ekonomskoj praksi većina odnosa može se točno opisati ili parabolom, ili hiperbolom, ili ravnom crtom. S tim u vezi, s "ručnom" opcijom odabira najbolje funkcije, možete se ograničiti samo na ova tri modela. Hiperbola: Parabola drugog reda: Lako je vidjeti da se u našem primjeru trend promjena prinosa suncokreta tijekom analiziranih 10 godina najbolje karakterizira pravolinijom, pa će regresijska jednadžba biti ravnocrtna. Treći postupak.
Izračunavaju se parametri regresijske jednadžbe koja karakterizira ovu liniju, odnosno utvrđuje se analitička formula koja opisuje najbolji model trenda. Pronalaženje vrijednosti parametara regresijske jednadžbe, u našem slučaju, parametara i , srž je LSM-a. Taj se proces svodi na rješavanje sustava normalnih jednadžbi. Ovaj sustav jednadžbi se prilično lako rješava Gaussovom metodom. Podsjetimo se da su kao rezultat rješenja, u našem primjeru, pronađene vrijednosti parametara i . Dakle, pronađena regresijska jednadžba će imati sljedeći oblik: Metoda najmanjeg kvadrata U završnoj lekciji teme upoznat ćemo se s najpoznatijom primjenom FNP, koji nalazi najširu primjenu u raznim područjima znanosti i prakse. To može biti fizika, kemija, biologija, ekonomija, sociologija, psihologija i tako dalje i tako dalje. Voljom sudbine, često se moram baviti ekonomijom, pa ću vam danas organizirati kartu za nevjerojatnu zemlju zvanu Ekonometrija=) … Kako to ne želite?! Tamo je jako dobro - samo se trebate odlučiti! ...Ali ono što vjerojatno sigurno želite je naučiti kako rješavati probleme najmanjih kvadrata. A posebno marljivi čitatelji naučit će ih riješiti ne samo točno, već i VRLO BRZO ;-) Ali prvo opća izjava problema+ povezani primjer: Neka se u nekom predmetnom području proučavaju pokazatelji koji imaju kvantitativni izraz. U isto vrijeme, postoji svaki razlog za vjerovanje da pokazatelj ovisi o pokazatelju. Ova pretpostavka može biti i znanstvena hipoteza i utemeljena na elementarnom zdravom razumu. Ostavimo, međutim, znanost po strani i istražimo ukusnija područja – naime, trgovine mješovitom robom. Označiti sa: – prodajni prostor trgovine mješovitom robom, m2, Sasvim je jasno da što je veća površina trgovine, to je u većini slučajeva veći njen promet. Pretpostavimo da nakon promatranja / pokusa / izračuna / plesa uz tamburu imamo na raspolaganju brojčane podatke: Tablični podaci također se mogu napisati u obliku točaka i prikazati na uobičajeni način za nas. Kartezijanski sustav . Odgovorimo na važno pitanje: koliko bodova je potrebno za kvalitativni studij? Što veće, to bolje. Minimalni dopušteni skup sastoji se od 5-6 bodova. Osim toga, s malom količinom podataka, "abnormalni" rezultati ne bi trebali biti uključeni u uzorak. Tako, na primjer, mala elitna trgovina može pomoći redovima veličine više od "njihovih kolega", iskrivljujući tako opći obrazac koji treba pronaći! Ako je sasvim jednostavno, moramo odabrati funkciju, raspored koja prolazi što bliže točkama Dakle, željena funkcija mora biti dovoljno jednostavna i istovremeno adekvatno odražavati ovisnost. Kao što možete pogoditi, jedna od metoda za pronalaženje takvih funkcija je poziv najmanjih kvadrata. Prvo, analizirajmo njegovu bit na opći način. Neka neka funkcija aproksimira eksperimentalne podatke: Aproksimirajući eksperimentalne točke različitim funkcijama, dobit ćemo različite vrijednosti, a očito je da je tamo gdje je taj zbroj manji - ta funkcija točnija. Takva metoda postoji i zove se metoda najmanjeg modula. Međutim, u praksi je postalo mnogo raširenije. metoda najmanjih kvadrata, u kojem se moguće negativne vrijednosti eliminiraju ne modulom, već kvadratom odstupanja: A sada se vraćamo na još jednu važnu točku: kao što je gore navedeno, odabrana funkcija bi trebala biti prilično jednostavna - ali postoji i mnogo takvih funkcija: linearni
,
hiperboličan
,
eksponencijalni
,
logaritamski
,
kvadratni
itd. I, naravno, ovdje bih odmah želio "smanjiti polje djelovanja". Koju klasu funkcija odabrati za istraživanje? Primitivna, ali učinkovita tehnika: - Najlakši način za crtanje bodova Ako se točke nalaze, na primjer, duž hiperbola, onda je jasno da će linearna funkcija dati lošu aproksimaciju. U ovom slučaju tražimo "najpovoljnije" koeficijente za jednadžbu hiperbole Sada primijetite da u oba slučaja govorimo funkcije dviju varijabli, čiji su argumenti pretraživali opcije ovisnosti: A u biti treba riješiti standardni problem – pronaći minimum funkcije dviju varijabli. Prisjetite se našeg primjera: pretpostavimo da su točke "prodavnice" obično smještene u ravnoj liniji i postoji svaki razlog za vjerovanje prisutnosti linearna ovisnost promet iz trgovačkog prostora. Nađimo TAKVE koeficijente "a" i "be" tako da zbroj kvadrata odstupanja Ako želite koristiti ove podatke za esej ili seminarski rad, bit ću vam vrlo zahvalan na poveznici na popisu izvora, tako detaljne izračune nećete naći nigdje: Napravimo standardni sustav: Svaku jednadžbu smanjujemo za “dvojku” i dodatno “rastavljamo” zbrojeve: Bilješka
: samostalno analizirati zašto se "a" i "be" mogu izbaciti iz ikone zbroja. Usput, formalno se to može učiniti sa zbrojem Prepišimo sustav u "primijenjenom" obliku: Znamo li koordinate točaka? Znamo. Zbrojevi Funkcija Problem koji se razmatra je od velike praktične važnosti. U situaciji s našim primjerom, jednadžba Analizirat ću samo jedan problem sa "pravim" brojevima, jer nema poteškoća u tome - svi izračuni su na razini školskog programa u 7-8 razredima. U 95 posto slučajeva od vas će se tražiti da pronađete samo linearnu funkciju, ali na samom kraju članka pokazat ću da nije ništa teže pronaći jednadžbe za optimalnu hiperbolu, eksponent i neke druge funkcije. Zapravo, ostaje distribuirati obećane dobrote - kako biste naučili rješavati takve primjere ne samo točno, već i brzo. Pažljivo proučavamo standard: Zadatak Kao rezultat proučavanja odnosa između dva pokazatelja, dobiveni su sljedeći parovi brojeva: Imajte na umu da su vrijednosti "x" prirodne vrijednosti, a to ima karakteristično smisleno značenje, o kojem ću govoriti malo kasnije; ali oni, naravno, mogu biti frakcijski. Osim toga, ovisno o sadržaju pojedinog zadatka, i "X" i "G" vrijednosti mogu biti potpuno ili djelomično negativne. Pa, dobili smo “bezlični” zadatak i mi ga krećemo riješenje: Koeficijente optimalne funkcije nalazimo kao rješenje sustava: U svrhu kompaktnijeg zapisa, varijabla “brojač” može se izostaviti, jer je već jasno da se zbrajanje provodi od 1 do . Pogodnije je izračunati potrebne količine u tabličnom obliku: Dakle, dobivamo sljedeće sustav: Ovdje možete pomnožiti drugu jednadžbu s 3 i oduzmite 2. od 1. jednadžbe član po član. Ali to je sreća - u praksi sustavi često nisu nadareni, au takvim slučajevima štedi Cramerova metoda: Napravimo provjeru. Razumijem da ne želim, ali zašto preskakati greške tamo gdje ih apsolutno ne možete propustiti? Nađeno rješenje zamijenite u lijevu stranu svake jednadžbe sustava: Dakle, željena aproksimativna funkcija: – od sve linearne funkcije njime se najbolje približavaju eksperimentalni podaci. Za razliku od ravno
ovisnost prometa trgovine o njezinoj površini, utvrđena ovisnost je obrnuti
(princip "što više - to manje"), a tu činjenicu odmah otkriva negativ kutni koeficijent. Funkcija Da bismo nacrtali funkciju aproksimacije, pronalazimo dvije njene vrijednosti: i izvršite crtež: Izračunajte zbroj kvadrata odstupanja Sažmimo izračune u tablicu: Ponovimo: koje je značenje rezultata? Iz sve linearne funkcije funkcija Nađimo odgovarajući zbroj kvadrata odstupanja - da ih razlikujem, označit ću ih slovom "epsilon". Tehnika je potpuno ista: Zaključak: , pa eksponencijalna funkcija lošije aproksimira eksperimentalne točke nego ravna linija Ali ovdje treba napomenuti da je "gore". ne znači još, što nije u redu. Sada sam napravio graf ove eksponencijalne funkcije - i on također prolazi blizu točaka Time je rješenje završeno, a ja se vraćam na pitanje prirodnih vrijednosti argumenta. U raznim se studijama, u pravilu, ekonomskim ili sociološkim, prirodnim "X" označavaju mjeseci, godine ili drugi jednaki vremenski intervali. Razmotrimo, na primjer, sljedeći problem: O prometu trgovine na malo za prvo polugodište raspolažemo sljedećim podacima: Da, nema problema: mjesece označavamo brojevima 1, 2, 3, 4, 5, 6 i koristimo uobičajeni algoritam, na temelju čega dobivamo jednadžbu - jedino što je vrijeme u pitanju obično je slovo "te" " (iako nije kritično). Dobivena jednadžba pokazuje da je u prvoj polovici godine promet porastao u prosjeku za 27,74 CU. na mjesec. Dobijte prognozu za srpanj (mjesec #7): e.u. I slični zadaci - tama je mrak. Oni koji žele mogu koristiti dodatnu uslugu, odnosno moju Excel kalkulator (demo verzija), koji je rješava problem gotovo trenutno! Dostupna je radna verzija programa u zamjenu ili za simbolično plaćanje. Na kraju lekcije kratka informacija o pronalaženju ovisnosti nekih drugih vrsta. Zapravo, nema se što posebno reći, jer temeljni pristup i algoritam rješenja ostaju isti. Pretpostavimo da položaj eksperimentalnih točaka nalikuje hiperboli. Zatim, da biste pronašli koeficijente najbolje hiperbole, morate pronaći minimum funkcije - oni koji žele mogu provesti detaljne izračune i doći do sličnog sustava: S formalno tehničkog gledišta, dobiva se iz "linearnog" sustava Ako postoji svaki razlog vjerovati da bodovi Kada računate u Excelu, koristite funkciju LN. Priznajem da mi neće biti teško stvoriti kalkulatore za svaki od razmatranih slučajeva, ali ipak će biti bolje ako sami "programirate" izračune. Video upute za pomoć. S eksponencijalnom ovisnošću situacija je nešto složenija. Da svedemo stvar na linearni slučaj, uzimamo logaritam funkcije i koristimo svojstva logaritma: Sada, uspoređujući dobivenu funkciju s linearnom funkcijom , dolazimo do zaključka da se u sustavu (*) mora zamijeniti s , a - s . Radi praktičnosti, označavamo: Imajte na umu da je sustav riješen s obzirom na i , pa stoga, nakon pronalaženja korijena, ne smijete zaboraviti pronaći sam koeficijent. Za aproksimaciju eksperimentalnih točaka Da, naravno, ovdje ima više iznosa, ali nema nikakvih poteškoća kada koristite svoju omiljenu aplikaciju. I na kraju, reći ću vam kako brzo provjeriti pomoću Excela i izgraditi željenu liniju trenda: izradite raspršeni grafikon, odaberite bilo koju točku mišem Kao i uvijek, želim završiti članak nekom lijepom rečenicom, a skoro sam upisala “Budi u trendu!”. Ali s vremenom se predomislio. I to ne zato što je formulacija. Ne znam kako tko, ali ja uopće ne želim slijediti propagirani američki, a pogotovo europski trend =) Stoga želim da se svatko od vas drži svoje linije! http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html Metoda najmanjih kvadrata jedna je od najčešćih i najrazvijenijih zbog svoje jednostavnost i učinkovitost metoda za procjenu parametara linearnih ekonometrijskih modela. Istodobno, potrebno je pridržavati se određenog opreza pri njegovoj uporabi, budući da modeli izgrađeni pomoću nje možda neće zadovoljiti niz zahtjeva za kvalitetu svojih parametara i, kao rezultat toga, neće "dobro" odražavati obrasce razvoja procesa. Razmotrimo detaljnije postupak procjene parametara linearnog ekonometrijskog modela metodom najmanjih kvadrata. Takav model u općem obliku može se prikazati jednadžbom (1.2): y t = a 0 + a 1 x 1t +...+ a n x nt + ε t . Početni podatak pri procjeni parametara a 0 , a 1 ,..., a n je vektor vrijednosti zavisne varijable g= (y 1 , y 2 , ... , y T)" i matrica vrijednosti nezavisnih varijabli u kojem prvi stupac, koji se sastoji od jedinica, odgovara koeficijentu modela . Metoda najmanjih kvadrata dobila je naziv na temelju osnovnog načela da procjene parametara dobivene na temelju nje moraju zadovoljiti: zbroj kvadrata pogreške modela trebao bi biti minimalan. Primjeri rješavanja problema metodom najmanjih kvadrata Primjer 2.1. Trgovačko poduzeće ima mrežu od 12 trgovina, čije su aktivnosti prikazane u tablici. 2.1. Upravu tvrtke zanima kako veličina godišnjeg prometa ovisi o maloprodajnom prostoru trgovine. Tablica 2.1 Rješenje najmanjih kvadrata. Naznačimo - godišnji promet -te trgovine, milijun rubalja; - prodajna površina trgovine, tisuća m 2. sl.2.1. Dijagram raspršenosti za primjer 2.1 Odrediti oblik funkcionalnog odnosa između varijabli i konstruirati dijagram raspršenja (slika 2.1). Na temelju dijagrama raspršenosti možemo zaključiti da godišnji promet pozitivno ovisi o prodajnoj površini (tj. y će rasti s rastom ). Najprikladniji oblik funkcionalne veze je linearni. Podaci za daljnje izračune prikazani su u tablici. 2.2. Koristeći metodu najmanjih kvadrata, procjenjujemo parametre linearnog jednofaktorskog ekonometrijskog modela Tablica 2.2 Na ovaj način, Stoga, s povećanjem trgovačke površine za 1 tisuću m 2, pod istim uvjetima, prosječni godišnji promet povećava se za 67,8871 milijuna rubalja. Primjer 2.2. Uprava poduzeća primijetila je da godišnji promet ne ovisi samo o prodajnom prostoru trgovine (vidi primjer 2.1), već i o prosječnom broju posjetitelja. Relevantne informacije prikazane su u tablici. 2.3. Tablica 2.3 Riješenje. Označite - prosječan broj posjetitelja trgovine po danu, tisuća ljudi. Odrediti oblik funkcionalnog odnosa između varijabli i konstruirati dijagram raspršenja (slika 2.2). Na temelju dijagrama raspršenosti možemo zaključiti da je godišnji promet pozitivno povezan s prosječnim brojem posjetitelja po danu (tj. y će rasti s rastom od ). Oblik funkcionalne ovisnosti je linearan. Riža. 2.2. Dijagram raspršenosti na primjer 2.2 Tablica 2.4 Općenito, potrebno je odrediti parametre dvofaktorskog ekonometrijskog modela y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t Podaci potrebni za daljnje izračune prikazani su u tablici. 2.4. Procijenimo parametre linearnog dvofaktorskog ekonometrijskog modela koristeći metodu najmanjih kvadrata. Na ovaj način, Procjena koeficijenta = 61,6583 pokazuje da će, pod istim uvjetima, s povećanjem trgovačke površine za 1 tisuću m 2, godišnji promet porasti u prosjeku za 61,6583 milijuna rubalja. Procjena koeficijenta = 2,2748 pokazuje da, uz ostale uvjete, uz porast prosječnog broja posjetitelja na 1 tisuću stanovnika. dnevno, godišnji promet će se povećati u prosjeku za 2,2748 milijuna rubalja. Primjer 2.3. Koristeći informacije prikazane u tablici. 2.2 i 2.4, procjenjuju parametar jednofaktorskog ekonometrijskog modela gdje je centrirana vrijednost godišnjeg prometa -te trgovine, milijun rubalja; - centrirana vrijednost prosječnog dnevnog broja posjetitelja t-te trgovine, tisuća ljudi. (vidi primjere 2.1-2.2). Riješenje. Dodatne informacije potrebne za izračun prikazane su u tablici. 2.5. Tablica 2.5 Koristeći formulu (2.35), dobivamo Na ovaj način, http://www.cleverstudents.ru/articles/mnk.html Primjer. Eksperimentalni podaci o vrijednostima varijabli x i na dati su u tablici. Kao rezultat njihova poravnanja, funkcija Korištenje metoda najmanjih kvadrata, aproksimirajte ove podatke linearnom ovisnošću y=ax+b(pronađi parametre a i b). Utvrdite koja od dvije linije bolje (u smislu metode najmanjih kvadrata) usklađuje eksperimentalne podatke. Napravite crtež. Riješenje. U našem primjeru n=5. Ispunjavamo tablicu radi lakšeg izračunavanja iznosa koji su uključeni u formule potrebnih koeficijenata. Vrijednosti u četvrtom retku tablice dobivene su množenjem vrijednosti 2. retka s vrijednostima 3. retka za svaki broj. ja. Vrijednosti u petom retku tablice dobivene su kvadriranjem vrijednosti 2. retka za svaki broj ja. Vrijednosti posljednjeg stupca tablice su zbrojevi vrijednosti u redovima. Za pronalaženje koeficijenata koristimo se formulama metode najmanjih kvadrata a i b. Zamjenjujemo u njima odgovarajuće vrijednosti iz posljednjeg stupca tablice: Posljedično, y=0,165x+2,184 je željena aproksimativna ravna linija. Ostaje otkriti koji od redaka y=0,165x+2,184 ili Dokaz. Tako da kada se nađe a i b funkcija poprima najmanju vrijednost, potrebno je da u tom trenutku matrica kvadratnog oblika diferencijala drugog reda za funkciju Diferencijal drugog reda ima oblik: To je Prema tome, matrica kvadratnog oblika ima oblik Pokažimo da je matrica pozitivno određena. To zahtijeva da minori kutova budu pozitivni. Kutni minor prvog reda Ako neka fizikalna veličina ovisi o drugoj veličini, tada se ta ovisnost može istražiti mjerenjem y na različitim vrijednostima x. Kao rezultat mjerenja dobiva se niz vrijednosti: x 1, x 2, ..., x i, ..., x n; y 1 , y 2 , ..., y i , ... , y n . Na temelju podataka takvog eksperimenta moguće je nacrtati ovisnost y = ƒ(x). Dobivena krivulja omogućuje prosuđivanje oblika funkcije ƒ(x). Međutim, konstantni koeficijenti koji ulaze u ovu funkciju ostaju nepoznati. Mogu se odrediti metodom najmanjih kvadrata. Eksperimentalne točke u pravilu ne leže točno na krivulji. Metoda najmanjih kvadrata zahtijeva da zbroj kvadrata odstupanja eksperimentalnih točaka od krivulje, tj. 2 je bio najmanji. U praksi se ova metoda najčešće (i najjednostavnije) koristi u slučaju linearnog odnosa, tj. kada y=kx ili y = a + bx. Linearna ovisnost vrlo je raširena u fizici. Pa čak i kada je ovisnost nelinearna, obično se pokušava izgraditi grafikon na takav način da se dobije ravna linija. Na primjer, ako se pretpostavi da je indeks loma stakla n povezan s valnom duljinom λ svjetlosnog vala relacijom n = a + b/λ 2 , tada se ovisnost n o λ -2 prikazuje na grafu . Razmotrite ovisnost y=kx(ravna linija koja prolazi kroz ishodište). Sastavimo vrijednost φ zbroj kvadrata odstupanja naših točaka od ravne crte Vrijednost φ je uvijek pozitivna i ispada da je to manja što su naše točke bliže pravoj liniji. Metoda najmanjih kvadrata kaže da za k treba izabrati takvu vrijednost pri kojoj φ ima minimum Izračun pokazuje da je srednja kvadratna pogreška u određivanju vrijednosti k jednaka Razmotrimo sada nešto teži slučaj, kada točke moraju zadovoljiti formulu y = a + bx(ravna crta koja ne prolazi kroz ishodište). Zadatak je pronaći najbolje vrijednosti a i b iz zadanog skupa vrijednosti x i , y i . Opet sastavljamo kvadratni oblik φ jednak zbroju kvadrata odstupanja točaka x i , y i od pravca i pronaći vrijednosti a i b za koje φ ima minimum Zajedničko rješavanje ovih jednadžbi daje Srednje kvadratne pogreške određivanja a i b su jednake Prilikom obrade rezultata mjerenja ovom metodom prikladno je sve podatke sažeti u tablicu u kojoj su prethodno izračunati svi iznosi uključeni u formule (19)(24). Oblici ovih tablica prikazani su u primjerima u nastavku. Primjer 1 Proučavana je osnovna jednadžba dinamike rotacijskog gibanja ε = M/J (pravac koji prolazi kroz ishodište). Za različite vrijednosti momenta M izmjereno je kutno ubrzanje ε određenog tijela. Potrebno je odrediti moment tromosti ovog tijela. U drugom i trećem stupcu navedeni su rezultati mjerenja momenta sile i kutne akceleracije tablice 5. Formulom (19) određujemo: Za određivanje srednje kvadratne pogreške koristimo formulu (20) 0.005775kg-jedan · m -2 . Po formuli (18) imamo SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m 2. S obzirom na pouzdanost P = 0,95 , prema tablici Studentovih koeficijenata za n = 5 nalazimo t = 2,78 i određujemo apsolutnu pogrešku ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m 2. Rezultate zapisujemo u obliku: J = (3,0 ± 0,2) kg m 2; Primjer 2 Metodom najmanjih kvadrata izračunavamo temperaturni koeficijent otpora metala. Otpor ovisi o temperaturi prema linearnom zakonu R t \u003d R 0 (1 + α t °) \u003d R 0 + R 0 α t °. Slobodni član određuje otpor R 0 pri temperaturi od 0 °C, a kutni koeficijent je umnožak temperaturnog koeficijenta α i otpora R 0 . Rezultati mjerenja i proračuna dati su u tablici ( vidi tablicu 6). Formulama (21), (22) određujemo R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm. Pronađimo grešku u definiciji α. Kako je , onda po formuli (18) imamo: Koristeći formule (23), (24) imamo 0.014126 Ohm. S obzirom na pouzdanost P = 0,95, prema tablici Studentovih koeficijenata za n = 6 nalazimo t = 2,57 i određujemo apsolutnu pogrešku Δα = 2,57 0,000132 = 0,000338 stupanj -1. α = (23 ± 4) 10 -4 tuča-1 pri P = 0,95. Primjer 3 Potrebno je odrediti polumjer zakrivljenosti leće iz Newtonovih prstenova. Izmjereni su polumjeri Newtonovih prstenova r m i određeni su brojevi tih prstenova m. Polumjeri Newtonovih prstenova povezani su s polumjerom zakrivljenosti leće R i brojem prstena jednadžbom r 2 m = mλR - 2d 0 R, gdje je d 0 debljina razmaka između leće i planparalelne ploče (ili deformacija leće), λ je valna duljina upadne svjetlosti. λ = (600 ± 6) nm; tada će jednadžba poprimiti oblik y = a + bx. Upisuju se rezultati mjerenja i proračuna tablica 7.
:
(9.2)
- godišnji promet trgovine mješovitom robom, milijun rubalja.
Sa trgovinama mješovitom robom mislim da je sve jasno: - ovo je površina 1. trgovine, - njen godišnji promet, - površina 2. trgovine, - njen godišnji promet itd. Usput, uopće nije potrebno imati pristup povjerljivim materijalima - prilično točna procjena prometa može se dobiti pomoću matematička statistika. Međutim, ne dajte se omesti, tečaj komercijalne špijunaže je već plaćen =)
. Takva se funkcija naziva aproksimirajući
(aproksimacija - aproksimacija) ili teorijska funkcija
. Općenito govoreći, ovdje se odmah pojavljuje očiti "pretendent" - polinom visokog stupnja, čiji graf prolazi kroz SVE točke. Ali ova je opcija komplicirana i često jednostavno netočna. (jer će grafikon cijelo vrijeme "vijugati" i slabo odražavati glavni trend).
Kako procijeniti točnost ove aproksimacije? Izračunajmo i razlike (odstupanja) između eksperimentalnih i funkcionalnih vrijednosti (proučavamo crtež). Prva pomisao koja pada na pamet je procijeniti koliki je zbroj, no problem je što razlike mogu biti negativne. (na primjer, 
)
a odstupanja kao rezultat takvog zbrajanja međusobno će se poništiti. Stoga, kao procjena točnosti aproksimacije, predlaže se uzeti zbroj moduli odstupanja:
ili u presavijenom obliku: (za one koji ne znaju:
je ikona zbroja i
- pomoćna varijabla - "brojač", koja uzima vrijednosti od 1 do
)
.
, nakon čega se napori usmjeravaju na izbor takve funkcije da zbroj kvadrata odstupanja 
bila što manja. Zapravo, otuda i naziv metode.na crtežu i analizirati njihov položaj. Ako imaju tendenciju da budu u ravnoj liniji, onda biste trebali tražiti jednadžba ravne linije 
s optimalnim vrijednostima i . Drugim riječima, zadatak je pronaći TAKVE koeficijente - da zbroj kvadrata odstupanja bude najmanji.
- one koje daju minimalni zbroj kvadrata 
.
bio najmanji. Sve kao i obično - prvo parcijalne derivacije 1. reda. Prema pravilo linearnosti možete razlikovati odmah ispod ikone zbroja: 
nakon čega se počinje iscrtavati algoritam za rješavanje našeg problema:
možemo pronaći? Lako. Sastavljamo najjednostavnije sustav dviju linearnih jednadžbi s dvije nepoznanice("a" i "beh"). Sustav rješavamo npr. Cramerova metoda, što rezultira stacionarnom točkom . Provjeravanje dovoljan uvjet za ekstrem, možemo potvrditi da je u ovom trenutku funkcija 
doseže precizno minimum. Provjera je povezana s dodatnim izračunima i stoga ćemo je ostaviti iza scene. (po potrebi se može vidjeti okvir koji nedostajeovdje
)
. Izvodimo konačni zaključak:
najbolji način (barem u usporedbi s bilo kojom drugom linearnom funkcijom) približava eksperimentalne točke . Grubo govoreći, njegov graf prolazi što je moguće bliže tim točkama. U tradiciji ekonometrija naziva se i rezultirajuća aproksimirajuća funkcija jednadžba uparene linearne regresije
.omogućuje vam predviđanje vrste prometa ("jig")će biti u trgovini s ovom ili onom vrijednošću prodajnog prostora (jedno ili drugo značenje "x"). Da, rezultirajuća prognoza bit će samo prognoza, ali će se u mnogim slučajevima pokazati prilično točnom.
Koristeći metodu najmanjih kvadrata, pronađite linearnu funkciju koja najbolje aproksimira empirijsku (iskusan) podaci. Napravite crtež na kojemu u kartezijskom pravokutnom koordinatnom sustavu ucrtajte eksperimentalne točke i graf aproksimativne funkcije 
. Nađite zbroj kvadrata odstupanja između empirijskih i teoretskih vrijednosti. Saznajte je li funkcija bolja (u smislu metode najmanjih kvadrata) približne eksperimentalne točke.
Izračuni se mogu provesti na mikrokalkulatoru, ali mnogo je bolje koristiti Excel - i brže i bez pogrešaka; pogledajte kratki video:
, tako da sustav ima jedinstveno rješenje.
Dobiveni su pravi dijelovi odgovarajućih jednadžbi, što znači da je sustav ispravno riješen.
obavještava nas da povećanjem određenog pokazatelja za 1 jedinicu vrijednost ovisnog pokazatelja opada prosjek za 0,65 jedinica. Kako kažu, što je veća cijena heljde, to se manje prodaje.
Konstruirana linija naziva se linija trenda
(naime, linearna linija trenda, tj. u općem slučaju, trend nije nužno ravna linija). Svima je poznat izraz "biti u trendu" i mislim da ovaj termin ne treba dodatno komentirati.
između empirijskih i teorijskih vrijednosti. Geometrijski, to je zbroj kvadrata duljina "grimiznih" segmenata (od kojih su dva toliko mala da ih ni ne možete vidjeti).
Ponovno se mogu izvršiti ručno, za svaki slučaj dat ću primjer za 1. točku: 
ali puno je učinkovitije raditi na već poznati način:eksponent je najmanji, odnosno najbolja je aproksimacija u svojoj obitelji. I ovdje, usput, posljednje pitanje problema nije slučajno: što ako je predložena eksponencijalna funkcija 
hoće li biti bolje aproksimirati eksperimentalne točke?
I opet za svaki proračun požara za 1. točku: 
U Excelu koristimo standardnu funkciju EXP (Sintaksu možete pronaći u Excel pomoći). .
- toliko da je bez analitičke studije teško reći koja je funkcija točnija.
Koristeći analitičko poravnanje ravnom linijom, pronađite obujam prodaje za srpanj.
(označimo zvjezdicom) zamjena "x" sa . Pa iznosi 
izračunati, nakon čega do optimalnih koeficijenata "a" i "be" pri ruci.raspoređene duž logaritamske krivulje, zatim tražiti optimalne vrijednosti i pronaći minimum funkcije 
. Formalno, u sustavu (*) treba zamijeniti s: 
optimalna parabola 
, treba pronaći minimum funkcije tri varijable 
. Nakon izvođenja standardnih radnji, dobivamo sljedeće "radne" sustav:
i desnom tipkom miša odaberite opciju "Dodaj liniju trenda". Zatim odaberite vrstu grafikona i na kartici "Opcije" aktivirati opciju "Prikaži jednadžbu na grafikonu". u redu
Broj trgovine Godišnji promet, milijun rubalja Trgovačka površina, tisuća m 2
19,76
0,24
38,09
0,31
40,95
0,55
41,08
0,48
56,29
0,78
68,51
0,98
75,01
0,94
89,05
1,21
91,13
1,29
91,26
1,12
99,84
1,29
108,55
1,49
t y t x 1t y t 2 x1t2 x 1t y t
19,76
0,24
390,4576
0,0576
4,7424
38,09
0,31
1450,8481
0,0961
11,8079
40,95
0,55
1676,9025
0,3025
22,5225
41,08
0,48
1687,5664
0,2304
19,7184
56,29
0,78
3168,5641
0,6084
43,9062
68,51
0,98
4693,6201
0,9604
67,1398
75,01
0,94
5626,5001
0,8836
70,5094
89,05
1,21
7929,9025
1,4641
107,7505
91,13
1,29
8304,6769
1,6641
117,5577
91,26
1,12
8328,3876
1,2544
102,2112
99,84
1,29
9968,0256
1,6641
128,7936
108,55
1,49
11783,1025
2,2201
161,7395
S 819,52
10,68
65008,554
11,4058
858,3991
Prosjek 68,29
0,89
t x 2t x 2t 2 yt x 2t x 1t x 2t
8,25
68,0625
163,02
1,98
10,24
104,8575
390,0416
3,1744
9,31
86,6761
381,2445
5,1205
11,01
121,2201
452,2908
5,2848
8,54
72,9316
480,7166
6,6612
7,51
56,4001
514,5101
7,3598
12,36
152,7696
927,1236
11,6184
10,81
116,8561
962,6305
13,0801
9,89
97,8121
901,2757
12,7581
13,72
188,2384
1252,0872
15,3664
12,27
150,5529
1225,0368
15,8283
13,92
193,7664
1511,016
20,7408
S 127,83
1410,44
9160,9934
118,9728
Prosjek 10,65
-48,53
-2,40
5,7720
116,6013
-30,20
-0,41
0,1702
12,4589
-27,34
-1,34
1,8023
36,7084
-27,21
0,36
0,1278
-9,7288
-12,00
-2,11
4,4627
25,3570
0,22
-3,14
9,8753
-0,6809
6,72
1,71
2,9156
11,4687
20,76
0,16
0,0348
3,2992
22,84
-0,76
0,5814
-17,413
22,97
3,07
9,4096
70,4503
31,55
1,62
2,6163
51,0267
40,26
3,27
10,6766
131,5387
Iznos
48,4344
431,0566
bolje aproksimira izvorne podatke, tj. napraviti procjenu metodom najmanjih kvadrata.
bio pozitivno određen. Pokažimo to.
a vrijednosti elemenata ne ovise o a i b.
. Nejednakost je stroga, budući da točke 
ili
(19)
, (20)
gdje je n broj dimenzija.
;
.
(21)
(23)
. (24)Tablica 5
n
M, N m
ε, s-1
M2
M ε
ε - kM
(ε - kM) 2
1
1.44
0.52
2.0736
0.7488
0.039432
0.001555
2
3.12
1.06
9.7344
3.3072
0.018768
0.000352
3
4.59
1.45
21.0681
6.6555
-0.08181
0.006693
4
5.90
1.92
34.81
11.328
-0.049
0.002401
5
7.45
2.56
55.5025
19.072
0.073725
0.005435
∑
123.1886
41.1115
0.016436
.
Tablica 6
n
t°, s
r, Ohm
t-¯t
(t-¯t) 2
(t-¯t)r
r-bt-a
(r - bt - a) 2,10 -6
1
23
1.242
-62.8333
3948.028
-78.039
0.007673
58.8722
2
59
1.326
-26.8333
720.0278
-35.581
-0.00353
12.4959
3
84
1.386
-1.83333
3.361111
-2.541
-0.00965
93.1506
4
96
1.417
10.16667
103.3611
14.40617
-0.01039
107.898
5
120
1.512
34.16667
1167.361
51.66
0.021141
446.932
6
133
1.520
47.16667
2224.694
71.69333
-0.00524
27.4556
∑
515
8.403
8166.833
21.5985
746.804
∑/n
85.83333
1.4005
.
;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,Tablica 7
n
x = m
y \u003d r 2, 10 -2 mm 2
m-¯m
(m-¯m) 2
(m-¯m)y
y-bx-a, 10-4
(y - bx - a) 2, 10 -6
1
1
6.101
-2.5
6.25
-0.152525
12.01
1.44229
2
2
11.834
-1.5
2.25
-0.17751
-9.6
0.930766
3
3
17.808
-0.5
0.25
-0.08904
-7.2
0.519086
4
4
23.814
0.5
0.25
0.11907
-1.6
0.0243955
5
5
29.812
1.5
2.25
0.44718
3.28
0.107646
6
6
35.760
2.5
6.25
0.894
3.12
0.0975819
∑
21
125.129
17.5
1.041175
3.12176
∑/n
3.5
20.8548333
Govorništvo kao prototip novinarstva
Citati o Napoleonu - dslinkov — LiveJournal
Moja osveta Čovjek na buldožeru uništio je grad