Kaedah kuasa dua terkecil dalam perkataan mudah. Kuasa Dua Terkecil dalam Excel

Contoh.

Data eksperimen tentang nilai pembolehubah X dan di diberikan dalam jadual.

Hasil daripada penjajaran mereka, fungsi

menggunakan kaedah kuasa dua terkecil, anggaran data ini dengan pergantungan linear y=ax+b(cari parameter a dan b). Ketahui yang mana antara dua baris yang lebih baik (dalam erti kata kaedah kuasa dua terkecil) menjajarkan data eksperimen. Buat lukisan.

Intipati kaedah kuasa dua terkecil (LSM).

Masalahnya ialah untuk mencari pekali pergantungan linear yang mana fungsi dua pembolehubah a dan b mengambil nilai terkecil. Iaitu, berdasarkan data a dan b jumlah sisihan kuasa dua data eksperimen daripada garis lurus yang ditemui akan menjadi yang terkecil. Ini adalah titik keseluruhan kaedah kuasa dua terkecil.

Oleh itu, penyelesaian contoh dikurangkan kepada mencari ekstrem bagi fungsi dua pembolehubah.

Terbitan formula untuk mencari pekali.

Sistem dua persamaan dengan dua tidak diketahui disusun dan diselesaikan. Mencari terbitan separa bagi fungsi berkenaan dengan pembolehubah a dan b, kita samakan derivatif ini kepada sifar.

Kami menyelesaikan sistem persamaan yang terhasil dengan sebarang kaedah (contohnya kaedah penggantian atau ) dan dapatkan formula untuk mencari pekali menggunakan kaedah kuasa dua terkecil (LSM).

Dengan data a dan b fungsi mengambil nilai terkecil. Bukti fakta ini diberikan.

Itulah keseluruhan kaedah kuasa dua terkecil. Formula untuk mencari parameter a mengandungi jumlah , , dan parameter n- jumlah data eksperimen. Nilai jumlah ini disyorkan untuk dikira secara berasingan. Pekali b ditemui selepas pengiraan a.

Sudah tiba masanya untuk mengingati contoh asal.

Penyelesaian.

Dalam contoh kita n=5. Kami mengisi jadual untuk kemudahan mengira jumlah yang termasuk dalam formula pekali yang diperlukan.

Nilai dalam baris keempat jadual diperoleh dengan mendarabkan nilai baris ke-2 dengan nilai baris ke-3 untuk setiap nombor i.

Nilai dalam baris kelima jadual diperoleh dengan mengkuadratkan nilai baris ke-2 untuk setiap nombor i.

Nilai lajur terakhir jadual ialah jumlah nilai merentas baris.

Kami menggunakan formula kaedah kuasa dua terkecil untuk mencari pekali a dan b. Kami menggantikannya dengan nilai yang sepadan dari lajur terakhir jadual:

Akibatnya, y=0.165x+2.184 ialah garis lurus penghampiran yang dikehendaki.

Ia kekal untuk mengetahui yang mana satu baris y=0.165x+2.184 atau lebih baik menghampiri data asal, iaitu untuk membuat anggaran menggunakan kaedah kuasa dua terkecil.

Anggaran ralat kaedah kuasa dua terkecil.

Untuk melakukan ini, anda perlu mengira jumlah sisihan kuasa dua bagi data asal daripada baris ini dan , nilai yang lebih kecil sepadan dengan garis yang lebih baik menghampiri data asal dari segi kaedah kuasa dua terkecil.

Sejak , kemudian baris y=0.165x+2.184 menghampiri data asal dengan lebih baik.

Ilustrasi grafik kaedah kuasa dua terkecil (LSM).

Semuanya kelihatan hebat pada carta. Garis merah ialah garisan yang ditemui y=0.165x+2.184, garis biru ialah , titik merah jambu adalah data asal.

Untuk apa, untuk apa semua anggaran ini?

Saya secara peribadi menggunakan untuk menyelesaikan masalah pelicinan data, masalah interpolasi dan ekstrapolasi (dalam contoh asal, anda boleh diminta untuk mencari nilai nilai yang diperhatikan y di x=3 atau bila x=6 mengikut kaedah MNC). Tetapi kita akan bercakap lebih lanjut mengenai perkara ini kemudian di bahagian lain tapak.

Bukti.

Supaya apabila ditemui a dan b fungsi mengambil nilai terkecil, adalah perlu bahawa pada ketika ini matriks bentuk kuadratik pembezaan tertib kedua untuk fungsi adalah pasti positif. Jom tunjuk.

Kami menganggarkan fungsi dengan polinomial darjah ke-2. Untuk melakukan ini, kami mengira pekali sistem persamaan normal:

, ,

Mari kita susun sistem biasa kuasa dua terkecil, yang mempunyai bentuk:

Penyelesaian sistem mudah dicari:, , .

Oleh itu, polinomial darjah ke-2 didapati: .

Rujukan teori

Kembali ke halaman<Введение в вычислительную математику. Примеры>

Contoh 2. Mencari darjah optimum polinomial.

Kembali ke halaman<Введение в вычислительную математику. Примеры>

Contoh 3. Terbitan sistem persamaan biasa untuk mencari parameter pergantungan empirikal.

Mari kita terbitkan sistem persamaan untuk menentukan pekali dan fungsi , yang melaksanakan penghampiran punca-min-kuasa dua bagi fungsi yang diberikan berkenaan dengan titik. Karang fungsi dan tulis syarat ekstrem yang diperlukan untuknya:

Kemudian sistem biasa akan mengambil bentuk:

Kami telah memperoleh sistem persamaan linear untuk parameter yang tidak diketahui dan, yang mudah diselesaikan.

Rujukan teori

Kembali ke halaman<Введение в вычислительную математику. Примеры>

Contoh.

Data eksperimen tentang nilai pembolehubah X dan di diberikan dalam jadual.

Hasil daripada penjajaran mereka, fungsi

Intipati kaedah kuasa dua terkecil (LSM).

Masalahnya ialah untuk mencari pekali pergantungan linear yang mana fungsi dua pembolehubah a dan bmengambil nilai terkecil. Iaitu, berdasarkan data a dan b jumlah sisihan kuasa dua data eksperimen daripada garis lurus yang ditemui akan menjadi yang terkecil. Ini adalah titik keseluruhan kaedah kuasa dua terkecil.

Oleh itu, penyelesaian contoh dikurangkan kepada mencari ekstrem bagi fungsi dua pembolehubah.

Terbitan formula untuk mencari pekali.

Sistem dua persamaan dengan dua tidak diketahui disusun dan diselesaikan. Mencari terbitan separa bagi fungsi oleh pembolehubah a dan b, kita samakan derivatif ini kepada sifar.

Kami menyelesaikan sistem persamaan yang terhasil dengan sebarang kaedah (contohnya kaedah penggantian atau kaedah Cramer) dan dapatkan formula untuk mencari pekali menggunakan kaedah kuasa dua terkecil (LSM).

Dengan data a dan b fungsi mengambil nilai terkecil. Bukti fakta ini diberikan di bawah dalam teks di penghujung halaman.

Itulah keseluruhan kaedah kuasa dua terkecil. Formula untuk mencari parameter a mengandungi jumlah , , dan parameter n ialah jumlah data eksperimen. Nilai jumlah ini disyorkan untuk dikira secara berasingan.

Pekali b ditemui selepas pengiraan a.

Sudah tiba masanya untuk mengingati contoh asal.

Penyelesaian.

Dalam contoh kita n=5. Kami mengisi jadual untuk kemudahan mengira jumlah yang termasuk dalam formula pekali yang diperlukan.

Nilai dalam baris keempat jadual diperoleh dengan mendarabkan nilai baris ke-2 dengan nilai baris ke-3 untuk setiap nombor i.

Nilai dalam baris kelima jadual diperoleh dengan mengkuadratkan nilai baris ke-2 untuk setiap nombor i.

Nilai lajur terakhir jadual ialah jumlah nilai merentas baris.

Kami menggunakan formula kaedah kuasa dua terkecil untuk mencari pekali a dan b. Kami menggantikannya dengan nilai yang sepadan dari lajur terakhir jadual:

Akibatnya, y=0.165x+2.184 ialah garis lurus penghampiran yang dikehendaki.

Ia kekal untuk mengetahui yang mana satu baris y=0.165x+2.184 atau lebih baik menghampiri data asal, iaitu untuk membuat anggaran menggunakan kaedah kuasa dua terkecil.

Anggaran ralat kaedah kuasa dua terkecil.

Sejak , kemudian baris y=0.165x+2.184 menghampiri data asal dengan lebih baik.

Ilustrasi grafik kaedah kuasa dua terkecil (LSM).

Semuanya kelihatan hebat pada carta. Garis merah ialah garisan yang ditemui y=0.165x+2.184, garis biru ialah , titik merah jambu adalah data asal.

Untuk apa, untuk apa semua anggaran ini?

Bahagian atas halaman

Bukti.

Supaya apabila ditemui a dan b fungsi mengambil nilai terkecil, adalah perlu bahawa pada ketika ini matriks bentuk kuadratik pembezaan tertib kedua untuk fungsi adalah pasti positif. Jom tunjuk.

Pembezaan urutan kedua mempunyai bentuk:

Itu dia

Oleh itu, matriks bentuk kuadratik mempunyai bentuk

dan nilai unsur tidak bergantung pada a dan b.

Mari kita tunjukkan bahawa matriks adalah pasti positif. Ini memerlukan sudut minor menjadi positif.

Sudut minor daripada susunan pertama . Ketaksamaan adalah ketat, kerana mata tidak bertepatan. Ini akan tersirat dalam perkara berikut.

Kecil bersudut tertib kedua

Mari kita buktikan kaedah aruhan matematik.

Kesimpulan: nilai yang ditemui a dan b sepadan dengan nilai terkecil fungsi , oleh itu, adalah parameter yang dikehendaki untuk kaedah kuasa dua terkecil.

pernah faham?
Pesan Penyelesaian

Bahagian atas halaman

Pembangunan ramalan menggunakan kaedah kuasa dua terkecil. Contoh penyelesaian masalah

Ekstrapolasi - ini adalah kaedah penyelidikan saintifik, yang berdasarkan penyebaran trend, corak, hubungan masa lalu dan masa kini dengan pembangunan masa depan objek ramalan. Kaedah ekstrapolasi termasuk kaedah purata bergerak, kaedah pelicinan eksponen, kaedah kuasa dua terkecil.

Intipati kaedah kuasa dua terkecil terdiri daripada meminimumkan jumlah sisihan kuasa dua antara nilai yang diperhatikan dan dikira. Nilai yang dikira didapati mengikut persamaan yang dipilih - persamaan regresi. Semakin kecil jarak antara nilai sebenar dan yang dikira, lebih tepat ramalan berdasarkan persamaan regresi.

Analisis teori tentang intipati fenomena yang dikaji, perubahan yang dipaparkan oleh siri masa, berfungsi sebagai asas untuk memilih lengkung. Pertimbangan tentang sifat pertumbuhan tahap siri kadangkala diambil kira. Jadi, jika pertumbuhan output dijangka dalam janjang aritmetik, maka pelicinan dilakukan dalam garis lurus. Jika ternyata pertumbuhan adalah eksponen, maka pelicinan perlu dilakukan mengikut fungsi eksponen.

Formula kerja kaedah kuasa dua terkecil : Y t+1 = a*X + b, dengan t + 1 ialah tempoh ramalan; Уt+1 – penunjuk yang diramalkan; a dan b ialah pekali; X ialah simbol masa.

Pekali a dan b dikira mengikut formula berikut:

di mana, Uf - nilai sebenar siri dinamik; n ialah bilangan peringkat dalam siri masa;

Pelicinan siri masa dengan kaedah kuasa dua terkecil berfungsi untuk menggambarkan corak perkembangan fenomena yang dikaji. Dalam ungkapan analitik arah aliran, masa dianggap sebagai pembolehubah bebas, dan tahap siri bertindak sebagai fungsi pembolehubah bebas ini.

Perkembangan sesuatu fenomena tidak bergantung pada berapa tahun telah berlalu sejak titik permulaan, tetapi pada faktor apa yang mempengaruhi perkembangannya, ke arah mana dan dengan intensiti apa. Dari sini jelaslah bahawa perkembangan sesuatu fenomena dalam masa muncul sebagai hasil daripada tindakan faktor-faktor ini.

Menetapkan jenis lengkung dengan betul, jenis pergantungan analitikal pada masa adalah salah satu tugas yang paling sukar dalam analisis pra-ramalan. .

Pemilihan jenis fungsi yang menerangkan arah aliran, yang parameternya ditentukan oleh kaedah kuasa dua terkecil, dalam kebanyakan kes adalah empirikal, dengan membina beberapa fungsi dan membandingkannya antara satu sama lain dengan nilai purata punca. -ralat kuasa dua dikira oleh formula:

di mana Uf - nilai sebenar siri dinamik; Ur – nilai dikira (dilancarkan) bagi siri masa; n ialah bilangan peringkat dalam siri masa; p ialah bilangan parameter yang ditakrifkan dalam formula yang menerangkan arah aliran (trend pembangunan).

Kelemahan kaedah kuasa dua terkecil :

apabila cuba menerangkan fenomena ekonomi yang dikaji menggunakan persamaan matematik, ramalan akan tepat untuk jangka masa yang singkat dan persamaan regresi harus dikira semula apabila maklumat baharu tersedia;
kerumitan pemilihan persamaan regresi, yang boleh diselesaikan menggunakan program komputer standard.

Contoh menggunakan kaedah kuasa dua terkecil untuk membangunkan ramalan

Satu tugas . Terdapat data yang mencirikan tahap pengangguran di rantau ini, %

Bina ramalan kadar pengangguran di rantau ini untuk bulan November, Disember, Januari, menggunakan kaedah: purata bergerak, pelicinan eksponen, kuasa dua terkecil.
Kira ralat dalam ramalan yang terhasil menggunakan setiap kaedah.
Bandingkan hasil yang diperoleh, buat kesimpulan.

Penyelesaian kuasa dua terkecil

Untuk penyelesaiannya, kami akan menyusun jadual di mana kami akan membuat pengiraan yang diperlukan:

ε = 28.63/10 = 2.86% ketepatan ramalan tinggi.

Kesimpulan : Membandingkan keputusan yang diperolehi dalam pengiraan kaedah purata bergerak , pelicinan eksponen dan kaedah kuasa dua terkecil, kita boleh mengatakan bahawa ralat relatif purata dalam pengiraan oleh kaedah pelicinan eksponen jatuh dalam 20-50%. Ini bermakna ketepatan ramalan dalam kes ini hanya memuaskan.

Dalam kes pertama dan ketiga, ketepatan ramalan adalah tinggi, kerana ralat relatif purata adalah kurang daripada 10%. Tetapi kaedah purata bergerak memungkinkan untuk mendapatkan hasil yang lebih dipercayai (ramalan untuk November - 1.52%, ramalan untuk Disember - 1.53%, ramalan untuk Januari - 1.49%), kerana ralat relatif purata apabila menggunakan kaedah ini adalah yang terkecil - 1 ,13%.

Kaedah kuasa dua terkecil

Artikel berkaitan lain:

Senarai sumber yang digunakan

Cadangan saintifik dan metodologi mengenai isu mendiagnosis risiko sosial dan meramalkan cabaran, ancaman dan akibat sosial. Universiti Sosial Negeri Rusia. Moscow. 2010;
Vladimirova L.P. Ramalan dan perancangan dalam keadaan pasaran: Proc. elaun. M .: Rumah Penerbitan "Dashkov and Co", 2001;
Novikova N.V., Pozdeeva O.G. Ramalan Ekonomi Negara: Panduan Pendidikan dan Metodologi. Yekaterinburg: Rumah Penerbitan Ural. negeri ekonomi universiti, 2007;
Slutskin L.N. Kursus MBA dalam ramalan perniagaan. Moscow: Buku Perniagaan Alpina, 2006.

Program MNE

Masukkan data

Data dan Penghampiran y = a + b x

i- bilangan titik eksperimen;
x i- nilai parameter tetap pada titik i;
y i- nilai parameter yang diukur pada titik i;
ω i- ukuran berat pada titik i;
y i, kira.- perbezaan antara nilai yang diukur dan nilai yang dikira daripada regresi y pada titik i;
S x i (x i)- anggaran ralat x i semasa mengukur y pada titik i.

Data dan Penghampiran y = k x

i	x i	y i	ω i	y i, kira.	Δy i	S x i (x i)

Klik pada carta

Manual pengguna untuk program dalam talian MNC.

Dalam medan data, masukkan pada setiap baris yang berasingan nilai `x` dan `y` pada satu titik percubaan. Nilai mesti dipisahkan oleh ruang putih (ruang atau tab).

Nilai ketiga boleh menjadi berat titik `w`. Jika berat mata tidak dinyatakan, maka ia sama dengan satu. Dalam kebanyakan kes, berat titik eksperimen tidak diketahui atau tidak dikira; semua data eksperimen dianggap setara. Kadangkala pemberat dalam julat nilai yang dikaji pastinya tidak setara malah boleh dikira secara teori. Sebagai contoh, dalam spektrofotometri, berat boleh dikira menggunakan formula mudah, walaupun pada asasnya semua orang mengabaikan ini untuk mengurangkan kos buruh.

Data boleh ditampal melalui papan keratan daripada hamparan suite pejabat, seperti Excel daripada Microsoft Office atau Calc daripada Open Office. Untuk melakukan ini, dalam hamparan, pilih julat data untuk disalin, salin ke papan keratan dan tampal data ke dalam medan data pada halaman ini.

Untuk mengira dengan kaedah kuasa dua terkecil, sekurang-kurangnya dua titik diperlukan untuk menentukan dua pekali `b` - tangen sudut kecondongan garis lurus dan `a` - nilai yang dipotong oleh garis lurus pada `y ` paksi.

Untuk menganggarkan ralat pekali regresi yang dikira, adalah perlu untuk menetapkan bilangan titik eksperimen kepada lebih daripada dua.

Kaedah kuasa dua terkecil (LSM).

Lebih besar bilangan titik eksperimen, lebih tepat anggaran statistik pekali (disebabkan oleh penurunan dalam pekali Pelajar) dan lebih dekat anggaran dengan anggaran sampel am.

Mendapatkan nilai pada setiap titik percubaan sering dikaitkan dengan kos buruh yang ketara, oleh itu, bilangan eksperimen yang berkompromi sering dijalankan, yang memberikan anggaran yang boleh dihadam dan tidak membawa kepada kos buruh yang berlebihan. Sebagai peraturan, bilangan titik eksperimen untuk pergantungan kuasa dua terkecil linear dengan dua pekali dipilih dalam kawasan 5-7 mata.

Teori Ringkas Kuasa Dua Terkecil untuk Kebergantungan Linear

Katakan kita mempunyai set data eksperimen dalam bentuk pasangan nilai [`y_i`, `x_i`], dengan `i` ialah nombor satu ukuran eksperimen dari 1 hingga `n`; `y_i` - nilai nilai yang diukur pada titik `i`; `x_i` - nilai parameter yang kami tetapkan pada titik `i`.

Contohnya ialah operasi hukum Ohm. Dengan menukar voltan (perbezaan potensi) antara bahagian litar elektrik, kami mengukur jumlah arus yang melalui bahagian ini. Fizik memberi kita pergantungan yang ditemui secara eksperimen:

`Saya=U/R`,
di mana `I` - kekuatan semasa; `R` - rintangan; `U` - voltan.

Dalam kes ini, `y_i` ialah nilai arus yang diukur dan `x_i` ialah nilai voltan.

Sebagai contoh lain, pertimbangkan penyerapan cahaya oleh larutan bahan dalam larutan. Kimia memberi kita formula:

`A = εl C`,
dengan `A` ialah ketumpatan optik penyelesaian; `ε` - penghantar zat terlarut; `l` - panjang laluan apabila cahaya melalui kuvet dengan larutan; `C` ialah kepekatan zat terlarut.

Dalam kes ini, `y_i` ialah ketumpatan optik yang diukur `A`, dan `x_i` ialah kepekatan bahan yang kami tetapkan.

Kami akan mempertimbangkan kes apabila ralat relatif dalam menetapkan `x_i` adalah lebih kecil daripada ralat relatif dalam mengukur `y_i`. Kami juga akan menganggap bahawa semua nilai yang diukur bagi `y_i` adalah rawak dan diedarkan secara normal, i.e. mematuhi undang-undang taburan normal.

Dalam kes pergantungan linear `y` pada `x`, kita boleh menulis pergantungan teori:
`y = a + bx`.

Dari sudut pandangan geometri, pekali `b` menandakan tangen sudut kecondongan garis ke paksi `x`, dan pekali `a` - nilai `y` pada titik persilangan bagi garisan dengan paksi `y` (untuk `x = 0`).

Mencari parameter garis regresi.

Dalam eksperimen, nilai terukur `y_i` tidak boleh terletak tepat pada garis teori kerana ralat pengukuran, yang sentiasa wujud dalam kehidupan sebenar. Oleh itu, persamaan linear mesti diwakili oleh sistem persamaan:
`y_i = a + b x_i + ε_i` (1),
dengan `ε_i` ialah ralat pengukuran `y` yang tidak diketahui dalam percubaan `i`.

Kebergantungan (1) juga dipanggil regresi, iaitu pergantungan kedua-dua kuantiti antara satu sama lain dengan kepentingan statistik.

Tugas memulihkan pergantungan adalah untuk mencari pekali `a` dan `b` daripada titik eksperimen [`y_i`, `x_i`].

Untuk mencari pekali `a` dan `b` biasanya digunakan kaedah kuasa dua terkecil(MNK). Ia adalah kes khas prinsip kemungkinan maksimum.

Mari kita tulis semula (1) sebagai `ε_i = y_i - a - b x_i`.

Maka jumlah ralat kuasa dua ialah
`Φ = jumlah_(i=1)^(n) ε_i^2 = jumlah_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Prinsip kaedah kuasa dua terkecil adalah untuk meminimumkan jumlah (2) berkenaan dengan parameter `a` dan `b`.

Minimum dicapai apabila terbitan separa bagi jumlah (2) berkenaan dengan pekali `a` dan `b` adalah sama dengan sifar:
`frac(sebahagian Φ)(sebahagian a) = frac(jumlah separa_(i=1)^(n) (y_i - a - b x_i)^2)(sebahagian a) = 0`
`frac(sebahagian Φ)(sebahagian b) = frac(jumlah separa_(i=1)^(n) (y_i - a - b x_i)^2)(sebahagian b) = 0`

Mengembangkan derivatif, kami memperoleh sistem dua persamaan dengan dua yang tidak diketahui:
`jumlah_(i=1)^(n) (2a + 2bx_i - 2y_i) = jumlah_(i=1)^(n) (a + bx_i - y_i) = 0`
`jumlah_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = jumlah_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Kami membuka kurungan dan memindahkan jumlah bebas daripada pekali yang dikehendaki kepada separuh lagi, kami mendapat sistem persamaan linear:
`jumlah_(i=1)^(n) y_i = a n + b jumlah_(i=1)^(n) bx_i`
`jumlah_(i=1)^(n) x_iy_i = jumlah_(i=1)^(n) x_i + b jumlah_(i=1)^(n) x_i^2`

Menyelesaikan sistem yang terhasil, kami mencari formula untuk pekali `a` dan `b`:

`a = frac(jumlah_(i=1)^(n) y_i jumlah_(i=1)^(n) x_i^2 - jumlah_(i=1)^(n) x_i jumlah_(i=1)^(n ) x_iy_i) (n jumlah_(i=1)^(n) x_i^2 — (jumlah_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n jumlah_(i=1)^(n) x_iy_i - jumlah_(i=1)^(n) x_i jumlah_(i=1)^(n) y_i) (n jumlah_(i=1)^ (n) x_i^2 - (jumlah_(i=1)^(n) x_i)^2)` (3.2)

Formula ini mempunyai penyelesaian apabila `n > 1` (garis boleh dilukis menggunakan sekurang-kurangnya 2 titik) dan apabila penentu `D = n jumlah_(i=1)^(n) x_i^2 — (jumlah_(i= 1) )^(n) x_i)^2 != 0`, i.e. apabila titik `x_i` dalam eksperimen berbeza (iaitu apabila garisan tidak menegak).

Anggaran ralat dalam pekali garis regresi

Untuk anggaran ralat yang lebih tepat dalam mengira pekali `a` dan `b`, sebilangan besar titik eksperimen adalah wajar. Apabila `n = 2`, adalah mustahil untuk menganggar ralat pekali, kerana garisan anggaran secara unik akan melalui dua titik.

Ralat pembolehubah rawak `V` ditentukan undang-undang pengumpulan kesilapan
`S_V^2 = jumlah_(i=1)^p (frac(sebahagian f)(sebahagian z_i))^2 S_(z_i)^2`,
dengan `p` ialah bilangan parameter `z_i` dengan ralat `S_(z_i)` yang mempengaruhi ralat `S_V`;
`f` ialah fungsi kebergantungan `V` pada `z_i`.

Mari kita tulis hukum pengumpulan ralat untuk ralat pekali `a` dan `b`
`S_a^2 = jumlah_(i=1)^(n)(frac(sebahagian a)(sebahagian y_i))^2 S_(y_i)^2 + jumlah_(i=1)^(n)(frac(sebahagian a )(sebahagian x_i))^2 S_(x_i)^2 = S_y^2 jumlah_(i=1)^(n)(frac(sebahagian a)(sebahagian y_i))^2 `,
`S_b^2 = jumlah_(i=1)^(n)(frac(sebahagian b)(sebahagian y_i))^2 S_(y_i)^2 + jumlah_(i=1)^(n)(frac(sebahagian b )(sebahagian x_i))^2 S_(x_i)^2 = S_y^2 jumlah_(i=1)^(n)(frac(sebahagian b)(sebahagian y_i))^2 `,
kerana `S_(x_i)^2 = 0` (kami sebelum ini telah membuat tempahan bahawa ralat `x` boleh diabaikan).

`S_y^2 = S_(y_i)^2` - ralat (variance, sisihan piawai kuasa dua) dalam dimensi `y`, dengan mengandaikan bahawa ralat adalah seragam untuk semua nilai `y`.

Menggantikan formula untuk mengira `a` dan `b` ke dalam ungkapan yang terhasil, kita dapat

`S_a^2 = S_y^2 frac(jumlah_(i=1)^(n) (jumlah_(i=1)^(n) x_i^2 - x_i jumlah_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(jumlah_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n jumlah_(i=1)^(n) x_i^2 - (jumlah_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

Dalam kebanyakan percubaan sebenar, nilai `Sy` tidak diukur. Untuk melakukan ini, adalah perlu untuk menjalankan beberapa ukuran selari (eksperimen) pada satu atau beberapa titik pelan, yang meningkatkan masa (dan mungkin kos) percubaan. Oleh itu, biasanya diandaikan bahawa sisihan `y` daripada garis regresi boleh dianggap rawak. Anggaran varians `y` dalam kes ini dikira oleh formula.

`S_y^2 = S_(y, rehat)^2 = frac(jumlah_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Pembahagi `n-2` muncul kerana kami telah mengurangkan bilangan darjah kebebasan disebabkan pengiraan dua pekali untuk sampel data eksperimen yang sama.

Anggaran ini juga dipanggil varians baki relatif kepada garis regresi `S_(y, rest)^2`.

Penilaian kepentingan pekali dijalankan mengikut kriteria Pelajar

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Jika kriteria yang dikira `t_a`, `t_b` adalah kurang daripada kriteria jadual `t(P, n-2)`, maka ia dianggap bahawa pekali sepadan tidak berbeza secara signifikan daripada sifar dengan kebarangkalian `P` yang diberikan.

Untuk menilai kualiti perihalan perhubungan linear, anda boleh membandingkan `S_(y, rest)^2` dan `S_(bar y)` berbanding dengan min menggunakan kriteria Fisher.

`S_(bar y) = frac(jumlah_(i=1)^n (y_i - bar y)^2) (n-1) = frac(jumlah_(i=1)^n (y_i - (jumlah_(i=) 1)^n y_i) /n)^2) (n-1)` - anggaran sampel varians `y` relatif kepada min.

Untuk menilai keberkesanan persamaan regresi untuk menerangkan pergantungan, pekali Fisher dikira
`F = S_(bar y) / S_(y, rehat)^2`,
yang dibandingkan dengan pekali Fisher jadual `F(p, n-1, n-2)`.

Jika `F > F(P, n-1, n-2)`, perbezaan antara perihalan pergantungan `y = f(x)` menggunakan persamaan regresi dan perihalan menggunakan min dianggap signifikan secara statistik dengan kebarangkalian `P`. Itu. regresi menggambarkan pergantungan lebih baik daripada penyebaran `y` di sekitar min.

Klik pada carta
untuk menambah nilai pada jadual

Kaedah kuasa dua terkecil. Kaedah kuasa dua terkecil bermaksud penentuan parameter yang tidak diketahui a, b, c, pergantungan fungsi yang diterima

Kaedah kuasa dua terkecil bermaksud penentuan parameter yang tidak diketahui a, b, c,… pergantungan fungsi yang diterima

y = f(x,a,b,c,…),

yang akan memberikan sekurang-kurangnya min kuasa dua (varians) ralat

, (24)

di mana x i , y i - set pasangan nombor yang diperoleh daripada eksperimen.

Oleh kerana syarat untuk ekstrem fungsi beberapa pembolehubah ialah syarat terbitan separanya adalah sama dengan sifar, maka parameter a, b, c,… ditentukan daripada sistem persamaan:

; ; ; … (25)

Perlu diingat bahawa kaedah kuasa dua terkecil digunakan untuk memilih parameter selepas bentuk fungsi y = f(x) ditakrifkan.

Jika daripada pertimbangan teori adalah mustahil untuk membuat sebarang kesimpulan tentang formula empirikal yang sepatutnya, maka seseorang itu perlu dipandu oleh perwakilan visual, terutamanya perwakilan grafik data yang diperhatikan.

Dalam amalan, selalunya terhad kepada jenis fungsi berikut:

1) linear ;

2) kuadratik a .

tutorial

pengenalan

Saya seorang pengaturcara komputer. Saya membuat lonjakan terbesar dalam kerjaya saya apabila saya belajar berkata: "Saya tidak faham apa-apa!" Sekarang saya tidak malu untuk memberitahu ahli sains bahawa dia memberi saya kuliah, bahawa saya tidak faham apa yang dibicarakan oleh tokoh itu kepada saya. Dan ia sangat sukar. Ya, sukar dan memalukan untuk mengaku tidak tahu. Siapa yang suka mengaku bahawa dia tidak tahu asas sesuatu-ada. Berdasarkan profesion saya, saya perlu menghadiri sejumlah besar pembentangan dan kuliah, di mana, saya mengaku, dalam kebanyakan kes saya berasa mengantuk, kerana saya tidak memahami apa-apa. Dan saya tidak faham kerana masalah besar situasi semasa dalam sains terletak pada matematik. Ia menganggap bahawa semua pelajar sudah biasa dengan semua bidang matematik (yang tidak masuk akal). Untuk mengakui bahawa anda tidak tahu apa itu derivatif (bahawa ini sedikit kemudian) adalah memalukan.

Tetapi saya telah belajar untuk mengatakan bahawa saya tidak tahu apa itu pendaraban. Ya, saya tidak tahu apa itu subalgebra berbanding algebra Lie. Ya, saya tidak tahu mengapa persamaan kuadratik diperlukan dalam kehidupan. By the way, jika anda pasti bahawa anda tahu, maka kami mempunyai sesuatu untuk dibincangkan! Matematik adalah satu siri helah. Ahli matematik cuba mengelirukan dan menakut-nakutkan orang ramai; di mana tiada kekeliruan, tiada reputasi, tiada kuasa. Ya, adalah berprestij untuk bercakap dalam bahasa yang paling abstrak yang mungkin, yang sama sekali tidak masuk akal.

Adakah anda tahu apa itu derivatif? Kemungkinan besar anda akan memberitahu saya tentang had perhubungan perbezaan. Pada tahun pertama matematik di St. Petersburg State University, Viktor Petrovich Khavin saya ditakrifkan derivatif sebagai pekali sebutan pertama siri Taylor bagi fungsi pada titik (ia adalah gimnastik yang berasingan untuk menentukan siri Taylor tanpa terbitan). Saya ketawa dengan definisi ini untuk masa yang lama, sehingga saya akhirnya memahami apa itu. Derivatif tidak lebih daripada sekadar ukuran berapa banyak fungsi yang kita bezakan adalah serupa dengan fungsi y=x, y=x^2, y=x^3.

Saya kini mendapat penghormatan untuk memberi syarahan kepada pelajar yang rasa takut matematik. Jika anda takut dengan matematik - kami sedang dalam perjalanan. Sebaik sahaja anda cuba membaca beberapa teks dan nampaknya ia terlalu rumit, maka ketahui bahawa ia ditulis dengan teruk. Saya berpendapat bahawa tidak ada satu pun bidang matematik yang tidak boleh dibicarakan tentang "di jari" tanpa kehilangan ketepatan.

Cabaran untuk masa terdekat: Saya mengarahkan pelajar saya untuk memahami apa itu pengawal kuadratik linear. Jangan malu, buang tiga minit hidup anda, ikuti pautan. Jika anda tidak faham apa-apa, maka kami sedang dalam perjalanan. Saya (ahli matematik-pengaturcara profesional) juga tidak faham apa-apa. Dan saya memberi jaminan kepada anda, ini boleh diselesaikan "pada jari." Pada masa ini saya tidak tahu apa itu, tetapi saya memberi jaminan bahawa kita akan dapat memikirkannya.

Jadi, syarahan pertama yang saya akan berikan kepada pelajar saya selepas mereka datang berlari kepada saya dengan seram dengan kata-kata bahawa pengawal linear-quadratic adalah pepijat yang dahsyat yang anda tidak akan kuasai dalam hidup anda ialah kaedah kuasa dua terkecil. Bolehkah anda menyelesaikan persamaan linear? Jika anda membaca teks ini, kemungkinan besar tidak.

Jadi, diberi dua titik (x0, y0), (x1, y1), sebagai contoh, (1,1) dan (3,2), tugasnya ialah mencari persamaan garis lurus yang melalui dua titik ini:

ilustrasi

Garis lurus ini harus mempunyai persamaan seperti berikut:

Di sini alfa dan beta tidak diketahui oleh kami, tetapi dua titik garis ini diketahui:

Anda boleh menulis persamaan ini dalam bentuk matriks:

Di sini kita harus membuat penyimpangan lirik: apakah matriks? Matriks tidak lain hanyalah tatasusunan dua dimensi. Ini adalah cara untuk menyimpan data, tiada lagi nilai yang perlu diberikan kepadanya. Terpulang kepada kita bagaimana sebenarnya untuk mentafsir matriks tertentu. Secara berkala, saya akan mentafsirkannya sebagai pemetaan linear, secara berkala sebagai bentuk kuadratik, dan kadangkala hanya sebagai satu set vektor. Ini semua akan dijelaskan dalam konteks.

Mari kita gantikan matriks tertentu dengan perwakilan simboliknya:

Kemudian (alfa, beta) boleh didapati dengan mudah:

Lebih khusus untuk data kami sebelum ini:

Yang membawa kepada persamaan garis lurus berikut yang melalui titik (1,1) dan (3,2):

Okay, semuanya jelas di sini. Dan mari kita cari persamaan garis lurus yang melaluinya tiga mata: (x0,y0), (x1,y1) dan (x2,y2):

Oh-oh-oh, tetapi kita mempunyai tiga persamaan untuk dua yang tidak diketahui! Ahli matematik standard akan mengatakan bahawa tiada penyelesaian. Apa yang akan dikatakan oleh pengaturcara? Dan dia mula-mula akan menulis semula sistem persamaan sebelumnya dalam bentuk berikut:

Dalam kes kami, vektor i, j, b adalah tiga dimensi, oleh itu, (dalam kes umum) tidak ada penyelesaian untuk sistem ini. Sebarang vektor (alfa\*i + beta\*j) terletak pada satah yang direntangi oleh vektor (i, j). Jika b tidak tergolong dalam satah ini, maka tiada penyelesaian (kesamaan dalam persamaan tidak boleh dicapai). Apa nak buat? Mari kita cari kompromi. Mari kita nyatakan dengan e(alfa, beta) bagaimana sebenarnya kita tidak mencapai kesaksamaan:

Dan kami akan cuba meminimumkan ralat ini:

Mengapa persegi?

Kami mencari bukan sahaja untuk minimum norma, tetapi untuk minimum kuasa dua norma. kenapa? Titik minimum itu sendiri bertepatan, dan segi empat sama memberikan fungsi lancar (fungsi kuadratik bagi argumen (alfa,beta)), manakala hanya panjang memberikan fungsi dalam bentuk kon, tidak boleh dibezakan pada titik minimum. Brr. Dataran lebih mudah.

Jelas sekali, ralat diminimumkan apabila vektor e ortogon kepada satah yang direntangi oleh vektor i dan j.

Ilustrasi

Dalam erti kata lain: kami sedang mencari garis supaya jumlah panjang kuasa dua jarak dari semua titik ke garis ini adalah minimum:

KEMASKINI: di sini saya mempunyai jamb, jarak ke garisan harus diukur secara menegak, bukan unjuran ortografik. Pengulas ini betul.

Ilustrasi

Dalam perkataan yang sama sekali berbeza (dengan berhati-hati, kurang formal, tetapi ia harus jelas pada jari): kami mengambil semua garis yang mungkin antara semua pasangan mata dan mencari garis purata antara semua:

Ilustrasi

Penjelasan lain pada jari: kami melampirkan spring di antara semua titik data (di sini kami mempunyai tiga) dan garis yang kami cari, dan garis keadaan keseimbangan adalah tepat yang kami cari.

Bentuk kuadratik minimum

Jadi, diberi vektor b dan satah yang direntangi oleh lajur-vektor matriks A(dalam kes ini (x0,x1,x2) dan (1,1,1)), kami sedang mencari vektor e dengan panjang persegi minimum. Jelas sekali, minimum hanya boleh dicapai untuk vektor e, ortogon kepada satah yang direntangi oleh lajur-vektor matriks A:

Dalam erti kata lain, kita sedang mencari vektor x=(alpha, beta) supaya:

Saya ingatkan anda bahawa vektor ini x=(alfa, beta) ialah minimum bagi fungsi kuadratik ||e(alfa, beta)||^2:

Di sini adalah berguna untuk diingat bahawa matriks boleh ditafsirkan serta bentuk kuadratik, contohnya, matriks identiti ((1,0),(0,1)) boleh ditafsirkan sebagai fungsi x^2 + y ^2:

bentuk kuadratik

Kesemua gimnastik ini dikenali sebagai regresi linear.

Persamaan Laplace dengan keadaan sempadan Dirichlet

Sekarang masalah sebenar yang paling mudah: terdapat permukaan triangulasi tertentu, ia perlu untuk melicinkannya. Sebagai contoh, mari muatkan model wajah saya:

Komit asal tersedia. Untuk meminimumkan kebergantungan luaran, saya mengambil kod pemapar perisian saya, sudah ada pada Habré. Untuk menyelesaikan sistem linear, saya menggunakan OpenNL , ia adalah penyelesai yang hebat, tetapi sangat sukar untuk dipasang: anda perlu menyalin dua fail (.h + .c) ke folder projek anda. Semua pelicinan dilakukan dengan kod berikut:

Untuk (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&muka = muka[i]; untuk (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Koordinat X, Y dan Z boleh dipisahkan, saya lancarkan secara berasingan. Iaitu, saya menyelesaikan tiga sistem persamaan linear, setiap satu dengan bilangan pembolehubah yang sama dengan bilangan bucu dalam model saya. N baris pertama matriks A mempunyai hanya satu 1 setiap baris, dan n baris pertama vektor b mempunyai koordinat model asal. Iaitu, saya mengikat musim bunga antara kedudukan bucu baharu dan kedudukan bucu lama - yang baharu tidak seharusnya terlalu jauh dari yang lama.

Semua baris berikutnya bagi matriks A (faces.size()*3 = bilangan tepi semua segi tiga dalam grid) mempunyai satu kejadian 1 dan satu kejadian -1, manakala vektor b mempunyai sifar komponen bertentangan. Ini bermakna saya meletakkan spring pada setiap tepi jaringan segi tiga kami: semua tepi cuba mendapatkan bucu yang sama dengan titik permulaan dan penamatnya.

Sekali lagi: semua bucu adalah pembolehubah, dan mereka tidak boleh menyimpang jauh dari kedudukan asalnya, tetapi pada masa yang sama mereka cuba menjadi serupa antara satu sama lain.

Inilah hasilnya:

Segala-galanya akan baik-baik saja, model itu benar-benar licin, tetapi ia beralih dari pinggir asalnya. Mari kita ubah sedikit kod:

Untuk (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Dalam matriks A kami, untuk bucu yang berada di tepi, saya tidak menambah satu baris daripada kategori v_i = verts[i][d], tetapi 1000*v_i = 1000*verts[i][d]. Apakah yang berubah? Dan ini mengubah bentuk ralat kuadratik kami. Sekarang sisihan tunggal dari bahagian atas di tepi tidak akan dikenakan biaya satu unit, seperti sebelumnya, tetapi 1000 * 1000 unit. Iaitu, kami menggantung spring yang lebih kuat pada bucu yang melampau, penyelesaiannya lebih suka meregangkan yang lain dengan lebih kuat. Inilah hasilnya:

Mari kita gandakan kekuatan spring antara bucu:
nlCoefficient(muka[j], 2); nlCoefficient(muka[(j+1)%3], -2);

Adalah logik bahawa permukaan telah menjadi lebih licin:

Dan sekarang bahkan seratus kali lebih kuat:

Apakah ini? Bayangkan kita telah mencelupkan cincin dawai ke dalam air sabun. Akibatnya, filem sabun yang terhasil akan cuba mempunyai kelengkungan paling sedikit yang mungkin, menyentuh sempadan yang sama - gelang wayar kami. Inilah yang kami dapat dengan membetulkan sempadan dan meminta permukaan licin di dalamnya. Tahniah, kami baru sahaja menyelesaikan persamaan Laplace dengan syarat sempadan Dirichlet. Kedengaran sejuk? Tetapi sebenarnya, hanya satu sistem persamaan linear untuk diselesaikan.

Persamaan Poisson

Mari kita mempunyai nama lain yang menarik.

Katakan saya mempunyai imej seperti ini:

Semua orang baik, tetapi saya tidak suka kerusi itu.

Saya memotong gambar itu separuh:

Dan saya akan memilih kerusi dengan tangan saya:

Kemudian saya akan menyeret semua yang berwarna putih dalam topeng ke sebelah kiri gambar, dan pada masa yang sama saya akan mengatakan sepanjang keseluruhan gambar bahawa perbezaan antara dua piksel jiran harus sama dengan perbezaan antara dua piksel jiran bagi imej kanan:

Untuk (int i=0; i

Inilah hasilnya:

Kod dan gambar tersedia

Kaedah kuasa dua terkecil

Kaedah kuasa dua terkecil ( MNK, OLS, Kuasa Dua Terkecil Biasa) - salah satu kaedah asas analisis regresi untuk menganggar parameter model regresi yang tidak diketahui daripada data sampel. Kaedah ini adalah berdasarkan meminimumkan jumlah kuasa dua sisa regresi.

Perlu diingatkan bahawa kaedah kuasa dua terkecil itu sendiri boleh dipanggil kaedah untuk menyelesaikan masalah di mana-mana kawasan, jika penyelesaian itu terdiri daripada atau memenuhi kriteria tertentu untuk meminimumkan jumlah kuasa dua beberapa fungsi pembolehubah yang tidak diketahui. Oleh itu, kaedah kuasa dua terkecil juga boleh digunakan untuk perwakilan anggaran (hampiran) fungsi tertentu oleh fungsi lain (lebih mudah), apabila mencari set kuantiti yang memenuhi persamaan atau sekatan, bilangan yang melebihi bilangan kuantiti ini , dan lain-lain.

Intipati MNC

Biarkan beberapa model (parametrik) pergantungan kebarangkalian (regresi) antara pembolehubah (diterangkan). y dan banyak faktor (pembolehubah penjelasan) x

di manakah vektor parameter model yang tidak diketahui

- Ralat model rawak.

Biarkan terdapat juga pemerhatian sampel bagi nilai pembolehubah yang ditunjukkan. Biarkan nombor pemerhatian (). Kemudian adalah nilai pembolehubah dalam pemerhatian ke-. Kemudian, untuk nilai parameter b yang diberikan, adalah mungkin untuk mengira nilai teori (model) pembolehubah yang dijelaskan y:

Nilai baki bergantung kepada nilai parameter b.

Intipati LSM (biasa, klasik) adalah untuk mencari parameter b yang mana jumlah kuasa dua baki ( Inggeris Jumlah Baki Kuasa Dua) akan menjadi minimum:

Dalam kes umum, masalah ini boleh diselesaikan dengan kaedah pengoptimuman berangka (minimization). Dalam kes ini, seseorang bercakap tentang kuasa dua terkecil tak linear(NLS atau NLLS - Inggeris Kuasa Dua Terkecil Bukan Linear). Dalam banyak kes, penyelesaian analitik boleh diperolehi. Untuk menyelesaikan masalah pengecilan, adalah perlu untuk mencari titik pegun fungsi dengan membezakannya berkenaan dengan parameter yang tidak diketahui b, menyamakan derivatif kepada sifar, dan menyelesaikan sistem persamaan yang terhasil:

Jika ralat model rawak mempunyai taburan normal, mempunyai varians yang sama dan tidak berkorelasi antara satu sama lain, anggaran kuasa dua terkecil parameter bertepatan dengan anggaran kaedah kemungkinan maksimum (MLM).

MNC sekiranya model linear

Biarkan pergantungan regresi menjadi linear:

biarlah y- vektor lajur pemerhatian pembolehubah yang dijelaskan, dan - matriks pemerhatian faktor (baris matriks - vektor nilai faktor dalam pemerhatian tertentu, dengan lajur - vektor nilai faktor tertentu dalam semua pemerhatian) . Perwakilan matriks model linear mempunyai bentuk:

Kemudian vektor anggaran pembolehubah yang dijelaskan dan vektor sisa regresi akan sama dengan

oleh itu, jumlah kuasa dua baki regresi akan sama dengan

Membezakan fungsi ini berkenaan dengan vektor parameter dan menyamakan derivatif kepada sifar, kami memperoleh sistem persamaan (dalam bentuk matriks):

Penyelesaian sistem persamaan ini memberikan formula umum untuk anggaran kuasa dua terkecil untuk model linear:

Untuk tujuan analisis, perwakilan terakhir formula ini ternyata berguna. Jika data dalam model regresi berpusat, maka dalam perwakilan ini matriks pertama mempunyai maksud matriks kovarians sampel faktor, dan yang kedua ialah vektor kovarians faktor dengan pembolehubah bersandar. Jika, sebagai tambahan, data juga dinormalkan di SKO (iaitu, akhirnya diseragamkan), maka matriks pertama mempunyai makna matriks korelasi sampel faktor, vektor kedua - vektor korelasi sampel faktor dengan pembolehubah bersandar.

Sifat penting anggaran LLS untuk model dengan pemalar- garis regresi yang dibina melalui pusat graviti data sampel, iaitu, kesamaan dipenuhi:

Khususnya, dalam kes yang melampau, apabila satu-satunya regressor ialah pemalar, kami mendapati anggaran OLS bagi satu parameter (pemalar itu sendiri) adalah sama dengan nilai min pembolehubah yang dijelaskan. Iaitu, min aritmetik, yang terkenal dengan sifat baiknya daripada undang-undang nombor besar, juga merupakan anggaran kuasa dua terkecil - ia memenuhi kriteria untuk jumlah minimum sisihan kuasa dua daripadanya.

Contoh: regresi mudah (berpasangan).

Dalam kes regresi linear berpasangan, formula pengiraan dipermudahkan (anda boleh lakukan tanpa algebra matriks):

Sifat anggaran OLS

Pertama sekali, kami perhatikan bahawa untuk model linear, anggaran kuasa dua terkecil ialah anggaran linear, seperti berikut dari formula di atas. Untuk tidak berat sebelah Anggaran OLS adalah perlu dan mencukupi untuk memenuhi syarat yang paling penting analisis regresi: bersyarat pada faktor nilai yang dijangkakan ralat rawak hendaklah sifar. Syarat ini dipenuhi, khususnya, jika

jangkaan matematik ralat rawak adalah sifar, dan
faktor dan ralat rawak adalah pembolehubah rawak bebas.

Syarat kedua - keadaan faktor eksogen - adalah asas. Jika harta ini tidak berpuas hati, maka kita boleh mengandaikan bahawa hampir semua anggaran akan menjadi sangat tidak memuaskan: mereka tidak akan kaya raya(iaitu, walaupun jumlah data yang sangat besar tidak membenarkan mendapatkan anggaran kualitatif dalam kes ini). Dalam kes klasik, andaian yang lebih kuat dibuat mengenai penentuan faktor, berbeza dengan ralat rawak, yang secara automatik bermakna bahawa keadaan eksogen dipenuhi. Dalam kes umum, untuk ketekalan anggaran, adalah memadai untuk memenuhi syarat eksogen bersama-sama dengan penumpuan matriks kepada beberapa matriks bukan tunggal dengan peningkatan saiz sampel kepada infiniti.

Dalam usaha untuk, sebagai tambahan kepada kesolvenan dan tidak berat sebelah, anggaran LSM (biasa) juga cekap (yang terbaik dalam kelas anggaran tidak berat sebelah linear), adalah perlu untuk memenuhi sifat tambahan ralat rawak:

Andaian ini boleh dirumuskan untuk matriks kovarians vektor ralat rawak

Model linear yang memenuhi syarat ini dipanggil klasik. Anggaran OLS untuk regresi linear klasik ialah tidak berat sebelah , kaya raya dan kebanyakannya berkesan anggaran dalam kelas semua anggaran tidak berat sebelah linear (dalam kesusasteraan Inggeris, singkatan kadangkala digunakan biru (Penganggar Tanpa Basis Linear Terbaik) ialah anggaran tidak berat sebelah linear terbaik; dalam kesusasteraan domestik, teorem Gauss-Markov lebih kerap disebut). Memandangkan ia mudah ditunjukkan, matriks kovarians bagi vektor anggaran pekali akan sama dengan:

Kuasa dua terkecil umum

Kaedah kuasa dua terkecil membolehkan generalisasi yang luas. Daripada meminimumkan jumlah kuasa dua baki, seseorang boleh meminimumkan beberapa bentuk kuadratik pasti positif vektor baki, di mana beberapa matriks berat pasti positif simetri. Kuasa dua terkecil biasa ialah kes khas pendekatan ini, apabila matriks berat adalah berkadar dengan matriks identiti. Seperti yang diketahui dari teori matriks simetri (atau operator), terdapat penguraian untuk matriks tersebut. Oleh itu, fungsi yang ditentukan boleh diwakili seperti berikut, iaitu, fungsi ini boleh diwakili sebagai hasil tambah kuasa dua beberapa "sisa" yang diubah. Oleh itu, kita boleh membezakan kelas kaedah kuasa dua terkecil - kaedah LS (Kuasa Dua Terkecil).

Dibuktikan (teorem Aitken) bahawa untuk model regresi linear umum (di mana tiada sekatan dikenakan pada matriks kovarians ralat rawak), yang paling berkesan (dalam kelas anggaran tidak berat sebelah linear) ialah anggaran yang dipanggil. OLS umum (OMNK, GLS - Kuasa Dua Terkecil Umum)- Kaedah LS dengan matriks berat sama dengan matriks kovarians songsang ralat rawak: .

Ia boleh ditunjukkan bahawa formula untuk anggaran GLS bagi parameter model linear mempunyai bentuk

Matriks kovarians anggaran ini, masing-masing, akan sama dengan

Malah, intipati OLS terletak pada penjelmaan (linear) tertentu (P) bagi data asal dan penggunaan kuasa dua terkecil biasa kepada data yang diubah. Tujuan transformasi ini ialah untuk data yang diubah, ralat rawak sudah memenuhi andaian klasik.

Kuasa dua terkecil tertimbang

Dalam kes matriks berat pepenjuru (dan oleh itu matriks kovarians ralat rawak), kita mempunyai apa yang dipanggil kuasa dua terkecil berwajaran (WLS - Kuasa Dua Terkecil Berwajaran). Dalam kes ini, jumlah wajaran kuasa dua baki model diminimumkan, iaitu, setiap cerapan menerima "berat" yang berkadar songsang dengan varians ralat rawak dalam pemerhatian ini: . Malah, data diubah dengan menimbang pemerhatian (membahagikan dengan jumlah yang berkadar dengan sisihan piawai yang diandaikan bagi ralat rawak), dan kuasa dua terkecil biasa digunakan pada data berwajaran.

Beberapa kes khas penggunaan LSM dalam amalan

Pengiraan pergantungan linear

Pertimbangkan kes apabila, sebagai hasil daripada belajar kebergantungan beberapa skalar kuantiti pada beberapa kuantiti skalar (Ini mungkin, sebagai contoh, pergantungan voltan daripada kekuatan semasa: , di manakah nilai malar, rintangan konduktor) telah dijalankan ukuran kuantiti ini, akibatnya nilai dan nilai yang sepadan diperolehi. Data ukuran hendaklah direkodkan dalam jadual.

Jadual. Hasil pengukuran.

Nombor Pengukuran
1
2
3
4
5
6

Persoalannya ialah: apakah maksudnya pekali boleh dipilih untuk menggambarkan pergantungan yang terbaik? Mengikut kuasa dua terkecil, nilai ini hendaklah sedemikian sehingga jumlahnya segi empat sama penyelewengan nilai daripada nilai

adalah minimum

Jumlah sisihan kuasa dua mempunyai satu melampau adalah minimum yang membolehkan kita menggunakan ini formula. Mari cari nilai pekali daripada formula ini. Untuk melakukan ini, kami mengubah bahagian kirinya seperti berikut:

Formula terakhir membolehkan kita mencari nilai pekali , yang diperlukan dalam masalah.

cerita

Sehingga awal abad XIX. saintis tidak mempunyai peraturan yang pasti untuk membuat keputusan sistem persamaan, di mana bilangan yang tidak diketahui adalah kurang daripada bilangan persamaan; Sehingga masa itu, kaedah tertentu telah digunakan, bergantung pada jenis persamaan dan pada kepintaran kalkulator, dan oleh itu kalkulator yang berbeza, bermula dari data pemerhatian yang sama, membuat kesimpulan yang berbeza. Gauss(1795) tergolong dalam aplikasi pertama kaedah, dan Legendre(1805) secara bebas menemui dan menerbitkannya di bawah tajuk moden ( fr. Methode des moindres quarres ) . Laplace kaedah yang berkaitan dengan teori kebarangkalian, dan ahli matematik Amerika Adrain (1808) mempertimbangkan aplikasi kebarangkaliannya. Kaedah ini meluas dan ditambah baik oleh penyelidikan lanjut Encke , Bessel, Hansen dan lain-lain.

Penggunaan alternatif MNC

Idea kaedah kuasa dua terkecil juga boleh digunakan dalam kes lain yang tidak berkaitan secara langsung dengan analisis regresi. Hakikatnya ialah jumlah kuasa dua ialah salah satu ukuran kedekatan yang paling biasa untuk vektor (metrik Euclidean dalam ruang dimensi terhingga).

Satu aplikasi ialah "menyelesaikan" sistem persamaan linear di mana bilangan persamaan lebih besar daripada bilangan pembolehubah

di mana matriksnya bukan segi empat sama, tetapi segi empat tepat.

Sistem persamaan sedemikian, dalam kes umum, tidak mempunyai penyelesaian (jika pangkat sebenarnya lebih besar daripada bilangan pembolehubah). Oleh itu, sistem ini boleh "diselesaikan" hanya dalam erti kata memilih vektor sedemikian untuk meminimumkan "jarak" antara vektor dan . Untuk melakukan ini, anda boleh menggunakan kriteria untuk meminimumkan jumlah perbezaan kuasa dua bahagian kiri dan kanan persamaan sistem, iaitu, . Adalah mudah untuk menunjukkan bahawa penyelesaian masalah pengecilan ini membawa kepada penyelesaian sistem persamaan berikut