Pemilihan parameter dengan kaedah kuasa dua terkecil. Analisis regresi berpasangan linear
Kaedah kuasa dua terkecil
Kaedah kuasa dua terkecil ( MNK, OLS, Kuasa Dua Terkecil Biasa) - salah satu kaedah asas analisis regresi untuk menganggar parameter model regresi yang tidak diketahui daripada data sampel. Kaedah ini adalah berdasarkan meminimumkan jumlah kuasa dua sisa regresi.
Perlu diingatkan bahawa kaedah kuasa dua terkecil itu sendiri boleh dipanggil kaedah untuk menyelesaikan masalah di mana-mana kawasan, jika penyelesaian itu terdiri daripada atau memenuhi kriteria tertentu untuk meminimumkan jumlah kuasa dua beberapa fungsi pembolehubah yang tidak diketahui. Oleh itu, kaedah kuasa dua terkecil juga boleh digunakan untuk perwakilan anggaran (hampiran) fungsi tertentu oleh fungsi lain (lebih mudah), apabila mencari set kuantiti yang memenuhi persamaan atau sekatan, bilangan yang melebihi bilangan kuantiti ini , dan lain-lain.
Intipati MNC
Biarkan beberapa model (parametrik) pergantungan kebarangkalian (regresi) antara pembolehubah (diterangkan). y dan banyak faktor (pembolehubah penjelasan) x
di manakah vektor parameter model yang tidak diketahui
- Ralat model rawak.Biarkan terdapat juga pemerhatian sampel bagi nilai pembolehubah yang ditunjukkan. Biarkan nombor pemerhatian (). Kemudian adalah nilai pembolehubah dalam pemerhatian ke-. Kemudian, untuk nilai parameter b yang diberikan, adalah mungkin untuk mengira nilai teori (model) pembolehubah yang dijelaskan y:
Nilai baki bergantung kepada nilai parameter b.
Intipati LSM (biasa, klasik) adalah untuk mencari parameter b yang mana jumlah kuasa dua baki (eng. Jumlah Baki Kuasa Dua) akan menjadi minimum:
Dalam kes umum, masalah ini boleh diselesaikan dengan kaedah pengoptimuman berangka (minimization). Dalam kes ini, seseorang bercakap tentang kuasa dua terkecil tak linear(NLS atau NLLS - Bahasa Inggeris. Kuasa Dua Terkecil Bukan Linear). Dalam banyak kes, penyelesaian analitik boleh diperolehi. Untuk menyelesaikan masalah pengecilan, adalah perlu untuk mencari titik pegun fungsi dengan membezakannya berkenaan dengan parameter yang tidak diketahui b, menyamakan derivatif kepada sifar, dan menyelesaikan sistem persamaan yang terhasil:
Jika ralat rawak model diedarkan secara normal, mempunyai varians yang sama, dan tidak berkorelasi antara satu sama lain, anggaran parameter kuasa dua terkecil adalah sama dengan anggaran kaedah kemungkinan maksimum (MLM).
LSM dalam kes model linear
Biarkan pergantungan regresi menjadi linear:
Biarkan y- vektor lajur pemerhatian pembolehubah yang dijelaskan, dan - matriks pemerhatian faktor (baris matriks - vektor nilai faktor dalam pemerhatian tertentu, dengan lajur - vektor nilai faktor tertentu dalam semua pemerhatian) . Perwakilan matriks model linear mempunyai bentuk:
Kemudian vektor anggaran pembolehubah yang dijelaskan dan vektor sisa regresi akan sama dengan
oleh itu, jumlah kuasa dua baki regresi akan sama dengan
Membezakan fungsi ini berkenaan dengan vektor parameter dan menyamakan derivatif kepada sifar, kami memperoleh sistem persamaan (dalam bentuk matriks):
.Penyelesaian sistem persamaan ini memberikan formula umum untuk anggaran kuasa dua terkecil untuk model linear:
Untuk tujuan analisis, perwakilan terakhir formula ini ternyata berguna. Jika data dalam model regresi berpusat, maka dalam perwakilan ini matriks pertama mempunyai maksud matriks kovarians sampel faktor, dan yang kedua ialah vektor kovarians faktor dengan pembolehubah bersandar. Jika, sebagai tambahan, data juga dinormalkan di SKO (iaitu, akhirnya diseragamkan), maka matriks pertama mempunyai makna matriks korelasi sampel faktor, vektor kedua - vektor korelasi sampel faktor dengan pembolehubah bersandar.
Sifat penting anggaran LLS untuk model dengan pemalar- garis regresi yang dibina melalui pusat graviti data sampel, iaitu, kesamaan dipenuhi:
Khususnya, dalam kes yang melampau, apabila satu-satunya regressor ialah pemalar, kami mendapati anggaran OLS bagi satu parameter (pemalar itu sendiri) adalah sama dengan nilai min pembolehubah yang dijelaskan. Iaitu, min aritmetik, yang terkenal dengan sifat baiknya daripada undang-undang nombor besar, juga merupakan anggaran kuasa dua terkecil - ia memenuhi kriteria untuk jumlah minimum sisihan kuasa dua daripadanya.
Contoh: regresi mudah (berpasangan).
Dalam kes regresi linear berpasangan, formula pengiraan dipermudahkan (anda boleh lakukan tanpa algebra matriks):
Sifat anggaran OLS
Pertama sekali, kami perhatikan bahawa untuk model linear, anggaran kuasa dua terkecil ialah anggaran linear, seperti berikut dari formula di atas. Untuk anggaran OLS yang tidak berat sebelah, adalah perlu dan mencukupi untuk memenuhi syarat analisis regresi yang paling penting: jangkaan matematik ralat rawak bersyarat pada faktor mestilah sama dengan sifar. Syarat ini dipenuhi, khususnya, jika
- jangkaan matematik ralat rawak adalah sifar, dan
- faktor dan ralat rawak adalah pembolehubah rawak bebas.
Syarat kedua - keadaan faktor eksogen - adalah asas. Jika harta ini tidak berpuas hati, maka kita boleh menganggap bahawa hampir mana-mana anggaran akan menjadi sangat tidak memuaskan: mereka tidak akan konsisten (iaitu, walaupun jumlah data yang sangat besar tidak membenarkan mendapatkan anggaran kualitatif dalam kes ini). Dalam kes klasik, andaian yang lebih kuat dibuat mengenai penentuan faktor, berbeza dengan ralat rawak, yang secara automatik bermakna bahawa keadaan eksogen dipenuhi. Dalam kes umum, untuk ketekalan anggaran, adalah memadai untuk memenuhi syarat eksogen bersama-sama dengan penumpuan matriks kepada beberapa matriks bukan tunggal dengan peningkatan saiz sampel kepada infiniti.
Agar, sebagai tambahan kepada ketekalan dan tidak berat sebelah, anggaran kuasa dua terkecil (biasa) juga berkesan (yang terbaik dalam kelas anggaran tidak berat sebelah linear), adalah perlu untuk memenuhi sifat tambahan ralat rawak:
Andaian ini boleh dirumuskan untuk matriks kovarians bagi vektor ralat rawak
Model linear yang memenuhi syarat ini dipanggil klasik. Anggaran OLS untuk regresi linear klasik adalah anggaran tidak berat sebelah, konsisten dan paling cekap dalam kelas semua anggaran tidak berat sebelah linear (dalam kesusasteraan Inggeris, singkatan kadangkala digunakan biru (Penganggar Tanpa Basis Linear Terbaik) ialah anggaran tidak berat sebelah linear terbaik; dalam kesusasteraan domestik, teorem Gauss-Markov lebih kerap disebut). Memandangkan ia mudah ditunjukkan, matriks kovarians bagi vektor anggaran pekali akan sama dengan:
Kuasa dua terkecil umum
Kaedah kuasa dua terkecil membolehkan generalisasi yang luas. Daripada meminimumkan jumlah kuasa dua baki, seseorang boleh meminimumkan beberapa bentuk kuadratik pasti positif vektor baki, di mana beberapa matriks berat pasti positif simetri. Kuasa dua terkecil biasa ialah kes khas pendekatan ini, apabila matriks berat adalah berkadar dengan matriks identiti. Seperti yang diketahui dari teori matriks simetri (atau operator), terdapat penguraian untuk matriks tersebut. Oleh itu, fungsi yang ditentukan boleh diwakili seperti berikut, iaitu, fungsi ini boleh diwakili sebagai hasil tambah kuasa dua beberapa "sisa" yang diubah. Oleh itu, kita boleh membezakan kelas kaedah kuasa dua terkecil - kaedah LS (Kuasa Dua Terkecil).
Dibuktikan (teorem Aitken) bahawa untuk model regresi linear umum (di mana tiada sekatan dikenakan pada matriks kovarians ralat rawak), yang paling berkesan (dalam kelas anggaran tidak berat sebelah linear) ialah anggaran yang dipanggil. OLS umum (OMNK, GLS - Kuasa Dua Terkecil Umum)- Kaedah LS dengan matriks berat sama dengan matriks kovarians songsang ralat rawak: .
Ia boleh ditunjukkan bahawa formula untuk anggaran GLS bagi parameter model linear mempunyai bentuk
Matriks kovarians anggaran ini, masing-masing, akan sama dengan
Malah, intipati OLS terletak pada penjelmaan (linear) tertentu (P) bagi data asal dan penggunaan kuasa dua terkecil biasa kepada data yang diubah. Tujuan transformasi ini ialah untuk data yang diubah, ralat rawak sudah memenuhi andaian klasik.
Kuasa dua terkecil tertimbang
Dalam kes matriks berat pepenjuru (dan oleh itu matriks kovarians ralat rawak), kita mempunyai apa yang dipanggil kuasa dua terkecil berwajaran (WLS - Kuasa Dua Terkecil Berwajaran). Dalam kes ini, jumlah wajaran kuasa dua baki model diminimumkan, iaitu, setiap cerapan menerima "berat" yang berkadar songsang dengan varians ralat rawak dalam pemerhatian ini: . Malah, data diubah dengan menimbang pemerhatian (membahagikan dengan jumlah yang berkadar dengan sisihan piawai yang diandaikan bagi ralat rawak), dan kuasa dua terkecil biasa digunakan pada data berwajaran.
Beberapa kes khas penggunaan LSM dalam amalan
Penghampiran Linear
Pertimbangkan kes apabila, sebagai hasil daripada mengkaji pergantungan kuantiti skalar tertentu pada kuantiti skalar tertentu (Ini boleh, sebagai contoh, pergantungan voltan pada kekuatan arus: , di mana adalah nilai malar, rintangan konduktor ), kuantiti ini diukur, akibatnya nilai dan nilai yang sepadan. Data ukuran hendaklah direkodkan dalam jadual.
Jadual. Hasil pengukuran.
| Nombor Pengukuran | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
Soalannya berbunyi seperti ini: apakah nilai pekali yang boleh dipilih untuk menggambarkan pergantungan yang terbaik? Mengikut kuasa dua terkecil, nilai ini hendaklah sedemikian rupa sehingga jumlah sisihan kuasa dua nilai daripada nilai
adalah minimum
Jumlah sisihan kuasa dua mempunyai satu ekstrem - minimum, yang membolehkan kita menggunakan formula ini. Mari cari nilai pekali daripada formula ini. Untuk melakukan ini, kami mengubah bahagian kirinya seperti berikut:
Formula terakhir membolehkan kita mencari nilai pekali , yang diperlukan dalam masalah.
Sejarah
Sehingga awal abad XIX. saintis tidak mempunyai peraturan tertentu untuk menyelesaikan sistem persamaan di mana bilangan yang tidak diketahui adalah kurang daripada bilangan persamaan; Sehingga masa itu, kaedah tertentu telah digunakan, bergantung pada jenis persamaan dan pada kepintaran kalkulator, dan oleh itu kalkulator yang berbeza, bermula dari data pemerhatian yang sama, membuat kesimpulan yang berbeza. Gauss (1795) dikreditkan dengan aplikasi pertama kaedah itu, dan Legendre (1805) secara bebas menemui dan menerbitkannya di bawah nama modennya (fr. Methode des moindres quarres ). Laplace mengaitkan kaedah itu dengan teori kebarangkalian, dan ahli matematik Amerika Adrain (1808) mempertimbangkan aplikasi kebarangkaliannya. Kaedah ini meluas dan ditambah baik oleh penyelidikan lanjut oleh Encke, Bessel, Hansen dan lain-lain.
Penggunaan alternatif MNC
Idea kaedah kuasa dua terkecil juga boleh digunakan dalam kes lain yang tidak berkaitan secara langsung dengan analisis regresi. Hakikatnya ialah jumlah kuasa dua ialah salah satu ukuran kedekatan yang paling biasa untuk vektor (metrik Euclidean dalam ruang dimensi terhingga).
Satu aplikasi ialah "menyelesaikan" sistem persamaan linear di mana bilangan persamaan lebih besar daripada bilangan pembolehubah
di mana matriksnya bukan segi empat sama, tetapi segi empat tepat.
Sistem persamaan sedemikian, dalam kes umum, tidak mempunyai penyelesaian (jika pangkat sebenarnya lebih besar daripada bilangan pembolehubah). Oleh itu, sistem ini boleh "diselesaikan" hanya dalam erti kata memilih vektor sedemikian untuk meminimumkan "jarak" antara vektor dan . Untuk melakukan ini, anda boleh menggunakan kriteria untuk meminimumkan jumlah perbezaan kuasa dua bahagian kiri dan kanan persamaan sistem, iaitu, . Adalah mudah untuk menunjukkan bahawa penyelesaian masalah pengecilan ini membawa kepada penyelesaian sistem persamaan berikut
- tutorial
pengenalan
Saya seorang pengaturcara komputer. Saya membuat lonjakan terbesar dalam kerjaya saya apabila saya belajar berkata: "Saya tidak faham apa-apa!" Sekarang saya tidak malu untuk memberitahu ahli sains bahawa dia memberi saya kuliah, bahawa saya tidak faham apa yang dibicarakan oleh tokoh itu kepada saya. Dan ia sangat sukar. Ya, sukar dan memalukan untuk mengaku tidak tahu. Siapa yang suka mengaku bahawa dia tidak tahu asas sesuatu-ada. Berdasarkan profesion saya, saya perlu menghadiri sejumlah besar pembentangan dan kuliah, di mana, saya mengaku, dalam kebanyakan kes saya berasa mengantuk, kerana saya tidak memahami apa-apa. Dan saya tidak faham kerana masalah besar situasi semasa dalam sains terletak pada matematik. Ia menganggap bahawa semua pelajar sudah biasa dengan semua bidang matematik (yang tidak masuk akal). Untuk mengakui bahawa anda tidak tahu apa itu derivatif (bahawa ini sedikit kemudian) adalah memalukan.
Tetapi saya telah belajar untuk mengatakan bahawa saya tidak tahu apa itu pendaraban. Ya, saya tidak tahu apa itu subalgebra berbanding algebra Lie. Ya, saya tidak tahu mengapa persamaan kuadratik diperlukan dalam kehidupan. By the way, jika anda pasti bahawa anda tahu, maka kami mempunyai sesuatu untuk dibincangkan! Matematik adalah satu siri helah. Ahli matematik cuba mengelirukan dan menakut-nakutkan orang ramai; di mana tiada kekeliruan, tiada reputasi, tiada kuasa. Ya, adalah berprestij untuk bercakap dalam bahasa yang paling abstrak yang mungkin, yang sama sekali tidak masuk akal.
Adakah anda tahu apa itu derivatif? Kemungkinan besar anda akan memberitahu saya tentang had perhubungan perbezaan. Pada tahun pertama matematik di St. Petersburg State University, Viktor Petrovich Khavin saya ditakrifkan derivatif sebagai pekali sebutan pertama siri Taylor bagi fungsi pada titik (ia adalah gimnastik yang berasingan untuk menentukan siri Taylor tanpa terbitan). Saya ketawa dengan definisi ini untuk masa yang lama, sehingga saya akhirnya memahami apa itu. Derivatif tidak lebih daripada sekadar ukuran berapa banyak fungsi yang kita bezakan adalah serupa dengan fungsi y=x, y=x^2, y=x^3.
Saya kini mendapat penghormatan untuk memberi syarahan kepada pelajar yang takut matematik. Jika anda takut dengan matematik - kami sedang dalam perjalanan. Sebaik sahaja anda cuba membaca beberapa teks dan nampaknya ia terlalu rumit, maka ketahui bahawa ia ditulis dengan teruk. Saya berpendapat bahawa tidak ada satu pun bidang matematik yang tidak boleh dibicarakan tentang "di jari" tanpa kehilangan ketepatan.
Cabaran untuk masa terdekat: Saya mengarahkan pelajar saya untuk memahami apa itu pengawal kuadratik linear. Jangan malu, buang tiga minit hidup anda, ikuti pautan. Jika anda tidak faham apa-apa, maka kami sedang dalam perjalanan. Saya (ahli matematik-pengaturcara profesional) juga tidak faham apa-apa. Dan saya memberi jaminan kepada anda, ini boleh diselesaikan "pada jari." Pada masa ini saya tidak tahu apa itu, tetapi saya memberi jaminan bahawa kita akan dapat memikirkannya.
Jadi, syarahan pertama yang saya akan berikan kepada pelajar saya selepas mereka datang berlari kepada saya dengan seram dengan kata-kata bahawa pengawal linear-quadratic adalah pepijat yang dahsyat yang anda tidak akan kuasai dalam hidup anda ialah kaedah kuasa dua terkecil. Bolehkah anda menyelesaikan persamaan linear? Jika anda membaca teks ini, kemungkinan besar tidak.
Jadi, diberi dua titik (x0, y0), (x1, y1), sebagai contoh, (1,1) dan (3,2), tugasnya ialah mencari persamaan garis lurus yang melalui dua titik ini:
ilustrasi
Garis lurus ini harus mempunyai persamaan seperti berikut:
Di sini alfa dan beta tidak diketahui oleh kami, tetapi dua titik garis ini diketahui:
Anda boleh menulis persamaan ini dalam bentuk matriks:
Di sini kita harus membuat penyimpangan lirik: apakah matriks? Matriks tidak lain hanyalah tatasusunan dua dimensi. Ini adalah cara untuk menyimpan data, tiada lagi nilai yang perlu diberikan kepadanya. Terpulang kepada kita bagaimana sebenarnya untuk mentafsir matriks tertentu. Secara berkala, saya akan mentafsirkannya sebagai pemetaan linear, secara berkala sebagai bentuk kuadratik, dan kadangkala hanya sebagai satu set vektor. Ini semua akan dijelaskan dalam konteks.
Mari kita gantikan matriks tertentu dengan perwakilan simboliknya:
Kemudian (alfa, beta) boleh didapati dengan mudah:
Lebih khusus untuk data kami sebelum ini:
Yang membawa kepada persamaan garis lurus berikut yang melalui titik (1,1) dan (3,2):
Okay, semuanya jelas di sini. Dan mari kita cari persamaan garis lurus yang melaluinya tiga mata: (x0,y0), (x1,y1) dan (x2,y2):
Oh-oh-oh, tetapi kita mempunyai tiga persamaan untuk dua yang tidak diketahui! Ahli matematik standard akan mengatakan bahawa tiada penyelesaian. Apa yang akan dikatakan oleh pengaturcara? Dan dia mula-mula akan menulis semula sistem persamaan sebelumnya dalam bentuk berikut:
Dalam kes kami, vektor i, j, b adalah tiga dimensi, oleh itu, (dalam kes umum) tidak ada penyelesaian untuk sistem ini. Sebarang vektor (alfa\*i + beta\*j) terletak pada satah yang direntangi oleh vektor (i, j). Jika b tidak tergolong dalam satah ini, maka tiada penyelesaian (kesamaan dalam persamaan tidak boleh dicapai). Apa nak buat? Mari kita cari kompromi. Mari kita nyatakan dengan e(alfa, beta) bagaimana sebenarnya kita tidak mencapai kesaksamaan:
Dan kami akan cuba meminimumkan ralat ini:
Mengapa persegi?
Kami mencari bukan sahaja untuk minimum norma, tetapi untuk minimum kuasa dua norma. kenapa? Titik minimum itu sendiri bertepatan, dan segi empat sama memberikan fungsi lancar (fungsi kuadratik bagi argumen (alfa,beta)), manakala hanya panjang memberikan fungsi dalam bentuk kon, tidak boleh dibezakan pada titik minimum. Brr. Dataran lebih mudah.
Jelas sekali, ralat diminimumkan apabila vektor e ortogon kepada satah yang direntangi oleh vektor i dan j.
Ilustrasi
Dalam erti kata lain: kami sedang mencari garis supaya jumlah panjang kuasa dua jarak dari semua titik ke garis ini adalah minimum:
KEMASKINI: di sini saya mempunyai jamb, jarak ke garisan harus diukur secara menegak, bukan unjuran ortografik. Pengulas ini betul.
Ilustrasi
Dalam perkataan yang sama sekali berbeza (dengan berhati-hati, kurang formal, tetapi ia harus jelas pada jari): kami mengambil semua garis yang mungkin antara semua pasangan mata dan mencari garis purata antara semua:
Ilustrasi
Penjelasan lain pada jari: kami melampirkan spring di antara semua titik data (di sini kami mempunyai tiga) dan garis yang kami cari, dan garis keadaan keseimbangan adalah tepat yang kami cari.
Bentuk kuadratik minimum
Jadi, diberi vektor b dan satah yang direntangi oleh lajur-vektor matriks A(dalam kes ini (x0,x1,x2) dan (1,1,1)), kami sedang mencari vektor e dengan panjang persegi minimum. Jelas sekali, minimum hanya boleh dicapai untuk vektor e, ortogon kepada satah yang direntangi oleh lajur-vektor matriks A:Dalam erti kata lain, kita sedang mencari vektor x=(alpha, beta) supaya:
Saya ingatkan anda bahawa vektor ini x=(alfa, beta) ialah minimum bagi fungsi kuadratik ||e(alfa, beta)||^2:
Di sini adalah berguna untuk diingat bahawa matriks boleh ditafsirkan serta bentuk kuadratik, contohnya, matriks identiti ((1,0),(0,1)) boleh ditafsirkan sebagai fungsi x^2 + y ^2:
bentuk kuadratik
Kesemua gimnastik ini dikenali sebagai regresi linear.
Persamaan Laplace dengan keadaan sempadan Dirichlet
Sekarang masalah sebenar yang paling mudah: terdapat permukaan triangulasi tertentu, ia perlu untuk melicinkannya. Sebagai contoh, mari muatkan model wajah saya:
Komit asal tersedia. Untuk meminimumkan kebergantungan luaran, saya mengambil kod pemapar perisian saya, sudah ada pada Habré. Untuk menyelesaikan sistem linear, saya menggunakan OpenNL , ia adalah penyelesai yang hebat, tetapi sangat sukar untuk dipasang: anda perlu menyalin dua fail (.h + .c) ke folder projek anda. Semua pelicinan dilakukan dengan kod berikut:
Untuk (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
Koordinat X, Y dan Z boleh dipisahkan, saya lancarkan secara berasingan. Iaitu, saya menyelesaikan tiga sistem persamaan linear, setiap satu dengan bilangan pembolehubah yang sama dengan bilangan bucu dalam model saya. N baris pertama matriks A mempunyai hanya satu 1 setiap baris, dan n baris pertama vektor b mempunyai koordinat model asal. Iaitu, saya mengikat musim bunga antara kedudukan bucu baharu dan kedudukan bucu lama - yang baharu tidak seharusnya terlalu jauh dari yang lama.
Semua baris berikutnya bagi matriks A (faces.size()*3 = bilangan tepi semua segi tiga dalam grid) mempunyai satu kejadian 1 dan satu kejadian -1, manakala vektor b mempunyai sifar komponen bertentangan. Ini bermakna saya meletakkan spring pada setiap tepi jaringan segi tiga kami: semua tepi cuba mendapatkan bucu yang sama dengan titik permulaan dan penamatnya.
Sekali lagi: semua bucu adalah pembolehubah, dan mereka tidak boleh menyimpang jauh dari kedudukan asalnya, tetapi pada masa yang sama mereka cuba menjadi serupa antara satu sama lain.
Inilah hasilnya:
Segala-galanya akan baik-baik saja, model itu benar-benar licin, tetapi ia beralih dari pinggir asalnya. Mari kita ubah sedikit kod:
Untuk (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
Dalam matriks A kami, untuk bucu yang berada di tepi, saya tidak menambah satu baris daripada kategori v_i = verts[i][d], tetapi 1000*v_i = 1000*verts[i][d]. Apakah yang berubah? Dan ini mengubah bentuk ralat kuadratik kami. Sekarang sisihan tunggal dari bahagian atas di tepi tidak akan dikenakan biaya satu unit, seperti sebelumnya, tetapi 1000 * 1000 unit. Iaitu, kami menggantung spring yang lebih kuat pada bucu yang melampau, penyelesaiannya lebih suka meregangkan yang lain dengan lebih kuat. Inilah hasilnya:
Mari kita gandakan kekuatan spring antara bucu:
nlCoefficient(muka[j], 2); nlCoefficient(muka[(j+1)%3], -2);
Adalah logik bahawa permukaan telah menjadi lebih licin:
Dan sekarang bahkan seratus kali lebih kuat:
Apa itu? Bayangkan kita telah mencelupkan cincin dawai ke dalam air sabun. Akibatnya, filem sabun yang terhasil akan cuba mempunyai kelengkungan paling sedikit yang mungkin, menyentuh sempadan yang sama - gelang wayar kami. Inilah yang kami dapat dengan membetulkan sempadan dan meminta permukaan licin di dalamnya. Tahniah, kami baru sahaja menyelesaikan persamaan Laplace dengan syarat sempadan Dirichlet. Kedengaran sejuk? Tetapi sebenarnya, hanya satu sistem persamaan linear untuk diselesaikan.
Persamaan Poisson
Mari kita mempunyai nama lain yang menarik.Katakan saya mempunyai imej seperti ini:
Semua orang baik, tetapi saya tidak suka kerusi itu.
Saya memotong gambar itu separuh: 
Dan saya akan memilih kerusi dengan tangan saya: 
Kemudian saya akan menyeret semua yang berwarna putih dalam topeng ke sebelah kiri gambar, dan pada masa yang sama saya akan mengatakan sepanjang keseluruhan gambar bahawa perbezaan antara dua piksel jiran harus sama dengan perbezaan antara dua piksel jiran bagi imej kanan:
Untuk (int i=0; i Inilah hasilnya: Kod dan gambar tersedia Intipati kaedah kuasa dua terkecil ialah
dalam mencari parameter model trend yang paling menggambarkan trend pembangunan beberapa fenomena rawak dalam masa atau ruang (trend ialah garis yang mencirikan trend perkembangan ini). Tugas kaedah kuasa dua terkecil (OLS) adalah untuk mencari bukan sahaja beberapa model trend, tetapi untuk mencari model terbaik atau optimum. Model ini akan menjadi optimum jika jumlah sisihan kuasa dua antara nilai sebenar yang diperhatikan dan nilai aliran yang dikira sepadan adalah minimum (paling kecil): di manakah sisihan piawai antara nilai sebenar yang diperhatikan dan nilai aliran yang dikira sepadan, Nilai sebenar (diperhatikan) fenomena yang dikaji, Anggaran nilai model aliran, Bilangan pemerhatian terhadap fenomena yang dikaji. MNC jarang digunakan sendiri. Sebagai peraturan, selalunya ia digunakan hanya sebagai teknik yang diperlukan dalam kajian korelasi.
Perlu diingat bahawa asas maklumat LSM hanya boleh menjadi siri statistik yang boleh dipercayai, dan bilangan pemerhatian tidak boleh kurang daripada 4, jika tidak, prosedur pelicinan LSM mungkin hilang akal. Kit alat OLS dikurangkan kepada prosedur berikut: Prosedur pertama.
Ternyata sama ada terdapat sebarang kecenderungan sama sekali untuk menukar atribut terhasil apabila faktor-argumen yang dipilih berubah, atau dengan kata lain, sama ada terdapat hubungan antara " di
"dan" X
». Prosedur kedua.
Ia ditentukan garisan (trajektori) yang paling sesuai untuk menggambarkan atau mencirikan aliran ini. Prosedur ketiga.
Contoh. Katakan kita mempunyai maklumat tentang purata hasil bunga matahari untuk ladang yang dikaji (Jadual 9.1). Jadual 9.1 Nombor pemerhatian Produktiviti, c/ha Oleh kerana tahap teknologi dalam pengeluaran bunga matahari di negara kita tidak banyak berubah sejak 10 tahun yang lalu, ini bermakna, kemungkinan besar, turun naik hasil dalam tempoh yang dianalisis sangat bergantung kepada turun naik dalam keadaan cuaca dan iklim. Betulkah? Prosedur MNC pertama.
Hipotesis tentang kewujudan trend perubahan dalam hasil bunga matahari bergantung kepada perubahan cuaca dan keadaan iklim dalam tempoh 10 tahun yang dianalisis sedang diuji. Dalam contoh ini, untuk " y
» adalah dinasihatkan untuk mengambil hasil bunga matahari, dan untuk « x
» ialah bilangan tahun yang diperhatikan dalam tempoh yang dianalisis. Menguji hipotesis tentang kewujudan sebarang hubungan antara " x
"dan" y
» boleh dilakukan dengan dua cara: secara manual dan dengan bantuan program komputer. Sudah tentu, dengan adanya teknologi komputer, masalah ini dapat diselesaikan dengan sendirinya. Tetapi, untuk lebih memahami kit alat OLS, adalah dinasihatkan untuk menguji hipotesis tentang kewujudan hubungan antara " x
"dan" y
» secara manual, apabila hanya pen dan kalkulator biasa berada di tangan. Dalam kes sedemikian, hipotesis kewujudan arah aliran sebaiknya diperiksa secara visual oleh lokasi imej grafik siri masa yang dianalisis - medan korelasi: Medan korelasi dalam contoh kami terletak di sekitar garis yang semakin meningkat secara perlahan. Ini dengan sendirinya menunjukkan wujudnya trend tertentu dalam perubahan hasil bunga matahari. Adalah mustahil untuk bercakap tentang kehadiran mana-mana arah aliran hanya apabila medan korelasi kelihatan seperti bulatan, bulatan, awan menegak atau mendatar ketat, atau terdiri daripada titik bertaburan secara rawak. Dalam semua kes lain, adalah perlu untuk mengesahkan hipotesis kewujudan hubungan antara " x
"dan" y
dan meneruskan penyelidikan. Prosedur MNC kedua.
Ia ditentukan garisan (trajektori) yang paling sesuai untuk menggambarkan atau mencirikan arah aliran dalam perubahan hasil bunga matahari untuk tempoh yang dianalisis. Dengan adanya teknologi komputer, pemilihan trend optimum berlaku secara automatik. Dengan pemprosesan "manual", pilihan fungsi optimum dijalankan, sebagai peraturan, dengan cara visual - dengan lokasi medan korelasi. Iaitu, mengikut jenis carta, persamaan garis dipilih, yang paling sesuai dengan aliran empirikal (ke trajektori sebenar). Seperti yang anda ketahui, secara semula jadi terdapat pelbagai jenis kebergantungan berfungsi, jadi sangat sukar untuk menganalisis secara visual walaupun sebahagian kecil daripadanya. Nasib baik, dalam amalan ekonomi sebenar, kebanyakan perhubungan boleh digambarkan dengan tepat sama ada dengan parabola, atau hiperbola, atau garis lurus. Dalam hal ini, dengan pilihan "manual" untuk memilih fungsi terbaik, anda boleh mengehadkan diri anda kepada tiga model ini sahaja. Hiperbola: Parabola tertib kedua: Adalah mudah untuk melihat bahawa dalam contoh kami, trend dalam perubahan hasil bunga matahari selama 10 tahun yang dianalisis adalah yang terbaik dicirikan oleh garis lurus, jadi persamaan regresi akan menjadi persamaan garis lurus. Prosedur ketiga.
Parameter persamaan regresi yang mencirikan garis ini dikira, atau dengan kata lain, formula analitik ditentukan yang menerangkan model aliran terbaik. Mencari nilai parameter persamaan regresi, dalam kes kami, parameter dan , adalah teras LSM. Proses ini dikurangkan kepada menyelesaikan sistem persamaan normal. Sistem persamaan ini agak mudah diselesaikan dengan kaedah Gauss. Ingat bahawa sebagai hasil daripada penyelesaian, dalam contoh kami, nilai parameter dan dijumpai. Oleh itu, persamaan regresi yang ditemui akan mempunyai bentuk berikut: Kaedah kuasa dua terkecil Dalam pelajaran terakhir topik, kita akan berkenalan dengan aplikasi yang paling terkenal FNP, yang menemui aplikasi terluas dalam pelbagai bidang sains dan amalan. Ia boleh menjadi fizik, kimia, biologi, ekonomi, sosiologi, psikologi dan sebagainya. Dengan kehendak takdir, saya sering terpaksa berurusan dengan ekonomi, dan oleh itu hari ini saya akan mengaturkan untuk anda tiket ke negara yang menakjubkan yang dipanggil Ekonometrik=) … Bagaimana anda tidak mahu itu?! Ia sangat bagus di sana - anda hanya perlu membuat keputusan! …Tetapi apa yang anda pasti mahu ialah belajar bagaimana untuk menyelesaikan masalah petak terkecil. Dan terutamanya pembaca yang rajin akan belajar untuk menyelesaikannya bukan sahaja dengan tepat, tetapi juga SANGAT PANTAS ;-) Tetapi pertama-tama pernyataan umum masalah+ contoh berkaitan: Biarkan penunjuk dikaji dalam beberapa bidang subjek yang mempunyai ungkapan kuantitatif. Pada masa yang sama, terdapat setiap sebab untuk mempercayai bahawa penunjuk bergantung pada penunjuk. Andaian ini boleh menjadi hipotesis saintifik dan berdasarkan akal sehat asas. Walau bagaimanapun, mari kita tinggalkan sains dan terokai lebih banyak kawasan yang menyelerakan - iaitu, kedai runcit. Nyatakan dengan: – ruang runcit kedai runcit, persegi, Adalah jelas bahawa semakin besar kawasan kedai, semakin besar perolehannya dalam kebanyakan kes. Katakan bahawa selepas menjalankan pemerhatian / eksperimen / pengiraan / menari dengan rebana, kami mempunyai data berangka yang boleh kami gunakan: Data jadual juga boleh ditulis dalam bentuk titik dan digambarkan dengan cara biasa bagi kita. Sistem kartesian . Mari jawab soalan penting: berapakah mata yang diperlukan untuk kajian kualitatif? Lebih besar lebih bagus. Set minimum yang boleh diterima terdiri daripada 5-6 mata. Di samping itu, dengan jumlah data yang kecil, keputusan "tidak normal" tidak boleh dimasukkan dalam sampel. Jadi, sebagai contoh, kedai elit kecil boleh membantu pesanan besar lebih daripada "rakan sekerja mereka", dengan itu memutarbelitkan corak umum yang perlu ditemui! Jika ia agak mudah, kita perlu memilih fungsi , jadual yang melepasi sedekat mungkin dengan mata Oleh itu, fungsi yang dikehendaki mestilah cukup mudah dan pada masa yang sama mencerminkan pergantungan dengan secukupnya. Seperti yang anda mungkin rasa, salah satu kaedah untuk mencari fungsi sedemikian dipanggil petak terkecil. Pertama, mari kita menganalisis intipatinya secara umum. Biarkan beberapa fungsi menghampiri data percubaan: Menghampirkan titik eksperimen dengan fungsi yang berbeza, kita akan mendapat nilai yang berbeza, dan jelas di mana jumlah ini kurang - fungsi itu lebih tepat. Kaedah sedemikian wujud dan dipanggil kaedah modulus terkecil. Walau bagaimanapun, dalam amalan ia telah menjadi lebih meluas. kaedah kuasa dua terkecil, di mana kemungkinan nilai negatif dihapuskan bukan oleh modulus, tetapi dengan mengkuadratkan sisihan: Dan sekarang kita kembali ke satu lagi perkara penting: seperti yang dinyatakan di atas, fungsi yang dipilih sepatutnya agak mudah - tetapi terdapat juga banyak fungsi sedemikian: linear
,
hiperbola
,
eksponen
,
logaritma
,
kuadratik
dan lain-lain. Dan, sudah tentu, di sini saya ingin segera "mengurangkan bidang aktiviti." Apakah kelas fungsi untuk dipilih untuk penyelidikan? Teknik primitif tetapi berkesan: - Cara paling mudah untuk menarik mata Jika titik terletak, sebagai contoh, sepanjang hiperbola, maka jelaslah bahawa fungsi linear akan memberikan penghampiran yang lemah. Dalam kes ini, kami sedang mencari pekali yang paling "menguntungkan" untuk persamaan hiperbola Sekarang perhatikan bahawa dalam kedua-dua kes yang kita bincangkan fungsi dua pembolehubah, yang hujahnya pilihan pergantungan yang dicari: Dan pada dasarnya, kita perlu menyelesaikan masalah standard - untuk mencari minimum fungsi dua pembolehubah. Ingat contoh kami: katakan bahawa titik "kedai" cenderung terletak dalam garis lurus dan ada sebab untuk mempercayai kehadiran pergantungan linear perolehan dari kawasan perdagangan. Mari kita cari pekali SEPERTI "a" dan "be" supaya jumlah sisihan kuasa dua Jika anda ingin menggunakan maklumat ini untuk esei atau kertas penggal, saya akan sangat berterima kasih atas pautan dalam senarai sumber, anda tidak akan menemui pengiraan terperinci sedemikian di mana-mana: Mari kita buat sistem standard: Kami mengurangkan setiap persamaan dengan "dua" dan, sebagai tambahan, "memecahkan" jumlah: Nota
: menganalisis secara bebas mengapa "a" dan "be" boleh dikeluarkan daripada ikon jumlah. By the way, secara rasmi ini boleh dilakukan dengan jumlah Mari kita tulis semula sistem dalam bentuk "digunakan": Adakah kita tahu koordinat titik-titik tersebut? Kami tahu. Jumlah Fungsi Masalah yang sedang dipertimbangkan adalah sangat penting. Dalam situasi dengan contoh kita, persamaan Saya akan menganalisis hanya satu masalah dengan nombor "sebenar", kerana tidak ada kesulitan di dalamnya - semua pengiraan berada pada tahap kurikulum sekolah di gred 7-8. Dalam 95 peratus kes, anda akan diminta untuk mencari hanya fungsi linear, tetapi pada penghujung artikel saya akan menunjukkan bahawa tidak lebih sukar untuk mencari persamaan untuk hiperbola, eksponen, dan beberapa fungsi yang optimum. Malah, ia kekal untuk mengedarkan barang yang dijanjikan - supaya anda belajar cara menyelesaikan contoh sedemikian bukan sahaja dengan tepat, tetapi juga dengan cepat. Kami dengan teliti mengkaji standard: Satu tugas Hasil daripada mengkaji hubungan antara dua penunjuk, pasangan nombor berikut diperolehi: Ambil perhatian bahawa nilai "x" adalah nilai semula jadi, dan ini mempunyai ciri makna yang bermakna, yang akan saya bincangkan kemudian; tetapi mereka, sudah tentu, boleh menjadi pecahan. Di samping itu, bergantung pada kandungan tugas tertentu, kedua-dua nilai "X" dan "G" boleh menjadi negatif sepenuhnya atau sebahagiannya. Nah, kami telah diberi tugas "tidak berwajah", dan kami memulakannya keputusan: Kami mencari pekali fungsi optimum sebagai penyelesaian kepada sistem: Untuk tujuan tatatanda yang lebih padat, pembolehubah "pembilang" boleh diabaikan, kerana sudah jelas bahawa penjumlahan dijalankan dari 1 hingga . Adalah lebih mudah untuk mengira jumlah yang diperlukan dalam bentuk jadual: Oleh itu, kami mendapat yang berikut sistem: Di sini anda boleh mendarabkan persamaan kedua dengan 3 dan tolak sebutan ke-2 daripada sebutan persamaan pertama dengan sebutan. Tetapi ini adalah nasib - dalam amalan, sistem sering tidak berbakat, dan dalam kes sedemikian ia menjimatkan kaedah Cramer: Jom buat pemeriksaan. Saya faham bahawa saya tidak mahu, tetapi mengapa melangkau kesilapan yang anda benar-benar tidak boleh merinduinya? Gantikan penyelesaian yang ditemui ke sebelah kiri setiap persamaan sistem: Oleh itu, fungsi anggaran yang dikehendaki: – daripada semua fungsi linear data eksperimen adalah yang terbaik dianggarkan olehnya. Tidak seperti lurus
pergantungan pusing ganti kedai pada kawasannya, pergantungan yang didapati ialah terbalik
(prinsip "lebih banyak - lebih sedikit"), dan fakta ini segera didedahkan oleh yang negatif pekali sudut. Fungsi Untuk merancang fungsi penghampiran, kita dapati dua daripada nilainya: dan laksanakan lukisan: Kira jumlah sisihan kuasa dua Mari kita ringkaskan pengiraan dalam jadual: Mari ulangi: apakah maksud hasilnya? daripada semua fungsi linear fungsi Mari cari jumlah sisihan kuasa dua yang sepadan - untuk membezakannya, saya akan menetapkannya dengan huruf "epsilon". Tekniknya betul-betul sama: Pengeluaran: , jadi fungsi eksponen menghampiri titik eksperimen lebih teruk daripada garis lurus Tetapi perlu diperhatikan di sini bahawa "lebih teruk" adalah belum bermakna lagi, apa salahnya. Sekarang saya membina graf fungsi eksponen ini - dan ia juga melepasi hampir dengan mata Ini melengkapkan penyelesaian, dan saya kembali kepada persoalan nilai semula jadi hujah. Dalam pelbagai kajian, sebagai peraturan, ekonomi atau sosiologi, bulan, tahun atau selang masa yang sama lain dinomborkan dengan "X" semula jadi. Pertimbangkan, sebagai contoh, masalah berikut: Kami mempunyai data berikut tentang perolehan runcit kedai untuk separuh pertama tahun ini: Ya, tiada masalah: kami menomborkan bulan 1, 2, 3, 4, 5, 6 dan menggunakan algoritma biasa, akibatnya kami mendapat persamaan - satu-satunya perkara apabila tiba masanya biasanya huruf "te " (walaupun tidak kritikal). Persamaan yang terhasil menunjukkan bahawa pada separuh pertama tahun, perolehan meningkat secara purata sebanyak CU 27.74. sebulan. Dapatkan ramalan untuk bulan Julai (bulan #7): e.u. Dan tugas yang serupa - kegelapan adalah gelap. Kepada yang berhajat boleh menggunakan perkhidmatan tambahan iaitu my Kalkulator Excel (versi demo), yang menyelesaikan masalah hampir serta-merta! Versi kerja program ini tersedia sebagai pertukaran atau untuk pembayaran simbolik. Pada akhir pelajaran, maklumat ringkas tentang mencari kebergantungan beberapa jenis lain. Sebenarnya, tiada apa yang istimewa untuk diberitahu, kerana pendekatan asas dan algoritma penyelesaian tetap sama. Mari kita andaikan bahawa lokasi titik eksperimen menyerupai hiperbola. Kemudian, untuk mencari pekali hiperbola terbaik, anda perlu mencari minimum fungsi - mereka yang mahu boleh melakukan pengiraan terperinci dan datang ke sistem yang serupa: Dari sudut teknikal formal, ia diperoleh daripada sistem "linear". Jika terdapat setiap sebab untuk mempercayai bahawa mata Apabila mengira dalam Excel, gunakan fungsi tersebut LN. Saya mengaku bahawa tidak sukar bagi saya untuk mencipta kalkulator untuk setiap kes yang sedang dipertimbangkan, tetapi ia akan menjadi lebih baik jika anda "memprogram" pengiraan sendiri. Tutorial video untuk membantu. Dengan pergantungan eksponen, keadaannya sedikit lebih rumit. Untuk mengurangkan perkara kepada kes linear, kami mengambil logaritma fungsi dan penggunaan sifat logaritma: Sekarang, membandingkan fungsi yang diperolehi dengan fungsi linear , kita sampai pada kesimpulan bahawa dalam sistem (*) mesti digantikan dengan , dan - oleh . Untuk kemudahan, kami menyatakan: Sila ambil perhatian bahawa sistem diselesaikan berkenaan dengan dan , dan oleh itu, selepas mencari punca, anda tidak boleh lupa untuk mencari pekali itu sendiri. Untuk menganggarkan titik eksperimen Ya, sudah tentu, terdapat lebih banyak jumlah di sini, tetapi tidak ada kesulitan sama sekali apabila menggunakan aplikasi kegemaran anda. Dan akhirnya, saya akan memberitahu anda cara menyemak dengan cepat menggunakan Excel dan membina garis arah aliran yang diingini: buat carta serakan, pilih mana-mana titik dengan tetikus Seperti biasa, saya ingin mengakhiri artikel dengan beberapa frasa yang indah, dan saya hampir menaip "Jadilah dalam trend!". Tetapi lama-kelamaan dia berubah fikiran. Dan bukan kerana ia formula. Saya tidak tahu bagaimana sesiapa, tetapi saya tidak mahu mengikuti trend Amerika dan terutamanya Eropah yang dipromosikan sama sekali =) Oleh itu, saya berharap setiap daripada anda berpegang pada barisan anda sendiri! http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html Kaedah kuasa dua terkecil adalah salah satu kaedah yang paling biasa dan paling maju kerana ia kesederhanaan dan kecekapan kaedah untuk menganggar parameter model ekonometrik linear. Pada masa yang sama, berhati-hati tertentu harus diperhatikan apabila menggunakannya, kerana model yang dibina menggunakannya mungkin tidak memenuhi beberapa keperluan untuk kualiti parameter mereka dan, akibatnya, tidak "baik" mencerminkan corak pembangunan proses. Mari kita pertimbangkan prosedur untuk menganggar parameter model ekonometrik linear menggunakan kaedah kuasa dua terkecil dengan lebih terperinci. Model sedemikian dalam bentuk umum boleh diwakili oleh persamaan (1.2): y t = a 0 + a 1 x 1t +...+ a n x nt + ε t . Data awal apabila menganggar parameter a 0 , a 1 ,..., a n ialah vektor nilai pembolehubah bersandar y= (y 1 , y 2 , ... , y T)" dan matriks nilai pembolehubah bebas di mana lajur pertama, yang terdiri daripada satu, sepadan dengan pekali model . Kaedah kuasa dua terkecil mendapat namanya berdasarkan prinsip asas bahawa anggaran parameter yang diperoleh berdasarkannya harus memenuhi: jumlah kuasa dua ralat model hendaklah minimum. Contoh penyelesaian masalah dengan kaedah kuasa dua terkecil Contoh 2.1. Perusahaan perdagangan mempunyai rangkaian yang terdiri daripada 12 kedai, maklumat mengenai aktiviti yang dibentangkan dalam Jadual. 2.1. Pihak pengurusan syarikat ingin mengetahui bagaimana saiz perolehan tahunan bergantung kepada ruang runcit kedai. Jadual 2.1 Penyelesaian kuasa dua terkecil. Mari kita tentukan - perolehan tahunan kedai ke-, juta rubel; - kawasan jualan kedai ke-, ribu m 2. Rajah.2.1. Scatterplot untuk Contoh 2.1 Untuk menentukan bentuk hubungan fungsi antara pembolehubah dan membina plot serakan (Rajah 2.1). Berdasarkan rajah serakan, kita boleh membuat kesimpulan bahawa perolehan tahunan adalah bergantung secara positif pada kawasan jualan (iaitu, y akan meningkat dengan pertumbuhan ). Bentuk sambungan berfungsi yang paling sesuai ialah linear. Maklumat untuk pengiraan selanjutnya dibentangkan dalam Jadual. 2.2. Menggunakan kaedah kuasa dua terkecil, kami menganggarkan parameter model ekonometrik satu faktor linear Jadual 2.2 Oleh itu, Oleh itu, dengan peningkatan dalam kawasan perdagangan sebanyak 1 ribu m 2, perkara lain adalah sama, purata perolehan tahunan meningkat sebanyak 67.8871 juta rubel. Contoh 2.2. Pengurusan perusahaan menyedari bahawa perolehan tahunan bergantung bukan sahaja pada kawasan jualan kedai (lihat contoh 2.1), tetapi juga pada purata bilangan pelawat. Maklumat berkaitan dibentangkan dalam jadual. 2.3. Jadual 2.3 Keputusan. Nyatakan - purata bilangan pelawat ke kedai ke setiap hari, ribuan orang. Untuk menentukan bentuk hubungan fungsi antara pembolehubah dan membina plot serakan (Rajah 2.2). Berdasarkan rajah taburan, kita boleh membuat kesimpulan bahawa perolehan tahunan adalah berkaitan secara positif dengan purata bilangan pelawat setiap hari (iaitu, y akan meningkat dengan pertumbuhan ). Bentuk pergantungan fungsi adalah linear. nasi. 2.2. Scatterplot contohnya 2.2 Jadual 2.4 Secara umum, adalah perlu untuk menentukan parameter model ekonometrik dua faktor y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t Maklumat yang diperlukan untuk pengiraan selanjutnya dibentangkan dalam Jadual. 2.4. Mari kita anggarkan parameter model ekonometrik dua faktor linear menggunakan kaedah kuasa dua terkecil. Oleh itu, Penilaian pekali = 61.6583 menunjukkan bahawa, perkara lain yang sama, dengan peningkatan dalam kawasan perdagangan sebanyak 1 ribu m 2, perolehan tahunan akan meningkat dengan purata 61.6583 juta rubel. Anggaran pekali = 2.2748 menunjukkan bahawa, perkara lain adalah sama, dengan peningkatan dalam purata bilangan pelawat bagi setiap 1 ribu orang. setiap hari, perolehan tahunan akan meningkat sebanyak purata 2.2748 juta rubel. Contoh 2.3. Menggunakan maklumat yang dibentangkan dalam jadual. 2.2 dan 2.4, anggarkan parameter model ekonometrik faktor tunggal di manakah nilai berpusat perolehan tahunan kedai ke-, juta rubel; - nilai berpusat purata bilangan pelawat harian ke kedai ke-t, ribu orang. (lihat contoh 2.1-2.2). Keputusan. Maklumat tambahan yang diperlukan untuk pengiraan dibentangkan dalam Jadual. 2.5. Jadual 2.5 Menggunakan formula (2.35), kita memperoleh Oleh itu, http://www.cleverstudents.ru/articles/mnk.html Contoh. Data eksperimen tentang nilai pembolehubah X dan di diberikan dalam jadual. Hasil daripada penjajaran mereka, fungsi menggunakan kaedah kuasa dua terkecil, anggaran data ini dengan pergantungan linear y=ax+b(cari pilihan a dan b). Ketahui yang mana antara dua baris yang lebih baik (dalam erti kata kaedah kuasa dua terkecil) menjajarkan data eksperimen. Buat lukisan. Keputusan. Dalam contoh kita n=5. Kami mengisi jadual untuk kemudahan mengira jumlah yang termasuk dalam formula pekali yang diperlukan. Nilai dalam baris keempat jadual diperoleh dengan mendarabkan nilai baris ke-2 dengan nilai baris ke-3 untuk setiap nombor i. Nilai dalam baris kelima jadual diperoleh dengan mengkuadratkan nilai baris ke-2 untuk setiap nombor i. Nilai lajur terakhir jadual ialah jumlah nilai merentas baris. Kami menggunakan formula kaedah kuasa dua terkecil untuk mencari pekali a dan b. Kami menggantikannya dengan nilai yang sepadan dari lajur terakhir jadual: Akibatnya, y=0.165x+2.184 ialah garis lurus penghampiran yang dikehendaki. Ia kekal untuk mengetahui yang mana satu baris y=0.165x+2.184 atau Bukti. Supaya apabila ditemui a dan b fungsi mengambil nilai terkecil, adalah perlu bahawa pada ketika ini matriks bentuk kuadratik pembezaan tertib kedua untuk fungsi Pembezaan urutan kedua mempunyai bentuk: Itu dia Oleh itu, matriks bentuk kuadratik mempunyai bentuk Mari kita tunjukkan bahawa matriks adalah pasti positif. Ini memerlukan sudut minor menjadi positif. Sudut minor daripada susunan pertama Jika beberapa kuantiti fizik bergantung kepada kuantiti lain, maka pergantungan ini boleh disiasat dengan mengukur y pada nilai x yang berbeza. Hasil daripada pengukuran, satu siri nilai diperoleh: x 1 , x 2 , ..., x i , ... , x n ; y 1 , y 2 , ..., y i , ... , y n . Berdasarkan data eksperimen sedemikian, adalah mungkin untuk memplot kebergantungan y = ƒ(x). Lengkung yang terhasil memungkinkan untuk menilai bentuk fungsi ƒ(x). Walau bagaimanapun, pekali malar yang memasuki fungsi ini masih tidak diketahui. Mereka boleh ditentukan menggunakan kaedah kuasa dua terkecil. Titik eksperimen, sebagai peraturan, tidak terletak tepat pada lengkung. Kaedah kuasa dua terkecil memerlukan jumlah sisihan kuasa dua titik eksperimen daripada lengkung, i.e. 2 adalah yang terkecil. Dalam amalan, kaedah ini paling kerap (dan paling mudah) digunakan dalam kes hubungan linear, i.e. bila y=kx atau y = a + bx. Kebergantungan linear sangat meluas dalam fizik. Dan walaupun pergantungan itu bukan linear, mereka biasanya cuba membina graf sedemikian rupa untuk mendapatkan garis lurus. Sebagai contoh, jika diandaikan bahawa indeks biasan kaca n berkaitan dengan panjang gelombang λ gelombang cahaya dengan hubungan n = a + b/λ 2 , maka pergantungan n pada λ -2 diplotkan pada graf . Pertimbangkan pergantungan y=kx(garis lurus yang melalui asal). Mari kita susun nilai φ jumlah sisihan kuasa dua titik kita dari garis lurus Nilai φ sentiasa positif dan ternyata semakin kecil, semakin dekat titik kita dengan garis lurus. Kaedah kuasa dua terkecil menyatakan bahawa untuk k seseorang harus memilih nilai sedemikian di mana φ mempunyai minimum Pengiraan menunjukkan bahawa ralat punca-min-kuasa dua dalam menentukan nilai k adalah sama dengan Sekarang mari kita pertimbangkan kes yang agak sukar, apabila mata mesti memenuhi formula y = a + bx(garis lurus tidak melalui asal). Tugasnya adalah untuk mencari nilai terbaik a dan b daripada set nilai x i, y i yang diberikan. Sekali lagi kita menyusun bentuk kuadratik φ sama dengan jumlah sisihan kuasa dua titik x i , y i dari garis lurus dan cari nilai a dan b yang mana φ mempunyai minimum Penyelesaian bersama persamaan ini memberi Ralat punca-min-kuasa dua bagi menentukan a dan b adalah sama Apabila memproses keputusan pengukuran dengan kaedah ini, adalah mudah untuk meringkaskan semua data dalam jadual di mana semua jumlah yang termasuk dalam formula (19)(24) dikira awal. Bentuk jadual ini ditunjukkan dalam contoh di bawah. Contoh 1 Persamaan asas dinamik gerakan putaran ε = M/J (garis lurus yang melalui asalan) telah dikaji. Untuk pelbagai nilai momen M, pecutan sudut ε badan tertentu telah diukur. Ia diperlukan untuk menentukan momen inersia badan ini. Keputusan pengukuran momen daya dan pecutan sudut disenaraikan dalam lajur kedua dan ketiga jadual 5. Dengan formula (19) kita tentukan: Untuk menentukan ralat punca-min-kuasa dua, kami menggunakan formula (20) 0.005775kg-satu · m -2 . Dengan formula (18) kita ada SJ = (2.996 0.005775)/0.3337 = 0.05185 kg m 2. Memandangkan kebolehpercayaan P = 0.95 , mengikut jadual pekali Pelajar untuk n = 5, kita dapati t = 2.78 dan tentukan ralat mutlak ΔJ = 2.78 0.05185 = 0.1441 ≈ 0.2 kg m 2. Kami menulis keputusan dalam borang: J = (3.0 ± 0.2) kg m 2; Contoh 2 Kami mengira pekali suhu rintangan logam menggunakan kaedah kuasa dua terkecil. Rintangan bergantung pada suhu mengikut undang-undang linear R t \u003d R 0 (1 + α t °) \u003d R 0 + R 0 α t °. Istilah bebas menentukan rintangan R 0 pada suhu 0 ° C, dan pekali sudut ialah hasil darab pekali suhu α dan rintangan R 0 . Keputusan pengukuran dan pengiraan diberikan dalam jadual ( lihat jadual 6). Dengan formula (21), (22) kita tentukan R 0 = ¯ R- α R 0 ¯ t = 1.4005 - 0.002645 85.83333 = 1.1735 Ohm. Mari kita cari ralat dalam takrifan α. Oleh kerana , maka dengan formula (18) kita ada: Menggunakan formula (23), (24) kita ada 0.014126 Ohm. Memandangkan kebolehpercayaan P = 0.95, mengikut jadual pekali Pelajar untuk n = 6, kita dapati t = 2.57 dan tentukan ralat mutlak Δα = 2.57 0.000132 = 0.000338 darjah -1. α = (23 ± 4) 10 -4 hujan batu-1 pada P = 0.95. Contoh 3 Ia diperlukan untuk menentukan jejari kelengkungan kanta daripada cincin Newton. Jejari gelang Newton r m diukur dan bilangan gelang m ini ditentukan. Jejari gelang Newton berkaitan dengan jejari kelengkungan kanta R dan nombor gelang mengikut persamaan. r 2 m = mλR - 2d 0 R, di mana d 0 ketebalan jurang antara kanta dan plat selari satah (atau ubah bentuk kanta), λ ialah panjang gelombang cahaya tuju. λ = (600 ± 6) nm; maka persamaan akan mengambil bentuk y = a + bx. Hasil pengukuran dan pengiraan dimasukkan jadual 7.
:
(9.2)
- perolehan tahunan kedai runcit, juta rubel.
Dengan kedai runcit, saya fikir semuanya jelas: - ini adalah kawasan kedai pertama, - perolehan tahunannya, - kawasan kedai ke-2, - perolehan tahunannya, dsb. Dengan cara ini, sama sekali tidak perlu untuk mempunyai akses kepada bahan terperingkat - penilaian yang agak tepat mengenai perolehan boleh diperolehi menggunakan statistik matematik. Namun, jangan terganggu, kursus pengintipan komersial sudah dibayar =)
. Fungsi sedemikian dipanggil menghampiri
(hampiran - anggaran) atau fungsi teori
. Secara umumnya, di sini serta-merta muncul "berpura-pura" yang jelas - polinomial darjah tinggi, yang grafnya melalui SEMUA titik. Tetapi pilihan ini adalah rumit, dan selalunya tidak betul. (kerana carta akan "berputar" sepanjang masa dan tidak mencerminkan arah aliran utama).
Bagaimana untuk menilai ketepatan anggaran ini? Mari kita juga mengira perbezaan (penyimpangan) antara nilai eksperimen dan fungsi (kami mengkaji lukisan itu). Pemikiran pertama yang terlintas di fikiran adalah untuk menganggarkan berapa besar jumlahnya, tetapi masalahnya ialah perbezaannya boleh menjadi negatif. (cth, 
)
dan penyelewengan akibat penjumlahan tersebut akan membatalkan satu sama lain. Oleh itu, sebagai anggaran ketepatan anggaran, ia mencadangkan dirinya untuk mengambil jumlahnya modul penyelewengan:
atau dalam bentuk terlipat: (bagi yang tak tahu:
ialah ikon jumlah, dan
- pembolehubah tambahan - "counter", yang mengambil nilai dari 1 hingga
)
.
, selepas itu usaha ditujukan kepada pemilihan fungsi sedemikian sehingga jumlah sisihan kuasa dua 
adalah sekecil mungkin. Sebenarnya, maka nama kaedah itu.pada lukisan dan menganalisis lokasi mereka. Jika mereka cenderung berada dalam garis lurus, maka anda harus mencari persamaan garis lurus 
dengan nilai optimum dan . Dalam erti kata lain, tugasnya adalah untuk mencari pekali SEPERTI - supaya jumlah sisihan kuasa dua adalah yang terkecil.
- yang memberikan jumlah minimum kuasa dua 
.
adalah yang terkecil. Semuanya seperti biasa - pertama terbitan separa tertib pertama. mengikut peraturan lineariti anda boleh membezakan betul-betul di bawah ikon jumlah: 
selepas itu algoritma untuk menyelesaikan masalah kami mula dilukis:
boleh kita cari? Mudah. Kami mengarang yang paling mudah sistem dua persamaan linear dengan dua tidak diketahui("a" dan "beh"). Kami menyelesaikan sistem, sebagai contoh, kaedah Cramer, menghasilkan titik pegun . Menyemak keadaan yang mencukupi untuk ekstrem, kita boleh mengesahkan bahawa pada ketika ini fungsi 
mencapai dengan tepat minimum. Pengesahan dikaitkan dengan pengiraan tambahan dan oleh itu kami akan meninggalkannya di belakang tabir. (jika perlu, bingkai yang hilang boleh dilihatdi sini
)
. Kami membuat kesimpulan akhir:
cara yang paling baik (sekurang-kurangnya berbanding dengan mana-mana fungsi linear lain) membawa mata eksperimen lebih dekat . Secara kasarnya, grafnya melepasi sedekat mungkin ke titik-titik ini. Dalam tradisi ekonometrik fungsi anggaran yang terhasil juga dipanggil persamaan regresi linear berpasangan
.membolehkan anda meramalkan jenis perolehan ("yig") akan berada di kedai dengan satu atau lain nilai kawasan jualan (satu atau satu lagi makna "x"). Ya, ramalan yang dihasilkan hanya akan menjadi ramalan, tetapi dalam banyak kes ia akan menjadi agak tepat.
Menggunakan kaedah kuasa dua terkecil, cari fungsi linear yang paling sesuai dengan empirikal (berpengalaman) data. Buat lukisan yang, dalam sistem koordinat segi empat tepat Cartesan, plot titik eksperimen dan graf fungsi penghampiran 
. Cari jumlah sisihan kuasa dua antara nilai empirikal dan teori. Ketahui sama ada fungsi itu lebih baik (dari segi kaedah kuasa dua terkecil) anggaran titik eksperimen.
Pengiraan boleh dilakukan pada mikrokalkulator, tetapi lebih baik menggunakan Excel - lebih cepat dan tanpa ralat; tonton video pendek:
, jadi sistem mempunyai penyelesaian yang unik.
Bahagian kanan persamaan yang sepadan diperolehi, yang bermaksud bahawa sistem diselesaikan dengan betul.
memberitahu kami bahawa dengan peningkatan dalam penunjuk tertentu sebanyak 1 unit, nilai penunjuk bergantung berkurangan purata sebanyak 0.65 unit. Seperti yang mereka katakan, semakin tinggi harga soba, semakin kurang dijual.
Barisan yang dibina dipanggil garis aliran
(iaitu, garis arah aliran linear, iaitu dalam kes umum, arah aliran tidak semestinya garis lurus). Semua orang sudah biasa dengan ungkapan "menjadi dalam trend", dan saya fikir istilah ini tidak memerlukan ulasan tambahan.
antara nilai empirikal dan teori. Secara geometri, ini ialah hasil tambah kuasa dua panjang segmen "lembayung". (dua daripadanya sangat kecil sehingga anda tidak dapat melihatnya).
Mereka sekali lagi boleh dijalankan secara manual, sekiranya saya akan memberikan contoh untuk perkara pertama: 
tetapi adalah lebih cekap untuk melakukan cara yang telah diketahui:eksponen adalah yang terkecil, iaitu, ia adalah anggaran terbaik dalam keluarganya. Dan di sini, dengan cara itu, soalan akhir masalah itu tidak sengaja: bagaimana jika fungsi eksponen yang dicadangkan 
adakah lebih baik untuk menganggarkan mata percubaan?
Dan sekali lagi untuk setiap pengiraan kebakaran untuk mata pertama: 
Dalam Excel, kami menggunakan fungsi standard EXP (Sintaks boleh didapati dalam Bantuan Excel). .
- sehinggakan tanpa kajian analitik sukar untuk mengatakan fungsi mana yang lebih tepat.
Menggunakan penjajaran analitik garis lurus, cari volum jualan untuk bulan Julai.
(mari tandakan dengan asterisk) menggantikan "x" dengan . Nah, jumlahnya 
hitung, selepas itu kepada pekali optimum "a" dan "be" di tangan.disusun di sepanjang lengkung logaritma, kemudian untuk mencari nilai optimum dan mencari minimum fungsi 
. Secara rasmi, dalam sistem (*) hendaklah digantikan dengan: 
parabola optimum 
, harus dijumpai minimum fungsi tiga pembolehubah 
. Selepas melakukan tindakan standard, kami mendapat "berfungsi" berikut sistem:
dan klik kanan pilih pilihan "Tambah garis aliran". Seterusnya, pilih jenis carta dan pada tab "Parameter" aktifkan pilihan "Tunjukkan persamaan pada carta". okey
Nombor kedai Perolehan tahunan, juta rubel Kawasan perdagangan, ribu m 2
19,76
0,24
38,09
0,31
40,95
0,55
41,08
0,48
56,29
0,78
68,51
0,98
75,01
0,94
89,05
1,21
91,13
1,29
91,26
1,12
99,84
1,29
108,55
1,49
t y t x 1t y t 2 x1t2 x 1t y t
19,76
0,24
390,4576
0,0576
4,7424
38,09
0,31
1450,8481
0,0961
11,8079
40,95
0,55
1676,9025
0,3025
22,5225
41,08
0,48
1687,5664
0,2304
19,7184
56,29
0,78
3168,5641
0,6084
43,9062
68,51
0,98
4693,6201
0,9604
67,1398
75,01
0,94
5626,5001
0,8836
70,5094
89,05
1,21
7929,9025
1,4641
107,7505
91,13
1,29
8304,6769
1,6641
117,5577
91,26
1,12
8328,3876
1,2544
102,2112
99,84
1,29
9968,0256
1,6641
128,7936
108,55
1,49
11783,1025
2,2201
161,7395
S 819,52
10,68
65008,554
11,4058
858,3991
Purata 68,29
0,89
t x 2t x 2t 2 yt x 2t x 1t x 2t
8,25
68,0625
163,02
1,98
10,24
104,8575
390,0416
3,1744
9,31
86,6761
381,2445
5,1205
11,01
121,2201
452,2908
5,2848
8,54
72,9316
480,7166
6,6612
7,51
56,4001
514,5101
7,3598
12,36
152,7696
927,1236
11,6184
10,81
116,8561
962,6305
13,0801
9,89
97,8121
901,2757
12,7581
13,72
188,2384
1252,0872
15,3664
12,27
150,5529
1225,0368
15,8283
13,92
193,7664
1511,016
20,7408
S 127,83
1410,44
9160,9934
118,9728
Purata 10,65
-48,53
-2,40
5,7720
116,6013
-30,20
-0,41
0,1702
12,4589
-27,34
-1,34
1,8023
36,7084
-27,21
0,36
0,1278
-9,7288
-12,00
-2,11
4,4627
25,3570
0,22
-3,14
9,8753
-0,6809
6,72
1,71
2,9156
11,4687
20,76
0,16
0,0348
3,2992
22,84
-0,76
0,5814
-17,413
22,97
3,07
9,4096
70,4503
31,55
1,62
2,6163
51,0267
40,26
3,27
10,6766
131,5387
Jumlah
48,4344
431,0566
lebih baik menghampiri data asal, iaitu untuk membuat anggaran menggunakan kaedah kuasa dua terkecil.
adalah pasti positif. Jom tunjuk.
dan nilai unsur tidak bergantung pada a dan b.
. Ketaksamaan adalah ketat, kerana mata 
atau
(19)
, (20)
di mana n ialah bilangan dimensi.
;
.
(21)
(23)
. (24)Jadual 5
n
M, N m
ε, s-1
M2
M ε
ε - kM
(ε - kM) 2
1
1.44
0.52
2.0736
0.7488
0.039432
0.001555
2
3.12
1.06
9.7344
3.3072
0.018768
0.000352
3
4.59
1.45
21.0681
6.6555
-0.08181
0.006693
4
5.90
1.92
34.81
11.328
-0.049
0.002401
5
7.45
2.56
55.5025
19.072
0.073725
0.005435
∑
123.1886
41.1115
0.016436
.
Jadual 6
n
t°, s
r, Ohm
t-¯ t
(t-¯t) 2
(t-¯t)r
r-bt-a
(r - bt - a) 2,10 -6
1
23
1.242
-62.8333
3948.028
-78.039
0.007673
58.8722
2
59
1.326
-26.8333
720.0278
-35.581
-0.00353
12.4959
3
84
1.386
-1.83333
3.361111
-2.541
-0.00965
93.1506
4
96
1.417
10.16667
103.3611
14.40617
-0.01039
107.898
5
120
1.512
34.16667
1167.361
51.66
0.021141
446.932
6
133
1.520
47.16667
2224.694
71.69333
-0.00524
27.4556
∑
515
8.403
8166.833
21.5985
746.804
∑/n
85.83333
1.4005
.
;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,Jadual 7
n
x = m
y \u003d r 2, 10 -2 mm 2
m-¯m
(m-m) 2
(m-¯ m)y
y-bx-a, 10-4
(y - bx - a) 2, 10 -6
1
1
6.101
-2.5
6.25
-0.152525
12.01
1.44229
2
2
11.834
-1.5
2.25
-0.17751
-9.6
0.930766
3
3
17.808
-0.5
0.25
-0.08904
-7.2
0.519086
4
4
23.814
0.5
0.25
0.11907
-1.6
0.0243955
5
5
29.812
1.5
2.25
0.44718
3.28
0.107646
6
6
35.760
2.5
6.25
0.894
3.12
0.0975819
∑
21
125.129
17.5
1.041175
3.12176
∑/n
3.5
20.8548333
Bagaimana untuk bermula sebagai tutor?
Pembelajaran jarak jauh bahasa Inggeris
Kata kerja bahasa Inggeris biasa dan tidak teratur