Phương pháp bình phương nhỏ nhất trong những từ đơn giản. Hình vuông nhỏ nhất trong Excel

Ví dụ.

Dữ liệu thực nghiệm về giá trị của các biến X và tạiđược đưa ra trong bảng.

Do sự liên kết của chúng, hàm

Sử dụng phương pháp bình phương nhỏ nhất, tính gần đúng những dữ liệu này với sự phụ thuộc tuyến tính y = ax + b(tìm các tùy chọn một và b). Tìm xem dòng nào tốt hơn (theo nghĩa của phương pháp bình phương nhỏ nhất) sắp xếp dữ liệu thực nghiệm. Vẽ tranh.

Bản chất của phương pháp bình phương nhỏ nhất (LSM).

Vấn đề là tìm các hệ số phụ thuộc tuyến tính mà hàm của hai biến một và b nhận giá trị nhỏ nhất. Đó là, với dữ liệu một và b tổng các độ lệch bình phương của dữ liệu thực nghiệm từ đường thẳng tìm được sẽ là nhỏ nhất. Đây là toàn bộ điểm của phương pháp bình phương nhỏ nhất.

Do đó, lời giải của ví dụ được rút gọn thành việc tìm cực trị của một hàm hai biến.

Suy ra công thức tìm hệ số.

Một hệ hai phương trình với hai ẩn số được biên soạn và giải. Tìm đạo hàm riêng của một hàm liên quan đến các biến một và b, chúng tôi đánh đồng các đạo hàm này bằng không.

Chúng tôi giải hệ phương trình kết quả bằng bất kỳ phương pháp nào (ví dụ phương pháp thay thế hoặc) và lấy công thức tìm hệ số bằng phương pháp bình phương nhỏ nhất (LSM).

Với dữ liệu một và b hàm số nhận giá trị nhỏ nhất. Bằng chứng của thực tế này được đưa ra.

Đó là toàn bộ phương pháp bình phương nhỏ nhất. Công thức tìm tham số một chứa tổng, và tham số N- lượng dữ liệu thực nghiệm. Giá trị của các tổng này được khuyến nghị tính riêng. Hệ số b tìm thấy sau khi tính toán một.

Đã đến lúc nhớ lại ví dụ ban đầu.

Quyết định.

Trong ví dụ của chúng tôi n = 5. Chúng tôi điền vào bảng để thuận tiện cho việc tính toán các số tiền có trong công thức của các hệ số cần thiết.

Các giá trị trong hàng thứ tư của bảng nhận được bằng cách nhân các giá trị của hàng thứ 2 với giá trị của hàng thứ 3 cho mỗi số tôi.

Các giá trị trong hàng thứ năm của bảng nhận được bằng cách bình phương các giá trị của hàng thứ 2 cho mỗi số tôi.

Giá trị của cột cuối cùng của bảng là tổng các giá trị trên các hàng.

Chúng tôi sử dụng các công thức của phương pháp bình phương nhỏ nhất để tìm các hệ số một và b. Chúng tôi thay thế chúng bằng các giá trị tương ứng từ cột cuối cùng của bảng:

Vì thế, y = 0,165x + 2,184 là đường thẳng ước lượng mong muốn.

Nó vẫn còn để tìm ra dòng nào trong số các dòng y = 0,165x + 2,184 hoặc gần đúng hơn với dữ liệu ban đầu, tức là để ước tính bằng phương pháp bình phương nhỏ nhất.

Ước lượng sai số của phương pháp bình phương nhỏ nhất.

Để làm điều này, bạn cần tính tổng độ lệch bình phương của dữ liệu ban đầu từ các dòng này và , một giá trị nhỏ hơn tương ứng với một dòng gần đúng hơn với dữ liệu ban đầu theo phương pháp bình phương nhỏ nhất.

Kể từ đó, dòng y = 0,165x + 2,184 gần đúng với dữ liệu gốc tốt hơn.

Hình ảnh minh họa của phương pháp bình phương nhỏ nhất (LSM).

Mọi thứ trông tuyệt vời trên bảng xếp hạng. Dòng màu đỏ là dòng được tìm thấy y = 0,165x + 2,184, đường màu xanh lam là , các chấm màu hồng là dữ liệu gốc.

Nó để làm gì, tất cả những ước tính này để làm gì?

Cá nhân tôi sử dụng để giải quyết các vấn đề làm mịn dữ liệu, các vấn đề nội suy và ngoại suy (trong ví dụ ban đầu, bạn có thể được yêu cầu tìm giá trị của giá trị quan sát y tại x = 3 Hoặc khi nào x = 6 theo phương pháp MNC). Nhưng chúng ta sẽ nói nhiều hơn về vấn đề này sau trong một phần khác của trang web.

Bằng chứng.

Vì vậy, khi tìm thấy một và b hàm số nhận giá trị nhỏ nhất thì lúc này ma trận về dạng vi phân cấp hai đối với hàm số là xác định tích cực. Hãy thể hiện nó.

Chúng tôi làm gần đúng hàm theo một đa thức bậc 2. Để làm điều này, chúng tôi tính toán các hệ số của hệ phương trình thông thường:

, ,

Hãy để chúng tôi tạo ra một hệ thống bình phương nhỏ nhất thông thường, có dạng:

Giải pháp của hệ thống rất dễ tìm:,,.

Do đó, đa thức bậc 2 được tìm thấy:.

Lý thuyết nền

Quay lại trang<Введение в вычислительную математику. Примеры>

Ví dụ 2. Tìm bậc tối ưu của một đa thức.

Quay lại trang<Введение в вычислительную математику. Примеры>

Ví dụ 3. Suy ra một hệ phương trình thông thường để tìm các tham số của một phụ thuộc thực nghiệm.

Hãy để chúng tôi suy ra một hệ thống phương trình để xác định các hệ số và hàm , thực hiện phép xấp xỉ căn bậc hai của hàm đã cho đối với điểm. Soạn một hàm và viết điều kiện cực hạn cần thiết cho nó:

Khi đó hệ thống bình thường sẽ có dạng:

Chúng ta đã thu được một hệ phương trình tuyến tính cho các tham số chưa biết và, hệ phương trình này dễ dàng giải được.

Lý thuyết nền

Quay lại trang<Введение в вычислительную математику. Примеры>

Ví dụ.

Dữ liệu thực nghiệm về giá trị của các biến X và tạiđược đưa ra trong bảng.

Do sự liên kết của chúng, hàm

Bản chất của phương pháp bình phương nhỏ nhất (LSM).

Vấn đề là tìm các hệ số phụ thuộc tuyến tính mà hàm của hai biến một và bnhận giá trị nhỏ nhất. Đó là, với dữ liệu một và b tổng các độ lệch bình phương của dữ liệu thực nghiệm từ đường thẳng tìm được sẽ là nhỏ nhất. Đây là toàn bộ điểm của phương pháp bình phương nhỏ nhất.

Do đó, lời giải của ví dụ được rút gọn thành việc tìm cực trị của một hàm hai biến.

Suy ra công thức tìm hệ số.

Một hệ hai phương trình với hai ẩn số được biên soạn và giải. Tìm đạo hàm riêng của hàm bởi các biến một và b, chúng tôi đánh đồng các đạo hàm này bằng không.

Chúng tôi giải hệ phương trình kết quả bằng bất kỳ phương pháp nào (ví dụ phương pháp thay thế hoặc phương pháp của Cramer) và lấy công thức tìm hệ số bằng phương pháp bình phương nhỏ nhất (LSM).

Với dữ liệu một và b hàm số nhận giá trị nhỏ nhất. Bằng chứng về thực tế này được đưa ra dưới đây trong văn bản ở cuối trang.

Đó là toàn bộ phương pháp bình phương nhỏ nhất. Công thức tìm tham số một chứa tổng, và tham số N là lượng dữ liệu thực nghiệm. Giá trị của các tổng này được khuyến nghị tính riêng.

Hệ số b tìm thấy sau khi tính toán một.

Đã đến lúc nhớ lại ví dụ ban đầu.

Quyết định.

Trong ví dụ của chúng tôi n = 5. Chúng tôi điền vào bảng để thuận tiện cho việc tính toán các số tiền có trong công thức của các hệ số cần thiết.

Các giá trị trong hàng thứ tư của bảng nhận được bằng cách nhân các giá trị của hàng thứ 2 với giá trị của hàng thứ 3 cho mỗi số tôi.

Các giá trị trong hàng thứ năm của bảng nhận được bằng cách bình phương các giá trị của hàng thứ 2 cho mỗi số tôi.

Giá trị của cột cuối cùng của bảng là tổng các giá trị trên các hàng.

Vì thế, y = 0,165x + 2,184 là đường thẳng ước lượng mong muốn.

Ước lượng sai số của phương pháp bình phương nhỏ nhất.

Kể từ đó, dòng y = 0,165x + 2,184 gần đúng với dữ liệu gốc tốt hơn.

Hình ảnh minh họa của phương pháp bình phương nhỏ nhất (LSM).

Nó để làm gì, tất cả những ước tính này để làm gì?

Đầu trang

Bằng chứng.

Vi phân bậc hai có dạng:

I E

Do đó, ma trận của bậc hai có dạng

và giá trị của các phần tử không phụ thuộc vào một và b.

Hãy để chúng tôi chứng minh rằng ma trận là xác định dương. Điều này đòi hỏi các trẻ nhỏ ở góc độ phải tích cực.

Góc nhỏ của đơn hàng đầu tiên . Sự bất bình đẳng là nghiêm ngặt, vì các điểm không trùng nhau. Điều này sẽ được ngụ ý trong những gì sau đây.

Góc nhỏ của bậc thứ hai

Hãy chứng minh rằng phương pháp quy nạp toán học.

Sự kết luận: giá trị tìm thấy một và b tương ứng với giá trị nhỏ nhất của hàm , do đó, là các tham số mong muốn cho phương pháp bình phương nhỏ nhất.

Bao giờ hiểu?
Đặt hàng một giải pháp

Đầu trang

Xây dựng dự báo bằng phương pháp bình phương nhỏ nhất. Ví dụ về giải pháp vấn đề

Ngoại suy - Đây là một phương pháp nghiên cứu khoa học, dựa trên việc phổ biến các xu hướng, hình thái, mối quan hệ trong quá khứ và hiện tại đối với sự phát triển trong tương lai của đối tượng dự báo. Các phương pháp ngoại suy bao gồm phương pháp trung bình động, phương pháp làm trơn hàm mũ, phương pháp bình phương nhỏ nhất.

Nước hoa phương pháp bình phương nhỏ nhất bao gồm việc giảm thiểu tổng các độ lệch bình phương giữa các giá trị được quan sát và tính toán. Các giá trị tính toán được tìm thấy theo phương trình đã chọn - phương trình hồi quy. Khoảng cách giữa các giá trị thực tế và các giá trị được tính toán càng nhỏ thì dự báo dựa trên phương trình hồi quy càng chính xác.

Phân tích lý thuyết về bản chất của hiện tượng đang nghiên cứu, sự thay đổi được hiển thị bằng chuỗi thời gian, là cơ sở để chọn đường cong. Đôi khi người ta cũng tính đến việc cân nhắc về bản chất của sự phát triển các cấp độ của chuỗi. Vì vậy, nếu sự tăng trưởng của sản lượng được mong đợi theo cấp số cộng, thì việc làm trơn được thực hiện theo một đường thẳng. Nếu nó chỉ ra rằng sự tăng trưởng là cấp số nhân, thì việc làm trơn nên được thực hiện theo hàm số mũ.

Công thức làm việc của phương pháp bình phương nhỏ nhất : Y t + 1 = a * X + b, trong đó t + 1 là khoảng thời gian dự báo; Уt + 1 - chỉ số dự đoán; a và b là các hệ số; X là biểu tượng của thời gian.

Hệ số a và b được tính theo công thức sau:

trong đó, Uf - giá trị thực của chuỗi động lực học; n là số mức trong chuỗi thời gian;

Việc làm mịn chuỗi thời gian bằng phương pháp bình phương nhỏ nhất dùng để phản ánh các mô hình phát triển của hiện tượng đang nghiên cứu. Trong biểu thức phân tích của một xu hướng, thời gian được coi là một biến độc lập và các mức của chuỗi đóng vai trò như một hàm của biến độc lập này.

Sự phát triển của một hiện tượng không phụ thuộc vào bao nhiêu năm đã trôi qua kể từ điểm xuất phát, mà phụ thuộc vào những yếu tố nào đã ảnh hưởng đến sự phát triển của nó, theo chiều hướng nào và cường độ ra sao. Từ đó rõ ràng rằng sự phát triển của một hiện tượng trong thời gian xuất hiện là kết quả của hoạt động của các yếu tố này.

Thiết lập chính xác loại đường cong, loại phân tích phụ thuộc vào thời gian là một trong những công việc khó khăn nhất của phân tích dự báo trước. .

Việc lựa chọn loại hàm mô tả xu hướng, các tham số của chúng được xác định bằng phương pháp bình phương nhỏ nhất, trong hầu hết các trường hợp là theo kinh nghiệm, bằng cách xây dựng một số hàm và so sánh chúng với nhau về giá trị của gốc. -mean-square error, được tính theo công thức:

trong đó Uf - các giá trị thực của chuỗi động lực học; Ur - các giá trị được tính toán (làm mịn) của chuỗi thời gian; n là số mức trong chuỗi thời gian; p là số tham số được xác định trong các công thức mô tả xu hướng (xu hướng phát triển).

Nhược điểm của phương pháp bình phương nhỏ nhất :

khi cố gắng mô tả hiện tượng kinh tế đang nghiên cứu bằng phương trình toán học, dự báo sẽ chính xác trong một khoảng thời gian ngắn và phương trình hồi quy phải được tính toán lại khi có thông tin mới;
sự phức tạp của việc lựa chọn phương trình hồi quy, phương trình này có thể giải được bằng cách sử dụng các chương trình máy tính tiêu chuẩn.

Ví dụ về việc sử dụng phương pháp bình phương nhỏ nhất để phát triển dự báo

Nhiệm vụ . Có dữ liệu đặc trưng cho mức độ thất nghiệp trong khu vực,%

Xây dựng dự báo về tỷ lệ thất nghiệp của khu vực cho các tháng 11, 12, 1 bằng các phương pháp: trung bình động, làm trơn hàm mũ, bình phương nhỏ nhất.
Tính toán các sai số trong các dự báo kết quả bằng cách sử dụng từng phương pháp.
So sánh kết quả thu được, rút ra kết luận.

Giải pháp bình phương ít nhất

Đối với giải pháp, chúng tôi sẽ biên soạn một bảng trong đó chúng tôi sẽ thực hiện các tính toán cần thiết:

ε = 28,63 / 10 = 2,86% dự báo độ chính xác cao.

Sự kết luận : So sánh kết quả thu được trong các phép tính phương pháp trung bình động , làm mịn theo cấp số nhân và phương pháp bình phương nhỏ nhất, chúng ta có thể nói rằng sai số tương đối trung bình trong các phép tính theo phương pháp làm trơn hàm mũ rơi vào khoảng 20-50%. Điều này có nghĩa là độ chính xác của dự báo trong trường hợp này chỉ đạt yêu cầu.

Trong trường hợp thứ nhất và thứ ba, độ chính xác của dự báo cao, vì sai số tương đối trung bình nhỏ hơn 10%. Nhưng phương pháp trung bình động có thể thu được các kết quả đáng tin cậy hơn (dự báo cho tháng 11 - 1,52%, dự báo cho tháng 12 - 1,53%, dự báo cho tháng 1 - 1,49%), vì sai số tương đối trung bình khi sử dụng phương pháp này là nhỏ nhất - 1 , 13%.

Phương pháp bình phương tối thiểu

Các bài liên quan khác:

Danh sách các nguồn được sử dụng

Các khuyến nghị khoa học và phương pháp luận về các vấn đề chẩn đoán rủi ro xã hội và dự báo các thách thức, mối đe dọa và hậu quả xã hội. Đại học xã hội nhà nước Nga. Matxcova. Năm 2010;
Vladimirova L.P. Dự báo và lập kế hoạch trong điều kiện thị trường: Proc. phụ cấp. M .: Nhà xuất bản "Dashkov và Co", 2001;
Novikova N.V., Pozdeeva O.G. Dự báo nền kinh tế quốc dân: Hướng dẫn về phương pháp và giáo dục. Yekaterinburg: Nhà xuất bản Ural. trạng thái nên kinh tê đại học, 2007;
Slutskin L.N. Khóa học MBA về dự báo kinh doanh. Matxcova: Sách kinh doanh Alpina, 2006.

Chương trình MNE

Nhập dữ liệu

Dữ liệu và Ước tính y = a + b x

tôi- số điểm thực nghiệm;
x tôi- giá trị của tham số cố định tại điểm tôi;
y tôi- giá trị của tham số đo tại điểm tôi;
ω tôi- trọng lượng đo tại điểm tôi;
y tôi, calc.- sự khác biệt giữa giá trị đo được và giá trị được tính toán từ hồi quy y tại điểm tôi;
S x i (x i)- ước tính sai số x tôi khi đo lường y tại điểm tôi.

Dữ liệu và Ước tính y = k x

tôi	x tôi	y tôi	ω tôi	y tôi, calc.	Δy tôi	S x i (x i)

Bấm vào biểu đồ

Hướng dẫn sử dụng cho chương trình trực tuyến MNC.

Trong trường dữ liệu, nhập trên mỗi dòng riêng biệt các giá trị của `x` và` y` tại một điểm thử nghiệm. Các giá trị phải được phân tách bằng khoảng trắng (dấu cách hoặc tab).

Giá trị thứ ba có thể là trọng số của `w`. Nếu trọng lượng điểm không được chỉ định, thì nó bằng một. Trong phần lớn các trường hợp, trọng số của các điểm thí nghiệm là không xác định hoặc không được tính toán; tất cả các dữ liệu thực nghiệm được coi là tương đương. Đôi khi trọng số trong phạm vi giá trị được nghiên cứu chắc chắn không tương đương và thậm chí có thể được tính toán theo lý thuyết. Ví dụ, trong phép đo quang phổ, trọng lượng có thể được tính bằng các công thức đơn giản, mặc dù về cơ bản mọi người đều bỏ qua điều này để giảm chi phí lao động.

Dữ liệu có thể được dán qua khay nhớ tạm từ bảng tính của bộ ứng dụng văn phòng, chẳng hạn như Excel từ Microsoft Office hoặc Calc từ Open Office. Để thực hiện việc này, hãy chọn phạm vi dữ liệu sẽ được sao chép trong bảng tính, sao chép nó vào khay nhớ tạm và dán dữ liệu vào trường dữ liệu trên trang này.

Để tính theo phương pháp bình phương nhỏ nhất, cần có ít nhất hai điểm để xác định hai hệ số `b` - tiếp tuyến của góc nghiêng của đường thẳng và` a` - giá trị bị cắt bởi đường thẳng trên `y trục `.

Để ước tính sai số của các hệ số hồi quy tính toán, cần đặt số điểm thực nghiệm nhiều hơn hai.

Phương pháp bình phương tối thiểu (LSM).

Số điểm thực nghiệm càng lớn thì ước lượng thống kê của các hệ số càng chính xác (do hệ số của Sinh viên giảm xuống) và ước lượng càng gần với ước lượng của mẫu chung.

Việc thu được các giá trị tại mỗi điểm thử nghiệm thường đi kèm với chi phí lao động đáng kể, do đó, một số lượng thử nghiệm thỏa hiệp thường được thực hiện, điều này cho phép ước tính dễ hiểu và không dẫn đến chi phí lao động quá mức. Theo quy định, số điểm thực nghiệm cho một phụ thuộc bình phương nhỏ nhất tuyến tính với hai hệ số được chọn trong vùng 5-7 điểm.

Lý thuyết ngắn gọn về bình phương nhỏ nhất cho sự phụ thuộc tuyến tính

Giả sử chúng ta có một tập dữ liệu thực nghiệm dưới dạng các cặp giá trị [`y_i`,` x_i`], trong đó `i` là số một phép đo thực nghiệm từ 1 đến` n`; `y_i` - giá trị của giá trị đo được tại điểm` i`; `x_i` - giá trị của tham số ta đặt tại điểm` i`.

Một ví dụ là hoạt động của định luật Ohm. Bằng cách thay đổi hiệu điện thế (hiệu điện thế) giữa các phần của mạch điện, chúng ta đo được lượng dòng điện chạy qua phần này. Vật lý cho chúng ta sự phụ thuộc được tìm thấy bằng thực nghiệm:

`I = U / R`,
ở đâu `I` - cường độ hiện tại; `R` - điện trở; `U` - hiệu điện thế.

Trong trường hợp này, `y_i` là giá trị dòng điện đo được và` x_i` là giá trị điện áp.

Ví dụ khác, hãy xem xét sự hấp thụ ánh sáng của một dung dịch của một chất trong dung dịch. Hóa học cho chúng ta công thức:

`A = εl C`,
trong đó `A` là mật độ quang của dung dịch; `ε` - độ truyền chất tan; `l` - chiều dài đường đi khi ánh sáng đi qua cuvet có dung dịch; `C` là nồng độ của chất tan.

Trong trường hợp này, `y_i` là mật độ quang đo được` A`, và `x_i` là nồng độ của chất mà chúng ta đặt.

Chúng tôi sẽ xem xét trường hợp khi sai số tương đối trong thiết lập `x_i` nhỏ hơn nhiều so với sai số tương đối khi đo lường` y_i`. Chúng tôi cũng sẽ giả định rằng tất cả các giá trị đo được của `y_i` là ngẫu nhiên và được phân phối chuẩn, tức là tuân theo luật phân phối chuẩn.

Trong trường hợp phụ thuộc tuyến tính của `y` vào` x`, chúng ta có thể viết sự phụ thuộc lý thuyết:
`y = a + bx`.

Từ quan điểm hình học, hệ số `b` biểu thị tiếp tuyến của độ dốc đường thẳng với trục` x` và hệ số `a` - giá trị của` y` tại điểm giao của đường thẳng với ` trục y` (với `x = 0`).

Tìm các tham số của đường hồi quy.

Trong một thí nghiệm, các giá trị đo được của `y_i` không thể nằm chính xác trên đường lý thuyết do sai số đo lường, những giá trị này luôn cố hữu trong cuộc sống thực. Do đó, một phương trình tuyến tính phải được biểu diễn bằng một hệ phương trình:
`y_i = a + b x_i + ε_i` (1),
trong đó `ε_i` là sai số đo chưa biết của` y` trong thử nghiệm thứ `i`.

Sự phụ thuộc (1) còn được gọi là hồi quy, I E. sự phụ thuộc của hai đại lượng vào nhau có ý nghĩa thống kê.

Nhiệm vụ của việc khôi phục sự phụ thuộc là tìm các hệ số `a` và` b` từ các điểm thực nghiệm [`y_i`,` x_i`].

Để tìm các hệ số `a` và` b` thường được sử dụng phương pháp bình phương nhỏ nhất(MNK). Đó là một trường hợp đặc biệt của nguyên tắc khả năng xảy ra tối đa.

Hãy viết lại (1) thành `ε_i = y_i - a - b x_i`.

Khi đó, tổng các lỗi bình phương sẽ là
`Φ = sum_ (i = 1) ^ (n) ε_i ^ 2 = sum_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2`. (2)

Nguyên tắc của phương pháp bình phương nhỏ nhất là tối thiểu hóa tổng (2) đối với các tham số `a` và` b`.

Mức tối thiểu đạt được khi các đạo hàm riêng của tổng (2) đối với các hệ số `a` và` b` bằng 0:
`frac (một phần Φ) (một phần a) = frac (một phần tổng_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2) (một phần a) = 0`
`frac (một phần Φ) (một phần b) = frac (một phần tổng_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2) (một phần b) = 0`

Khai triển đạo hàm, ta thu được hệ hai phương trình với hai ẩn số:
`sum_ (i = 1) ^ (n) (2a + 2bx_i - 2y_i) = sum_ (i = 1) ^ (n) (a + bx_i - y_i) = 0`
`sum_ (i = 1) ^ (n) (2bx_i ^ 2 + 2ax_i - 2x_iy_i) = sum_ (i = 1) ^ (n) (bx_i ^ 2 + ax_i - x_iy_i) = 0 '

Chúng ta mở dấu ngoặc và chuyển các tổng độc lập với các hệ số mong muốn sang nửa còn lại, chúng ta sẽ có một hệ phương trình tuyến tính:
`sum_ (i = 1) ^ (n) y_i = a n + b sum_ (i = 1) ^ (n) bx_i`
`sum_ (i = 1) ^ (n) x_iy_i = a sum_ (i = 1) ^ (n) x_i + b sum_ (i = 1) ^ (n) x_i ^ 2`

Giải hệ kết quả, chúng tôi tìm thấy công thức cho các hệ số `a` và` b`:

`a = frac (sum_ (i = 1) ^ (n) y_i sum_ (i = 1) ^ (n) x_i ^ 2 - sum_ (i = 1) ^ (n) x_i sum_ (i = 1) ^ (n ) x_iy_i) (n sum_ (i = 1) ^ (n) x_i ^ 2 - (sum_ (i = 1) ^ (n) x_i) ^ 2) `(3.1)

`b = frac (n sum_ (i = 1) ^ (n) x_iy_i - sum_ (i = 1) ^ (n) x_i sum_ (i = 1) ^ (n) y_i) (n sum_ (i = 1) ^ (n) x_i ^ 2 - (sum_ (i = 1) ^ (n) x_i) ^ 2) `(3.2)

Các công thức này có nghiệm khi `n> 1` (đoạn thẳng có thể được vẽ bằng cách sử dụng ít nhất 2 điểm) và khi định thức` D = n sum_ (i = 1) ^ (n) x_i ^ 2 - (sum_ (i = 1 ) ^ (n) x_i) ^ 2! = 0`, tức là khi các điểm `x_i` trong thử nghiệm khác nhau (tức là khi đường thẳng không thẳng đứng).

Ước tính sai số trong các hệ số của đường hồi quy

Để có một ước lượng chính xác hơn về sai số khi tính toán các hệ số `a` và` b`, cần có một số lượng lớn các điểm thực nghiệm. Khi `n = 2`, không thể ước tính sai số của các hệ số, bởi vì đường xấp xỉ sẽ đi qua hai điểm duy nhất.

Sai số của biến ngẫu nhiên `V` được xác định luật tích lũy lỗi
`S_V ^ 2 = sum_ (i = 1) ^ p (frac (một phần f) (một phần z_i)) ^ 2 S_ (z_i) ^ 2`,
trong đó `p` là số tham số` z_i` có lỗi `S_ (z_i)` ảnh hưởng đến lỗi `S_V`;
`f` là một hàm phụ thuộc của` V` trên `z_i`.

Hãy viết luật tích lũy sai số cho sai số của các hệ số `a` và` b`
`S_a ^ 2 = sum_ (i = 1) ^ (n) (frac (một phần a) (một phần y_i)) ^ 2 S_ (y_i) ^ 2 + sum_ (i = 1) ^ (n) (frac (một phần a ) (một phần x_i)) ^ 2 S_ (x_i) ^ 2 = S_y ^ 2 sum_ (i = 1) ^ (n) (frac (một phần a) (một phần y_i)) ^ 2 ',
`S_b ^ 2 = sum_ (i = 1) ^ (n) (frac (một phần b) (một phần y_i)) ^ 2 S_ (y_i) ^ 2 + sum_ (i = 1) ^ (n) (frac (một phần b ) (một phần x_i)) ^ 2 S_ (x_i) ^ 2 = S_y ^ 2 sum_ (i = 1) ^ (n) (frac (một phần b) (một phần y_i)) ^ 2 ',
tại vì `S_ (x_i) ^ 2 = 0` (trước đây chúng tôi đã đặt trước rằng lỗi của` x` là không đáng kể).

`S_y ^ 2 = S_ (y_i) ^ 2` - lỗi (phương sai, độ lệch chuẩn bình phương) trong thứ nguyên` y`, giả sử rằng lỗi là đồng nhất cho tất cả các giá trị `y`.

Thay công thức tính `a` và` b` vào biểu thức kết quả, ta được

`S_a ^ 2 = S_y ^ 2 frac (sum_ (i = 1) ^ (n) (sum_ (i = 1) ^ (n) x_i ^ 2 - x_i sum_ (i = 1) ^ (n) x_i) ^ 2 ) (D ^ 2) = S_y ^ 2 frac ((n sum_ (i = 1) ^ (n) x_i ^ 2 - (sum_ (i = 1) ^ (n) x_i) ^ 2) sum_ (i = 1) ^ (n) x_i ^ 2) (D ^ 2) = S_y ^ 2 frac (sum_ (i = 1) ^ (n) x_i ^ 2) (D) `(4.1)

`S_b ^ 2 = S_y ^ 2 frac (sum_ (i = 1) ^ (n) (n x_i - sum_ (i = 1) ^ (n) x_i) ^ 2) (D ^ 2) = S_y ^ 2 frac ( n (n sum_ (i = 1) ^ (n) x_i ^ 2 - (sum_ (i = 1) ^ (n) x_i) ^ 2)) (D ^ 2) = S_y ^ 2 frac (n) (D) `(4,2)

Trong hầu hết các thí nghiệm thực tế, giá trị của `Sy` không được đo lường. Để làm được điều này, cần phải thực hiện một số phép đo (thí nghiệm) song song tại một hoặc một số điểm của kế hoạch, điều này làm tăng thời gian (và có thể cả chi phí) của thí nghiệm. Do đó, người ta thường giả định rằng độ lệch của `y` so với đường hồi quy có thể được coi là ngẫu nhiên. Ước tính phương sai `y` trong trường hợp này được tính bằng công thức.

`S_y ^ 2 = S_ (y, rest) ^ 2 = frac (sum_ (i = 1) ^ n (y_i - a - b x_i) ^ 2) (n-2) '.

Ước số `n-2` xuất hiện vì chúng ta đã giảm số bậc tự do do tính toán hai hệ số cho cùng một mẫu dữ liệu thực nghiệm.

Ước tính này còn được gọi là phương sai còn lại so với đường hồi quy `S_ (y, rest) ^ 2`.

Việc đánh giá mức ý nghĩa của các hệ số được thực hiện theo tiêu chí Sinh viên

`t_a = frac (| a |) (S_a)`, `t_b = frac (| b |) (S_b)`

Nếu tiêu chí được tính toán `t_a`,` t_b` nhỏ hơn tiêu chí của bảng `t (P, n-2)`, thì hệ số tương ứng không khác 0 đáng kể với xác suất cho sẵn `P`.

Để đánh giá chất lượng của mô tả mối quan hệ tuyến tính, bạn có thể so sánh `S_ (y, rest) ^ 2` và` S_ (bar y) `so với giá trị trung bình bằng cách sử dụng tiêu chí Fisher.

`S_ (thanh y) = frac (sum_ (i = 1) ^ n (y_i - thanh y) ^ 2) (n-1) = frac (sum_ (i = 1) ^ n (y_i - (sum_ (i = 1) ^ n y_i) / n) ^ 2) (n-1) `- ước lượng mẫu về phương sai của` y` so với giá trị trung bình.

Để đánh giá hiệu quả của phương trình hồi quy trong việc mô tả sự phụ thuộc, hệ số Fisher được tính
`F = S_ (thanh y) / S_ (y, phần còn lại) ^ 2`,
được so sánh với hệ số Fisher trong bảng `F (p, n-1, n-2) '.

Nếu `F> F (P, n-1, n-2)`, sự khác biệt giữa mô tả sự phụ thuộc `y = f (x)` sử dụng phương trình hồi quy và mô tả sử dụng giá trị trung bình được coi là có ý nghĩa thống kê với xác suất `P`. Những thứ kia. hồi quy mô tả sự phụ thuộc tốt hơn sự lan truyền của `y` xung quanh giá trị trung bình.

Bấm vào biểu đồ
để thêm các giá trị vào bảng

Phương pháp bình phương tối thiểu. Phương pháp bình phương nhỏ nhất có nghĩa là xác định các tham số a, b, c chưa biết, sự phụ thuộc hàm được chấp nhận

Phương pháp bình phương nhỏ nhất có nghĩa là xác định các tham số chưa biết a, b, c,… sự phụ thuộc chức năng được chấp nhận

y = f (x, a, b, c,…),

sẽ cung cấp tối thiểu bình phương trung bình (phương sai) của lỗi

, (24)

trong đó x i, y i - tập hợp các cặp số thu được từ thí nghiệm.

Vì điều kiện để đạt cực trị của một hàm nhiều biến là điều kiện để các đạo hàm riêng của nó biến mất, các tham số a, b, c,…được xác định từ hệ phương trình:

; ; ; … (25)

Cần phải nhớ rằng phương pháp bình phương nhỏ nhất được sử dụng để chọn các tham số sau dạng của hàm y = f (x)được xác định.

Nếu từ những xem xét lý thuyết không thể đưa ra bất kỳ kết luận nào về công thức thực nghiệm, thì người ta phải được hướng dẫn bởi các biểu diễn trực quan, chủ yếu là biểu diễn đồ họa của dữ liệu quan sát được.

Trong thực tế, hầu hết thường giới hạn ở các loại chức năng sau:

1) tuyến tính ;

2) bậc hai a.

hướng dẫn

Giới thiệu

Tôi là một lập trình viên máy tính. Tôi đã có bước nhảy vọt lớn nhất trong sự nghiệp của mình khi học cách nói: "Tôi không hiểu gì!" Bây giờ tôi không xấu hổ khi nói với người khoa học viễn vông rằng ông ấy đang giảng cho tôi, rằng tôi không hiểu nó đang nói chuyện với tôi về cái gì. Và nó rất khó. Vâng, thật khó và xấu hổ khi thừa nhận bạn không biết. Ai thích thừa nhận rằng anh ta không biết những điều cơ bản của một cái gì đó. Với chuyên môn của mình, tôi phải tham gia một số lượng lớn các buổi thuyết trình và thuyết trình, thú thực là trong phần lớn các trường hợp, tôi cảm thấy buồn ngủ, vì tôi không hiểu gì cả. Và tôi không hiểu vì vấn đề lớn của tình hình khoa học hiện nay nằm ở toán học. Nó giả định rằng tất cả học sinh đều hoàn toàn quen thuộc với tất cả các lĩnh vực toán học (điều này thật vô lý). Phải thừa nhận rằng bạn không biết đạo hàm là gì (điều này sẽ xảy ra sau một thời gian ngắn) là một điều đáng tiếc.

Nhưng tôi đã học được cách nói rằng tôi không biết phép nhân là gì. Vâng, tôi không biết đại số con so với đại số Lie là gì. Vâng, tôi không biết tại sao phương trình bậc hai lại cần thiết trong cuộc sống. Nhân tiện, nếu bạn chắc chắn rằng bạn biết, thì chúng ta có điều gì đó để nói về! Toán học là một chuỗi các thủ thuật. Các nhà toán học cố gắng gây nhầm lẫn và đe dọa công chúng; nơi không có sự nhầm lẫn, không có danh tiếng, không có quyền hạn. Đúng vậy, thật có uy tín khi nói bằng ngôn ngữ trừu tượng nhất có thể, bản thân nó hoàn toàn vô nghĩa.

Bạn có biết đạo hàm là gì không? Nhiều khả năng bạn sẽ cho tôi biết về giới hạn của mối quan hệ chênh lệch. Trong năm đầu tiên về toán học tại Đại học Tổng hợp St.Petersburg, Viktor Petrovich Khavin tôi xác địnhđạo hàm như hệ số của số hạng đầu tiên của chuỗi Taylor của hàm tại điểm (đó là một môn thể dục riêng để xác định chuỗi Taylor không có đạo hàm). Tôi đã cười với định nghĩa này trong một thời gian dài, cho đến khi cuối cùng tôi hiểu nó nói về cái gì. Đạo hàm chẳng qua chỉ là thước đo xem hàm số chúng ta đang phân biệt có tương tự như hàm số y = x, y = x ^ 2, y = x ^ 3 hay không.

Bây giờ tôi có vinh dự được giảng dạy cho những sinh viên nỗi sợ toán học. Nếu bạn sợ toán học - chúng tôi đang trên đường. Ngay khi bạn cố gắng đọc một số văn bản và dường như đối với bạn rằng nó quá phức tạp, thì hãy biết rằng nó được viết rất tệ. Tôi lập luận rằng không có một lĩnh vực toán học nào không thể nói về "trên ngón tay" mà không làm mất đi tính chính xác.

Thách thức cho tương lai gần: Tôi đã hướng dẫn các sinh viên của mình hiểu bộ điều khiển bậc hai tuyến tính là gì. Đừng ngại, lãng phí ba phút của cuộc đời bạn, hãy theo dõi liên kết. Nếu bạn không hiểu bất cứ điều gì, sau đó chúng tôi đang trên đường. Tôi (một nhà toán học-lập trình viên chuyên nghiệp) cũng không hiểu gì cả. Và tôi đảm bảo với bạn, điều này có thể được sắp xếp "trên đầu ngón tay." Hiện tại tôi không biết nó là gì, nhưng tôi đảm bảo với bạn rằng chúng tôi sẽ có thể tìm ra nó.

Vì vậy, bài giảng đầu tiên mà tôi sẽ giảng cho các sinh viên của mình sau khi họ kinh hãi chạy đến với tôi với những từ rằng bộ điều khiển bậc hai tuyến tính là một lỗi khủng khiếp mà bạn sẽ không bao giờ làm chủ được trong đời. phương pháp bình phương nhỏ nhất. Bạn có thể giải quyết các phương trình tuyến tính? Nếu bạn đang đọc văn bản này, thì rất có thể là không.

Vì vậy, với hai điểm (x0, y0), (x1, y1), chẳng hạn, (1,1) và (3,2), nhiệm vụ là tìm phương trình của một đường thẳng đi qua hai điểm này:

hình minh họa

Đường thẳng này có phương trình như sau:

Ở đây chúng tôi chưa biết alpha và beta, nhưng hai điểm của dòng này đã được biết:

Bạn có thể viết phương trình này dưới dạng ma trận:

Ở đây chúng ta nên suy nghĩ về chất trữ tình: ma trận là gì? Ma trận không là gì khác ngoài một mảng hai chiều. Đây là một cách lưu trữ dữ liệu, không nên cung cấp thêm giá trị cho nó. Việc giải thích chính xác một ma trận nhất định như thế nào là tùy thuộc vào chúng ta. Theo định kỳ, tôi sẽ giải thích nó như một ánh xạ tuyến tính, định kỳ dưới dạng bậc hai, và đôi khi đơn giản là một tập các vectơ. Tất cả điều này sẽ được làm rõ trong ngữ cảnh.

Hãy thay thế các ma trận cụ thể bằng biểu diễn tượng trưng của chúng:

Sau đó, (alpha, beta) có thể dễ dàng tìm thấy:

Cụ thể hơn cho dữ liệu trước đây của chúng tôi:

Phương trình nào sau đây của một đường thẳng đi qua các điểm (1,1) và (3,2):

Được rồi, mọi thứ đã rõ ràng ở đây. Và hãy tìm phương trình của một đường thẳng đi qua số bađiểm: (x0, y0), (x1, y1) và (x2, y2):

Ồ-ồ-ồ, nhưng chúng ta có ba phương trình cho hai ẩn số! Nhà toán học tiêu chuẩn sẽ nói rằng không có lời giải. Lập trình viên sẽ nói gì? Và trước tiên anh ấy sẽ viết lại hệ phương trình trước đó dưới dạng sau:

Trong trường hợp của chúng ta, các vectơ i, j, b là ba chiều, do đó, (trong trường hợp tổng quát) không có nghiệm cho hệ này. Bất kỳ vectơ nào (alpha \ * i + beta \ * j) nằm trong mặt phẳng được kéo dài bởi các vectơ (i, j). Nếu b không thuộc mặt phẳng này thì không có nghiệm (không có đẳng thức trong phương trình). Để làm gì? Hãy tìm kiếm một thỏa hiệp. Hãy biểu thị bằng e (alpha, beta) Chính xác thì chúng ta đã không đạt được bình đẳng như thế nào:

Và chúng tôi sẽ cố gắng giảm thiểu lỗi này:

Tại sao lại là hình vuông?

Chúng tôi không chỉ tìm kiếm mức tối thiểu của tiêu chuẩn, mà còn tìm kiếm mức tối thiểu của bình phương của tiêu chuẩn. Tại sao? Bản thân điểm cực tiểu trùng và hình vuông cho hàm trơn (hàm bậc hai của các đối số (alpha, beta)), trong khi chỉ độ dài cho hàm ở dạng hình nón, không phân biệt tại điểm cực tiểu. Brr. Hình vuông là tiện lợi hơn.

Rõ ràng, lỗi được giảm thiểu khi vectơ e trực giao với mặt phẳng được kéo dài bởi các vectơ tôi và j.

Hình minh họa

Nói cách khác: chúng ta đang tìm một đoạn thẳng sao cho tổng bình phương độ dài của khoảng cách từ tất cả các điểm đến đoạn thẳng này là nhỏ nhất:

CẬP NHẬT: ở đây tôi bị kẹt, khoảng cách đến đường thẳng nên được đo theo phương thẳng đứng, không phải phép chiếu chính hình. Người bình luận này là chính xác.

Hình minh họa

Nói một cách hoàn toàn khác (cẩn thận, kém chính thức, nhưng cần phải rõ ràng trên ngón tay): chúng tôi lấy tất cả các đường có thể có giữa tất cả các cặp điểm và tìm đường trung bình giữa tất cả:

Hình minh họa

Một lời giải thích khác trên các ngón tay: chúng tôi gắn một lò xo giữa tất cả các điểm dữ liệu (ở đây chúng tôi có ba điểm) và đường mà chúng ta đang tìm kiếm, và đường của trạng thái cân bằng chính xác là những gì chúng ta đang tìm kiếm.

Dạng tối thiểu bậc hai

Vì vậy, đã cho vectơ b và mặt phẳng được kéo dài bởi các cột-vectơ của ma trận Một(trong trường hợp này (x0, x1, x2) và (1,1,1)), chúng tôi đang tìm kiếm một vectơ e với chiều dài bình phương tối thiểu. Rõ ràng, chỉ có thể đạt được mức tối thiểu đối với vectơ e, trực giao với mặt phẳng được kéo dài bởi các cột-vectơ của ma trận Một:

Nói cách khác, chúng tôi đang tìm kiếm một vectơ x = (alpha, beta) sao cho:

Tôi nhắc bạn rằng vectơ x = (alpha, beta) này là điểm cực tiểu của hàm bậc hai || e (alpha, beta) || ^ 2:

Ở đây, điều hữu ích là hãy nhớ rằng ma trận có thể được hiểu cũng như ở dạng bậc hai, ví dụ, ma trận nhận dạng ((1,0), (0,1)) có thể được hiểu là một hàm của x ^ 2 + y ^ 2:

dạng bậc hai

Tất cả các môn thể dục này được gọi là hồi quy tuyến tính.

Phương trình Laplace với điều kiện biên Dirichlet

Bây giờ vấn đề thực tế đơn giản nhất: có một bề mặt tam giác nhất định, cần phải làm phẳng nó. Ví dụ: hãy tải mô hình khuôn mặt của tôi:

Cam kết ban đầu có sẵn. Để giảm thiểu sự phụ thuộc bên ngoài, tôi đã lấy mã của trình kết xuất phần mềm của mình, đã có trên Habré. Để giải quyết hệ thống tuyến tính, tôi sử dụng OpenNL, đây là một trình giải tuyệt vời, nhưng nó rất khó cài đặt: bạn cần sao chép hai tệp (.h + .c) vào thư mục dự án của mình. Tất cả làm mịn được thực hiện bằng đoạn mã sau:

Đối với (int d = 0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i& face = mặt [i]; for (int j = 0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Các tọa độ X, Y và Z có thể tách biệt được, tôi làm mịn chúng một cách riêng biệt. Đó là, tôi giải ba hệ phương trình tuyến tính, mỗi hệ có nhiều biến số bằng số đỉnh trong mô hình của tôi. N hàng đầu tiên của ma trận A chỉ có một 1 trên mỗi hàng và n hàng đầu tiên của vectơ b có tọa độ mô hình ban đầu. Đó là, tôi buộc lò xo giữa vị trí đỉnh mới và vị trí đỉnh cũ - những cái mới không nên quá xa những cái cũ.

Tất cả các hàng tiếp theo của ma trận A (face.size () * 3 = số cạnh của tất cả các hình tam giác trong lưới) có một lần xuất hiện là 1 và một lần xuất hiện là -1, trong khi vectơ b không có thành phần nào ngược lại. Điều này có nghĩa là tôi đặt một lò xo trên mỗi cạnh của lưới tam giác của chúng ta: tất cả các cạnh cố gắng lấy cùng một đỉnh như điểm bắt đầu và điểm kết thúc của chúng.

Một lần nữa: tất cả các đỉnh đều là các biến, và chúng không thể lệch xa vị trí ban đầu, nhưng đồng thời chúng cố gắng trở nên giống nhau.

Đây là kết quả:

Mọi thứ sẽ ổn, mô hình thực sự được làm mịn, nhưng nó đã di chuyển ra khỏi cạnh ban đầu của nó. Hãy thay đổi mã một chút:

Đối với (int i = 0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Trong ma trận A của chúng tôi, đối với các đỉnh nằm trên cạnh, tôi không thêm một hàng từ danh mục v_i = verts [i] [d], mà là 1000 * v_i = 1000 * verts [i] [d]. Nó thay đổi điều gì? Và điều này thay đổi dạng lỗi bậc hai của chúng ta. Giờ đây, một độ lệch duy nhất so với đỉnh ở mép sẽ không có giá một đơn vị như trước, mà là 1000 * 1000 đơn vị. Có nghĩa là, chúng ta đã treo một lò xo mạnh hơn trên các đỉnh cực, giải pháp thích kéo giãn những người khác mạnh hơn. Đây là kết quả:

Hãy nhân đôi độ bền của lò xo giữa các đỉnh:
nl Hệ số (face [j], 2); nl Hệ số (face [(j + 1)% 3], -2);

Hợp lý là bề mặt đã trở nên mịn hơn:

Và bây giờ thậm chí còn mạnh hơn gấp trăm lần:

Nó là gì? Hãy tưởng tượng rằng chúng ta nhúng một vòng dây vào nước xà phòng. Do đó, màng xà phòng thu được sẽ cố gắng có độ cong ít nhất có thể, chạm vào cùng một đường viền - vòng dây của chúng tôi. Đây chính xác là những gì chúng tôi nhận được khi sửa đường viền và yêu cầu bề mặt bên trong nhẵn mịn. Xin chúc mừng, chúng ta vừa giải được phương trình Laplace với điều kiện biên Dirichlet. Nghe hay đấy? Nhưng trên thực tế, chỉ cần một hệ thống phương trình tuyến tính để giải quyết.

Phương trình Poisson

Hãy có một cái tên thú vị khác.

Giả sử tôi có một hình ảnh như thế này:

Mọi người đều tốt, nhưng tôi không thích cái ghế.

Tôi cắt bức tranh làm đôi:

Và tôi sẽ chọn một chiếc ghế bằng tay của mình:

Sau đó, tôi sẽ kéo mọi thứ có màu trắng trong mặt nạ sang bên trái của bức ảnh, đồng thời tôi sẽ nói trong toàn bộ bức ảnh rằng sự khác biệt giữa hai pixel lân cận phải bằng sự khác biệt giữa hai pixel lân cận của hình ảnh bên phải:

Đối với (int i = 0; i

Đây là kết quả:

Mã và hình ảnh có sẵn

Phương pháp bình phương tối thiểu

Phương pháp bình phương tối thiểu ( MNK, OLS, Bình phương nhỏ nhất thông thường) - một trong những phương pháp cơ bản Phân tích hồi quyđể ước tính các tham số chưa biết của mô hình hồi quy từ dữ liệu mẫu. Phương pháp này dựa trên việc tối thiểu hóa tổng bình phương của các phần dư hồi quy.

Cần lưu ý rằng bản thân phương pháp bình phương nhỏ nhất có thể được gọi là một phương pháp giải một bài toán trong bất kỳ lĩnh vực nào nếu giải pháp bao gồm hoặc thỏa mãn một tiêu chí nào đó để tối thiểu hóa tổng bình phương của một số hàm của các biến chưa biết. Do đó, phương pháp bình phương nhỏ nhất cũng có thể được sử dụng để biểu diễn gần đúng (tính gần đúng) của một hàm đã cho bởi các hàm khác (đơn giản hơn), khi tìm thấy một tập hợp các đại lượng thỏa mãn các phương trình hoặc giới hạn, số đó vượt quá số các đại lượng này , vân vân.

Bản chất của MNC

Giả sử một số mô hình (tham số) về sự phụ thuộc xác suất (hồi quy) giữa biến (được giải thích) y và nhiều yếu tố (biến giải thích) x

vectơ của các tham số mô hình không xác định ở đâu

- Lỗi mô hình ngẫu nhiên.

Cũng để có những quan sát mẫu về giá trị của các biến được chỉ định. Gọi là số quan sát (). Sau đó là giá trị của các biến trong quan sát thứ. Sau đó, với các giá trị đã cho của tham số b, có thể tính giá trị (mô hình) lý thuyết của biến giải thích y:

Giá trị của các phần dư phụ thuộc vào giá trị của các tham số b.

Bản chất của LSM (thông thường, cổ điển) là tìm các tham số b như vậy mà tổng bình phương của các phần dư ( Tiếng Anh Tổng bình phương còn lại) sẽ là tối thiểu:

Trong trường hợp tổng quát, vấn đề này có thể được giải quyết bằng các phương pháp số tối ưu hóa (tối thiểu hóa). Trong trường hợp này, người ta nói về hình vuông nhỏ nhất phi tuyến tính(NLS hoặc NLLS - Tiếng Anh Hình vuông nhỏ nhất không tuyến tính). Trong nhiều trường hợp, có thể thu được dung dịch phân tích. Để giải bài toán cực tiểu, cần tìm các điểm đứng yên của hàm bằng cách phân biệt nó với các tham số chưa biết b, quy về đạo hàm bằng 0 và giải hệ phương trình:

Nếu lỗi mô hình ngẫu nhiên có phân phối bình thường, có cùng phương sai và không tương quan với nhau, ước lượng bình phương nhỏ nhất của các tham số trùng với ước lượng phương pháp khả năng tối đa (MLM).

MNC trong trường hợp mô hình tuyến tính

Để sự phụ thuộc hồi quy là tuyến tính:

Để cho được y- vectơ cột của các quan sát của biến được giải thích, và - ma trận của các quan sát về các yếu tố (các hàng của ma trận - vectơ của các giá trị yếu tố trong một quan sát nhất định, theo cột - vectơ của các giá trị của một yếu tố nhất định trong tất cả các quan sát) . Biểu diễn ma trận mô hình tuyến tính có dạng:

Khi đó vectơ ước lượng của biến được giải thích và vectơ của phần dư hồi quy sẽ bằng

do đó, tổng bình phương của các phần dư hồi quy sẽ bằng

Phân biệt hàm này với vectơ tham số và cân bằng các đạo hàm bằng 0, chúng ta thu được một hệ phương trình (ở dạng ma trận):

Lời giải của hệ phương trình này đưa ra công thức chung cho các ước lượng bình phương nhỏ nhất cho mô hình tuyến tính:

Đối với mục đích phân tích, biểu diễn cuối cùng của công thức này hóa ra hữu ích. Nếu dữ liệu trong mô hình hồi quy tập trung, thì trong biểu diễn này, ma trận đầu tiên có nghĩa là ma trận hiệp phương sai mẫu của các nhân tố, và ma trận thứ hai là vectơ hiệp phương sai của các nhân tố với một biến phụ thuộc. Ngoài ra, nếu dữ liệu cũng bình thường hóa tại SKO (nghĩa là cuối cùng tiêu chuẩn hóa), thì ma trận thứ nhất có nghĩa là ma trận tương quan mẫu của các nhân tố, vector thứ hai - vector tương quan mẫu của các nhân tố với biến phụ thuộc.

Một thuộc tính quan trọng của các ước tính LLS cho các mô hình với một hằng số- đường của hồi quy đã xây dựng đi qua trọng tâm của dữ liệu mẫu, nghĩa là, đẳng thức được thỏa mãn:

Đặc biệt, trong trường hợp cực đoan, khi giá trị hồi quy duy nhất là một hằng số, chúng ta thấy rằng ước lượng OLS của một tham số (bản thân là hằng số) bằng giá trị trung bình của biến được giải thích. Nghĩa là, trung bình cộng, được biết đến với các đặc tính tốt của quy luật số lớn, cũng là một ước lượng bình phương nhỏ nhất - nó thỏa mãn tiêu chí về tổng bình phương tối thiểu của nó.

Ví dụ: hồi quy đơn giản (theo cặp)

Trong trường hợp hồi quy tuyến tính theo cặp, các công thức tính toán được đơn giản hóa (bạn có thể thực hiện mà không cần đại số ma trận):

Các thuộc tính của ước tính OLS

Trước hết, chúng tôi lưu ý rằng đối với mô hình tuyến tính, ước lượng bình phương nhỏ nhất là ước lượng tuyến tính, như sau từ công thức trên. Vì không thiên vịƯớc tính OLS là cần thiết và đủ để đáp ứng điều kiện quan trọng nhất Phân tích hồi quy: có điều kiện về các yếu tố gia trị được ki vọng lỗi ngẫu nhiên phải bằng không. Điều kiện này được thỏa mãn, đặc biệt, nếu

kỳ vọng toán học của các lỗi ngẫu nhiên bằng 0 và
yếu tố và sai số ngẫu nhiên là các biến ngẫu nhiên độc lập.

Điều kiện thứ hai - điều kiện của các yếu tố ngoại sinh - là cơ bản. Nếu thuộc tính này không được thỏa mãn, thì chúng ta có thể giả định rằng hầu hết mọi ước tính sẽ cực kỳ không đạt yêu cầu: chúng thậm chí sẽ không giàu có(nghĩa là, ngay cả một lượng rất lớn dữ liệu cũng không cho phép thu được các ước tính định tính trong trường hợp này). Trong trường hợp cổ điển, một giả định mạnh hơn được đưa ra về tính xác định của các yếu tố, ngược lại với một sai số ngẫu nhiên, điều này tự động có nghĩa là điều kiện ngoại sinh được thỏa mãn. Trong trường hợp chung, để các ước lượng có tính nhất quán, chỉ cần thỏa mãn điều kiện ngoại đồng nhất cùng với sự hội tụ của ma trận thành một ma trận không kỳ dị nào đó với sự gia tăng kích thước mẫu đến vô cùng.

Để, ngoài khả năng thanh toán và không thiên vị, các ước tính của LSM (thông thường) cũng hiệu quả (tốt nhất trong loại ước tính không chệch tuyến tính), cần phải đáp ứng các thuộc tính bổ sung của sai số ngẫu nhiên:

Những giả định này có thể được xây dựng cho ma trận hiệp phương sai vectơ lỗi ngẫu nhiên

Mô hình tuyến tính thỏa mãn các điều kiện này được gọi là cổ điển. Các ước lượng OLS cho hồi quy tuyến tính cổ điển là không thiên vị , giàu có và hầu hết có hiệu lực các ước lượng trong nhóm của tất cả các ước lượng không chệch tuyến tính (trong tài liệu tiếng Anh, chữ viết tắt đôi khi được sử dụng màu xanh da trời (Công cụ ước tính tuyến tính tốt nhất) là ước lượng không chệch tuyến tính tốt nhất; trong tài liệu trong nước, định lý Gauss-Markov thường được trích dẫn nhiều hơn). Như dễ thấy, ma trận hiệp phương sai của vectơ ước lượng hệ số sẽ bằng:

Bình phương nhỏ nhất tổng quát

Phương pháp bình phương nhỏ nhất cho phép tổng quát hóa rộng rãi. Thay vì tối thiểu hóa tổng bình phương của các phần dư, người ta có thể tối thiểu hóa một số dạng bậc hai xác định dương của véc tơ phần dư, trong đó là một số ma trận trọng số xác định dương đối xứng. Bình phương nhỏ nhất thông thường là một trường hợp đặc biệt của cách tiếp cận này, khi ma trận trọng số tỷ lệ với ma trận nhận dạng. Như đã biết từ lý thuyết về ma trận đối xứng (hoặc toán tử), có một sự phân rã cho các ma trận như vậy. Do đó, hàm được chỉ định có thể được biểu diễn như sau, nghĩa là, hàm này có thể được biểu diễn dưới dạng tổng bình phương của một số "phần dư" được biến đổi. Như vậy, chúng ta có thể phân biệt một lớp các phương thức bình phương nhỏ nhất - phương thức LS (Least Squares).

Người ta đã chứng minh (định lý Aitken) rằng đối với một mô hình hồi quy tuyến tính tổng quát (trong đó không có giới hạn nào được áp đặt đối với ma trận hiệp phương sai của các sai số ngẫu nhiên), hiệu quả nhất (trong loại ước lượng không chệch tuyến tính) là ước lượng của cái gọi là. OLS tổng quát (OMNK, GLS - Hình vuông ít nhất tổng quát)- Phương pháp LS với ma trận trọng số bằng ma trận hiệp phương sai nghịch đảo của sai số ngẫu nhiên:.

Có thể chỉ ra rằng công thức ước lượng GLS của các tham số của mô hình tuyến tính có dạng

Ma trận hiệp phương sai của các ước lượng này, tương ứng, sẽ bằng

Trên thực tế, bản chất của OLS nằm ở một phép biến đổi (tuyến tính) nhất định (P) của dữ liệu gốc và việc áp dụng các bình phương nhỏ nhất thông thường cho dữ liệu được biến đổi. Mục đích của phép biến đổi này là đối với dữ liệu được biến đổi, các lỗi ngẫu nhiên đã thỏa mãn các giả định cổ điển.

Bình phương nhỏ nhất có trọng số

Trong trường hợp ma trận trọng số theo đường chéo (và do đó là ma trận hiệp phương sai của các sai số ngẫu nhiên), chúng ta có cái gọi là bình phương nhỏ nhất có trọng số (WLS - Weighted Least Squares). Trong trường hợp này, tổng bình phương có trọng số của các phần dư của mô hình được tối thiểu hóa, tức là mỗi quan sát nhận được một "trọng số" tỷ lệ nghịch với phương sai của sai số ngẫu nhiên trong quan sát này:. Trên thực tế, dữ liệu được chuyển đổi bằng cách tính trọng số của các quan sát (chia cho một lượng tỷ lệ với độ lệch chuẩn giả định của các lỗi ngẫu nhiên), và bình phương nhỏ nhất thông thường được áp dụng cho dữ liệu có trọng số.

Một số trường hợp đặc biệt áp dụng LSM trong thực tế

Sự gần đúng phụ thuộc tuyến tính

Hãy xem xét trường hợp khi, do kết quả của việc nghiên cứu sự phụ thuộc một vài vô hướng số lượng trên một số đại lượng vô hướng (Ví dụ: điều này có thể là sự phụ thuộc Vôn từ sức mạnh hiện tại:, giá trị không đổi ở đâu, Sức cản Nhạc trưởng) đã được thực hiện đo các đại lượng này, kết quả của nó là các giá trị và các giá trị tương ứng đã thu được. Dữ liệu đo lường phải được ghi lại trong một bảng.

Bàn. Kết quả đo lường.

Số đo
1
2
3
4
5
6

Câu hỏi là: ý nghĩa là gì hệ số có thể được chọn để mô tả tốt nhất sự phụ thuộc? Theo bình phương nhỏ nhất, giá trị này phải sao cho tổng hình vuôngđộ lệch của các giá trị so với các giá trị

là tối thiểu

Tổng bình phương độ lệch có một cực đoan là mức tối thiểu cho phép chúng tôi sử dụng công thức. Hãy tìm giá trị của hệ số từ công thức này. Để làm điều này, chúng tôi biến đổi bên trái của nó như sau:

Công thức cuối cùng cho phép chúng ta tìm giá trị của hệ số, được yêu cầu trong bài toán.

Câu chuyện

Cho đến đầu TK XIX. các nhà khoa học không có quy tắc xác định để quyết định hệ phương trình, trong đó số ẩn số ít hơn số phương trình; Cho đến thời điểm đó, các phương pháp cụ thể đã được sử dụng, tùy thuộc vào loại phương trình và vào sự khéo léo của máy tính, và do đó các máy tính khác nhau, bắt đầu từ cùng một dữ liệu quan sát, đã đưa ra các kết luận khác nhau. Gauss(1795) thuộc ứng dụng đầu tiên của phương pháp, và Legendre(1805) được phát hiện và xuất bản một cách độc lập với tiêu đề hiện đại ( fr. Methode des moindres cãi nhau ) . Laplace phương pháp liên kết với lý thuyết xác suất, và nhà toán học người Mỹ Adrain (1808) đã xem xét các ứng dụng xác suất của nó. Phương pháp này được phổ biến rộng rãi và được cải tiến bằng cách nghiên cứu thêm Encke , Bessel, Hansen và những người khác.

Sử dụng thay thế các MNC

Ý tưởng về phương pháp bình phương nhỏ nhất cũng có thể được sử dụng trong các trường hợp khác không liên quan trực tiếp đến phân tích hồi quy. Thực tế là tổng bình phương là một trong những thước đo tiệm cận phổ biến nhất cho vectơ (số liệu Euclide trong không gian hữu hạn chiều).

Một ứng dụng là "giải" hệ phương trình tuyến tính trong đó số phương trình lớn hơn số biến

trong đó ma trận không phải là hình vuông, mà là hình chữ nhật.

Một hệ phương trình như vậy, trong trường hợp tổng quát, không có nghiệm (nếu hạng thực lớn hơn số biến). Do đó, hệ thống này có thể được "giải quyết" chỉ theo nghĩa là chọn một vectơ như vậy để giảm thiểu "khoảng cách" giữa các vectơ và. Để làm điều này, bạn có thể áp dụng tiêu chí để giảm thiểu tổng bình phương của các sai khác của phần bên trái và bên phải của các phương trình của hệ thống, nghĩa là,. Dễ dàng chứng minh rằng lời giải của bài toán tối thiểu này dẫn đến nghiệm của hệ phương trình sau