tiểu sử Đặc trưng Phân tích

Phân tích hồi quy tuyến tính. Phương pháp thống kê toán học

KẾT QUẢ

Bảng 8.3a. Thống kê hồi quy
Thống kê hồi quy
Nhiều R 0,998364
Quảng trường R 0,99673
Bình phương R được chuẩn hóa 0,996321
lỗi tiêu chuẩn 0,42405
quan sát 10

Đầu tiên chúng ta hãy nhìn vào phần trên của các tính toán được trình bày trong Bảng 8.3a, thống kê hồi quy.

Giá trị R-square, còn được gọi là thước đo độ chắc chắn, đặc trưng cho chất lượng của đường hồi quy thu được. Chất lượng này được thể hiện bằng mức độ tương ứng giữa dữ liệu gốc và mô hình hồi quy (dữ liệu tính toán). Thước đo của sự chắc chắn luôn nằm trong khoảng .

Trong hầu hết các trường hợp, giá trị bình phương R nằm giữa các giá trị này, được gọi là cực trị, tức là giữa không và một.

Nếu giá trị của R-square gần bằng một, điều này có nghĩa là mô hình được xây dựng giải thích gần như tất cả sự thay đổi của các biến tương ứng. Ngược lại, giá trị bình phương R gần bằng 0 có nghĩa là chất lượng kém của mô hình được xây dựng.

Trong ví dụ của chúng tôi, thước đo độ chắc chắn là 0,99673, cho thấy đường hồi quy rất phù hợp với dữ liệu gốc.

Nhiều R- Hệ số tương quan bội R - thể hiện mức độ phụ thuộc của biến độc lập (X) và biến phụ thuộc (Y).

Nhiều R bằng căn bậc hai của hệ số xác định, giá trị này nhận giá trị trong khoảng từ 0 đến 1.

Trong phân tích hồi quy tuyến tính đơn giản, bội số R bằng hệ số tương quan Pearson. Thật vậy, bội số R trong trường hợp của chúng ta bằng với hệ số tương quan Pearson từ ví dụ trước (0,998364).

Bảng 8.3b. hệ số hồi quy
tỷ lệ cược lỗi tiêu chuẩn thống kê t
giao lộ chữ Y 2,694545455 0,33176878 8,121757129
Biến X 1 2,305454545 0,04668634 49,38177965
* Một phiên bản rút gọn của các tính toán được đưa ra

Bây giờ hãy xem xét phần giữa của các tính toán được trình bày trong bảng 8.3b. Ở đây, hệ số hồi quy b (2.305454545) và độ lệch dọc theo trục y được đưa ra, tức là hằng số a (2,694545455).

Dựa trên các tính toán, chúng ta có thể viết phương trình hồi quy như sau:

Y= x*2.305454545+2.694545455

Chiều của mối quan hệ giữa các biến được xác định dựa trên các dấu hiệu (tiêu cực hoặc tích cực) hệ số hồi quy(hệ số b).

Nếu dấu hiệu ở hệ số hồi quy- dương, mối quan hệ của biến phụ thuộc với biến độc lập sẽ dương. Trong trường hợp của chúng tôi, dấu hiệu của hệ số hồi quy là tích cực, do đó, mối quan hệ cũng tích cực.

Nếu dấu hiệu ở hệ số hồi quy- âm, mối quan hệ giữa biến phụ thuộc và biến độc lập là âm (nghịch đảo).

Trong bảng 8.3c. các kết quả của việc xuất các phần dư được trình bày. Để các kết quả này xuất hiện trong báo cáo, cần phải kích hoạt hộp kiểm "Phần dư" khi khởi chạy công cụ "Hồi quy".

RÚT TIỀN CÒN LẠI

Bảng 8.3c. hài cốt
Quan sát dự đoán Y hài cốt số dư tiêu chuẩn
1 9,610909091 -0,610909091 -1,528044662
2 7,305454545 -0,305454545 -0,764022331
3 11,91636364 0,083636364 0,209196591
4 14,22181818 0,778181818 1,946437843
5 16,52727273 0,472727273 1,182415512
6 18,83272727 0,167272727 0,418393181
7 21,13818182 -0,138181818 -0,34562915
8 23,44363636 -0,043636364 -0,109146047
9 25,74909091 -0,149090909 -0,372915662
10 28,05454545 -0,254545455 -0,636685276

Sử dụng phần này của báo cáo, chúng ta có thể thấy độ lệch của từng điểm so với đường hồi quy đã xây dựng. Giá trị tuyệt đối lớn nhất

bài giảng 3

Phân tích hồi quy.

1) Các đặc điểm số của hồi quy

2) Hồi quy tuyến tính

3) Hồi quy phi tuyến tính

4) Hồi quy bội

5) Sử dụng MS EXCEL để thực hiện phân tích hồi quy

Công cụ kiểm soát và đánh giá - nhiệm vụ kiểm thử

1. Đặc điểm số của hồi quy

Phân tích hồi quy là một phương pháp thống kê để nghiên cứu ảnh hưởng của một hoặc nhiều biến độc lập đến một biến phụ thuộc. Các biến độc lập còn được gọi là biến hồi quy hoặc biến dự đoán và biến phụ thuộc được gọi là tiêu chí. Thuật ngữ biến phụ thuộc và biến độc lập chỉ phản ánh sự phụ thuộc toán học của các biến chứ không phản ánh mối quan hệ nhân quả.

Mục tiêu của phân tích hồi quy

  • Xác định mức độ quyết định của sự biến thiên của biến tiêu chí (phụ thuộc) bởi các yếu tố dự báo (biến độc lập).
  • Dự đoán giá trị của biến phụ thuộc bằng cách sử dụng (các) biến độc lập.
  • Xác định sự đóng góp của các biến độc lập riêng lẻ vào sự thay đổi của biến phụ thuộc.

Phân tích hồi quy không thể được sử dụng để xác định liệu có mối quan hệ giữa các biến hay không, vì sự tồn tại của mối quan hệ đó là điều kiện tiên quyết để áp dụng phân tích.

Để tiến hành phân tích hồi quy, trước tiên bạn cần làm quen với các khái niệm cơ bản về thống kê và lý thuyết xác suất.

Các đặc trưng số cơ bản của biến ngẫu nhiên rời rạc và liên tục: kỳ vọng toán học, phương sai và độ lệch chuẩn.

Biến ngẫu nhiên được chia thành hai loại:

  • Rời rạc, chỉ có thể nhận các giá trị cụ thể, được xác định trước (ví dụ: giá trị của các số ở mặt trên của một con xúc xắc được ném hoặc giá trị thứ tự của tháng hiện tại);
  • · liên tục (thường xuyên nhất - giá trị của một số đại lượng vật lý: trọng lượng, khoảng cách, nhiệt độ, v.v.), theo quy luật tự nhiên, có thể nhận bất kỳ giá trị nào, ít nhất là trong một khoảng thời gian nhất định.

Luật phân phối của biến ngẫu nhiên là sự tương ứng giữa các giá trị có thể có của biến ngẫu nhiên rời rạc và xác suất của nó, thường được viết dưới dạng bảng:

Định nghĩa thống kê về xác suất được thể hiện dưới dạng tần suất tương đối của một sự kiện ngẫu nhiên, nghĩa là nó được tìm thấy dưới dạng tỷ lệ của số biến ngẫu nhiên trên tổng số biến ngẫu nhiên.

Kỳ vọng toán học của một biến ngẫu nhiên rời rạcXđược gọi là tổng tích các giá trị của đại lượng X về xác suất của các giá trị này. Kỳ vọng toán học được biểu thị bằng hoặc m(X) .

N

= m(X) = x 1 P 1 + x 2 P 2 +… + x n p n = S x tôi số Pi

Tôi=1

Độ phân tán của một biến ngẫu nhiên so với kỳ vọng toán học của nó được xác định bằng cách sử dụng một đặc tính số gọi là độ phân tán. Nói một cách đơn giản, phương sai là sự lan truyền của một biến ngẫu nhiên xung quanh giá trị trung bình. Để hiểu bản chất của sự phân tán, hãy xem xét một ví dụ. Mức lương trung bình trong cả nước là khoảng 25 nghìn rúp. Con số này đến từ đâu? Nhiều khả năng, tất cả tiền lương được cộng lại và chia cho số lượng nhân viên. Trong trường hợp này, có một sự phân tán rất lớn (mức lương tối thiểu là khoảng 4 nghìn rúp và mức tối đa là khoảng 100 nghìn rúp). Nếu mọi người đều có mức lương như nhau, thì sự phân tán sẽ bằng không và sẽ không có sự chênh lệch.

Độ phân tán của một biến ngẫu nhiên rời rạcXđược gọi là kỳ vọng toán học của bình phương hiệu của một biến ngẫu nhiên và kỳ vọng toán học của nó:

D = M [ ((X - M (X)) 2 ]

Sử dụng định nghĩa của kỳ vọng toán học để tính phương sai, chúng ta thu được công thức:

D \u003d S (x i - M (X)) 2 p i

Phương sai có thứ nguyên là bình phương của một biến ngẫu nhiên. Trong trường hợp cần có một đặc tính số về độ phân tán của các giá trị có thể có trong cùng một thứ nguyên với chính biến ngẫu nhiên, thì độ lệch chuẩn được sử dụng.

Độ lệch chuẩn biến ngẫu nhiên được gọi là căn bậc hai của phương sai của nó.

Độ lệch bình phương trung bình là thước đo độ phân tán của các giá trị của một biến ngẫu nhiên xung quanh kỳ vọng toán học của nó.

Ví dụ.

Luật phân phối của biến ngẫu nhiên X được cho bởi bảng sau:

Tìm kỳ vọng toán học, phương sai và độ lệch chuẩn của nó .

Chúng tôi sử dụng các công thức trên:

M (X) \u003d 1 0,1 + 2 0,4 + 4 0,4 ​​+ 5 0,1 \u003d 3

D \u003d (1-3) 2 0,1 + (2 - 3) 2 0,4 + (4 - 3) 2 0,4 + (5 - 3) 2 0,1 \u003d 1,6

Ví dụ.

Trong xổ số tiền mặt, 1 lần trúng 1000 rúp, 10 lần trúng 100 rúp và 100 lần trúng 1 rúp mỗi người với tổng số vé là 10.000. Hãy lập luật phân phối để trúng ngẫu nhiên X cho người sở hữu một vé số và xác định kỳ vọng toán học, phương sai và độ lệch chuẩn của một biến ngẫu nhiên .

X 1 \u003d 1000, X 2 \u003d 100, X 3 \u003d 1, X 4 \u003d 0,

P 1 = 1/10000 = 0,0001, P 2 = 10/10000 = 0,001, P 3 = 100/10000 = 0,01, P 4 = 1 - (P 1 + P 2 + P 3) = 0,9889.

Chúng tôi đặt kết quả trong một bảng:

Kỳ vọng toán học - tổng các sản phẩm được ghép nối của giá trị của một biến ngẫu nhiên theo xác suất của chúng. Đối với vấn đề này, nên tính toán nó theo công thức

1000 0,0001 + 100 0,001 + 1 0,01 + 0 0,9889 = 0,21 rúp.

Chúng tôi có một giá vé thực sự "công bằng".

D \u003d S (x i - M (X)) 2 p i \u003d (1000 - 0,21) 2 0,0001 + (100 - 0,21) 2 0,001 +

+ (1 - 0,21) 2 0,01 + (0 - 0,21) 2 0,9889 ≈ 109,97

Hàm phân phối của biến ngẫu nhiên liên tục

Giá trị, do kết quả của phép thử sẽ lấy một giá trị có thể (không biết trước giá trị nào), được gọi là biến ngẫu nhiên. Như đã đề cập ở trên, các biến ngẫu nhiên là rời rạc (không liên tục) và liên tục.

Biến rời rạc là biến ngẫu nhiên nhận các giá trị khả dĩ riêng biệt với xác suất nhất định có thể đánh số được.

Biến liên tục là biến ngẫu nhiên có thể nhận mọi giá trị từ một khoảng hữu hạn hoặc vô hạn nào đó.

Cho đến thời điểm này, chúng tôi đã giới hạn bản thân mình chỉ với một “loại” biến ngẫu nhiên - rời rạc, tức là nhận các giá trị hữu hạn.

Nhưng lý thuyết và thực hành thống kê yêu cầu sử dụng khái niệm biến ngẫu nhiên liên tục - cho phép bất kỳ giá trị số nào từ bất kỳ khoảng nào.

Luật phân phối của một biến ngẫu nhiên liên tục được chỉ định thuận tiện bằng cách sử dụng cái gọi là hàm mật độ xác suất. f(x). Xác suất P(a< X < b) того, что значение, принятое случайной величиной Х, попадет в промежуток (a; b), определяется равенством

P (một< X < b) = ∫ f(x) dx

Đồ thị của hàm số f(x) được gọi là đường cong phân phối. Về mặt hình học, xác suất để một biến ngẫu nhiên rơi vào khoảng (a; b) bằng diện tích của hình thang cong tương ứng, giới hạn bởi đường cong phân phối, trục Ox và các đường thẳng x = a, x = b .

P(a£X

Nếu một tập hữu hạn hoặc tập đếm được bị trừ khỏi một sự kiện phức tạp, thì xác suất của một sự kiện mới sẽ không thay đổi.

Hàm f(x) - hàm số vô hướng của đối số thực x được gọi là mật độ xác suất và tồn tại tại điểm x nếu có giới hạn tại điểm này:

Thuộc tính mật độ xác suất:

  1. Mật độ xác suất là một hàm không âm, tức là f(x) ≥ 0

(nếu mọi giá trị của biến ngẫu nhiên X nằm trong khoảng (a;b) thì giá trị cuối cùng

đẳng thức có thể viết là ∫ f (x) dx = 1).

Bây giờ xét hàm F(x) = P(X< х). Эта функция называется функцией распределения вероятности случайной величины Х. Функция F(х) существует как для дискретных, так и для непрерывных случайных величин. Если f (x) - функция плотности распределения вероятности

biến ngẫu nhiên liên tục X thì F(x) = ∫ f(x) dx = 1).

Suy ra từ đẳng thức cuối cùng f (x) = F" (x)

Đôi khi hàm f(x) được gọi là hàm phân bố xác suất vi phân, và hàm F(x) được gọi là hàm phân bố xác suất tích lũy.

Chúng tôi lưu ý các thuộc tính quan trọng nhất của hàm phân phối xác suất:

  1. F(x) là một hàm không giảm.
  2. F(-∞)=0.
  3. F(+∞) = 1.

Khái niệm hàm phân phối là trung tâm của lý thuyết xác suất. Sử dụng khái niệm này, người ta có thể đưa ra một định nghĩa khác về biến ngẫu nhiên liên tục. Một biến ngẫu nhiên được gọi là liên tục nếu hàm phân phối tích phân F(x) của nó liên tục.

Đặc trưng số của biến ngẫu nhiên liên tục

Kỳ vọng toán học, phương sai và các tham số khác của bất kỳ biến ngẫu nhiên nào hầu như luôn được tính toán bằng cách sử dụng các công thức tuân theo luật phân phối.

Đối với biến ngẫu nhiên liên tục, kỳ vọng toán học được tính theo công thức:

M(X) = ∫ xf(x) dx

phân tán:

D(X) = ∫ ( x- M (X)) 2 f(x) dx hoặc D(X) = ∫ x 2 f(x) dx - (M (X)) 2

2. Hồi quy tuyến tính

Cho các thành phần X và Y của biến ngẫu nhiên hai chiều (X, Y) là phụ thuộc. Chúng tôi sẽ giả định rằng một trong số chúng có thể được biểu diễn gần đúng dưới dạng hàm tuyến tính của cái kia, chẳng hạn

Y ≈ g(X) = α + βX, và xác định các tham số α và β bằng phương pháp bình phương nhỏ nhất.

Sự định nghĩa. Hàm g(X) = α + βX được gọi là xấp xỉ tốt nhất Y theo nghĩa của phương pháp bình phương nhỏ nhất, nếu kỳ vọng toán học M(Y - g(X)) 2 lấy giá trị nhỏ nhất có thể; hàm g(X) được gọi là hồi quy bình phương trung bình Y đến X.

định lý Hồi quy bình phương trung bình tuyến tính của Y trên X là:

ở đâu là hệ số tương quan X và Y.

Hệ số của phương trình.

Người ta có thể kiểm tra xem với các giá trị này hàm hàm F(α, β)

F(α, β ) = m(Y - α - βX)² có cực tiểu chứng minh khẳng định của định lý.

Sự định nghĩa. Hệ số được gọi là hệ số hồi quy Y trên X, và đường thẳng - - hồi quy bình phương trung bình trực tiếp của Y trên X.

Thay tọa độ của điểm đứng yên vào đẳng thức ta tìm được giá trị nhỏ nhất của hàm số F(α, β) bằng Giá trị này gọi là phân tán còn lại Y so với X và đặc trưng cho mức độ lỗi cho phép khi thay thế Y bằng

g(X) = α + βX. Tại , phương sai còn lại bằng 0, nghĩa là đẳng thức không gần đúng mà chính xác. Do đó, khi Y và X được kết nối bởi một phụ thuộc hàm tuyến tính. Tương tự, bạn có thể nhận được một đường hồi quy gốc-trung bình-bình phương của X trên Y:

và phương sai còn lại của X đối với Y. Đối với cả hai hồi quy trực tiếp trùng khớp. So sánh các phương trình hồi quy Y trên X và X trên Y và giải hệ phương trình, bạn có thể tìm thấy giao điểm của các đường hồi quy - một điểm có tọa độ (t x, t y), được gọi là trung tâm của phân phối chung của các giá trị X và Y.

Chúng ta sẽ xem xét thuật toán để tổng hợp các phương trình hồi quy từ sách giáo khoa “Probability Theory and Mathematical Statistics” của V. E. Gmurman “Probability Theory and Mathematical Statistics” trang 256.

1) Lập bảng tính trong đó số lượng phần tử mẫu, phương án mẫu, bình phương và tích của chúng sẽ được ghi lại.

2) Tính tổng trên tất cả các cột trừ số.

3) Tính các giá trị trung bình cho từng đại lượng, độ phân tán và độ lệch chuẩn.

5) Kiểm định giả thuyết về sự tồn tại mối quan hệ giữa X và Y.

6) Lập phương trình của cả hai đường hồi quy và vẽ đồ thị của các phương trình này.

Hệ số góc của đường thẳng hồi quy Y trên X là hệ số hồi quy mẫu

Hệ số b=

Chúng tôi thu được phương trình mong muốn của đường hồi quy Y trên X:

Y \u003d 0,202 X + 1,024

Tương tự, phương trình hồi quy X trên Y:

Hệ số góc của đường thẳng hồi quy Y trên X là hệ số hồi quy mẫu pxy:

Hệ số b=

X \u003d 4,119 Y - 3,714

3. Hồi quy phi tuyến tính

Nếu có các mối quan hệ phi tuyến tính giữa các hiện tượng kinh tế, thì chúng được thể hiện bằng các hàm phi tuyến tính tương ứng.

Có hai loại hồi quy phi tuyến tính:

1. Các hồi quy phi tuyến tính đối với các biến giải thích đưa vào phân tích nhưng tuyến tính đối với các tham số ước lượng, ví dụ:

Đa thức bậc khác nhau

Cường điệu đẳng phương - ;

Hàm bán logarit - .

2. Các hồi quy phi tuyến tính về các tham số ước lượng, ví dụ:

Quyền lực - ;

Biểu tình -;

Số mũ - .

Hồi quy phi tuyến tính trên các biến bao gồm được giảm xuống dạng tuyến tính bằng cách thay đổi biến đơn giản và ước tính thêm các tham số được thực hiện bằng phương pháp bình phương nhỏ nhất. Hãy xem xét một số chức năng.

Parabola của mức độ thứ hai được rút gọn thành dạng tuyến tính bằng cách thay thế: . Kết quả là, chúng ta đi đến một phương trình hai yếu tố, ước tính các tham số của nó bằng phương pháp bình phương nhỏ nhất dẫn đến hệ phương trình:

Một parabola ở mức độ thứ hai thường được sử dụng trong trường hợp, trong một khoảng thời gian nhất định của các giá trị nhân tố, bản chất của mối quan hệ của các tính năng đang được xem xét thay đổi: mối quan hệ trực tiếp thay đổi thành nghịch đảo hoặc nghịch đảo thành trực tiếp.

Có thể dùng phép hypebol hai phương để biểu thị mối quan hệ giữa chi phí cụ thể về nguyên liệu, vật liệu, nhiên liệu với khối lượng sản phẩm đầu ra, thời gian lưu thông hàng hóa và giá trị doanh thu. Ví dụ kinh điển của nó là đường cong Phillips, đặc trưng cho mối quan hệ phi tuyến tính giữa tỷ lệ thất nghiệp x và phần trăm tăng lương y.

Hyperbola được rút gọn thành một phương trình tuyến tính bằng cách thay thế đơn giản: . Bạn cũng có thể sử dụng phương pháp Bình phương nhỏ nhất để xây dựng hệ phương trình tuyến tính.

Theo cách tương tự, các phụ thuộc được rút gọn về dạng tuyến tính: , và các dạng khác.

Một hyperbola đều và một đường cong bán logarit được sử dụng để mô tả đường cong Engel (một mô tả toán học về mối quan hệ giữa tỷ lệ chi tiêu cho hàng hóa lâu bền và tổng chi tiêu (hoặc thu nhập)). Các phương trình mà chúng đưa vào được sử dụng trong các nghiên cứu về năng suất, cường độ lao động của sản xuất nông nghiệp.

4. Hồi quy bội

Hồi quy bội - một phương trình liên kết với nhiều biến độc lập:

đâu là biến phụ thuộc (dấu hiệu kết quả);

Các biến độc lập (nhân tố).

Để xây dựng phương trình hồi quy bội, các hàm sau thường được sử dụng nhất:

tuyến tính -

quyền lực -

nhà triển lãm -

cường điệu - .

Bạn có thể sử dụng các chức năng khác có thể được giảm xuống dạng tuyến tính.

Để ước tính các tham số của phương trình hồi quy bội, phương pháp bình phương nhỏ nhất (LSM) được sử dụng. Đối với các phương trình tuyến tính và phương trình phi tuyến tính có thể rút gọn thành phương trình tuyến tính, hệ phương trình bình thường sau đây được xây dựng, giải pháp cho phép ước tính các tham số hồi quy:

Để giải có thể áp dụng phương pháp định thức:

đâu là yếu tố quyết định của hệ thống;

Định thức riêng; có được bằng cách thay thế cột tương ứng của ma trận định thức của hệ thống bằng dữ liệu của phía bên trái của hệ thống.

Một loại phương trình hồi quy bội khác là phương trình hồi quy bội quy mô chuẩn hóa, LSM được áp dụng cho phương trình hồi quy bội quy mô chuẩn hóa.

5. Cách sử dụngbệnh đa xơ cứngXUẤT SẮCđể thực hiện phân tích hồi quy

Phân tích hồi quy thiết lập dạng mối quan hệ giữa biến ngẫu nhiên Y (phụ thuộc) và các giá trị của một hoặc nhiều biến (độc lập) và các giá trị của biến sau được coi là chính xác. Sự phụ thuộc như vậy thường được xác định bởi một số mô hình toán học (phương trình hồi quy) có chứa một số tham số chưa biết. Trong quá trình phân tích hồi quy, trên cơ sở dữ liệu mẫu, các ước tính của các tham số này được tìm thấy, các sai số thống kê của các ước tính hoặc ranh giới của khoảng tin cậy được xác định và kiểm tra sự tuân thủ (mức độ phù hợp) của mô hình toán học được chấp nhận với dữ liệu thực nghiệm.

Trong phân tích hồi quy tuyến tính, mối quan hệ giữa các biến ngẫu nhiên được giả định là tuyến tính. Trường hợp đơn giản nhất, trong mô hình hồi quy tuyến tính theo cặp, có 2 biến X và Y. Và cần n cặp quan sát (X1, Y1), (X2, Y2), ..., (Xn, Yn) để xây dựng (chọn) một đường thẳng, được gọi là đường hồi quy, đường gần đúng nhất với các giá trị quan sát được. Phương trình của dòng này y=ax+b là một phương trình hồi quy. Sử dụng phương trình hồi quy, bạn có thể dự đoán giá trị kỳ vọng của biến phụ thuộc y tương ứng với một giá trị nhất định của biến độc lập x. Trong trường hợp khi xét đến sự phụ thuộc giữa một biến phụ thuộc Y với một số biến độc lập X1, X2, ..., Xm thì người ta nói đến hồi quy tuyến tính bội.

Trong trường hợp này, phương trình hồi quy có dạng

y = a 0 +a 1 x 1 +a 2 x 2 +…+a m x m ,

trong đó a0, a1, a2, …, am là các hệ số hồi quy cần xác định.

Các hệ số của phương trình hồi quy được xác định bằng phương pháp bình phương nhỏ nhất, đạt được tổng bình phương chênh lệch nhỏ nhất có thể giữa các giá trị thực của biến Y và các giá trị được tính bằng phương trình hồi quy. Do đó, ví dụ, một phương trình hồi quy tuyến tính có thể được xây dựng ngay cả khi không có tương quan tuyến tính.

Thước đo hiệu quả của mô hình hồi quy là hệ số xác định R2 (R-square). Hệ số xác định có thể lấy các giá trị từ 0 đến 1 xác định mức độ chính xác của phương trình hồi quy kết quả mô tả (gần đúng) dữ liệu gốc. Ý nghĩa của mô hình hồi quy cũng được khảo sát bằng tiêu chí F (Fisher) và độ tin cậy của sự khác biệt giữa các hệ số a0, a1, a2, ..., am từ 0 được kiểm tra bằng kiểm định t Student.

Trong Excel, dữ liệu thử nghiệm được xấp xỉ bằng một phương trình tuyến tính lên đến bậc 16:

y = a0+a1x1+a2x2+…+a16x16

Để có được các hệ số hồi quy tuyến tính, có thể sử dụng quy trình "Hồi quy" từ gói phân tích. Ngoài ra, hàm LINEST cung cấp thông tin đầy đủ về phương trình hồi quy tuyến tính. Ngoài ra, các hàm SLOPE và INTERCEPT có thể được sử dụng để lấy các tham số của phương trình hồi quy và các hàm TREND và FORECAST có thể được sử dụng để lấy các giá trị Y dự đoán tại các điểm cần thiết (đối với hồi quy theo cặp).

Chúng ta hãy xem xét chi tiết ứng dụng của hàm LINEST (known_y, [known_x], [constant], [statistics]): known_y - phạm vi giá trị đã biết của tham số phụ thuộc Y. Trong phân tích hồi quy theo cặp, nó có thể có bất kỳ hình thức nào; ở số nhiều, nó phải là một hàng hoặc một cột; known_x là phạm vi giá trị đã biết của một hoặc nhiều tham số độc lập. Phải có cùng hình dạng với phạm vi Y (tương ứng với nhiều tham số, nhiều cột hoặc hàng); hằng số - đối số boolean. Nếu, dựa trên ý nghĩa thực tế của nhiệm vụ phân tích hồi quy, điều cần thiết là đường hồi quy phải đi qua gốc tọa độ, tức là hệ số tự do bằng 0, thì giá trị của đối số này phải được đặt bằng 0 (hoặc “ SAI"). Nếu giá trị được đặt thành 1 (hoặc "đúng") hoặc bị bỏ qua, thì hệ số tự do được tính theo cách thông thường; thống kê là một đối số boolean. Nếu giá trị được đặt thành 1 (hoặc "true"), thì một thống kê hồi quy bổ sung (xem bảng) sẽ được trả về, được sử dụng để đánh giá hiệu quả và tầm quan trọng của mô hình. Trong trường hợp chung, đối với hồi quy theo cặp y=ax+b, kết quả của việc áp dụng hàm LINEST sẽ như sau:

Bàn. Phạm vi đầu ra của LINEST để phân tích hồi quy theo cặp

Trong trường hợp phân tích hồi quy bội cho phương trình y=a0+a1x1+a2x2+…+amxm, các hệ số am,…,a1,a0 được hiển thị ở dòng đầu tiên và sai số chuẩn cho các hệ số này được hiển thị ở dòng thứ hai . Hàng 3-5, ngoại trừ hai cột đầu tiên chứa thống kê hồi quy, sẽ mang lại #N/A.

Hàm LINEST phải được nhập dưới dạng công thức mảng, trước tiên hãy chọn một mảng có kích thước mong muốn cho kết quả (m+1 cột và 5 hàng nếu cần thống kê hồi quy) và hoàn thành mục nhập công thức bằng cách nhấn CTRL+SHIFT+ENTER.

Kết quả cho ví dụ của chúng tôi:

Ngoài ra, chương trình có chức năng tích hợp - Phân tích dữ liệu trên tab Dữ liệu.

Nó cũng có thể được sử dụng để thực hiện phân tích hồi quy:

Trên trang trình bày - kết quả phân tích hồi quy được thực hiện bằng Phân tích dữ liệu.

KẾT QUẢ

Thống kê hồi quy

Nhiều R

Quảng trường R

Bình phương R được chuẩn hóa

lỗi tiêu chuẩn

quan sát

Phân tích phương sai

ý nghĩa F

hồi quy

tỷ lệ cược

lỗi tiêu chuẩn

thống kê t

Giá trị P

dưới 95%

95% hàng đầu

Thấp hơn 95,0%

95,0% hàng đầu

giao lộ chữ Y

Biến X 1

Các phương trình hồi quy mà chúng ta đã xem xét trước đó cũng được xây dựng trong MS Excel. Để thực hiện chúng, trước tiên, một biểu đồ phân tán được tạo, sau đó thông qua menu ngữ cảnh, chọn - Thêm đường xu hướng. Trong cửa sổ mới, đánh dấu vào các ô - Hiển thị phương trình trên sơ đồ và đặt giá trị của độ tin cậy xấp xỉ (R^2) trên sơ đồ.

Văn học:

  1. Lý thuyết xác suất và thống kê toán học. Gmurman V. E. Sách giáo khoa cho các trường đại học. - Ed. Ngày 10, sr. - M.: Cao hơn. trường học, 2010. - 479s.
  2. Toán học cao hơn trong các bài tập và nhiệm vụ. Sách giáo khoa cho các trường đại học / Danko P. E., Popov A. G., Kozhevnikova T. Ya., Danko S. P. Trong 2 giờ - Ed. thứ 6, sơ. - M.: Oniks Publishing House LLC: Mir and Education Publishing House LLC, 2007. - 416 tr.
    1. 3. http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8 %D1%8F - một số thông tin về phân tích hồi quy

Khái niệm hồi quy. Mối quan hệ giữa các biến xy có thể được mô tả theo những cách khác nhau. Đặc biệt, bất kỳ hình thức kết nối nào cũng có thể được biểu thị bằng một phương trình tổng quát , trong đó yđược coi là một biến phụ thuộc, hoặc chức năng từ một biến khác - một biến độc lập x, được gọi là lý lẽ. Sự tương ứng giữa một đối số và một hàm có thể được đưa ra bởi một bảng, một công thức, một đồ thị, v.v. Thay đổi một chức năng tùy thuộc vào sự thay đổi trong một hoặc nhiều đối số được gọi là hồi quy. Tất cả các phương tiện được sử dụng để mô tả các mối tương quan là nội dung Phân tích hồi quy.

Phương trình tương quan, hoặc phương trình hồi quy, chuỗi hồi quy được tính toán theo kinh nghiệm và lý thuyết, đồ thị của chúng, được gọi là đường hồi quy, cũng như các hệ số hồi quy tuyến tính và phi tuyến tính, dùng để biểu thị hồi quy.

Các chỉ số hồi quy thể hiện mối tương quan hai chiều, có xét đến sự thay đổi các giá trị trung bình của thuộc tính Y khi thay đổi giá trị x Tôi dấu hiệu X, và ngược lại, thể hiện sự thay đổi các giá trị trung bình của đặc trưng X bởi các giá trị thay đổi y Tôi dấu hiệu Y. Ngoại lệ là chuỗi thời gian, hoặc chuỗi động lực, cho thấy sự thay đổi của các dấu hiệu theo thời gian. Hồi quy của chuỗi như vậy là một chiều.

Có nhiều hình thức và kiểu tương quan khác nhau. Nhiệm vụ được rút gọn thành việc xác định hình thức kết nối trong từng trường hợp cụ thể và thể hiện nó bằng phương trình tương quan tương ứng, cho phép chúng ta thấy trước những thay đổi có thể xảy ra trong một dấu hiệu Y dựa trên những thay đổi đã biết X, liên kết với mối tương quan đầu tiên.

12.1 Hồi quy tuyến tính

Phương trình hồi quy. Kết quả quan sát được thực hiện trên một đối tượng sinh học cụ thể theo các đặc điểm tương quan xy, có thể biểu diễn các điểm trên mặt phẳng bằng cách dựng hệ trục tọa độ vuông góc. Kết quả là thu được một biểu đồ phân tán nhất định, cho phép đánh giá hình thức và mức độ chặt chẽ của mối quan hệ giữa các tính năng khác nhau. Thông thường, mối quan hệ này trông giống như một đường thẳng hoặc có thể được xấp xỉ bằng một đường thẳng.

Mối quan hệ tuyến tính giữa các biến xyđược mô tả bởi một phương trình tổng quát , trong đó A B C D,… là các tham số của phương trình xác định mối quan hệ giữa các đối số x 1 , x 2 , x 3 , …, x tôi và chức năng.

Trong thực tế, không phải tất cả các đối số có thể được tính đến mà chỉ một số đối số, trong trường hợp đơn giản nhất, chỉ có một đối số:

Trong phương trình hồi quy tuyến tính (1) Một là một thuật ngữ miễn phí và tham số b xác định độ dốc của đường hồi quy đối với các trục tọa độ hình chữ nhật. Trong hình học giải tích, tham số này được gọi là yếu tố độ dốc, và trong sinh trắc học - hệ số hồi quy. Một biểu diễn trực quan của tham số này và vị trí của các đường hồi quy Y Qua XX Qua Y trong hệ tọa độ vuông góc cho Hình 1.

Cơm. 1 Đường hồi quy Y theo X và X theo Y trong hệ thống

Tọa độ hình chữ nhật

Các đường hồi quy, như trong Hình 1, cắt nhau tại điểm O (,), tương ứng với các giá trị trung bình cộng của các dấu hiệu tương quan với nhau YX. Khi vẽ biểu đồ hồi quy, các giá trị của biến độc lập X được vẽ dọc theo trục hoành và các giá trị của biến phụ thuộc, hoặc hàm Y, được vẽ dọc theo tung độ. ) tương ứng với mối quan hệ (chức năng) đầy đủ giữa các biến YX khi hệ số tương quan . Mối liên hệ càng mạnh mẽ giữa YX, các đường hồi quy càng gần AB và ngược lại, mối quan hệ giữa các giá trị này càng yếu thì các đường hồi quy càng xa AB. Trong trường hợp không có kết nối giữa các tính năng, các đường hồi quy nằm vuông góc với nhau và .

Do các chỉ số hồi quy thể hiện mối tương quan hai chiều nên phương trình hồi quy (1) nên được viết như sau:

Theo công thức đầu tiên, các giá trị trung bình được xác định khi dấu hiệu thay đổi X trên mỗi đơn vị đo lường, trên các giá trị trung bình thứ hai khi một tính năng được thay đổi trên mỗi đơn vị đo lường Y.

Hệ số hồi quy. Hệ số hồi quy cho thấy giá trị trung bình của một tính năng y thay đổi khi một đơn vị đo lường khác, tương quan với Y dấu hiệu X. Chỉ tiêu này được xác định theo công thức

Ở đây giá trị S nhân với kích thước của các khoảng thời gian trong lớp λ nếu chúng được tìm thấy bởi chuỗi biến thể hoặc bảng tương quan.

Hệ số hồi quy có thể được tính toán bỏ qua việc tính toán độ lệch chuẩn S yS x theo công thức

Nếu chưa biết hệ số tương quan thì hệ số hồi quy được xác định như sau:

Mối quan hệ giữa hồi quy và hệ số tương quan. So sánh công thức (11.1) (chủ đề 11) và (12.5), ta thấy tử số của chúng chứa cùng một giá trị , điều này cho thấy mối liên hệ giữa các chỉ số này. Mối quan hệ này được thể hiện bằng sự bình đẳng

Như vậy, hệ số tương quan bằng giá trị trung bình nhân của các hệ số b yxb xy. Công thức (6) cho phép, trước tiên, từ các giá trị đã biết của các hệ số hồi quy b yxb xy xác định hệ số hồi quy r xy, và thứ hai, để kiểm tra tính đúng đắn của việc tính toán chỉ tiêu tương quan này r xy giữa các tính trạng khác nhau XY.

Giống như hệ số tương quan, hệ số hồi quy chỉ đặc trưng cho mối quan hệ tuyến tính và kèm theo dấu cộng cho mối quan hệ thuận và dấu trừ cho mối quan hệ nghịch.

Xác định các tham số hồi quy tuyến tính.Được biết, tổng bình phương độ lệch của biến thể x Tôi từ giá trị trung bình có giá trị nhỏ nhất, tức là Định lý này tạo thành cơ sở của phương pháp bình phương nhỏ nhất. Đối với hồi quy tuyến tính [xem thức (1)], yêu cầu của định lý này được thỏa mãn bởi một hệ phương trình nào đó gọi là Bình thường:

Giải pháp chung của các phương trình này đối với các tham số Mộtb dẫn đến các kết quả sau:

;

;

, từ đâu tôi.

Do tính chất hai chiều của mối quan hệ giữa các biến YX, công thức xác định tham số MỘT nên được thể hiện như thế này:

Và . (7)

Tham số b, hay hệ số hồi quy, được xác định theo công thức sau:

Xây dựng chuỗi hồi quy thực nghiệm. Với sự hiện diện của một số lượng lớn các quan sát, phân tích hồi quy bắt đầu bằng việc xây dựng chuỗi hồi quy thực nghiệm. Chuỗi hồi quy thực nghiệmđược hình thành bằng cách tính toán các giá trị của một thuộc tính biến X giá trị trung bình của khác, tương quan với X dấu hiệu Y. Nói cách khác, việc xây dựng chuỗi hồi quy thực nghiệm bắt nguồn từ việc tìm nhóm có nghĩa là u từ các giá trị tương ứng của các dấu hiệu Y và X.

Chuỗi hồi quy theo kinh nghiệm là một chuỗi số kép có thể được biểu thị bằng các điểm trên mặt phẳng và sau đó, bằng cách nối các điểm này với các đoạn thẳng, có thể thu được một đường hồi quy theo kinh nghiệm. Chuỗi hồi quy thực nghiệm, đặc biệt là đồ thị của chúng, được gọi là đường hồi quy, đưa ra một biểu diễn trực quan về hình thức và độ chặt chẽ của sự phụ thuộc tương quan giữa các tính năng khác nhau.

Cân bằng của chuỗi hồi quy thực nghiệm.Đồ thị của chuỗi hồi quy thực nghiệm thường là các đường đứt đoạn hơn là đường trơn. Điều này được giải thích là do, cùng với những nguyên nhân chính quyết định mô hình chung về tính biến thiên của các tính trạng tương quan, giá trị của chúng bị ảnh hưởng bởi tác động của nhiều nguyên nhân phụ gây ra biến động ngẫu nhiên tại các điểm nút của hồi quy. Để xác định xu hướng chính (xu hướng) của biến thể liên hợp của các tính năng tương quan, bạn cần thay thế các đường đứt đoạn bằng các đường hồi quy trơn tru, chạy trơn tru. Quá trình thay thế các đường gãy bằng các đường trơn được gọi là sự liên kết của chuỗi thực nghiệmđường hồi quy.

Phương pháp căn chỉnh đồ họa.Đây là phương pháp đơn giản nhất không yêu cầu công việc tính toán. Bản chất của nó là như sau. Chuỗi hồi quy thực nghiệm được vẽ dưới dạng đồ thị trong hệ tọa độ hình chữ nhật. Sau đó, các điểm giữa của hồi quy được vạch ra một cách trực quan, dọc theo đó một đường liền nét được vẽ bằng thước kẻ hoặc mẫu. Nhược điểm của phương pháp này là rõ ràng: nó không loại trừ ảnh hưởng của các đặc điểm cá nhân của nhà nghiên cứu đến kết quả của sự liên kết của các đường hồi quy thực nghiệm. Do đó, trong trường hợp cần độ chính xác cao hơn khi thay thế các đường hồi quy bị hỏng bằng các đường trơn, các phương pháp căn chỉnh chuỗi kinh nghiệm khác được sử dụng.

Phương pháp trung bình động. Bản chất của phương pháp này được rút gọn thành phép tính tuần tự trung bình cộng của hai hoặc ba thành viên lân cận của chuỗi kinh nghiệm. Phương pháp này đặc biệt thuận tiện trong trường hợp chuỗi kinh nghiệm được biểu thị bằng một số lượng lớn các số hạng, do đó việc mất hai trong số chúng - những số cực trị, điều không thể tránh khỏi với phương pháp cân bằng này, sẽ không ảnh hưởng đáng kể đến cấu trúc của nó.

Phương pháp bình phương nhỏ nhất. Phương pháp này được đề xuất vào đầu thế kỷ 19 bởi A.M. Legendre và, không phụ thuộc vào anh ta, K. Gauss. Nó cho phép bạn căn chỉnh chính xác nhất chuỗi kinh nghiệm. Phương pháp này, như đã trình bày ở trên, dựa trên giả định rằng tổng các bình phương độ lệch của biến thể x Tôi từ mức trung bình của chúng, có một giá trị tối thiểu, tức là. Do đó, tên của phương pháp này không chỉ được sử dụng trong sinh thái học mà còn trong công nghệ. Phương pháp bình phương nhỏ nhất là khách quan và phổ quát, nó được sử dụng trong nhiều trường hợp khi tìm phương trình thực nghiệm của chuỗi hồi quy và xác định các tham số của chúng.

Yêu cầu của phương pháp bình phương nhỏ nhất là các điểm lý thuyết của đường hồi quy phải được lấy sao cho tổng các bình phương độ lệch từ các điểm này cho các quan sát thực nghiệm. y Tôi là tối thiểu, tức là

Tính toán mức tối thiểu của biểu thức này theo các nguyên tắc phân tích toán học và biến đổi nó theo một cách nhất định, người ta có thể thu được một hệ thống được gọi là phương trình bình thường, trong đó các giá trị chưa biết là các tham số mong muốn của phương trình hồi quy và các hệ số đã biết được xác định bởi các giá trị thực nghiệm của các tính năng, thường là tổng của các giá trị và tích chéo của chúng.

Hồi quy tuyến tính bội. Mối quan hệ giữa một số biến thường được thể hiện bằng phương trình hồi quy bội, có thể là tuyến tínhphi tuyến tính. Ở dạng đơn giản nhất, hồi quy bội được biểu thị bằng một phương trình có hai biến độc lập ( x, z):

Ở đâu Một là số hạng tự do của phương trình; bc là các tham số của phương trình. Để tìm các tham số của phương trình (10) (bằng phương pháp bình phương bé nhất) người ta dùng hệ phương trình chính tắc sau:

Hàng động. Căn hàng. Sự thay đổi của các dấu hiệu theo thời gian tạo thành cái gọi là chuỗi thời gian hoặc hàng của động lực học. Một tính năng đặc trưng của chuỗi như vậy là yếu tố thời gian luôn đóng vai trò ở đây là biến độc lập X và dấu hiệu thay đổi là biến phụ thuộc Y. Tùy thuộc vào chuỗi hồi quy, mối quan hệ giữa các biến X và Y là một chiều, vì yếu tố thời gian không phụ thuộc vào tính biến thiên của các tính năng. Mặc dù có những đặc điểm này, chuỗi thời gian có thể được ví như chuỗi hồi quy và được xử lý bằng các phương pháp giống nhau.

Giống như chuỗi hồi quy, chuỗi thời gian theo kinh nghiệm không chỉ bị ảnh hưởng bởi yếu tố chính mà còn bởi nhiều yếu tố phụ (ngẫu nhiên) che khuất xu hướng chính về tính biến thiên của các đặc điểm, mà theo ngôn ngữ thống kê được gọi là xu hướng.

Phân tích chuỗi thời gian bắt đầu bằng việc xác định hình dạng của xu hướng. Để làm điều này, chuỗi thời gian được mô tả dưới dạng biểu đồ đường trong hệ tọa độ hình chữ nhật. Đồng thời, các điểm thời gian (năm, tháng và các đơn vị thời gian khác) được vẽ dọc theo trục hoành và các giá trị của biến phụ thuộc Y được vẽ dọc theo trục tung độ. độ lệch của các số hạng của chuỗi biến phụ thuộc Y so với trung bình cộng của chuỗi biến độc lập X:

Ở đây, là tham số hồi quy tuyến tính.

Đặc tuyến số của chuỗi động lực học. Các đặc điểm số tổng quát chính của chuỗi động lực học bao gồm trung bình hình học và một trung bình số học gần với nó. Chúng đặc trưng cho tốc độ trung bình mà tại đó giá trị của biến phụ thuộc thay đổi trong các khoảng thời gian nhất định:

Ước tính về độ biến thiên của các số hạng của chuỗi động lực học là độ lệch chuẩn. Khi chọn phương trình hồi quy để mô tả chuỗi thời gian, dạng của xu hướng được tính đến, có thể là tuyến tính (hoặc giảm xuống tuyến tính) và phi tuyến tính. Tính đúng đắn của việc lựa chọn phương trình hồi quy thường được đánh giá bằng sự giống nhau của các giá trị được quan sát và tính toán thực nghiệm của biến phụ thuộc. Chính xác hơn trong việc giải bài toán này là phương pháp phân tích hồi quy phương sai (chuyên đề 12 tr.4).

Tương quan của chuỗi động lực học. Người ta thường so sánh động lực của các chuỗi thời gian song song có liên quan với nhau bởi một số điều kiện chung, chẳng hạn để tìm ra mối quan hệ giữa sản xuất nông nghiệp và tăng trưởng chăn nuôi trong một khoảng thời gian nhất định. Trong những trường hợp như vậy, mối quan hệ giữa các biến X và Y được đặc trưng bởi Hệ số tương quan R xy (khi có xu hướng tuyến tính).

Được biết, theo quy luật, xu hướng của chuỗi động lực bị che khuất bởi sự dao động trong các điều khoản của chuỗi biến phụ thuộc Y. Do đó, một vấn đề hai mặt nảy sinh: đo lường sự phụ thuộc giữa các chuỗi được so sánh, mà không loại trừ xu hướng và đo lường sự phụ thuộc giữa các thành viên liền kề của cùng một chuỗi, không bao gồm xu hướng. Trong trường hợp đầu tiên, một chỉ báo về mức độ chặt chẽ của kết nối giữa chuỗi động lực được so sánh là Hệ số tương quan(nếu mối quan hệ là tuyến tính), trong lần thứ hai - hệ số tự tương quan. Các chỉ số này có các giá trị khác nhau, mặc dù chúng được tính bằng các công thức giống nhau (xem chủ đề 11).

Dễ dàng nhận thấy rằng giá trị của hệ số tự tương quan bị ảnh hưởng bởi độ biến thiên của các phần tử trong chuỗi biến phụ thuộc: các phần tử của chuỗi lệch khỏi xu hướng càng ít thì hệ số tự tương quan càng cao và ngược lại.

Khi có mối tương quan giữa yếu tố và các dấu hiệu kết quả, các bác sĩ thường phải xác định giá trị của một dấu hiệu có thể thay đổi bao nhiêu khi một dấu hiệu khác bị thay đổi bởi một đơn vị đo lường thường được chính nhà nghiên cứu chấp nhận hoặc thiết lập.

Ví dụ, trọng lượng cơ thể của học sinh lớp 1 (nữ hay nam) sẽ thay đổi như thế nào nếu chiều cao của các em tăng 1 cm, với mục đích này, phương pháp phân tích hồi quy được sử dụng.

Thông thường, phương pháp phân tích hồi quy được sử dụng để xây dựng các thang đo và tiêu chuẩn quy chuẩn cho sự phát triển thể chất.

  1. Định nghĩa hồi quy. Hồi quy là một hàm cho phép, dựa trên giá trị trung bình của một thuộc tính, để xác định giá trị trung bình của một thuộc tính khác có tương quan với thuộc tính đầu tiên.

    Với mục đích này, hệ số hồi quy và một số tham số khác được sử dụng. Ví dụ: bạn có thể tính số lần cảm lạnh trung bình ở các giá trị nhất định của nhiệt độ không khí trung bình hàng tháng trong thời kỳ thu đông.

  2. Định nghĩa hệ số hồi quy. Hệ số hồi quy là giá trị tuyệt đối mà theo đó giá trị của một thuộc tính thay đổi trung bình khi một thuộc tính khác liên kết với nó thay đổi theo đơn vị đo lường đã thiết lập.
  3. Công thức hệ số hồi quy. R y / x \u003d r xy x (σ y / σ x)
    trong đó R y / x - hệ số hồi quy;
    r xy - hệ số tương quan giữa các đặc trưng x và y;
    (σ y và σ x) - độ lệch chuẩn của các đặc trưng x và y.

    Trong ví dụ của chúng tôi;
    σ x = 4,6 (độ lệch chuẩn của nhiệt độ không khí thời kỳ thu đông;
    σ y = 8,65 (độ lệch chuẩn của số lần cảm lạnh truyền nhiễm).
    Do đó, R y/x là hệ số hồi quy.
    R y / x \u003d -0,96 x (4,6 / 8,65) \u003d 1,8, tức là với nhiệt độ không khí trung bình tháng (x) giảm 1 độ, số ca cảm cúm truyền nhiễm trung bình (y) trong thời kỳ thu đông sẽ thay đổi 1,8 ca.

  4. Phương trình hồi quy. y \u003d M y + R y / x (x - M x)
    trong đó y là giá trị trung bình của thuộc tính, được xác định khi giá trị trung bình của thuộc tính khác (x) thay đổi;
    x - giá trị trung bình đã biết của một tính năng khác;
    R y/x - hệ số hồi quy;
    M x, M y - giá trị trung bình đã biết của các tính năng x và y.

    Ví dụ, số lượng trung bình của cảm lạnh truyền nhiễm (y) có thể được xác định mà không cần các phép đo đặc biệt ở bất kỳ giá trị trung bình nào của nhiệt độ không khí trung bình hàng tháng (x). Vì vậy, nếu x \u003d - 9 °, R y / x \u003d 1,8 bệnh, M x \u003d -7 °, M y \u003d 20 bệnh, thì y \u003d 20 + 1,8 x (9-7) \u003d 20 + 3 .6 = 23,6 bệnh.
    Phương trình này được áp dụng trong trường hợp quan hệ đường thẳng giữa hai đối tượng địa lý (x và y).

  5. Mục đích của phương trình hồi quy. Phương trình hồi quy được sử dụng để vẽ đường hồi quy. Cái sau cho phép, không cần phép đo đặc biệt, xác định bất kỳ giá trị trung bình (y) nào của một thuộc tính, nếu giá trị (x) của thuộc tính khác thay đổi. Dựa trên những dữ liệu này, một biểu đồ được xây dựng - đường Hồi quy, có thể được sử dụng để xác định số lần cảm lạnh trung bình ở bất kỳ giá trị nào của nhiệt độ trung bình hàng tháng trong phạm vi giữa các giá trị được tính toán của số lần cảm lạnh.
  6. Hồi quy sigma (công thức).
    trong đó σ Ru/x - sigma (độ lệch chuẩn) của hồi quy;
    σ y là độ lệch chuẩn của đặc trưng y;
    r xy - hệ số tương quan giữa các đặc trưng x và y.

    Vì vậy, nếu σ y là độ lệch chuẩn của số lần cảm lạnh = 8,65; r xy - hệ số tương quan giữa số đợt rét (y) với nhiệt độ không khí trung bình tháng trong thời kỳ thu đông (x) là - 0,96 thì

  7. Mục đích của hồi quy sigma. Đưa ra một đặc điểm của phép đo tính đa dạng của tính năng kết quả (y).

    Ví dụ, nó đặc trưng cho sự đa dạng của số lần cảm lạnh ở một giá trị nhất định của nhiệt độ không khí trung bình hàng tháng trong thời kỳ thu đông. Vì vậy, số lần cảm lạnh trung bình ở nhiệt độ không khí x 1 \u003d -6 ° có thể dao động từ 15,78 bệnh đến 20,62 bệnh.
    Tại x 2 = -9°, số bệnh cảm trung bình có thể dao động từ 21,18 bệnh đến 26,02 bệnh, v.v.

    Sigma hồi quy được sử dụng trong việc xây dựng thang đo hồi quy, phản ánh độ lệch của các giá trị của thuộc tính hiệu quả so với giá trị trung bình của nó được vẽ trên đường hồi quy.

  8. Dữ liệu cần thiết để tính toán và vẽ đồ thị thang hồi quy
    • hệ số hồi quy - Ry/x;
    • phương trình hồi quy - y \u003d M y + R y / x (x-M x);
    • sigma hồi quy - σ Rx/y
  9. Trình tự tính toán và biểu diễn đồ họa của thang hồi quy.
    • xác định hệ số hồi quy theo công thức (xem đoạn 3). Ví dụ, người ta nên xác định trọng lượng cơ thể sẽ thay đổi trung bình bao nhiêu (ở một độ tuổi nhất định tùy thuộc vào giới tính) nếu chiều cao trung bình thay đổi 1 cm.
    • theo công thức của phương trình hồi quy (xem đoạn 4), xác định giá trị trung bình, chẳng hạn như trọng lượng cơ thể (y, y 2, y 3 ...) * cho một giá trị tăng trưởng nhất định (x, x 2, x 3 ...) .
      ________________
      * Giá trị của "y" nên được tính cho ít nhất ba giá trị đã biết của "x".

      Đồng thời, các giá trị trung bình của trọng lượng cơ thể và chiều cao (M x và M y) cho một độ tuổi và giới tính nhất định đã được biết đến

    • tính toán sigma của hồi quy, biết các giá trị tương ứng của σ y và r xy và thế các giá trị của chúng vào công thức (xem đoạn 6).
    • dựa trên các giá trị đã biết x 1, x 2, x 3 và giá trị trung bình tương ứng của chúng y 1, y 2 y 3, cũng như nhỏ nhất (y - σ ru / x) và lớn nhất (y + σ ru / x) các giá trị (y) xây dựng thang đo hồi quy.

      Đối với biểu diễn đồ họa của thang hồi quy, các giá trị x, x 2 , x 3 (trục y) được đánh dấu đầu tiên trên biểu đồ, tức là một đường hồi quy được xây dựng, ví dụ, sự phụ thuộc của trọng lượng cơ thể (y) vào chiều cao (x).

      Sau đó, tại các điểm tương ứng y 1 , y 2 , y 3 các giá trị số của sigma hồi quy được đánh dấu, tức là trên đồ thị tìm giá trị nhỏ nhất và lớn nhất của y 1 , y 2 , y 3 .

  10. Ứng dụng thực tế của thang đo hồi quy. Các thang đo và tiêu chuẩn quy phạm đang được phát triển, đặc biệt là đối với sự phát triển thể chất. Theo thang tiêu chuẩn, có thể đưa ra đánh giá cá nhân về sự phát triển của trẻ em. Đồng thời, sự phát triển thể chất được đánh giá là hài hòa nếu, ví dụ, ở một chiều cao nhất định, cân nặng của trẻ nằm trong một sigma hồi quy về đơn vị tính trung bình của cân nặng - (y) cho một chiều cao nhất định (x) ( y ± 1 σ Ry/x).

    Sự phát triển thể chất được coi là không hài hòa về trọng lượng cơ thể nếu trọng lượng cơ thể của trẻ đối với một chiều cao nhất định nằm trong sigma hồi quy thứ hai: (y ± 2 σ Ry/x)

    Sự phát triển thể chất sẽ rất không hài hòa cả do trọng lượng cơ thể dư thừa và không đủ nếu trọng lượng cơ thể đối với một chiều cao nhất định nằm trong sigma thứ ba của hồi quy (y ± 3 σ Ry/x).

Theo kết quả nghiên cứu thống kê sự phát triển thể chất của bé trai 5 tuổi, được biết chiều cao trung bình (x) là 109 cm, cân nặng trung bình (y) là 19 kg. Hệ số tương quan giữa chiều cao và cân nặng là +0,9, độ lệch chuẩn được trình bày trong bảng.

Yêu cầu:

  • tính hệ số hồi quy;
  • sử dụng phương trình hồi quy, hãy xác định cân nặng dự kiến ​​của trẻ trai 5 tuổi có chiều cao lần lượt là x1 = 100 cm, x2 = 110 cm, x3 = 120 cm;
  • tính toán sigma hồi quy, xây dựng thang đo hồi quy, trình bày kết quả giải pháp của nó bằng đồ họa;
  • rút ra kết luận phù hợp.

Tình trạng của vấn đề và kết quả của giải pháp của nó được trình bày trong bảng tóm tắt.

Bảng 1

Điều kiện của vấn đề Kết quả giải quyết vấn đề
phương trình hồi quy hồi quy sigma thang đo hồi quy (trọng lượng cơ thể dự kiến ​​(tính bằng kg))
m σ r xy R y/x X Tại σRx/y y - σ Rу/х y + σ Rу/х
1 2 3 4 5 6 7 8 9 10
Chiều cao (x) 109 cm ±4,4cm +0,9 0,16 100cm 17,56kg ± 0,35 kg 17,21kg 17,91kg
Trọng lượng cơ thể (y) 19kg ± 0,8 kg 110 cm 19,16kg 18,81kg 19,51kg
120 cm 20,76kg 20,41kg 21,11kg

Giải pháp.

Phần kết luận. Do đó, thang hồi quy trong các giá trị được tính toán của trọng lượng cơ thể cho phép bạn xác định nó cho bất kỳ giá trị tăng trưởng nào khác hoặc để đánh giá sự phát triển cá nhân của trẻ. Để thực hiện việc này, hãy khôi phục đường vuông góc với đường hồi quy.

  1. Vlasov V.V. Dịch tễ học. - M.: GEOTAR-MED, 2004. - 464 tr.
  2. Lisitsyn Yu.P. Y tế công cộng và chăm sóc sức khỏe. Sách giáo khoa cho các trường trung học. - M.: GEOTAR-MED, 2007. - 512 tr.
  3. Medik V.A., Yuriev V.K. Giáo trình bài giảng Y tế công cộng và chăm sóc sức khỏe: Phần 1. Sức khỏe cộng đồng. - M.: Y học, 2003. - 368 tr.
  4. Minyaev V.A., Vishnyakov N.I. và các tổ chức y tế xã hội và chăm sóc sức khỏe (Sách hướng dẫn gồm 2 tập). - St.Petersburg, 1998. -528 tr.
  5. Kucherenko V.Z., Agarkov N.M. và những người khác Vệ sinh xã hội và tổ chức chăm sóc sức khỏe (Hướng dẫn) - Moscow, 2000. - 432 tr.
  6. S. Glantz. thống kê y sinh học. Per từ tiếng Anh. - M., Thực hành, 1998. - 459 tr.

Trong mô hình thống kê, phân tích hồi quy là một nghiên cứu được sử dụng để đánh giá mối quan hệ giữa các biến. Phương pháp toán học này bao gồm nhiều phương pháp khác để lập mô hình và phân tích nhiều biến khi trọng tâm là mối quan hệ giữa một biến phụ thuộc và một hoặc nhiều biến độc lập. Cụ thể hơn, phân tích hồi quy giúp bạn hiểu giá trị điển hình của biến phụ thuộc thay đổi như thế nào nếu một trong các biến độc lập thay đổi trong khi các biến độc lập khác không đổi.

Trong mọi trường hợp, điểm mục tiêu là một hàm của các biến độc lập và được gọi là hàm hồi quy. Trong phân tích hồi quy, người ta cũng quan tâm đến việc mô tả sự thay đổi của biến phụ thuộc như một hàm hồi quy, có thể được mô tả bằng cách sử dụng phân phối xác suất.

Nhiệm vụ của phân tích hồi quy

Phương pháp nghiên cứu thống kê này được sử dụng rộng rãi để dự báo, trong đó việc sử dụng nó có lợi thế đáng kể, nhưng đôi khi nó có thể dẫn đến ảo tưởng hoặc các mối quan hệ sai lầm, vì vậy nên sử dụng nó một cách cẩn thận trong câu hỏi này, vì, chẳng hạn, tương quan không có nghĩa là nhân quả.

Một số lượng lớn các phương pháp đã được phát triển để thực hiện phân tích hồi quy, chẳng hạn như hồi quy tuyến tính và bình phương nhỏ nhất thông thường, là tham số. Bản chất của chúng là hàm hồi quy được xác định theo một số hữu hạn các tham số chưa biết được ước tính từ dữ liệu. Hồi quy phi tham số cho phép hàm của nó nằm trong một tập hợp các hàm nhất định, có thể là vô hạn chiều.

Là một phương pháp nghiên cứu thống kê, phân tích hồi quy trong thực tế phụ thuộc vào hình thức của quy trình tạo dữ liệu và cách nó liên quan đến phương pháp hồi quy. Vì hình thức thực sự của quá trình tạo dữ liệu thường là một số chưa biết, nên phân tích hồi quy dữ liệu thường phụ thuộc ở một mức độ nào đó vào các giả định về quá trình. Những giả định này đôi khi có thể kiểm chứng được nếu có đủ dữ liệu. Các mô hình hồi quy thường hữu ích ngay cả khi các giả định bị vi phạm ở mức độ vừa phải, mặc dù chúng có thể không hoạt động tốt nhất.

Theo nghĩa hẹp hơn, hồi quy có thể đề cập cụ thể đến việc ước tính các biến phản hồi liên tục, trái ngược với các biến phản hồi rời rạc được sử dụng trong phân loại. Trường hợp biến đầu ra liên tục còn được gọi là hồi quy metric để phân biệt với các bài toán liên quan.

Câu chuyện

Hình thức hồi quy sớm nhất là phương pháp bình phương nhỏ nhất nổi tiếng. Nó được Legendre xuất bản năm 1805 và Gauss năm 1809. Legendre và Gauss đã áp dụng phương pháp này cho vấn đề xác định quỹ đạo của các vật thể quanh Mặt trời từ các quan sát thiên văn (chủ yếu là sao chổi, nhưng sau đó cũng có các hành tinh nhỏ mới được phát hiện). Gauss đã công bố một bước phát triển xa hơn của lý thuyết bình phương nhỏ nhất vào năm 1821, bao gồm một biến thể của định lý Gauss-Markov.

Thuật ngữ "hồi quy" được đặt ra bởi Francis Galton vào thế kỷ 19 để mô tả một hiện tượng sinh học. Điểm mấu chốt là sự phát triển của con cháu từ sự phát triển của tổ tiên, như một quy luật, thoái lui xuống mức trung bình bình thường. Đối với Galton, hồi quy chỉ có ý nghĩa sinh học này, nhưng sau đó công trình của ông đã được Udni Yoley và Karl Pearson tiếp thu và đưa vào bối cảnh thống kê tổng quát hơn. Trong công trình của Yule và Pearson, phân phối chung của các biến phản hồi và giải thích được coi là Gaussian. Giả định này đã bị Fischer bác bỏ trong các bài báo năm 1922 và 1925. Fisher gợi ý rằng phân phối có điều kiện của biến trả lời là Gaussian, nhưng phân phối chung thì không cần phải như vậy. Về vấn đề này, gợi ý của Fisher gần với công thức năm 1821 của Gauss hơn. Trước năm 1970, đôi khi phải mất tới 24 giờ để có kết quả phân tích hồi quy.

Các phương pháp phân tích hồi quy tiếp tục là một lĩnh vực nghiên cứu tích cực. Trong những thập kỷ gần đây, các phương pháp mới đã được phát triển để hồi quy mạnh mẽ; hồi quy liên quan đến phản ứng tương quan; phương pháp hồi quy phù hợp với nhiều loại dữ liệu bị thiếu; hồi quy phi tham số; phương pháp hồi quy Bayesian; hồi quy trong đó các biến dự đoán được đo bằng lỗi; hồi quy với nhiều dự đoán hơn quan sát và suy luận nhân quả với hồi quy.

Mô hình hồi quy

Các mô hình phân tích hồi quy bao gồm các biến sau:

  • Các tham số không xác định, được ký hiệu là beta, có thể là vô hướng hoặc vectơ.
  • Các biến độc lập, X.
  • Các biến phụ thuộc, Y.

Trong các lĩnh vực khoa học khác nhau áp dụng phân tích hồi quy, các thuật ngữ khác nhau được sử dụng thay cho các biến phụ thuộc và biến độc lập, nhưng trong mọi trường hợp, mô hình hồi quy liên hệ Y với một hàm của X và β.

Phép tính gần đúng thường có công thức là E(Y | X) = F(X, β). Để thực hiện phân tích hồi quy, dạng của hàm f phải được xác định. Hiếm khi hơn, nó dựa trên kiến ​​thức về mối quan hệ giữa Y và X mà không dựa trên dữ liệu. Nếu kiến ​​​​thức đó không có sẵn, thì một hình thức F linh hoạt hoặc thuận tiện sẽ được chọn.

Biến phụ thuộc Y

Bây giờ chúng ta hãy giả sử rằng vectơ của các tham số chưa biết có độ dài k. Để thực hiện phân tích hồi quy, người dùng phải cung cấp thông tin về biến phụ thuộc Y:

  • Nếu N điểm dữ liệu có dạng (Y, X) được quan sát, trong đó N< k, большинство классических подходов к регрессионному анализу не могут быть выполнены, так как система уравнений, определяющих модель регрессии в качестве недоопределенной, не имеет достаточного количества данных, чтобы восстановить β.
  • Nếu chính xác N = K được quan sát và hàm F là tuyến tính, thì phương trình Y = F(X, β) có thể được giải chính xác, không phải xấp xỉ. Điều này rút gọn lại để giải một tập hợp N-phương trình với N-ẩn số (các phần tử của β) có nghiệm duy nhất miễn là X độc lập tuyến tính. Nếu F phi tuyến tính thì có thể không tồn tại nghiệm hoặc có thể có nhiều nghiệm.
  • Tình huống phổ biến nhất là khi có N > điểm dữ liệu. Trong trường hợp này, có đủ thông tin trong dữ liệu để ước tính giá trị duy nhất cho β phù hợp nhất với dữ liệu và mô hình hồi quy khi áp dụng cho dữ liệu có thể được coi là một hệ thống bị ghi đè trong β.

Trong trường hợp sau, phân tích hồi quy cung cấp các công cụ để:

  • Tìm giải pháp cho tham số chưa biết β, chẳng hạn, điều này sẽ giảm thiểu khoảng cách giữa giá trị đo được và giá trị dự đoán của Y.
  • Dưới những giả định thống kê nhất định, phân tích hồi quy sử dụng thông tin dư thừa để cung cấp thông tin thống kê về tham số β chưa biết và các giá trị dự đoán của biến phụ thuộc Y.

Số lượng phép đo độc lập cần thiết

Xét một mô hình hồi quy có ba tham số chưa biết: β 0 , β 1 và β 2 . Giả sử rằng người làm thí nghiệm thực hiện 10 phép đo trong cùng một giá trị của biến độc lập của vectơ X. Trong trường hợp này, phân tích hồi quy không đưa ra một tập giá trị duy nhất. Điều tốt nhất bạn có thể làm là ước tính giá trị trung bình và độ lệch chuẩn của biến phụ thuộc Y. Tương tự, bằng cách đo hai giá trị khác nhau của X, bạn có thể có đủ dữ liệu cho một hồi quy với hai ẩn số, nhưng không phải cho ba ẩn số trở lên.

Nếu các phép đo của người thí nghiệm được thực hiện ở ba giá trị khác nhau của biến vectơ độc lập X, thì phân tích hồi quy sẽ cung cấp một bộ ước tính duy nhất cho ba tham số chưa biết trong β.

Trong trường hợp hồi quy tuyến tính tổng quát, mệnh đề trên tương đương với yêu cầu ma trận X T X khả nghịch.

giả định thống kê

Khi số phép đo N lớn hơn số tham số k chưa biết và sai số phép đo ε i , thì theo quy luật, thông tin dư thừa chứa trong các phép đo sẽ được phân phối và sử dụng cho các dự đoán thống kê về các tham số chưa biết. Lượng thông tin dư thừa này được gọi là bậc tự do của hồi quy.

giả định cơ bản

Các giả định cổ điển để phân tích hồi quy bao gồm:

  • Lấy mẫu là đại diện của dự đoán suy luận.
  • Sai số là một biến ngẫu nhiên có giá trị trung bình bằng 0, có điều kiện phụ thuộc vào các biến giải thích.
  • Các biến độc lập được đo lường mà không có lỗi.
  • Với tư cách là các biến độc lập (các biến dự báo), chúng độc lập tuyến tính, nghĩa là không thể biểu thị bất kỳ biến dự báo nào dưới dạng tổ hợp tuyến tính của các biến khác.
  • Các lỗi không tương quan, nghĩa là ma trận hiệp phương sai của các đường chéo và mỗi phần tử khác không là phương sai của lỗi.
  • Phương sai sai số là không đổi qua các quan sát (phương sai đồng nhất). Nếu không, thì có thể sử dụng phương pháp bình phương nhỏ nhất có trọng số hoặc các phương pháp khác.

Các điều kiện đủ này để ước lượng bình phương nhỏ nhất có các thuộc tính bắt buộc, cụ thể là các giả định này có nghĩa là các ước lượng tham số sẽ khách quan, nhất quán và hiệu quả, đặc biệt khi được tính đến trong lớp ước lượng tuyến tính. Điều quan trọng cần lưu ý là dữ liệu thực tế hiếm khi thỏa mãn các điều kiện. Nghĩa là, phương pháp được sử dụng ngay cả khi các giả định không đúng. Sự thay đổi từ các giả định đôi khi có thể được sử dụng như một thước đo mức độ hữu ích của mô hình. Nhiều giả định trong số này có thể được nới lỏng bằng các phương pháp tiên tiến hơn. Các báo cáo phân tích thống kê thường bao gồm phân tích các thử nghiệm đối với dữ liệu mẫu và phương pháp luận về tính hữu ích của mô hình.

Ngoài ra, các biến trong một số trường hợp đề cập đến các giá trị được đo tại các vị trí điểm. Có thể có các xu hướng không gian và tự tương quan không gian trong các biến vi phạm các giả định thống kê. Hồi quy trọng số địa lý là phương pháp duy nhất xử lý dữ liệu đó.

Trong hồi quy tuyến tính, đặc điểm là biến phụ thuộc Y i , là sự kết hợp tuyến tính của các tham số. Ví dụ: trong hồi quy tuyến tính đơn giản, mô hình điểm n sử dụng một biến độc lập x i và hai tham số β 0 và β 1 .

Trong hồi quy tuyến tính bội, có một số biến độc lập hoặc chức năng của chúng.

Khi được lấy mẫu ngẫu nhiên từ một tổng thể, các tham số của nó giúp lấy mẫu của mô hình hồi quy tuyến tính.

Trong khía cạnh này, phương pháp bình phương tối thiểu là phổ biến nhất. Nó cung cấp các ước tính tham số để giảm thiểu tổng bình phương của phần dư. Loại cực tiểu hóa này (điển hình của hồi quy tuyến tính) của hàm này dẫn đến một tập hợp các phương trình bình thường và một tập hợp các phương trình tuyến tính có tham số, được giải để thu được các ước tính tham số.

Giả sử thêm rằng sai số tổng thể thường lan truyền, nhà nghiên cứu có thể sử dụng các ước tính sai số chuẩn này để tạo khoảng tin cậy và thực hiện kiểm tra giả thuyết về các tham số của nó.

Phân tích hồi quy phi tuyến tính

Một ví dụ trong đó hàm không tuyến tính đối với các tham số chỉ ra rằng tổng bình phương phải được giảm thiểu bằng một quy trình lặp. Điều này dẫn đến nhiều phức tạp xác định sự khác biệt giữa các phương pháp bình phương tối thiểu tuyến tính và phi tuyến tính. Do đó, kết quả phân tích hồi quy khi sử dụng phương pháp phi tuyến tính đôi khi không thể đoán trước.

Tính toán công suất và cỡ mẫu

Ở đây, như một quy luật, không có phương pháp nhất quán nào liên quan đến số lượng quan sát so với số lượng biến độc lập trong mô hình. Quy tắc đầu tiên được đề xuất bởi Dobra và Hardin và có dạng N = t^n, trong đó N là cỡ mẫu, n là số lượng biến giải thích và t là số lượng quan sát cần thiết để đạt được độ chính xác mong muốn nếu mô hình có chỉ có một biến giải thích. Ví dụ: một nhà nghiên cứu xây dựng mô hình hồi quy tuyến tính bằng cách sử dụng bộ dữ liệu chứa 1000 bệnh nhân (N). Nếu nhà nghiên cứu quyết định rằng cần năm quan sát để xác định chính xác đường thẳng (m), thì số biến giải thích tối đa mà mô hình có thể hỗ trợ là 4.

Các phương pháp khác

Mặc dù các tham số của mô hình hồi quy thường được ước tính bằng phương pháp bình phương nhỏ nhất, nhưng có những phương pháp khác ít được sử dụng hơn. Ví dụ: đây là các phương pháp sau:

  • phương pháp Bayesian (ví dụ, phương pháp hồi quy tuyến tính Bayesian).
  • Hồi quy tỷ lệ phần trăm được sử dụng cho các tình huống trong đó việc giảm lỗi tỷ lệ phần trăm được coi là phù hợp hơn.
  • Độ lệch tuyệt đối nhỏ nhất, mạnh hơn khi có các giá trị ngoại lệ dẫn đến hồi quy lượng tử.
  • Hồi quy phi tham số đòi hỏi một số lượng lớn các quan sát và tính toán.
  • Khoảng cách của chỉ số học tập được học để tìm kiếm chỉ số khoảng cách có ý nghĩa trong không gian đầu vào nhất định.

Phần mềm

Tất cả các gói phần mềm thống kê chính được thực hiện bằng phân tích hồi quy bình phương tối thiểu. Hồi quy tuyến tính đơn giản và phân tích hồi quy bội có thể được sử dụng trong một số ứng dụng bảng tính cũng như một số máy tính. Mặc dù nhiều gói phần mềm thống kê có thể thực hiện nhiều loại hồi quy mạnh mẽ và phi tham số khác nhau, nhưng các phương pháp này ít được chuẩn hóa hơn; các gói phần mềm khác nhau thực hiện các phương pháp khác nhau. Phần mềm hồi quy chuyên dụng đã được phát triển để sử dụng trong các lĩnh vực như phân tích khảo sát và chụp ảnh thần kinh.