ตัวอย่าง.

ข้อมูลการทดลองเกี่ยวกับค่าของตัวแปร Xและ ที่จะได้รับในตาราง

อันเป็นผลมาจากการจัดตำแหน่งฟังก์ชัน

โดยใช้ วิธีกำลังสองน้อยที่สุด, ประมาณข้อมูลเหล่านี้ด้วยการพึ่งพาเชิงเส้น y=ax+b(ค้นหาพารามิเตอร์ เอและ ข). ค้นหาว่าเส้นใดในสองบรรทัดดีกว่า (ในแง่ของวิธีกำลังสองน้อยที่สุด) ที่จัดแนวข้อมูลการทดลอง วาดรูป.

สาระสำคัญของวิธีการกำลังสองน้อยที่สุด (LSM)

ปัญหาคือการหาค่าสัมประสิทธิ์การพึ่งพาเชิงเส้นซึ่งฟังก์ชันของตัวแปรสองตัว เอและ ข ใช้ค่าที่น้อยที่สุด นั่นคือเมื่อได้รับข้อมูล เอและ ขผลรวมของค่าเบี่ยงเบนกำลังสองของข้อมูลการทดลองจากเส้นตรงที่พบจะน้อยที่สุด นี่คือจุดรวมของวิธีกำลังสองน้อยที่สุด

ดังนั้น คำตอบของตัวอย่างจึงลดลงเหลือเพียงการหาค่าสุดโต่งของฟังก์ชันของตัวแปรสองตัว

ที่มาของสูตรการหาค่าสัมประสิทธิ์

ระบบของสมการสองสมการที่มีสองนิรนามถูกรวบรวมและแก้ไข การหาอนุพันธ์บางส่วนของฟังก์ชันเทียบกับตัวแปร เอและ ขเราให้อนุพันธ์เหล่านี้เท่ากับศูนย์

เราแก้ระบบผลลัพธ์ของสมการด้วยวิธีใดก็ได้ (เช่น วิธีการทดแทนหรือ ) และรับสูตรการหาสัมประสิทธิ์โดยใช้วิธีกำลังสองน้อยที่สุด (LSM)

ด้วยข้อมูล เอและ ขการทำงาน ใช้ค่าที่น้อยที่สุด หลักฐานของความจริงนี้จะได้รับ

นั่นคือวิธีทั้งหมดของกำลังสองน้อยที่สุด สูตรการหาค่าพารามิเตอร์ เอมีผลรวม , , , และพารามิเตอร์ น- จำนวนข้อมูลการทดลอง แนะนำให้คำนวณค่าของผลรวมเหล่านี้แยกกัน ค่าสัมประสิทธิ์ ขพบหลังจากการคำนวณ เอ.

ถึงเวลาที่จะจำตัวอย่างเดิม

วิธีการแก้.

ในตัวอย่างของเรา n=5. เรากรอกตารางเพื่อความสะดวกในการคำนวณจำนวนเงินที่รวมอยู่ในสูตรของสัมประสิทธิ์ที่ต้องการ

ค่าในแถวที่สี่ของตารางนั้นได้มาจากการคูณค่าของแถวที่ 2 ด้วยค่าของแถวที่ 3 สำหรับแต่ละตัวเลข ผม.

ค่าในแถวที่ห้าของตารางนั้นได้มาจากการยกกำลังสองค่าของแถวที่ 2 สำหรับแต่ละตัวเลข ผม.

ค่าของคอลัมน์สุดท้ายของตารางคือผลรวมของค่าในแถวต่างๆ

เราใช้สูตรของวิธีกำลังสองน้อยที่สุดเพื่อหาสัมประสิทธิ์ เอและ ข. เราแทนที่ค่าที่สอดคล้องกันจากคอลัมน์สุดท้ายของตาราง:

เพราะเหตุนี้, y=0.165x+2.184เป็นเส้นตรงโดยประมาณที่ต้องการ

มันยังคงที่จะหาว่าเส้นไหน y=0.165x+2.184หรือ ประมาณข้อมูลเดิมได้ดีขึ้น เช่น ประมาณการโดยใช้วิธีกำลังสองน้อยที่สุด

การประมาณค่าความผิดพลาดของวิธีกำลังสองน้อยที่สุด

ในการทำเช่นนี้ คุณต้องคำนวณผลรวมของการเบี่ยงเบนกำลังสองของข้อมูลดั้งเดิมจากเส้นเหล่านี้ และ ค่าที่น้อยกว่าจะสอดคล้องกับเส้นที่ใกล้เคียงกับข้อมูลดั้งเดิมได้ดีกว่าในแง่ของวิธีกำลังสองน้อยที่สุด

ตั้งแต่ แล้วบรรทัด y=0.165x+2.184ใกล้เคียงกับข้อมูลเดิมได้ดีขึ้น

ภาพประกอบกราฟิกของวิธีกำลังสองน้อยที่สุด (LSM)

ทุกอย่างดูดีบนแผนภูมิ เส้นสีแดงคือเส้นที่พบ y=0.165x+2.184, เส้นสีน้ำเงินคือ , จุดสีชมพูเป็นข้อมูลดั้งเดิม

มีไว้เพื่ออะไร ค่าประมาณเหล่านี้มีไว้เพื่ออะไร

โดยส่วนตัวแล้วฉันใช้เพื่อแก้ปัญหาการปรับข้อมูลให้เรียบ ปัญหาการประมาณค่าและการอนุมาน (ในตัวอย่างเดิม คุณอาจถูกขอให้ค้นหาค่าของค่าที่สังเกตได้ yที่ x=3หรือเมื่อไหร่ x=6ตามวิธี MNC) แต่เราจะพูดถึงเรื่องนี้ในภายหลังในส่วนอื่นของเว็บไซต์

การพิสูจน์.

เพื่อว่าเมื่อพบแล้ว เอและ ขฟังก์ชั่นใช้ค่าที่น้อยที่สุด ณ จุดนี้เมทริกซ์ของรูปแบบกำลังสองของส่วนต่างอันดับสองสำหรับฟังก์ชัน เป็นบวกแน่นอน เอามาโชว์กัน

เราประมาณฟังก์ชันด้วยพหุนามดีกรีที่ 2 ในการทำเช่นนี้ เราคำนวณสัมประสิทธิ์ของระบบสมการปกติ:

, ,

ให้เราเขียนระบบปกติที่มีกำลังสองน้อยที่สุดซึ่งมีรูปแบบดังนี้

วิธีแก้ปัญหาของระบบหาง่าย:, , .

ดังนั้นจะพบพหุนามของดีกรีที่ 2: .

การอ้างอิงทางทฤษฎี

กลับไปที่หน้า<Введение в вычислительную математику. Примеры>

ตัวอย่าง 2. การหาดีกรีที่เหมาะสมของพหุนาม

กลับไปที่หน้า<Введение в вычислительную математику. Примеры>

ตัวอย่างที่ 3. ที่มาของระบบสมการปกติเพื่อค้นหาพารามิเตอร์ของการพึ่งพาอาศัยกันเชิงประจักษ์

ให้เราหาระบบสมการเพื่อหาค่าสัมประสิทธิ์และฟังก์ชัน ซึ่งทำการประมาณค่ารูท-ค่าเฉลี่ย-กำลังสองของฟังก์ชันที่กำหนดเทียบกับจุด เขียนฟังก์ชัน และเขียนเงื่อนไขสุดขั้วที่จำเป็นสำหรับมัน:

จากนั้นระบบปกติจะอยู่ในรูปแบบ:

เราได้ระบบสมการเชิงเส้นสำหรับพารามิเตอร์ที่ไม่รู้จักและแก้ได้ง่าย

การอ้างอิงทางทฤษฎี

กลับไปที่หน้า<Введение в вычислительную математику. Примеры>

ตัวอย่าง.

ข้อมูลการทดลองเกี่ยวกับค่าของตัวแปร Xและ ที่จะได้รับในตาราง

อันเป็นผลมาจากการจัดตำแหน่งฟังก์ชัน

โดยใช้ วิธีกำลังสองน้อยที่สุด, ประมาณข้อมูลเหล่านี้ด้วยการพึ่งพาเชิงเส้น y=ax+b(ค้นหาพารามิเตอร์ เอและ ข). ค้นหาว่าเส้นใดในสองบรรทัดดีกว่า (ในแง่ของวิธีกำลังสองน้อยที่สุด) ที่จัดแนวข้อมูลการทดลอง วาดรูป.

สาระสำคัญของวิธีการกำลังสองน้อยที่สุด (LSM)

ปัญหาคือการหาค่าสัมประสิทธิ์การพึ่งพาเชิงเส้นซึ่งฟังก์ชันของตัวแปรสองตัว เอและ ขใช้ค่าที่น้อยที่สุด นั่นคือเมื่อได้รับข้อมูล เอและ ขผลรวมของค่าเบี่ยงเบนกำลังสองของข้อมูลการทดลองจากเส้นตรงที่พบจะน้อยที่สุด นี่คือจุดรวมของวิธีกำลังสองน้อยที่สุด

ดังนั้น คำตอบของตัวอย่างจึงลดลงเหลือเพียงการหาค่าสุดโต่งของฟังก์ชันของตัวแปรสองตัว

ที่มาของสูตรการหาค่าสัมประสิทธิ์

ระบบของสมการสองสมการที่มีสองนิรนามถูกรวบรวมและแก้ไข การหาอนุพันธ์บางส่วนของฟังก์ชัน ตามตัวแปร เอและ ขเราให้อนุพันธ์เหล่านี้เท่ากับศูนย์

เราแก้ระบบผลลัพธ์ของสมการด้วยวิธีใดก็ได้ (เช่น วิธีการทดแทนหรือวิธีของแครมเมอร์) และรับสูตรการหาค่าสัมประสิทธิ์โดยใช้วิธีกำลังสองน้อยที่สุด (LSM)

ด้วยข้อมูล เอและ ขการทำงาน ใช้ค่าที่น้อยที่สุด ข้อพิสูจน์ข้อเท็จจริงนี้แสดงไว้ด้านล่างในข้อความท้ายหน้า

นั่นคือวิธีทั้งหมดของกำลังสองน้อยที่สุด สูตรการหาค่าพารามิเตอร์ เอมีผลรวม , , , และพารามิเตอร์ นคือปริมาณข้อมูลการทดลอง แนะนำให้คำนวณค่าของผลรวมเหล่านี้แยกกัน

ค่าสัมประสิทธิ์ ขพบหลังจากการคำนวณ เอ.

ถึงเวลาที่จะจำตัวอย่างเดิม

วิธีการแก้.

ในตัวอย่างของเรา n=5. เรากรอกตารางเพื่อความสะดวกในการคำนวณจำนวนเงินที่รวมอยู่ในสูตรของสัมประสิทธิ์ที่ต้องการ

ค่าในแถวที่สี่ของตารางนั้นได้มาจากการคูณค่าของแถวที่ 2 ด้วยค่าของแถวที่ 3 สำหรับแต่ละตัวเลข ผม.

ค่าในแถวที่ห้าของตารางนั้นได้มาจากการยกกำลังสองค่าของแถวที่ 2 สำหรับแต่ละตัวเลข ผม.

ค่าของคอลัมน์สุดท้ายของตารางคือผลรวมของค่าในแถวต่างๆ

เราใช้สูตรของวิธีกำลังสองน้อยที่สุดเพื่อหาสัมประสิทธิ์ เอและ ข. เราแทนที่ค่าที่สอดคล้องกันจากคอลัมน์สุดท้ายของตาราง:

เพราะเหตุนี้, y=0.165x+2.184เป็นเส้นตรงโดยประมาณที่ต้องการ

มันยังคงที่จะหาว่าเส้นไหน y=0.165x+2.184หรือ ประมาณข้อมูลเดิมได้ดีขึ้น เช่น ประมาณการโดยใช้วิธีกำลังสองน้อยที่สุด

การประมาณค่าความผิดพลาดของวิธีกำลังสองน้อยที่สุด

ในการทำเช่นนี้ คุณต้องคำนวณผลรวมของการเบี่ยงเบนกำลังสองของข้อมูลดั้งเดิมจากเส้นเหล่านี้ และ ค่าที่น้อยกว่าจะสอดคล้องกับเส้นที่ใกล้เคียงกับข้อมูลดั้งเดิมได้ดีกว่าในแง่ของวิธีกำลังสองน้อยที่สุด

ตั้งแต่ แล้วบรรทัด y=0.165x+2.184ใกล้เคียงกับข้อมูลเดิมได้ดีขึ้น

ภาพประกอบกราฟิกของวิธีกำลังสองน้อยที่สุด (LSM)

ทุกอย่างดูดีบนแผนภูมิ เส้นสีแดงคือเส้นที่พบ y=0.165x+2.184, เส้นสีน้ำเงินคือ , จุดสีชมพูเป็นข้อมูลดั้งเดิม

มีไว้เพื่ออะไร ค่าประมาณเหล่านี้มีไว้เพื่ออะไร

โดยส่วนตัวแล้วฉันใช้เพื่อแก้ปัญหาการปรับข้อมูลให้เรียบ ปัญหาการประมาณค่าและการอนุมาน (ในตัวอย่างเดิม คุณอาจถูกขอให้ค้นหาค่าของค่าที่สังเกตได้ yที่ x=3หรือเมื่อไหร่ x=6ตามวิธี MNC) แต่เราจะพูดถึงเรื่องนี้ในภายหลังในส่วนอื่นของเว็บไซต์

ด้านบนของหน้า

การพิสูจน์.

เพื่อว่าเมื่อพบแล้ว เอและ ขฟังก์ชั่นใช้ค่าที่น้อยที่สุด ณ จุดนี้เมทริกซ์ของรูปแบบกำลังสองของส่วนต่างอันดับสองสำหรับฟังก์ชัน เป็นบวกแน่นอน เอามาโชว์กัน

ความแตกต่างของลำดับที่สองมีรูปแบบ:

นั่นคือ

ดังนั้นเมทริกซ์ของรูปแบบกำลังสองจึงมีรูปแบบ

และค่าขององค์ประกอบไม่ได้ขึ้นอยู่กับ เอและ ข.

ให้เราแสดงว่าเมทริกซ์เป็นค่าบวกแน่นอน สิ่งนี้ต้องการให้มุมรองลงมาเป็นค่าบวก

เล็กน้อยเชิงมุมของคำสั่งแรก . ความไม่เท่าเทียมกันนั้นเข้มงวด เนื่องจากประเด็นไม่ตรงกัน นี้จะส่อให้เห็นในสิ่งต่อไปนี้

เล็กน้อยเชิงมุมของลำดับที่สอง

มาพิสูจน์กัน วิธีการเหนี่ยวนำทางคณิตศาสตร์

บทสรุป: พบค่า เอและ ขสอดคล้องกับค่าที่น้อยที่สุดของฟังก์ชัน จึงเป็นพารามิเตอร์ที่ต้องการสำหรับวิธีกำลังสองน้อยที่สุด

เคยเข้าใจไหม?
สั่งซื้อโซลูชัน

ด้านบนของหน้า

การพัฒนาการคาดการณ์โดยใช้วิธีกำลังสองน้อยที่สุด ตัวอย่างการแก้ปัญหา

การคาดการณ์ - นี่เป็นวิธีการวิจัยทางวิทยาศาสตร์ซึ่งมีพื้นฐานมาจากการเผยแพร่แนวโน้ม รูปแบบ ความสัมพันธ์กับการพัฒนาในอนาคตของวัตถุประสงค์ของการพยากรณ์ วิธีการคาดการณ์ ได้แก่ วิธีค่าเฉลี่ยเคลื่อนที่ วิธีปรับให้เรียบแบบเอ็กซ์โปเนนเชียล วิธีกำลังสองน้อยที่สุด

แก่นแท้ วิธีกำลังสองน้อยที่สุด ประกอบด้วยการลดผลรวมของค่าเบี่ยงเบนกำลังสองระหว่างค่าที่สังเกตได้และค่าที่คำนวณได้ หาค่าที่คำนวณได้ตามสมการที่เลือก - สมการถดถอย ยิ่งระยะห่างระหว่างค่าจริงกับค่าที่คำนวณได้น้อยเท่าไร การคาดการณ์ตามสมการถดถอยก็ยิ่งแม่นยำมากขึ้นเท่านั้น

การวิเคราะห์เชิงทฤษฎีของสาระสำคัญของปรากฏการณ์ที่กำลังศึกษา การเปลี่ยนแปลงที่แสดงโดยอนุกรมเวลาทำหน้าที่เป็นพื้นฐานสำหรับการเลือกเส้นโค้ง บางครั้งการพิจารณาเกี่ยวกับธรรมชาติของการเติบโตของระดับของซีรีส์ก็ถูกนำมาพิจารณาด้วย ดังนั้น หากคาดหวังการเติบโตของผลลัพธ์ในความก้าวหน้าทางคณิตศาสตร์ การปรับให้เรียบจะดำเนินการเป็นเส้นตรง หากปรากฎว่าการเติบโตเป็นแบบเลขชี้กำลัง ก็ควรทำการปรับให้เรียบตามฟังก์ชันเลขชี้กำลัง

สูตรการทำงานของวิธีกำลังสองน้อยที่สุด : Y t+1 = a*X + bโดยที่ t + 1 คือระยะเวลาคาดการณ์ Уt+1 – ตัวบ่งชี้ที่คาดการณ์ไว้; a และ b เป็นสัมประสิทธิ์; X เป็นสัญลักษณ์ของเวลา

ค่าสัมประสิทธิ์ a และ b คำนวณตามสูตรต่อไปนี้:

โดยที่ Uf - ค่าที่แท้จริงของชุดไดนามิก n คือจำนวนระดับในอนุกรมเวลา

การปรับอนุกรมเวลาให้เรียบโดยวิธีกำลังสองน้อยที่สุดทำหน้าที่สะท้อนรูปแบบการพัฒนาของปรากฏการณ์ที่กำลังศึกษาอยู่ ในนิพจน์การวิเคราะห์ของแนวโน้ม เวลาถือเป็นตัวแปรอิสระ และระดับของอนุกรมทำหน้าที่เป็นฟังก์ชันของตัวแปรอิสระนี้

การพัฒนาของปรากฏการณ์ไม่ได้ขึ้นอยู่กับว่าผ่านไปกี่ปีนับจากจุดเริ่มต้น แต่ขึ้นอยู่กับปัจจัยใดบ้างที่มีอิทธิพลต่อการพัฒนาของมัน ในทิศทางใดและความรุนแรงระดับใด จากนี้เป็นที่ชัดเจนว่าการพัฒนาของปรากฏการณ์ในเวลาปรากฏขึ้นอันเป็นผลมาจากการกระทำของปัจจัยเหล่านี้

การตั้งค่าประเภทของเส้นโค้งอย่างถูกต้อง ประเภทของการวิเคราะห์ขึ้นอยู่กับเวลาเป็นหนึ่งในงานที่ยากที่สุดของการวิเคราะห์ล่วงหน้า .

การเลือกประเภทของฟังก์ชันที่อธิบายแนวโน้ม พารามิเตอร์ที่กำหนดโดยวิธีกำลังสองน้อยที่สุด ในกรณีส่วนใหญ่เป็นเชิงประจักษ์ โดยการสร้างฟังก์ชันจำนวนหนึ่งและเปรียบเทียบกันด้วยค่าของค่าเฉลี่ยราก ข้อผิดพลาด -square คำนวณโดยสูตร:

โดยที่ Uf - ค่าจริงของชุดไดนามิก Ur – ค่าที่คำนวณ (เรียบ) ของอนุกรมเวลา n คือจำนวนระดับในอนุกรมเวลา p คือจำนวนพารามิเตอร์ที่กำหนดในสูตรที่อธิบายแนวโน้ม (แนวโน้มการพัฒนา)

ข้อเสียของวิธีกำลังสองน้อยที่สุด :

• เมื่อพยายามอธิบายปรากฏการณ์ทางเศรษฐศาสตร์ภายใต้การศึกษาโดยใช้สมการทางคณิตศาสตร์ การพยากรณ์จะแม่นยำในช่วงเวลาสั้นๆ และควรคำนวณสมการถดถอยใหม่เมื่อมีข้อมูลใหม่
• ความซับซ้อนของการเลือกสมการถดถอยซึ่งแก้ได้โดยใช้โปรแกรมคอมพิวเตอร์มาตรฐาน

ตัวอย่างการใช้วิธีกำลังสองน้อยที่สุดในการพัฒนาการพยากรณ์

งาน . มีข้อมูลระบุระดับการว่างงานในภูมิภาค %

• สร้างการคาดการณ์อัตราการว่างงานในภูมิภาคสำหรับเดือนพฤศจิกายน ธันวาคม มกราคม โดยใช้วิธีการ: ค่าเฉลี่ยเคลื่อนที่, การปรับให้เรียบแบบเอ็กซ์โปเนนเชียล, กำลังสองน้อยที่สุด
• คำนวณข้อผิดพลาดในการคาดการณ์ผลลัพธ์โดยใช้แต่ละวิธี
• เปรียบเทียบผลลัพธ์ที่ได้ แล้วสรุปผล

สารละลายกำลังสองน้อยที่สุด

สำหรับวิธีแก้ปัญหา เราจะรวบรวมตารางที่เราจะทำการคำนวณที่จำเป็น:

ε = 28.63/10 = 2.86% การคาดการณ์ความถูกต้องสูง.

บทสรุป : เปรียบเทียบผลลัพธ์ที่ได้จากการคำนวณ วิธีค่าเฉลี่ยเคลื่อนที่ , การปรับให้เรียบแบบเลขชี้กำลัง และวิธีกำลังสองน้อยที่สุด เราสามารถพูดได้ว่าข้อผิดพลาดสัมพัทธ์เฉลี่ยในการคำนวณโดยวิธีการทำให้เรียบแบบเอ็กซ์โพเนนเชียลอยู่ภายใน 20-50% ซึ่งหมายความว่าความแม่นยำในการทำนายในกรณีนี้เป็นเพียงที่น่าพอใจเท่านั้น

ในกรณีแรกและกรณีที่สาม ความแม่นยำในการคาดการณ์สูง เนื่องจากข้อผิดพลาดสัมพัทธ์เฉลี่ยน้อยกว่า 10% แต่วิธีค่าเฉลี่ยเคลื่อนที่ทำให้ได้ผลลัพธ์ที่น่าเชื่อถือมากขึ้น (การคาดการณ์สำหรับเดือนพฤศจิกายน - 1.52%, การคาดการณ์สำหรับเดือนธันวาคม - 1.53%, การพยากรณ์สำหรับเดือนมกราคม - 1.49%) เนื่องจากข้อผิดพลาดสัมพัทธ์เฉลี่ยเมื่อใช้วิธีนี้มีขนาดเล็กที่สุด - 1 ,13%.

วิธีกำลังสองน้อยที่สุด

บทความที่เกี่ยวข้องอื่นๆ:

รายการแหล่งที่ใช้

1. คำแนะนำทางวิทยาศาสตร์และระเบียบวิธีในประเด็นของการวินิจฉัยความเสี่ยงทางสังคมและการคาดการณ์ความท้าทาย ภัยคุกคาม และผลกระทบทางสังคม มหาวิทยาลัยสังคมแห่งรัฐรัสเซีย มอสโก 2010;
2. Vladimirova L.P. การพยากรณ์และการวางแผนในสภาวะตลาด: Proc. เบี้ยเลี้ยง. M.: สำนักพิมพ์ "Dashkov and Co", 2001;
3. Novikova N.V. , Pozdeeva O.G. การพยากรณ์เศรษฐกิจแห่งชาติ: คู่มือการศึกษาและระเบียบวิธีวิจัย. เยคาเตรินเบิร์ก: สำนักพิมพ์อูราล สถานะ เศรษฐกิจ มหาวิทยาลัย 2550;
4. Slutskin แอล.เอ็น. หลักสูตร MBA ในการพยากรณ์ธุรกิจ มอสโก: หนังสือธุรกิจ Alpina, 2549

โครงการ MNE

ป้อนข้อมูล

ข้อมูลและการประมาณค่า y = a + b x

ผม- จำนวนจุดทดลอง
x ฉัน- ค่าของพารามิเตอร์คงที่ ณ จุด ผม;
ฉัน- ค่าของพารามิเตอร์ที่วัดได้ ณ จุด ผม;
ω ฉัน- วัดน้ำหนักที่จุด ผม;
ฉัน, คำนวณ.- ความแตกต่างระหว่างค่าที่วัดได้กับค่าที่คำนวณจากการถดถอย yณ จุดนั้น ผม;
ส x ผม (x ผม)- ประมาณการข้อผิดพลาด x ฉันเมื่อวัด yณ จุดนั้น ผม.

ข้อมูลและการประมาณค่า y = kx

ผม	x ฉัน	ฉัน	ω ฉัน	ฉัน, คำนวณ.	Δy ฉัน	ส x ผม (x ผม)

คลิกที่แผนภูมิ

คู่มือผู้ใช้สำหรับโปรแกรมออนไลน์ของ MNC

ในฟิลด์ข้อมูล ป้อนค่า `x` และ `y` ในแต่ละบรรทัดแยกกันที่จุดทดลองจุดเดียว ค่าจะต้องคั่นด้วยช่องว่าง (ช่องว่างหรือแท็บ)

ค่าที่สามอาจเป็นน้ำหนักจุดของ "w" หากไม่ได้ระบุน้ำหนักจุด จะเท่ากับหนึ่ง ในกรณีส่วนใหญ่ ไม่ทราบน้ำหนักของจุดทดสอบหรือไม่ได้คำนวณ ข้อมูลการทดลองทั้งหมดถือว่าเทียบเท่า บางครั้งน้ำหนักในช่วงค่าที่ศึกษานั้นไม่เท่ากันและสามารถคำนวณได้ในทางทฤษฎี ตัวอย่างเช่น ในสเปกโตรโฟโตเมตรี สามารถคำนวณน้ำหนักได้โดยใช้สูตรง่ายๆ แม้ว่าโดยทั่วไปแล้ว ทุกคนจะละเลยสิ่งนี้เพื่อลดต้นทุนแรงงาน

สามารถวางข้อมูลผ่านคลิปบอร์ดจากสเปรดชีตชุดสำนักงาน เช่น Excel จาก Microsoft Office หรือ Calc จาก Open Office ในการดำเนินการนี้ ในสเปรดชีต ให้เลือกช่วงของข้อมูลที่จะคัดลอก คัดลอกไปยังคลิปบอร์ด และวางข้อมูลลงในช่องข้อมูลในหน้านี้

ในการคำนวณด้วยวิธีกำลังสองน้อยที่สุด ต้องมีจุดอย่างน้อยสองจุดเพื่อกำหนดสองสัมประสิทธิ์ "b" - แทนเจนต์ของมุมเอียงของเส้นตรงและ "a" - ค่าที่ตัดโดยเส้นตรงบน "y ` แกน

ในการประมาณค่าความผิดพลาดของสัมประสิทธิ์การถดถอยที่คำนวณได้ จำเป็นต้องกำหนดจำนวนจุดทดสอบให้มากกว่าสองจุด

วิธีกำลังสองน้อยที่สุด (LSM)

ยิ่งจำนวนจุดทดลองมากเท่าใด ค่าประมาณทางสถิติของสัมประสิทธิ์ก็จะยิ่งแม่นยำมากขึ้นเท่านั้น (เนื่องจากค่าสัมประสิทธิ์ของนักเรียนลดลง) และค่าประมาณที่ใกล้เคียงกับค่าประมาณของกลุ่มตัวอย่างทั่วไปมากขึ้น

การได้รับค่าในแต่ละจุดทดลองมักเกี่ยวข้องกับต้นทุนแรงงานที่มีนัยสำคัญ ดังนั้นจึงมักมีการทดลองหลายครั้งซึ่งประนีประนอม ซึ่งให้ค่าประมาณที่ย่อยได้และไม่นำไปสู่ต้นทุนแรงงานที่มากเกินไป ตามกฎแล้ว จำนวนจุดทดลองสำหรับการพึ่งพากำลังสองน้อยที่สุดเชิงเส้นที่มีสองสัมประสิทธิ์จะถูกเลือกในพื้นที่ 5-7 จุด

ทฤษฎีสั้น ๆ ของกำลังสองน้อยที่สุดสำหรับการพึ่งพาอาศัยกันเชิงเส้น

สมมติว่าเรามีชุดข้อมูลการทดลองในรูปแบบของคู่ของค่า [`y_i`, `x_i`] โดยที่ `i` คือจำนวนของการวัดการทดลองหนึ่งครั้งตั้งแต่ 1 ถึง `n`; `y_i` - ค่าของค่าที่วัดได้ ณ จุด `i`; `x_i` - ค่าของพารามิเตอร์ที่เราตั้งไว้ที่จุด `i`

ตัวอย่างคือการดำเนินการของกฎของโอห์ม โดยการเปลี่ยนแรงดันไฟฟ้า (ความต่างศักย์) ระหว่างส่วนต่างๆ ของวงจรไฟฟ้า เราจะวัดปริมาณกระแสที่ไหลผ่านส่วนนี้ ฟิสิกส์ทำให้เราพบการพึ่งพาจากการทดลอง:

`ฉัน=U/R`,
โดยที่ `ฉัน` - ความแข็งแกร่งในปัจจุบัน `R` - ความต้านทาน; `U` - แรงดันไฟฟ้า

ในกรณีนี้ "y_i" คือค่าปัจจุบันที่วัดได้ และ "x_i" คือค่าแรงดันไฟฟ้า

อีกตัวอย่างหนึ่ง ให้พิจารณาการดูดกลืนแสงโดยสารละลายของสารในสารละลาย เคมีทำให้เรามีสูตร:

`A = εl C`,
โดยที่ `A' คือความหนาแน่นเชิงแสงของสารละลาย `ε` - การส่งผ่านตัวถูกละลาย; `l` - ความยาวเส้นทางเมื่อแสงผ่านคิวเวตต์ด้วยสารละลาย `C` คือความเข้มข้นของตัวถูกละลาย

ในกรณีนี้ "y_i" คือความหนาแน่นของแสงที่วัดได้ "A" และ "x_i" คือความเข้มข้นของสารที่เราตั้งค่าไว้

เราจะพิจารณากรณีที่ข้อผิดพลาดสัมพัทธ์ในการตั้งค่า `x_i` น้อยกว่าข้อผิดพลาดสัมพัทธ์ในการวัดค่า `y_i` มาก นอกจากนี้เรายังจะถือว่าค่าที่วัดได้ทั้งหมดของ `y_i` นั้นสุ่มและกระจายตามปกติเช่น ปฏิบัติตามกฎหมายการกระจายแบบปกติ

ในกรณีของการพึ่งพาเชิงเส้นของ "y" บน "x" เราสามารถเขียนการพึ่งพาทางทฤษฎีได้:
`y = a + bx`

จากมุมมองทางเรขาคณิต สัมประสิทธิ์ `b' หมายถึงแทนเจนต์ของมุมเอียงของเส้นไปยังแกน 'x' และสัมประสิทธิ์ `a' - ค่าของ 'y' ที่จุดตัดของ สอดคล้องกับแกน `y` (สำหรับ `x = 0`)

การหาค่าพารามิเตอร์ของเส้นถดถอย

ในการทดลอง ค่าที่วัดได้ของ `y_i` ไม่สามารถอยู่บนเส้นทฤษฎีได้อย่างแม่นยำเนื่องจากข้อผิดพลาดในการวัด ซึ่งมีอยู่ในชีวิตจริงเสมอ ดังนั้น สมการเชิงเส้นต้องแสดงด้วยระบบสมการ:
`y_i = a + b x_i + ε_i` (1),
โดยที่ `ε_i` คือข้อผิดพลาดในการวัดที่ไม่รู้จักของ `y' ในการทดลองที่ `i`

การพึ่งพา (1) เรียกอีกอย่างว่า การถดถอย, เช่น. การพึ่งพาอาศัยกันของปริมาณทั้งสองที่มีนัยสำคัญทางสถิติ

งานในการกู้คืนการพึ่งพาอาศัยกันคือการหาสัมประสิทธิ์ `a` และ `b` จากจุดทดลอง [`y_i`, `x_i`]

ในการหาค่าสัมประสิทธิ์ `a` และ `b` มักจะใช้ วิธีกำลังสองน้อยที่สุด(เอ็มเค). เป็นกรณีพิเศษของหลักการความน่าจะเป็นสูงสุด

ลองเขียน (1) ใหม่เป็น `ε_i = y_i - a - b x_i`

จากนั้นผลรวมของข้อผิดพลาดกำลังสองจะเป็น
`Φ = ผลรวม_(i=1)^(n) ε_i^2 = ผลรวม_(i=1)^(n) (y_i - a - b x_i)^2` (2)

หลักการของวิธีกำลังสองน้อยที่สุดคือการย่อผลรวม (2) ให้น้อยที่สุดตามพารามิเตอร์ "a" และ "b".

ถึงค่าต่ำสุดเมื่ออนุพันธ์บางส่วนของผลรวม (2) เทียบกับค่าสัมประสิทธิ์ "a" และ "b" เท่ากับศูนย์:
`frac(บางส่วน Φ)(บางส่วน) = frac(ผลรวมบางส่วน_(i=1)^(n) (y_i - a - b x_i)^2)(บางส่วน a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`

การขยายอนุพันธ์ เราได้ระบบสมการสองสมการที่ไม่ทราบค่าสองค่า:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

เราเปิดวงเล็บและโอนผลรวมที่ไม่ขึ้นกับสัมประสิทธิ์ที่ต้องการไปยังอีกครึ่งหนึ่ง เราจะได้ระบบสมการเชิงเส้น:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = ผลรวม _(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

ในการแก้ระบบผลลัพธ์ เราพบสูตรสำหรับสัมประสิทธิ์ "a" และ "b":

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

สูตรเหล่านี้มีคำตอบเมื่อ `n > 1` (สามารถวาดเส้นได้อย่างน้อย 2 จุด) และเมื่อดีเทอร์มิแนนต์ `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0` เช่น เมื่อจุด `x_i` ในการทดสอบต่างกัน (เช่น เมื่อเส้นไม่อยู่ในแนวตั้ง)

การประมาณค่าความผิดพลาดในสัมประสิทธิ์ของเส้นถดถอย

สำหรับการประมาณข้อผิดพลาดที่แม่นยำยิ่งขึ้นในการคำนวณค่าสัมประสิทธิ์ "a" และ "b" ขอแนะนำให้ใช้จุดทดสอบจำนวนมาก เมื่อ `n = 2' เป็นไปไม่ได้ที่จะประมาณความคลาดเคลื่อนของสัมประสิทธิ์เพราะ เส้นโดยประมาณจะผ่านจุดสองจุดโดยไม่ซ้ำกัน

ข้อผิดพลาดของตัวแปรสุ่ม `V` ถูกกำหนดแล้ว กฎการสะสมข้อผิดพลาด
`S_V^2 = ผลรวม_(i=1)^p (frac(บางส่วน f)(บางส่วน z_i))^2 S_(z_i)^2`,
โดยที่ `p` คือจำนวนของพารามิเตอร์ `z_i` ที่มีข้อผิดพลาด `S_(z_i)` ที่ส่งผลต่อข้อผิดพลาด `S_V`
`f` เป็นฟังก์ชันการพึ่งพาของ `V` บน `z_i`

ลองเขียนกฎการสะสมข้อผิดพลาดสำหรับข้อผิดพลาดของสัมประสิทธิ์ `a` และ `b`
`S_a^2 = sum_(i=1)^(n)(frac(บางส่วน a)(บางส่วน y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(บางส่วน a )(บางส่วน x_i))^2 S_(x_i)^2 = S_y^2 ผลรวม_(i=1)^(n)(frac(บางส่วน)(บางส่วน y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(partial b)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial b) )(บางส่วน x_i))^2 S_(x_i)^2 = S_y^2 ผลรวม_(i=1)^(n)(frac(บางส่วน b)(บางส่วน y_i))^2 `,
เพราะ `S_(x_i)^2 = 0` (ก่อนหน้านี้เราได้จองไว้ว่าข้อผิดพลาดของ `x` นั้นเล็กน้อย)

`S_y^2 = S_(y_i)^2` - ข้อผิดพลาด (ความแปรปรวน ส่วนเบี่ยงเบนมาตรฐานกำลังสอง) ในมิติ 'y' โดยถือว่าข้อผิดพลาดนั้นเหมือนกันสำหรับค่า 'y' ทั้งหมด

แทนที่สูตรสำหรับการคำนวณ `a` และ `b` ลงในนิพจน์ผลลัพธ์ เราจะได้

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

ในการทดลองจริงส่วนใหญ่ ค่าของ "Sy" จะไม่ถูกวัด ในการทำเช่นนี้ จำเป็นต้องทำการวัดขนานกันหลายๆ ครั้ง (การทดลอง) ที่จุดเดียวหรือหลายจุดของแผน ซึ่งจะเป็นการเพิ่มเวลา (และอาจมีค่าใช้จ่าย) ของการทดสอบ ดังนั้นจึงมักถือว่าค่าเบี่ยงเบนของ 'y' จากเส้นถดถอยสามารถพิจารณาได้แบบสุ่ม ค่าความแปรปรวนโดยประมาณ "y" ในกรณีนี้คำนวณโดยสูตร

`S_y^2 = S_(y, ส่วนที่เหลือ)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`

ตัวหาร `n-2' ปรากฏขึ้นเนื่องจากเราได้ลดจำนวนองศาอิสระลงเนื่องจากการคำนวณค่าสัมประสิทธิ์สองตัวสำหรับตัวอย่างข้อมูลการทดลองเดียวกัน

การประมาณนี้เรียกอีกอย่างว่าความแปรปรวนที่เหลือที่สัมพันธ์กับเส้นถดถอย `S_(y, rest)^2`

การประเมินความสำคัญของสัมประสิทธิ์ดำเนินการตามเกณฑ์ของนักเรียน

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

หากเกณฑ์ที่คำนวณได้ "t_a", "t_b" น้อยกว่าเกณฑ์ตาราง "t(P, n-2)" จะถือว่าสัมประสิทธิ์ที่สอดคล้องกันไม่แตกต่างจากศูนย์โดยมีความน่าจะเป็น "P"

ในการประเมินคุณภาพของคำอธิบายของความสัมพันธ์เชิงเส้น คุณสามารถเปรียบเทียบ `S_(y, rest)^2` และ `S_(bar y)` ที่สัมพันธ์กับค่าเฉลี่ยโดยใช้เกณฑ์ของ Fisher

`S_(บาร์ y) = frac(sum_(i=1)^n (y_i - บาร์ y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - ค่าประมาณตัวอย่างของความแปรปรวนของ `y' ที่สัมพันธ์กับค่าเฉลี่ย

ในการประเมินประสิทธิภาพของสมการถดถอยเพื่ออธิบายการพึ่งพาอาศัยกัน ค่าสัมประสิทธิ์ฟิชเชอร์จะถูกคำนวณ
`F = S_(บาร์ y) / S_(y, พัก)^2`,
ซึ่งเปรียบเทียบกับค่าสัมประสิทธิ์ฟิชเชอร์แบบตาราง `F(p, n-1, n-2)`

ถ้า `F > F(P, n-1, n-2)` ความแตกต่างระหว่างคำอธิบายของการพึ่งพา `y = f(x)` โดยใช้สมการถดถอยและคำอธิบายโดยใช้ค่าเฉลี่ยจะถือว่ามีนัยสำคัญทางสถิติกับความน่าจะเป็น 'พี' เหล่านั้น. การถดถอยอธิบายการพึ่งพาอาศัยกันได้ดีกว่าการแพร่กระจายของ "y" รอบค่าเฉลี่ย

คลิกที่แผนภูมิ
เพื่อเพิ่มคุณค่าให้กับตาราง

วิธีกำลังสองน้อยที่สุด วิธีการกำลังสองน้อยที่สุดหมายถึงการกำหนดพารามิเตอร์ที่ไม่รู้จัก a, b, c, การพึ่งพาฟังก์ชันที่ยอมรับได้

วิธีการกำลังสองน้อยที่สุดหมายถึงการกำหนดพารามิเตอร์ที่ไม่รู้จัก ก, ข, ค,…ยอมรับการพึ่งพาการทำงาน

y = f(x,a,b,c,…),

ซึ่งจะให้ค่าเฉลี่ยกำลังสอง (ความแปรปรวน) ขั้นต่ำของข้อผิดพลาด

, (24)

โดยที่ x ผม , y ผม - ชุดของตัวเลขที่ได้จากการทดลอง

เนื่องจากเงื่อนไขส่วนปลายของฟังก์ชันของตัวแปรหลายตัวเป็นเงื่อนไขที่อนุพันธ์ย่อยบางส่วนมีค่าเท่ากับศูนย์ ดังนั้นพารามิเตอร์ ก, ข, ค,…ถูกกำหนดจากระบบสมการ:

; ; ; … (25)

ต้องจำไว้ว่าใช้วิธีกำลังสองน้อยที่สุดเพื่อเลือกพารามิเตอร์หลังจากรูปแบบของฟังก์ชัน y = ฉ(x)กำหนดไว้

หากจากการพิจารณาทางทฤษฎีแล้ว เป็นไปไม่ได้ที่จะสรุปได้ว่าสูตรเชิงประจักษ์ควรเป็นอย่างไร ก็จะต้องได้รับคำแนะนำจากการแสดงภาพ ซึ่งโดยหลักแล้วจะเป็นการแสดงข้อมูลแบบกราฟิกของข้อมูลที่สังเกตได้

ในทางปฏิบัติ ส่วนใหญ่มักจำกัดฟังก์ชันประเภทต่อไปนี้:

1) เชิงเส้น ;

2) กำลังสอง

• กวดวิชา

บทนำ

ฉันเป็นโปรแกรมเมอร์คอมพิวเตอร์ ฉันก้าวกระโดดครั้งใหญ่ที่สุดในอาชีพการงานเมื่อเรียนรู้ที่จะพูดว่า: "ฉันไม่เข้าใจอะไรเลย!"ตอนนี้ฉันไม่ละอายที่จะบอกผู้ทรงคุณวุฒิแห่งวิทยาศาสตร์ว่าเขากำลังบรรยายให้ฉันฟังซึ่งฉันไม่เข้าใจว่าผู้ทรงคุณวุฒิกำลังพูดถึงฉันเกี่ยวกับอะไร และมันยากมาก ใช่ มันยากและน่าอายที่จะยอมรับว่าคุณไม่รู้ ที่ชอบยอมรับว่าเขาไม่รู้พื้นฐานของบางสิ่งบางอย่างนั่น โดยอาศัยอำนาจตามอาชีพของฉัน ฉันต้องเข้าร่วมการนำเสนอและการบรรยายเป็นจำนวนมาก ซึ่งฉันสารภาพ ในกรณีส่วนใหญ่ฉันรู้สึกง่วงนอน เพราะฉันไม่เข้าใจอะไรเลย และฉันไม่เข้าใจเพราะปัญหาใหญ่ของสถานการณ์ปัจจุบันในวิทยาศาสตร์อยู่ที่คณิตศาสตร์ ถือว่านักเรียนทุกคนคุ้นเคยกับคณิตศาสตร์ทุกแขนงเป็นอย่างดี (ซึ่งไร้สาระ) ยอมรับว่าคุณไม่รู้ว่าอนุพันธ์คืออะไร (ซึ่งช้าไปหน่อย) เป็นเรื่องน่าละอาย

แต่ฉันได้เรียนรู้ที่จะพูดว่า ฉันไม่รู้ว่าการคูณคืออะไร ใช่ ฉันไม่รู้ว่าพีชคณิตย่อยเหนือพีชคณิตโกหกคืออะไร ใช่ ฉันไม่รู้ว่าทำไมชีวิตต้องใช้สมการกำลังสอง อ้อ อีกอย่าง ถ้าคุณแน่ใจว่ารู้แล้ว เรามีเรื่องจะพูด! คณิตศาสตร์เป็นชุดของกลอุบาย นักคณิตศาสตร์พยายามสร้างความสับสนและข่มขู่ประชาชน ที่ซึ่งไม่มีความสับสน ไม่มีชื่อเสียง ไม่มีอำนาจ ใช่ การพูดด้วยภาษาที่เป็นนามธรรมมากที่สุดเท่าที่จะเป็นไปได้ถือเป็นเรื่องน่ายกย่อง ซึ่งถือเป็นเรื่องไร้สาระโดยสมบูรณ์ในตัวเอง

คุณรู้หรือไม่ว่าอนุพันธ์คืออะไร? เป็นไปได้มากที่คุณจะบอกฉันเกี่ยวกับขีด จำกัด ของความสัมพันธ์ที่แตกต่าง ในปีแรกของวิชาคณิตศาสตร์ที่มหาวิทยาลัยแห่งรัฐเซนต์ปีเตอร์สเบิร์ก Viktor Petrovich Khavin me กำหนดอนุพันธ์ในฐานะสัมประสิทธิ์ของเทอมแรกของอนุกรมเทย์เลอร์ของฟังก์ชัน ณ จุดนั้น (มันเป็นยิมนาสติกที่แยกจากกันเพื่อกำหนดอนุกรมเทย์เลอร์โดยไม่มีอนุพันธ์) ฉันหัวเราะกับคำจำกัดความนี้อยู่นานจนในที่สุดฉันก็เข้าใจว่ามันเกี่ยวกับอะไร อนุพันธ์ไม่ได้มากไปกว่าการวัดว่าฟังก์ชันที่เรากำลังสร้างความแตกต่างนั้นคล้ายกับฟังก์ชัน y=x, y=x^2, y=x^3 มากน้อยเพียงใด

ตอนนี้ผมได้รับเกียรติจากการบรรยายให้กับนักศึกษาที่ กลัวคณิตศาสตร์. หากคุณกลัวคณิตศาสตร์ - เรากำลังมา ทันทีที่คุณพยายามอ่านข้อความและดูเหมือนว่าซับซ้อนเกินไป ให้รู้ว่ามันเขียนได้ไม่ดี ฉันยืนยันว่าไม่มีสาขาเดียวของคณิตศาสตร์ที่ไม่สามารถพูดเกี่ยวกับ "นิ้ว" ได้โดยไม่สูญเสียความแม่นยำ

ความท้าทายสำหรับอนาคตอันใกล้: ฉันแนะนำให้นักเรียนเข้าใจว่าตัวควบคุมเชิงเส้น-กำลังสองคืออะไร อย่าอาย เสียเวลาชีวิต 3 นาที ตามลิงค์ หากคุณไม่เข้าใจอะไรเลย แสดงว่าเรากำลังดำเนินการ ฉัน (นักคณิตศาสตร์-โปรแกรมเมอร์มืออาชีพ) ก็ไม่เข้าใจอะไรเลยเช่นกัน และฉันรับรองกับคุณว่าสิ่งนี้สามารถแยกออกได้ "ด้วยนิ้วมือ" ในขณะนี้ฉันไม่รู้ว่ามันคืออะไร แต่ฉันรับรองว่าเราจะสามารถคิดออกได้

ดังนั้น การบรรยายครั้งแรกที่ฉันจะเล่าให้นักเรียนฟัง หลังจากที่พวกเขาวิ่งมาหาฉันด้วยความสยดสยองด้วยคำว่า linear-quadratic controller เป็นแมลงที่น่ากลัวที่คุณจะไม่มีวันได้เชี่ยวชาญในชีวิตคือ วิธีกำลังสองน้อยที่สุด. คุณสามารถแก้สมการเชิงเส้นได้หรือไม่? หากคุณกำลังอ่านข้อความนี้ ไม่น่าจะใช่

ดังนั้น เมื่อให้สองคะแนน (x0, y0), (x1, y1) เช่น (1,1) และ (3,2) ภารกิจคือการหาสมการของเส้นตรงที่ลากผ่านจุดสองจุดเหล่านี้:

ภาพประกอบ

เส้นตรงนี้ควรมีสมการดังนี้

เราไม่รู้จักอัลฟ่าและเบต้าที่นี่ แต่ทราบสองประเด็นของบรรทัดนี้:

คุณสามารถเขียนสมการนี้ในรูปแบบเมทริกซ์:

ที่นี่เราควรพูดนอกเรื่องโคลงสั้น ๆ: เมทริกซ์คืออะไร? เมทริกซ์ไม่ได้เป็นอะไรนอกจากอาร์เรย์สองมิติ นี่เป็นวิธีการจัดเก็บข้อมูล ไม่ควรให้ค่าใด ๆ กับมันอีกต่อไป ขึ้นอยู่กับเราว่าจะตีความเมทริกซ์ที่แน่นอนอย่างไร ฉันจะตีความมันเป็นการแมปเชิงเส้นเป็นระยะ ๆ เป็นระยะ ๆ ในรูปแบบกำลังสอง และบางครั้งก็เป็นชุดของเวกเตอร์ ทั้งหมดนี้จะได้รับการชี้แจงในบริบท

มาแทนที่เมทริกซ์เฉพาะด้วยการแสดงสัญลักษณ์:

จากนั้น (อัลฟา, เบต้า) สามารถพบได้ง่าย:

โดยเฉพาะอย่างยิ่งสำหรับข้อมูลก่อนหน้าของเรา:

ซึ่งนำไปสู่สมการเส้นตรงที่ลากผ่านจุด (1,1) และ (3,2) ดังนี้

ตกลงทุกอย่างชัดเจนที่นี่ แล้วหาสมการเส้นตรงที่ลากผ่าน สามคะแนน: (x0,y0), (x1,y1) และ (x2,y2):

โอ๊ะโอ แต่เรามีสมการสามสมการสำหรับสองนิรนาม! นักคณิตศาสตร์มาตรฐานจะบอกว่าไม่มีทางแก้ โปรแกรมเมอร์จะพูดอะไร? และก่อนอื่นเขาจะเขียนระบบสมการก่อนหน้าในรูปแบบต่อไปนี้:

ในกรณีของเรา เวกเตอร์ i, j, b เป็นแบบสามมิติ ดังนั้น (ในกรณีทั่วไป) จึงไม่มีวิธีแก้ไขสำหรับระบบนี้ เวกเตอร์ใดๆ (alpha\*i + beta\*j) อยู่ในระนาบที่ขยายโดยเวกเตอร์ (i, j) ถ้า b ไม่ได้อยู่ในระนาบนี้ แสดงว่าไม่มีคำตอบ (ไม่สามารถบรรลุความเท่าเทียมกันในสมการได้) จะทำอย่างไร? ลองหาการประนีประนอม มาแทนด้วย อี (อัลฟา, เบต้า)เราไม่สามารถบรรลุความเท่าเทียมกันได้อย่างไร:

และเราจะพยายามลดข้อผิดพลาดนี้ให้น้อยที่สุด:

ทำไมต้องเป็นสี่เหลี่ยมจัตุรัส?

เราไม่ได้มองหาแค่ค่าต่ำสุดของบรรทัดฐาน แต่สำหรับค่าต่ำสุดของกำลังสองของบรรทัดฐาน ทำไม จุดต่ำสุดเกิดขึ้นพร้อมกัน และกำลังสองให้ฟังก์ชันที่ราบรื่น (ฟังก์ชันกำลังสองของอาร์กิวเมนต์ (alpha,beta)) ในขณะที่ความยาวเท่านั้นที่ให้ฟังก์ชันในรูปของกรวย ซึ่งไม่สามารถแยกความแตกต่างได้ที่จุดต่ำสุด บร. สแควร์สะดวกกว่า

แน่นอน ข้อผิดพลาดจะลดลงเมื่อ vector อีตั้งฉากกับระนาบที่แผ่โดยเวกเตอร์ ผมและ เจ.

ภาพประกอบ

กล่าวอีกนัยหนึ่ง: เรากำลังมองหาเส้นที่ผลรวมของความยาวกำลังสองของระยะทางจากจุดทั้งหมดไปยังเส้นนี้มีค่าน้อยที่สุด:

อัปเดต: ที่นี่ฉันมีวงกบ ระยะห่างของเส้นควรวัดในแนวตั้ง ไม่ใช่การฉายภาพออร์โธกราฟิก ผู้แสดงความคิดเห็นนี้ถูกต้อง

ภาพประกอบ

ในคำที่ต่างกันโดยสิ้นเชิง (อย่างระมัดระวัง เป็นทางการไม่ดี แต่นิ้วควรชัดเจน): เราใช้เส้นที่เป็นไปได้ทั้งหมดระหว่างจุดคู่ทั้งหมดและมองหาเส้นเฉลี่ยระหว่างทั้งหมด:

ภาพประกอบ

คำอธิบายอื่นเกี่ยวกับนิ้ว: เราแนบสปริงระหว่างจุดข้อมูลทั้งหมด (ในที่นี้มีสามจุด) กับเส้นที่เรากำลังมองหา และเส้นของสภาวะสมดุลคือสิ่งที่เราต้องการอย่างแท้จริง

รูปแบบกำลังสองขั้นต่ำ

ดังนั้น เมื่อให้เวกเตอร์ ขและระนาบที่แผ่โดยเวกเตอร์คอลัมน์ของเมทริกซ์ อา(ในกรณีนี้ (x0,x1,x2) และ (1,1,1)) เรากำลังมองหาเวกเตอร์ อีด้วยความยาวสี่เหลี่ยมจัตุรัสขั้นต่ำ เห็นได้ชัดว่าขั้นต่ำทำได้เฉพาะสำหรับเวกเตอร์ อี, มุมฉากกับระนาบที่ขยายโดยเวกเตอร์คอลัมน์ของเมทริกซ์ อา:

กล่าวอีกนัยหนึ่ง เรากำลังมองหาเวกเตอร์ x=(alpha, beta) ในลักษณะที่:

ฉันเตือนคุณว่าเวกเตอร์นี้ x=(alpha, beta) เป็นค่าต่ำสุดของฟังก์ชันกำลังสอง ||e(alpha, beta)||^2:

ในที่นี้มีประโยชน์ที่ต้องจำไว้ว่าเมทริกซ์สามารถตีความได้เช่นเดียวกับรูปแบบกำลังสอง ตัวอย่างเช่น เมทริกซ์เอกลักษณ์ ((1,0),(0,1)) สามารถตีความได้ว่าเป็นฟังก์ชันของ x^2 + y ^2:

รูปสี่เหลี่ยม

ยิมนาสติกทั้งหมดนี้เรียกว่าการถดถอยเชิงเส้น

สมการลาปลาซกับเงื่อนไขขอบเขตไดริชเลต

ตอนนี้ปัญหาที่แท้จริงที่ง่ายที่สุด: มีพื้นผิวสามเหลี่ยมบางอย่างจำเป็นต้องทำให้เรียบ ตัวอย่างเช่น ลองโหลดโมเดลใบหน้าของฉัน:

คอมมิชชันดั้งเดิมพร้อมใช้งาน เพื่อลดการพึ่งพาภายนอก ฉันใช้โค้ดของตัวแสดงซอฟต์แวร์ของฉัน ซึ่งอยู่ใน Habré แล้ว ในการแก้ปัญหาระบบเชิงเส้นตรง ฉันใช้ OpenNL ซึ่งเป็นตัวแก้ปัญหาที่ยอดเยี่ยม แต่ติดตั้งยากมาก คุณต้องคัดลอกไฟล์สองไฟล์ (.h + .c) ไปยังโฟลเดอร์โครงการของคุณ การปรับให้เรียบทั้งหมดทำได้โดยรหัสต่อไปนี้:

สำหรับ (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = ใบหน้า[i]; สำหรับ (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

พิกัด X, Y และ Z แยกจากกันได้ ฉันปรับให้เรียบแยกกัน นั่นคือ ฉันแก้สมการเชิงเส้นสามระบบ แต่ละระบบมีตัวแปรจำนวนเท่ากันกับจำนวนจุดยอดในแบบจำลองของฉัน n แถวแรกของเมทริกซ์ A มีเพียง 1 แถวต่อแถว และ n แถวแรกของเวกเตอร์ b มีพิกัดแบบจำลองดั้งเดิม นั่นคือฉันสปริงผูกระหว่างตำแหน่งจุดยอดใหม่กับตำแหน่งจุดยอดเก่า - ตำแหน่งใหม่ไม่ควรอยู่ห่างจากจุดยอดเก่ามากเกินไป

แถวต่อๆ มาของเมทริกซ์ A (faces.size()*3 = จำนวนขอบของสามเหลี่ยมทั้งหมดในตาราง) มีการเกิดขึ้น 1 ครั้งและการเกิดขึ้นของ -1 ในขณะที่เวกเตอร์ b มีองค์ประกอบที่เป็นศูนย์ตรงข้าม ซึ่งหมายความว่าฉันใส่สปริงบนแต่ละขอบของตาข่ายสามเหลี่ยมของเรา ขอบทั้งหมดพยายามได้จุดยอดเดียวกันกับจุดเริ่มต้นและจุดสิ้นสุด

อีกครั้งหนึ่ง จุดยอดทั้งหมดเป็นตัวแปร และไม่สามารถเบี่ยงเบนไปจากตำแหน่งเดิมได้ แต่ในขณะเดียวกัน จุดยอดทั้งหมดก็พยายามทำให้คล้ายคลึงกัน

นี่คือผลลัพธ์:

ทุกอย่างจะเรียบร้อย ตัวแบบเรียบมาก แต่ขยับออกห่างจากขอบเดิม มาเปลี่ยนรหัสกันเล็กน้อย:

สำหรับ (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

ในเมทริกซ์ A ของเรา สำหรับจุดยอดที่อยู่บนขอบ ฉันไม่ได้เพิ่มแถวจากหมวดหมู่ v_i = verts[i][d] แต่ 1000*v_i = 1000*verts[i][d] มันเปลี่ยนแปลงอะไร? และนี่จะเปลี่ยนรูปแบบสมการกำลังสองของข้อผิดพลาด ตอนนี้ค่าเบี่ยงเบนเดียวจากด้านบนที่ขอบจะไม่มีค่าใช้จ่ายหนึ่งหน่วยเหมือนเมื่อก่อน แต่ 1,000 * 1,000 หน่วย นั่นคือเราแขวนสปริงที่แข็งแรงกว่าไว้บนจุดยอดสุดขั้ว วิธีแก้ปัญหาชอบที่จะยืดส่วนอื่นๆ ให้แข็งแรงมากขึ้น นี่คือผลลัพธ์:

เพิ่มความแรงของสปริงเป็นสองเท่าระหว่างจุดยอด:
nlสัมประสิทธิ์(ใบหน้า[ j], 2); nlสัมประสิทธิ์(ใบหน้า[(j+1)%3], -2);

มีเหตุผลว่าพื้นผิวเรียบขึ้น:

และตอนนี้แข็งแกร่งกว่าร้อยเท่า:

อะไรเนี่ย? ลองนึกภาพว่าเราจุ่มแหวนลวดลงในน้ำสบู่ ผลลัพธ์ที่ได้คือ ฟิล์มสบู่ที่ได้จะพยายามให้มีความโค้งน้อยที่สุดเท่าที่จะเป็นไปได้ โดยให้สัมผัสกับขอบเดียวกัน นั่นคือวงแหวนลวดของเรา นี่คือสิ่งที่เราได้จากการติดขอบและขอพื้นผิวด้านในที่เรียบ ขอแสดงความยินดี เราเพิ่งแก้สมการ Laplace ด้วยเงื่อนไขขอบเขต Dirichlet ฟังดูดีนะ? แต่ในความเป็นจริง มีเพียงระบบเดียวของสมการเชิงเส้นที่ต้องแก้

สมการปัวซอง

มาตั้งชื่อเก๋ๆ กันดีกว่า

สมมติว่าฉันมีภาพเช่นนี้:

ดีกันทุกคน แต่ผมไม่ชอบเก้าอี้

ฉันตัดภาพครึ่ง:

และฉันจะเลือกเก้าอี้ด้วยมือของฉัน:

จากนั้นฉันจะลากทุกอย่างที่เป็นสีขาวในหน้ากากไปทางด้านซ้ายของรูปภาพ และในขณะเดียวกัน ฉันจะพูดตลอดทั้งภาพว่าความแตกต่างระหว่างพิกเซลที่อยู่ใกล้เคียง 2 พิกเซลควรเท่ากับความแตกต่างระหว่างพิกเซลที่อยู่ติดกัน 2 พิกเซล ภาพขวา:

สำหรับ (int i=0; i

นี่คือผลลัพธ์:

มีโค้ดและรูปภาพ

วิธีกำลังสองน้อยที่สุด

วิธีกำลังสองน้อยที่สุด ( MNK, OLS, สี่เหลี่ยมจัตุรัสน้อยที่สุดสามัญ) - หนึ่งในวิธีการพื้นฐาน การวิเคราะห์การถดถอยเพื่อประมาณค่าพารามิเตอร์ที่ไม่รู้จักของตัวแบบการถดถอยจากข้อมูลตัวอย่าง วิธีการนี้ใช้การย่อผลรวมของกำลังสองของการถดถอยที่เหลือ

ควรสังเกตว่าวิธีการกำลังสองน้อยที่สุดนั้นสามารถเรียกได้ว่าเป็นวิธีการในการแก้ปัญหาในพื้นที่ใด ๆ หากการแก้ปัญหาประกอบด้วยหรือเป็นไปตามเกณฑ์บางประการในการย่อผลรวมของกำลังสองของฟังก์ชันบางอย่างของตัวแปรที่ไม่รู้จักให้น้อยที่สุด ดังนั้น วิธีกำลังสองน้อยที่สุดยังสามารถใช้สำหรับการแสดงค่าโดยประมาณ (ค่าประมาณ) ของฟังก์ชันที่กำหนดโดยฟังก์ชันอื่นๆ (ที่ง่ายกว่า) เมื่อค้นหาชุดของปริมาณที่ตรงตามสมการหรือข้อจำกัด จำนวนที่เกินจำนวนปริมาณเหล่านี้ ฯลฯ

สาระสำคัญของ MNC

ปล่อยให้แบบจำลองบางส่วน (พาราเมตริก) ของการพึ่งพาอาศัยกันความน่าจะเป็น (การถดถอย) ระหว่างตัวแปร (อธิบาย) yและหลายปัจจัย (ตัวแปรอธิบาย) x

เวกเตอร์ของพารามิเตอร์แบบจำลองที่ไม่รู้จักอยู่ที่ไหน

- ข้อผิดพลาดของแบบจำลองแบบสุ่ม

ให้มีการสังเกตตัวอย่างค่าของตัวแปรที่ระบุด้วย อนุญาต เป็นหมายเลขสังเกต (). จากนั้นเป็นค่าของตัวแปรในการสังเกตที่ - จากนั้นสำหรับค่าที่กำหนดของพารามิเตอร์ b เป็นไปได้ที่จะคำนวณค่าทางทฤษฎี (แบบจำลอง) ของตัวแปรที่อธิบาย y:

มูลค่าของส่วนที่เหลือขึ้นอยู่กับค่าของพารามิเตอร์ข

สาระสำคัญของ LSM (สามัญ, คลาสสิก) คือการหาพารามิเตอร์ดังกล่าว b ซึ่งผลรวมของกำลังสองของเศษที่เหลือ ( ภาษาอังกฤษ ผลรวมของสี่เหลี่ยมจัตุรัสที่เหลือ) จะน้อยที่สุด:

ในกรณีทั่วไป ปัญหานี้สามารถแก้ไขได้ด้วยวิธีการเชิงตัวเลขของการเพิ่มประสิทธิภาพ (ย่อเล็กสุด) ในกรณีนี้ มีคนพูดถึง กำลังสองน้อยที่สุดไม่เชิงเส้น(NLS หรือ NLLS - ภาษาอังกฤษ สี่เหลี่ยมจัตุรัสน้อยที่สุดที่ไม่ใช่เชิงเส้น). ในหลายกรณี คุณสามารถหาวิธีวิเคราะห์ได้ ในการแก้ปัญหาการย่อเล็กสุด จำเป็นต้องหาจุดที่อยู่กับที่ของฟังก์ชันโดยแยกความแตกต่างจากพารามิเตอร์ที่ไม่รู้จัก b หาอนุพันธ์ให้เป็นศูนย์ และแก้ระบบผลลัพธ์ของสมการ

หากมีข้อผิดพลาดของแบบจำลองแบบสุ่ม การกระจายแบบปกติมีค่าความแปรปรวนเท่ากันและไม่มีความสัมพันธ์กัน การประมาณค่ากำลังสองน้อยที่สุดของพารามิเตอร์ตรงกับค่าประมาณการ วิธีความเป็นไปได้สูงสุด (MLM).

บรรษัทข้ามชาติในกรณี แบบจำลองเชิงเส้น

ปล่อยให้การพึ่งพาการถดถอยเป็นเส้นตรง:

อนุญาต y- เวกเตอร์คอลัมน์ของการสังเกตตัวแปรที่อธิบายและ - เมทริกซ์ของการสังเกตปัจจัย (แถวของเมทริกซ์ - เวกเตอร์ของค่าปัจจัยในการสังเกตที่กำหนดโดยคอลัมน์ - เวกเตอร์ของค่าของปัจจัยที่กำหนดในการสังเกตทั้งหมด) . การแสดงเมทริกซ์โมเดลเชิงเส้นมีรูปแบบ:

จากนั้นเวกเตอร์การประมาณของตัวแปรที่อธิบายและเวกเตอร์ของการถดถอยที่เหลือจะเท่ากับ

ดังนั้นผลรวมของกำลังสองของการถดถอยที่เหลือจะเท่ากับ

การแยกความแตกต่างของฟังก์ชันนี้เทียบกับเวกเตอร์พารามิเตอร์และการหาอนุพันธ์ให้เป็นศูนย์ เราได้ระบบสมการ (ในรูปแบบเมทริกซ์):

.

คำตอบของระบบสมการนี้ให้สูตรทั่วไปสำหรับค่าประมาณกำลังสองน้อยที่สุดสำหรับแบบจำลองเชิงเส้น:

เพื่อวัตถุประสงค์ในการวิเคราะห์ การแสดงสูตรนี้ครั้งสุดท้ายจะมีประโยชน์ ถ้าข้อมูลในรูปแบบการถดถอย ศูนย์กลางจากนั้นในการแสดงนี้ เมทริกซ์แรกมีความหมายของเมทริกซ์ความแปรปรวนร่วมของตัวประกอบตัวอย่าง และเมทริกซ์ที่สองคือเวกเตอร์ของความแปรปรวนร่วมของปัจจัยที่มีตัวแปรตาม นอกจากนี้หากข้อมูลยังเป็น ทำให้เป็นมาตรฐานที่ SKO (นั่นคือในที่สุด ได้มาตรฐาน) จากนั้นเมทริกซ์แรกมีความหมายของเมทริกซ์สหสัมพันธ์ตัวอย่างของปัจจัย เวกเตอร์ที่สอง - เวกเตอร์ของความสัมพันธ์ตัวอย่างของปัจจัยกับตัวแปรตาม

คุณสมบัติที่สำคัญของการประมาณ LLS สำหรับรุ่นต่างๆ มีค่าคงที่- เส้นของการถดถอยที่สร้างขึ้นผ่านจุดศูนย์ถ่วงของข้อมูลตัวอย่าง นั่นคือ ความเท่าเทียมกันเกิดขึ้นจริง:

โดยเฉพาะอย่างยิ่ง ในกรณีสุดโต่ง เมื่อตัวถดถอยเพียงตัวเดียวเป็นค่าคงที่ เราพบว่าค่าประมาณ OLS ของพารามิเตอร์ตัวเดียว (ค่าคงที่เอง) เท่ากับค่าเฉลี่ยของตัวแปรที่กำลังอธิบาย นั่นคือ ค่าเฉลี่ยเลขคณิต ซึ่งเป็นที่รู้จักจากคุณสมบัติที่ดีของมันจากกฎของตัวเลขจำนวนมาก ก็เป็นค่าประมาณกำลังสองน้อยที่สุดเช่นกัน ซึ่งเป็นไปตามเกณฑ์สำหรับผลรวมขั้นต่ำของค่าเบี่ยงเบนกำลังสองจากค่านั้น

ตัวอย่าง: การถดถอยอย่างง่าย (คู่)

ในกรณีของการถดถอยเชิงเส้นคู่ สูตรการคำนวณจะง่ายขึ้น (คุณสามารถทำได้โดยไม่ต้องใช้พีชคณิตเมทริกซ์):

คุณสมบัติของประมาณการ OLS

ก่อนอื่น เราสังเกตว่าสำหรับตัวแบบเชิงเส้น การประมาณกำลังสองน้อยที่สุดเป็นการประมาณเชิงเส้น ตามสูตรข้างต้น สำหรับ ความเป็นกลางค่าประมาณของ OLS มีความจำเป็นและเพียงพอที่จะปฏิบัติตามเงื่อนไขที่สำคัญที่สุด การวิเคราะห์การถดถอย: เงื่อนไขบนปัจจัย มูลค่าที่คาดหวังข้อผิดพลาดแบบสุ่มควรเป็นศูนย์ เงื่อนไขนี้เป็นที่พอใจโดยเฉพาะถ้า

1. ความคาดหวังทางคณิตศาสตร์ของข้อผิดพลาดแบบสุ่มเป็นศูนย์และ
2. ปัจจัยและข้อผิดพลาดแบบสุ่มเป็นตัวแปรสุ่มอิสระ

เงื่อนไขที่สอง - เงื่อนไขของปัจจัยภายนอก - เป็นพื้นฐาน หากคุณสมบัตินี้ไม่เป็นที่พอใจ เราสามารถสรุปได้ว่าการประมาณการแทบใดๆ จะไม่เป็นที่น่าพอใจอย่างยิ่ง: จะไม่เท่ากัน ร่ำรวย(นั่นคือแม้ข้อมูลจำนวนมากจะไม่อนุญาตให้มีการประมาณการเชิงคุณภาพในกรณีนี้) ในกรณีคลาสสิก มีการตั้งสมมติฐานที่ชัดเจนขึ้นเกี่ยวกับการกำหนดปัจจัย ตรงกันข้ามกับข้อผิดพลาดแบบสุ่ม ซึ่งหมายความโดยอัตโนมัติว่าเงื่อนไขภายนอกได้รับการตอบสนอง ในกรณีทั่วไป เพื่อความสอดคล้องของการประมาณค่า เพียงพอที่จะบรรลุเงื่อนไขภายนอกพร้อมกับการบรรจบกันของเมทริกซ์กับเมทริกซ์ที่ไม่ใช่เอกพจน์ด้วยการเพิ่มขนาดตัวอย่างเป็นอนันต์

เพื่อที่จะนอกเหนือไปจากการละลายและ ความเป็นกลาง, การประมาณการของ LSM (ธรรมดา) ก็มีประสิทธิภาพเช่นกัน (ดีที่สุดในระดับของการประมาณค่าเชิงเส้นที่ไม่เอนเอียง) จำเป็นต้องปฏิบัติตามคุณสมบัติเพิ่มเติมของข้อผิดพลาดแบบสุ่ม:

สมมติฐานเหล่านี้สามารถกำหนดได้สำหรับ เมทริกซ์ความแปรปรวนร่วมเวกเตอร์ข้อผิดพลาดแบบสุ่ม

แบบจำลองเชิงเส้นตรงที่ตรงตามเงื่อนไขเหล่านี้เรียกว่า คลาสสิก. ค่าประมาณของ OLS สำหรับการถดถอยเชิงเส้นแบบคลาสสิกคือ ไม่ลำเอียง , ร่ำรวยและส่วนใหญ่ มีประสิทธิภาพการประมาณการในระดับของการประมาณที่ไม่เอนเอียงเชิงเส้นทั้งหมด (ในวรรณคดีอังกฤษ ตัวย่อบางครั้งใช้ สีฟ้า (ตัวประมาณค่าเชิงเส้นที่ดีที่สุด) เป็นค่าประมาณที่ไม่เอนเอียงเชิงเส้นที่ดีที่สุด ในวรรณคดีในประเทศ ทฤษฎีบทเกาส์-มาร์คอฟมักถูกอ้างถึง) เนื่องจากง่ายต่อการแสดง เมทริกซ์ความแปรปรวนร่วมของเวกเตอร์การประมาณสัมประสิทธิ์สัมประสิทธิ์จะเท่ากับ:

สี่เหลี่ยมจัตุรัสน้อยที่สุดทั่วไป

วิธีการของกำลังสองน้อยที่สุดช่วยให้มีลักษณะทั่วไปที่กว้าง แทนที่จะลดผลรวมของกำลังสองของเศษเหลือ เราสามารถลดรูปแบบกำลังสองแน่นอนที่เป็นบวกของเวกเตอร์ตกค้าง โดยที่เมทริกซ์น้ำหนักแน่นอนบวกสมมาตรบางส่วน สี่เหลี่ยมจัตุรัสน้อยที่สุดสามัญเป็นกรณีพิเศษของวิธีนี้ เมื่อเมทริกซ์น้ำหนักเป็นสัดส่วนกับเมทริกซ์เอกลักษณ์ ดังที่ทราบจากทฤษฎีเมทริกซ์สมมาตร (หรือตัวดำเนินการ) มีการสลายตัวสำหรับเมทริกซ์ดังกล่าว ดังนั้น ฟังก์ชันที่ระบุสามารถแสดงได้ดังนี้ นั่นคือ ฟังก์ชันนี้สามารถแสดงเป็นผลรวมของกำลังสองของ "เศษ" ที่แปลงแล้วบางส่วน ดังนั้น เราสามารถแยกแยะคลาสของวิธีกำลังสองน้อยที่สุด - วิธี LS (กำลังสองน้อยที่สุด)

ได้รับการพิสูจน์แล้ว (ทฤษฎีบทของ Aitken) ว่าสำหรับแบบจำลองการถดถอยเชิงเส้นทั่วไป (ซึ่งไม่มีการกำหนดข้อจำกัดในเมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) ที่มีประสิทธิภาพมากที่สุด (ในคลาสของการประมาณการที่ไม่เอนเอียงเชิงเส้น) เป็นการประมาณของสิ่งที่เรียกว่า OLS ทั่วไป (OMNK, GLS - สี่เหลี่ยมจัตุรัสน้อยที่สุดทั่วไป)- วิธี LS ที่มีเมทริกซ์น้ำหนักเท่ากับเมทริกซ์ความแปรปรวนร่วมผกผันของข้อผิดพลาดแบบสุ่ม:

สามารถแสดงว่าสูตรสำหรับประมาณการ GLS ของพารามิเตอร์ของตัวแบบเชิงเส้นมีรูปแบบ

เมทริกซ์ความแปรปรวนร่วมของการประมาณการเหล่านี้ ตามลำดับ จะเท่ากับ

อันที่จริง สาระสำคัญของ OLS อยู่ที่การแปลง (เชิงเส้น) บางอย่าง (P) ของข้อมูลดั้งเดิมและการใช้กำลังสองน้อยที่สุดตามปกติกับข้อมูลที่แปลงแล้ว จุดประสงค์ของการแปลงนี้คือสำหรับข้อมูลที่แปลงแล้ว ข้อผิดพลาดแบบสุ่มเป็นไปตามสมมติฐานดั้งเดิมแล้ว

น้ำหนักสี่เหลี่ยมน้อยที่สุด

ในกรณีของเมทริกซ์น้ำหนักในแนวทแยง (และด้วยเหตุนี้เมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) เรามีสิ่งที่เรียกว่ากำลังสองน้อยที่สุดที่ถ่วงน้ำหนัก (WLS - Weighted Least Squares) ในกรณีนี้ ผลรวมถ่วงน้ำหนักของกำลังสองของส่วนที่เหลือของแบบจำลองจะลดลง กล่าวคือ การสังเกตแต่ละครั้งจะได้รับ "น้ำหนัก" ที่เป็นสัดส่วนผกผันกับความแปรปรวนของข้อผิดพลาดแบบสุ่มในการสังเกตนี้: อันที่จริง ข้อมูลถูกแปลงโดยการให้น้ำหนักการสังเกต (หารด้วยจำนวนที่เป็นสัดส่วนกับค่าเบี่ยงเบนมาตรฐานที่สันนิษฐานของข้อผิดพลาดแบบสุ่ม) และกำลังสองน้อยที่สุดปกติจะถูกนำไปใช้กับข้อมูลที่ถ่วงน้ำหนัก

บางกรณีพิเศษของการประยุกต์ใช้ LSM ในทางปฏิบัติ

ค่าประมาณการพึ่งพาอาศัยกันเชิงเส้น

พิจารณากรณีที่เมื่อเป็นผลจากการศึกษา การพึ่งพาบาง สเกลาร์ปริมาณของปริมาณสเกลาร์ (เช่น การพึ่งพา แรงดันไฟฟ้าจาก ความแข็งแกร่งในปัจจุบัน: โดยที่ค่าคงที่คือ ความต้านทาน ตัวนำ) ได้ดำเนินการแล้ว การวัดปริมาณเหล่านี้ซึ่งเป็นผลมาจากค่าที่ได้รับและค่าที่สอดคล้องกัน ข้อมูลการวัดควรบันทึกไว้ในตาราง

โต๊ะ. ผลการวัด

เลขที่วัด
1
2
3
4
5
6

คำถามคือ ความหมายคืออะไร ค่าสัมประสิทธิ์สามารถเลือกให้อธิบายการพึ่งพาได้ดีที่สุด ? ตามกำลังสองที่น้อยที่สุด ค่านี้ควรเป็นค่าเท่ากับผลรวม สี่เหลี่ยมการเบี่ยงเบนของค่าจากค่า

น้อยที่สุด

ผลรวมของส่วนเบี่ยงเบนกำลังสองมีหนึ่ง สุดขั้วเป็นขั้นต่ำที่ช่วยให้เราใช้สิ่งนี้ สูตร. ลองหาค่าสัมประสิทธิ์จากสูตรนี้กัน ในการทำเช่นนี้ เราแปลงด้านซ้ายของมันดังนี้:

สูตรสุดท้ายช่วยให้เราสามารถหาค่าสัมประสิทธิ์ซึ่งจำเป็นในปัญหา

เรื่องราว

จนถึงต้นศตวรรษที่ XIX นักวิทยาศาสตร์ไม่มีกฎเกณฑ์ที่ชัดเจนในการตัดสินใจ ระบบสมการซึ่งจำนวนไม่ทราบค่าน้อยกว่าจำนวนสมการ ก่อนหน้านั้น มีการใช้วิธีการเฉพาะ ขึ้นอยู่กับประเภทของสมการและความเฉลียวฉลาดของเครื่องคิดเลข ดังนั้น เครื่องคิดเลขที่ต่างกันซึ่งเริ่มต้นจากข้อมูลเชิงสังเกตเดียวกันจึงได้ข้อสรุปที่ต่างกันออกไป เกาส์(พ.ศ. 238) เป็นวิธีการแรกที่ใช้ และ ตำนาน(1805) ค้นพบและเผยแพร่โดยอิสระภายใต้ชื่อสมัยใหม่ ( เฝอ Methode des moindres quarres ) . ลาปลาซวิธีการที่เกี่ยวข้องกับ ทฤษฎีความน่าจะเป็นและ Adrain นักคณิตศาสตร์ชาวอเมริกัน (1808) ได้พิจารณาการประยุกต์ใช้ความน่าจะเป็น วิธีการนี้แพร่หลายและปรับปรุงโดยการวิจัยเพิ่มเติม Encke , เบสเซล, แฮนเซ่น และคนอื่นๆ.

การใช้ทางเลือกของบรรษัทข้ามชาติ

แนวคิดของวิธีกำลังสองน้อยที่สุดยังสามารถนำมาใช้ในกรณีอื่นๆ ที่ไม่เกี่ยวข้องโดยตรงกับการวิเคราะห์การถดถอย ความจริงก็คือผลรวมของกำลังสองเป็นหนึ่งในการวัดระยะใกล้เคียงกันมากที่สุดสำหรับเวกเตอร์ (เมตริกแบบยุคลิดในช่องว่างที่มีมิติจำกัด)

แอปพลิเคชั่นหนึ่งคือ "การแก้" ระบบของสมการเชิงเส้นซึ่งจำนวนสมการมากกว่าจำนวนตัวแปร

โดยที่เมทริกซ์ไม่ใช่สี่เหลี่ยมจัตุรัส แต่เป็นสี่เหลี่ยม

โดยทั่วไป ระบบสมการดังกล่าวไม่มีคำตอบ (หากอันดับจริงมากกว่าจำนวนตัวแปร) ดังนั้น ระบบนี้สามารถ "แก้ไข" ได้เฉพาะในแง่ของการเลือกเวกเตอร์ดังกล่าว เพื่อลด "ระยะทาง" ระหว่างเวกเตอร์กับ . ในการทำเช่นนี้ คุณสามารถใช้เกณฑ์ในการลดผลรวมของผลต่างกำลังสองของส่วนซ้ายและขวาของสมการของระบบ นั่นคือ มันง่ายที่จะแสดงว่าการแก้ปัญหาของปัญหาการย่อเล็กสุดนี้นำไปสู่คำตอบของระบบสมการต่อไปนี้