“ กำลังสองน้อยที่สุด” และ“ การถดถอยเชิงเส้น” เป็นคำพ้องความหมายหรือไม่?

ความแตกต่างระหว่างกำลังสองน้อยที่สุดกับการถดถอยเชิงเส้นคืออะไร มันเป็นสิ่งเดียวกันหรือไม่?

regression least-squares terminology

ผมว่าอย่างน้อยสี่เหลี่ยมธรรมดาเป็นวิธีการประมาณหนึ่งในหมวดหมู่ที่กว้างขึ้นของการถดถอยเชิงเส้น เป็นไปได้แม้ว่าผู้เขียนบางคนใช้ "กำลังสองน้อยที่สุด" และ "การถดถอยเชิงเส้น" ราวกับว่าพวกเขาสามารถใช้แทนกันได้

— Matthew Gunn

หากคุณกำลังทำกำลังสองน้อยสุดธรรมดาฉันจะใช้คำนั้น มันคลุมเครือน้อยกว่า

— Matthew Gunn

ดูเพิ่มเติมสิ่งที่เป็นรูปแบบการถดถอย

— Richard Hardy

คำตอบ:

การถดถอยเชิงเส้นจะถือว่าความสัมพันธ์เชิงเส้นระหว่างตัวแปรอิสระและตัวแปรตาม มันไม่ได้บอกคุณว่าติดตั้งโมเดลอย่างไร ข้อต่อสี่เหลี่ยมจัตุรัสน้อยที่สุดเป็นเพียงหนึ่งในความเป็นไปได้ วิธีการอื่นสำหรับการฝึกอบรมตัวแบบเชิงเส้นอยู่ในความคิดเห็น

ช่องสี่เหลี่ยมน้อยสุดที่ไม่ใช่แบบเชิงเส้นเป็นเรื่องปกติ ( https://en.wikipedia.org/wiki/Non-linear_least_squares ) ตัวอย่างเช่นอัลกอริทึม Levenberg – Marquardt ที่ได้รับความนิยมจะแก้ปัญหาดังนี้:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{i = 1}^{m} {[y_{i} - f (x_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

มันเป็นการเพิ่มประสิทธิภาพกำลังสองน้อยที่สุด แต่โมเดลไม่ใช่แบบเชิงเส้น

พวกเขาจะไม่ได้ในสิ่งเดียวกัน

— สวัสดีชาวโลก
แหล่งที่มา

นอกจากคำตอบที่ถูกต้องของ @Student T ฉันต้องการเน้นว่ากำลังสองน้อยที่สุดเป็นฟังก์ชันการสูญเสียที่อาจเกิดขึ้นสำหรับปัญหาการปรับให้เหมาะสมในขณะที่การถดถอยเชิงเส้นเป็นปัญหาการเพิ่มประสิทธิภาพ

รับชุดข้อมูลบางอย่างการถดถอยเชิงเส้นจะใช้ในการค้นหาฟังก์ชั่นเชิงเส้นที่ดีที่สุดที่เป็นไปได้ซึ่งจะอธิบายการเชื่อมต่อระหว่างตัวแปร

ในกรณีนี้ความเป็นไปได้ "ดีที่สุด" จะถูกกำหนดโดยฟังก์ชั่นการสูญเสียการเปรียบเทียบค่าที่ทำนายของฟังก์ชันเชิงเส้นกับค่าจริงในชุดข้อมูล Least Squares เป็นฟังก์ชันการสูญเสียที่เป็นไปได้

บทความวิกิพีเดียของกำลังสองน้อยสุดยังแสดงรูปภาพทางด้านขวาซึ่งแสดงโดยใช้กำลังสองน้อยที่สุดสำหรับปัญหาอื่นนอกเหนือจากการถดถอยเชิงเส้นเช่น:

รูปกรวยกระชับ
ฟังก์ชันกำลังสองที่เหมาะสม

gif ต่อไปนี้จากบทความ wikipedia แสดงฟังก์ชั่นพหุนามที่แตกต่างกันหลายชุดที่ชุดข้อมูลโดยใช้กำลังสองน้อยที่สุด มีเพียงหนึ่งเดียวเท่านั้นที่เป็นเชิงเส้น (พหุนามของ 1) สิ่งนี้นำมาจากบทความวิกิพีเดียภาษาเยอรมันถึงหัวข้อ

— Nikolas Rieble
แหล่งที่มา

เราสามารถโต้แย้งตัวอย่างที่ไม่ใช่เชิงเส้นในแอนิเมชันจริง ๆ แล้วยังคงเป็นเส้นตรงในพารามิเตอร์

— Firebug

จริง แต่ความสัมพันธ์ของโมเดลระหว่างเป้าหมายและตัวแปรอินพุตนั้นไม่ใช่แบบเส้นตรง คุณจะโทรหา "การถดถอยเชิงเส้น" ที่เหมาะสมได้หรือไม่? ฉันจะไม่.

— Nikolas Rieble

เราควรแยกความแตกต่างระหว่าง "กำลังสองน้อยที่สุดเชิงเส้น" และ "ถดถอยเชิงเส้น" เนื่องจากคำคุณศัพท์ "เส้นตรง" ในทั้งสองนั้นอ้างถึงสิ่งต่าง ๆ อดีตหมายถึงความพอดีที่เป็นเส้นตรงในพารามิเตอร์และหลังหมายถึงความเหมาะสมกับแบบจำลองที่เป็นฟังก์ชันเชิงเส้นของตัวแปรอิสระ

— JM ไม่ใช่นักสถิติเมื่อ

@JM หลายแหล่งยืนยันว่าการ "เชิงเส้น" ในการ "เชิงเส้น" หมายถึง "เชิงเส้นในพารามิเตอร์" ค่อนข้าง "เชิงเส้นใน IV" บทความ WIkipedia เกี่ยวกับการถดถอยเชิงเส้นเป็นตัวอย่างเป็นตัวอย่าง นี่คืออีกและอีก ข้อความสถิติจำนวนมากทำเช่นเดียวกัน ฉันจะเถียงมันเป็นแบบแผน

— Glen_b -Reinstate Monica

y = m x + b

$y=mx+b$