นิยามน้ำหนักถ่วงน้ำหนักน้อยที่สุด: ฟังก์ชัน R lm เทียบกับ

ใครช่วยบอกฉันหน่อยได้ไหมว่าทำไมฉันถึงได้ผลลัพธ์ที่แตกต่างจากRน้ำหนักอย่างน้อยกำลังสองและวิธีแก้ปัญหาด้วยตนเองโดยการทำงานของเมทริกซ์ ?

โดยเฉพาะฉันกำลังพยายามแก้ไขด้วยตนเองโดยที่คือเมทริกซ์แนวทแยงมุมที่มีน้ำหนักคือเมทริกซ์ข้อมูลคือการตอบสนอง เวกเตอร์ $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

ฉันพยายามเปรียบเทียบผลลัพธ์กับR lmฟังก์ชันโดยใช้weightsอาร์กิวเมนต์

— ไห่เทาดู
แหล่งที่มา

ฉันแก้ไขแท็ก: นี่ไม่ใช่ [การเรียนรู้ด้วยตนเอง] อย่างแน่นอน มันไม่ได้เกี่ยวกับ GLS (แต่เป็นกรณีพิเศษมาก) ดังนั้นฉันก็ลบอันนั้นด้วย

— อะมีบา

ดังที่คุณเห็นได้จากนิพจน์ทางคณิตศาสตร์สำหรับการคำนวณของคุณคุณจะได้รับ

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

เห็นได้ชัดว่าน้ำหนักของคุณไม่Wดังนั้นคุณควรเปรียบเทียบคำตอบของคุณกับผลลัพธ์ของ $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

ข้อตกลงนี้สมบูรณ์แบบ (ภายในข้อผิดพลาดจุดลอยตัว - ภายในRใช้อัลกอริทึมที่มีเสถียรภาพมากขึ้นเป็นตัวเลข)

— whuber
แหล่งที่มา

เราเพิ่งพูดถึงอนุสัญญาซอฟต์แวร์ที่นี่: ซอฟต์แวร์คาดหวังว่า "น้ำหนัก" หรือไม่คุณต้องการให้หรือหรือไม่ ฉันคิดว่านี่เป็นคำถามที่มีค่าเพราะปัญหาอาจมีผลต่อแพ็คเกจสถิติใด ๆ การวิเคราะห์สั้น ๆ ในคำตอบนี้แสดงให้เห็นว่าการตีความทางเลือกของ "ตุ้มน้ำหนัก" อาจมีเหตุผลและคุ้มค่าที่จะทำการทดลองในทุกสถานการณ์

W

$W$

W^{2}

$W^2$

— whuber

ใช่ฉันคิดว่ามันสับสนฉันได้รับการแสดงออกจากหนังสือพีชคณิตเชิงเส้นของ Gilbert Strang บทที่ 8.6 ซึ่งเขาบอกว่าสี่เหลี่ยมจัตุรัสที่มีน้ำหนักน้อยที่สุดเป็นเพียงการปรับเปลี่ยนจากเป็น

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

Strang นั้นถูกต้อง แต่เขามีทิศทางการสอนย้อนหลัง: เขาเริ่มต้นด้วยคำตอบมากกว่าปัญหา ปัญหาเกี่ยวข้องกับวิธีการดำเนินการแบบอะนาล็อกของโพรซีเดอร์กำลังสองน้อยที่สุดเมื่อความแปรปรวนของค่าตกค้างเป็นที่รู้จักแต่มีค่าต่างกัน สำหรับเหตุผลทางทฤษฎีต่าง ๆ (แต่ง่าย) ข้อมูลควรถูกถ่วงน้ำหนักด้วยค่าความแปรปรวนผกผัน (บางครั้งเรียกว่า "precisions") จากนั้นเราก็สามารถคำนวณได้ว่าจะต้องเป็นสแควร์รูทของตุ้มน้ำหนัก

W

$W$

— whuber