คุณจะหาน้ำหนักสำหรับการถดถอยกำลังสองน้อยที่สุดได้อย่างไร?

ฉันหลงทางเล็กน้อยในกระบวนการถดถอยของ WLS ฉันได้รับชุดข้อมูลแล้วและหน้าที่ของฉันคือการทดสอบว่ามีความแตกต่างที่แน่นอนและถ้าเป็นเช่นนั้นฉันควรรัน WLS regression

ฉันได้ทำการทดสอบและพบหลักฐานเกี่ยวกับความแตกต่างระหว่างดังนั้นฉันจึงต้องเรียกใช้ WLS ฉันได้รับแจ้งว่า WLS นั้นโดยทั่วไปแล้วการถดถอย OLS ของโมเดลที่แปลงแล้ว แต่ฉันสับสนเล็กน้อยเกี่ยวกับการค้นหาฟังก์ชันการแปลง ฉันได้อ่านบทความที่แนะนำว่าการเปลี่ยนแปลงสามารถเป็นหน้าที่ของส่วนที่เหลือกำลังสองจากการถดถอย OLS แต่ฉันจะขอบคุณถ้ามีคนสามารถช่วยฉันในการติดตามที่ถูกต้อง

การถดถอยกำลังสองน้อยที่สุด (WLS) ไม่ใช่แบบจำลองที่แปลงแล้ว แต่จะเป็นเพียงการรักษาแต่ละสังเกตเป็นมากหรือน้อยให้ข้อมูลเกี่ยวกับความสัมพันธ์พื้นฐานระหว่างและY คะแนนเหล่านั้นที่ให้ข้อมูลมากกว่าจะได้รับ 'น้ำหนัก' มากขึ้นและที่มีข้อมูลน้อยจะได้รับน้ำหนักน้อยลง คุณมีสิทธิ์ที่การถดถอยอย่างน้อยกำลังสอง (WLS) ในทางเทคนิคจะใช้ได้เฉพาะในกรณีที่ทราบน้ำหนักก่อน $X$$Y$

อย่างไรก็ตามการถดถอยเชิงเส้น (OLS) นั้นค่อนข้างแข็งแกร่งเมื่อเทียบกับ heteroscedasticity และดังนั้น WLS จึงเป็นเช่นนั้นหากการประมาณของคุณอยู่ใน ballpark กฎง่ายๆสำหรับการถดถอย OLS ก็คือมันไม่ได้รับผลกระทบจากความต่างกันมากเกินไปตราบใดที่ความแปรปรวนสูงสุดไม่เกิน 4 เท่าของความแปรปรวนขั้นต่ำ ตัวอย่างเช่นหากความแปรปรวนของส่วนที่เหลือ / ข้อผิดพลาดเพิ่มขึ้นด้วยดังนั้นคุณจะตกลงถ้าความแปรปรวนของส่วนที่เหลือที่ปลายสูงนั้นน้อยกว่าสี่เท่าของความแปรปรวนของส่วนที่เหลือที่ต่ำสุด ความหมายของสิ่งนี้คือถ้าน้ำหนักของคุณทำให้คุณอยู่ในช่วงนั้นคุณก็จะปลอดภัยพอสมควร มันเป็นรูปเกือกม้าและระเบิดมือ$X$สถานการณ์. ดังนั้นคุณสามารถลองประมาณฟังก์ชั่นที่เกี่ยวข้องกับความแปรปรวนของส่วนที่เหลือกับระดับของตัวแปรตัวทำนายของคุณ

มีหลายประเด็นที่เกี่ยวข้องกับวิธีการประมาณเช่นนี้:

1. จำไว้ว่าน้ำหนักควรเป็นส่วนกลับของความแปรปรวน (หรืออะไรก็ตามที่คุณใช้)

2. หากข้อมูลของคุณเกิดขึ้นเฉพาะที่ระดับที่ไม่ต่อเนื่องเช่นในการทดสอบหรือ ANOVA คุณสามารถประเมินความแปรปรวนโดยตรงในแต่ละระดับของXและใช้ข้อมูลนั้น หากการประมาณการเป็นระดับที่ไม่ต่อเนื่องของตัวแปรต่อเนื่อง (เช่น 0 มก., 10 มก., 20 มก., ฯลฯ ) คุณอาจต้องการทำให้เรียบ แต่สิ่งเหล่านั้นอาจไม่สร้างความแตกต่างมากนัก $X$$X$

3. $X$plot(model, which=2)$X$ส่วนเบี่ยงเบนสัมบูรณ์เฉลี่ยจากค่ามัธยฐาน

4. $X$$X$

5. การรับน้ำหนักของคุณจากเศษซากของการถดถอย OLS นั้นสมเหตุสมผลเนื่องจาก OLS ไม่มีความเป็นกลางแม้ในภาวะที่มีความแตกต่าง อย่างไรก็ตามน้ำหนักเหล่านั้นอาจเกิดขึ้นกับรุ่นดั้งเดิมและอาจเปลี่ยนแปลงขนาดของ WLS รุ่นถัดไป ดังนั้นคุณควรตรวจสอบผลลัพธ์ของคุณโดยเปรียบเทียบเบตาที่ประเมินจากการถดถอยทั้งสอง หากพวกเขาคล้ายกันมากคุณก็โอเค หากค่าสัมประสิทธิ์ WLS แตกต่างจากค่า OLS คุณควรใช้การประเมิน WLS เพื่อคำนวณค่าเศษที่เหลือด้วยตนเอง (ค่าส่วนที่เหลือที่รายงานจากพอดีของ WLS จะคำนึงถึงน้ำหนัก) เมื่อคำนวณชุดสารตกค้างชุดใหม่ให้กำหนดน้ำหนักอีกครั้งและใช้น้ำหนักใหม่ในการถดถอย WLS ครั้งที่สอง กระบวนการนี้ควรทำซ้ำจนกว่าจะมีการวางเดิมพันโดยประมาณสองชุดที่มีความคล้ายคลึงกันอย่างเพียงพอ

หากกระบวนการนี้จะทำให้คุณค่อนข้างอึดอัดเพราะน้ำหนักอยู่ที่ประมาณและเพราะพวกเขามีความผูกพันกับก่อนหน้านี้รูปแบบที่ไม่ถูกต้องอีกทางเลือกหนึ่งคือการใช้ฮิวขาว 'แซนวิช' ประมาณการ สิ่งนี้มีความสอดคล้องแม้ในภาวะที่แตกต่างกันไม่ว่าจะรุนแรงเพียงใดและมันก็ไม่ได้เกิดขึ้นกับรุ่น นอกจากนี้ยังอาจรบกวนน้อยลง

ฉันแสดงให้เห็นถึงรูปแบบที่เรียบง่ายของสี่เหลี่ยมที่มีน้ำหนักน้อยที่สุดและการใช้แซนวิช SEs ในคำตอบของฉันที่นี่: ทางเลือกแทน ANOVA แบบทางเดียวสำหรับข้อมูลที่แตกต่างกัน

เมื่อทำการ WLS คุณจำเป็นต้องรู้น้ำหนัก มีวิธีการค้นหาตามที่กล่าวไว้ในหน้า 191 ของการวิเคราะห์การถดถอยเชิงเส้นเบื้องต้นโดย Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining ตัวอย่างเช่น:

1. ประสบการณ์หรือข้อมูลก่อนหน้านี้โดยใช้แบบจำลองเชิงทฤษฎี
2. ${\rm var}(\varepsilon_i)=\sigma^2x_i$$w_i=1/x_i$
3. $n_i$$x_i$${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$$w_i=n_i$
4. บางครั้งเรารู้ว่าการสังเกตที่แตกต่างกันนั้นถูกวัดด้วยเครื่องมือที่แตกต่างกันซึ่งมีความแม่นยำ ในกรณีนี้เราอาจตัดสินใจใช้น้ำหนักเป็นสัดส่วนผกผันกับความแปรปรวนของข้อผิดพลาดในการวัด