ผลการถดถอยมีขอบเขตบนที่ไม่คาดคิด

ฉันพยายามทำนายคะแนนสมดุลและลองวิธีการถดถอยที่แตกต่างกันหลายวิธี สิ่งหนึ่งที่ฉันสังเกตเห็นคือค่าคาดการณ์ดูเหมือนจะมีขอบเขตบนบางอย่าง นั่นคือความสมดุลที่เกิดขึ้นจริงในแต่คาดการณ์ของฉันที่ด้านบนสุดที่ประมาณ0.8พล็อตต่อไปนี้แสดงยอดคงเหลือตามจริงกับยอดคงเหลือที่คาดการณ์ไว้ (ทำนายด้วยการถดถอยเชิงเส้น): $[0.0, 1.0)$ $0.8$

ตามจริงเทียบกับที่ทำนายไว้

และนี่คือแผนการแจกแจงสองข้อมูลเดียวกัน:

การกระจายครั้งแรก

เนื่องจากตัวทำนายของฉันเบ้มาก (ข้อมูลผู้ใช้ที่มีการแจกแจงกฎหมายพลังงาน) ฉันจึงใช้การแปลงแบบบ็อกซ์ค็อกซ์ซึ่งเปลี่ยนผลลัพธ์เป็นต่อไปนี้:

ตามจริงเทียบกับการทำนายหลังจากการแปลง Box-Cox

การกระจายหลังการแปลง Box-Cox

แม้ว่ามันจะเปลี่ยนการกระจายตัวของการทำนาย แต่ก็ยังคงมีขอบเขตบน ดังนั้นคำถามของฉันคือ:

อะไรคือเหตุผลที่เป็นไปได้สำหรับขอบเขตบนดังกล่าวในผลการทำนาย?
ฉันจะแก้ไขการคาดการณ์เพื่อให้สอดคล้องกับการแจกแจงของค่าจริงได้อย่างไร

โบนัส:เนื่องจากการกระจายหลังจากแปลงบ็อกซ์ค็อกซ์ดูเหมือนว่าจะเป็นไปตามการกระจายตัวของตัวทำนายที่ถูกแปลงเป็นไปได้หรือไม่ว่ามันเชื่อมโยงโดยตรงหรือไม่ ถ้าเป็นเช่นนั้นจะมีการเปลี่ยนแปลงที่ฉันสามารถนำไปใช้เพื่อให้เหมาะสมกับการกระจายตัวกับค่าจริงหรือไม่?

แก้ไข:ฉันใช้การถดถอยเชิงเส้นอย่างง่ายพร้อมตัวทำนาย 5 ตัว

— Mennny
แหล่งที่มา

ฉันสนใจที่จะดูว่ามันจะไปที่ไหน นี่เป็นเพียงโมเดลการถดถอยเชิงเส้น? มีผู้ทำนายกี่คน?

— shadowtalker

ตามหมายเหตุด้านข้าง: เนื่องจากตัวแปรผลลัพธ์ของคุณถูกล้อมรอบด้วย 0 และ 1 รูปแบบการถดถอยเชิงเส้นอย่างง่ายมีแนวโน้มที่จะทำนายค่านอกขอบเขตเหล่านั้นซึ่งแน่นอนว่าไม่ถูกต้อง มีตัวเลือกอื่น ๆที่ควรพิจารณาในกรณีนี้

— COOLSerdash

อินพุตที่ถูก จำกัด หมายถึงเอาต์พุตที่ถูกล้อมรอบสำหรับโมเดลเชิงเส้น ขอบเขตของตัวทำนาย (เปลี่ยนรูป) คืออะไร คุณช่วยแสดงตารางสรุปของแบบจำลองให้เราเห็นได้หรือไม่?

— พระคาร์ดินัล

Mennny: สิ่งที่คุณต้องการจริงๆ (เริ่มต้นด้วย) คือค่าสัมประสิทธิ์และขอบเขตของการทำนาย โดยการจับคู่สัญญาณหนึ่งต่อหนึ่งคุณจะสามารถกำหนดการคาดการณ์ขั้นต่ำและสูงสุดได้อย่างรวดเร็ว (สมมติว่าผู้คาดคะเนจะตอบสนองขอบเขตไม่ว่าจะโดยทางตรงหรือทางอ้อม)

— พระคาร์ดินัล

@ cardinal: ฉันตรวจสอบขอบเขตของผู้ทำนายและสามารถยืนยันสมมติฐานของคุณได้ ด้วยตัวทำนายที่ได้รับ (ไม่ถูกแปลง) การทำนายสูงสุดคือ ~ 0.79 คุณกรุณา "คัดลอก / วาง" ความคิดเห็นของคุณเป็นคำตอบเพื่อที่ฉันจะได้ยอมรับมันได้หรือไม่? ฉันจะดำเนินการต่อได้อย่างไร ฉันเดาว่าสิ่งนี้แสดงให้เห็นว่าไม่มีความสัมพันธ์เชิงเส้นตรงระหว่างตัวทำนายของฉันกับผลลัพธ์

— Mennny

คำตอบ:

var dep ของคุณมีขอบเขตระหว่าง 0 ถึง 1 ดังนั้น OLS จึงไม่เหมาะสมอย่างสมบูรณ์ฉันขอแนะนำการถดถอยเบต้าเช่นและอาจมีวิธีอื่น แต่ประการที่สองหลังจากการแปลงบ็อกซ์ของคุณคุณบอกว่าการคาดการณ์ของคุณถูก จำกัด แต่กราฟของคุณไม่ได้แสดงว่า

— Leonardo Auslender
แหล่งที่มา

ในขณะที่มีการโฟกัสจำนวนมากในการใช้การถดถอยที่เชื่อฟังขอบเขตของ 0/1 และนี่เป็นคำถามที่สมเหตุสมผล (และสำคัญ!) คำถามเฉพาะว่าทำไม LPM ของคุณไม่คาดการณ์ผลลัพธ์มากกว่า 0.8 ทำให้ฉันเป็นคำถามที่แตกต่างกันเล็กน้อย .

ไม่ว่าในกรณีใดมีรูปแบบการจดบันทึกอยู่ในส่วนที่เหลือของคุณกล่าวคือแบบจำลองเชิงเส้นของคุณเหมาะกับหางส่วนบนของการกระจายของคุณไม่ดี ซึ่งหมายความว่ามีบางอย่างที่ไม่ใช่เชิงเส้นเกี่ยวกับโมเดลที่ถูกต้อง

โซลูชันที่พิจารณาขอบเขตของข้อมูลของคุณด้วย 0/1: probit, logit และ beta regression ข้อ จำกัด นี้มีความสำคัญและต้องได้รับการแก้ไขเพื่อให้งานของคุณเข้มงวดเนื่องจากการกระจายของคุณค่อนข้างใกล้กับ 1 และทำให้คำตอบจำนวนมากในหัวข้อนั้น

โดยทั่วไปแล้วปัญหาคือ LPM เกินขีด จำกัด 0/1 นี่ไม่ใช่กรณีที่นี่! หากคุณไม่เกี่ยวข้องกับ 0/1 ที่ถูกผูกไว้และต้องการวิธีการแก้ปัญหาที่สามารถติดตั้ง (x'x) ^ - 1 (x'y) ให้พิจารณาว่าบางทีแบบจำลองอาจไม่เชิงเส้นตรง การติดตั้งแบบจำลองเป็นฟังก์ชั่นของ x ^ 2, ผลิตภัณฑ์ไขว้ของตัวแปรอิสระหรือบันทึกของตัวแปรอิสระสามารถช่วยปรับปรุงความพอดีของคุณและอาจปรับปรุงพลังการอธิบายของแบบจำลองของคุณเพื่อประเมินค่ามากกว่า 0.8

— RegressForward
แหล่งที่มา