โมเดลเชิงเส้นที่ไม่เหมาะสมเมื่อใดจะสวยงามอย่างสมบูรณ์?

คำถาม:

มีการใช้โมเดลเชิงเส้นที่ไม่เหมาะสมในทางปฏิบัติหรือมีความอยากรู้อยากเห็นบางครั้งอธิบายไว้ในวารสารวิทยาศาสตร์หรือไม่? ถ้าเป็นเช่นนั้นพวกเขาจะใช้ในด้านใด?
มีตัวอย่างอื่น ๆ ของโมเดลดังกล่าวอีกไหม?
ในที่สุดข้อผิดพลาดมาตรฐาน value,ฯลฯ ที่นำมาจาก OLS สำหรับรุ่นดังกล่าวจะถูกต้องหรือไม่หรือควรได้รับการแก้ไขอย่างใด $p$ $R^2$

ความเป็นมา:แบบจำลองเชิงเส้นที่ไม่เหมาะสมมีการอธิบายเป็นครั้งคราวในวรรณคดี โดยทั่วไปโมเดลดังกล่าวสามารถอธิบายได้ดังนี้

y = a + b \sum_{i} w_{i} x_{i} + ε

$y = a + b \sum_i w_i x_i + \varepsilon$

สิ่งที่ทำให้พวกเขาแตกต่างจากการถดถอยก็คือค่าสัมประสิทธิ์ของไม่ได้ประมาณไว้ในแบบจำลอง แต่เป็นน้ำหนักที่ $w_j$

เท่ากับตัวแปรแต่ละตัว ( การถดถอยแบบถ่วงน้ำหนักหน่วย ) $w_i = 1$
ขึ้นอยู่กับสหสัมพันธ์ (Dana และ Dawes, 2004) $w_i = \rho(y, x_i)$
เลือกแบบสุ่ม (Dawes, 1979)
$-1$ สำหรับตัวแปรที่เกี่ยวข้องกับ ,สำหรับตัวแปรที่เกี่ยวข้องกับ (Wainer, 1976) $y$ $1$ $y$

นอกจากนี้มันเป็นเรื่องธรรมดาที่จะใช้ชนิดของการปรับคุณลักษณะบางอย่างเช่นการแปลงตัวแปรเข้า -scores ดังนั้นแบบจำลองชนิดนี้สามารถทำให้ง่ายขึ้นในการถดถอยเชิงเส้นแบบไม่รวมตัวแปร $Z$

y = a + b v + ε

$y = a + b v + \varepsilon$

โดยที่และสามารถประมาณได้อย่างง่ายดายโดยใช้การถดถอยแบบ OLS $v = \sum w_i x$

ข้อมูลอ้างอิง:
Dawes, Robyn M. (1979) ความงามที่แข็งแกร่งของแบบจำลองเชิงเส้นที่ไม่เหมาะสมในการตัดสินใจ นักจิตวิทยาอเมริกัน, 34, 571-582

Graefe, A. (2015) การปรับปรุงการคาดการณ์โดยใช้ทำนายถ่วงน้ำหนักอย่างเท่าเทียมกัน วารสารวิจัยธุรกิจ, 68 (8), 1792-1799

Wainer, Howard (1976) การประมาณค่าสัมประสิทธิ์ในรูปแบบเชิงเส้น: มันไม่ได้ทำให้ไม่มีไม่เป็นไร กระดานข่าวทางจิตวิทยา 83 (2), 213

Dana, J. และ Dawes, RM (2004) เหนือกว่าทางเลือกง่ายๆในการถดถอยสำหรับการคาดคะเนสังคมศาสตร์ วารสารสถิติการศึกษาและพฤติกรรม, 29 (3), 317-331

— ทิม
แหล่งที่มา

สถิติที่ได้จากแบบจำลองเหล่านี้มีความหมายว่า "ไม่ถูกต้อง" หรือไม่?

— whuber

เมื่อ s ถูกระบุล่วงหน้า &นี่เป็นเพียงการลดข้อมูลที่ดำเนินการโดยผู้ทำนาย - พบได้บ่อยในรูปแบบต่าง ๆ (ดูตัวอย่างเช่น Glasgow Coma Scale & ดัชนีความผิดปกติร่วมของ Charlson) - ซึ่งจะไม่ส่งผลกระทบต่อ ความถูกต้องของการอนุมานในกรอบ OLS ปกติ เมื่อถูกใช้เพื่อกำหนด s ข้อผิดพลาดมาตรฐาน & c จะออกไปในทิศทางที่มองในแง่ดีฉันคิดว่า

w_{i}

$w_i$

b

$b$

y

$y$

w_{i}

$w_i$

— Scortchi - Reinstate Monica

มันไม่ได้เป็นความคิดเห็นที่มีข้อมูลเอกสารยังอยู่ในกอง "การอ่าน" ของฉัน ฉันแค่สงสัยว่า: - "ทำไม 'ไม่เหมาะสม'? มันไม่ใช่เรื่องแปลกสำหรับนักทำนายว่าจะเป็นการรวมกันเชิงเส้นของตัวแปรอื่น ๆ - ค่าเฉลี่ยของการวัดหลายอย่าง, คะแนนองค์ประกอบหลัก, การทำนายจากการถดถอยอื่น, ระดับจากอนุกรมเวลาที่ปรับให้เรียบแบบเอ็กซ์โปเนนเชียลหรือค่าที่คำนวณจาก หรือดัชนีเฉพาะกิจ ไม่ได้ประเมินน้ำหนักจากการตอบสนองทำให้มีอิสระในระดับหนึ่งช่วยหลีกเลี่ยงการปรับขนาดตัวอย่างให้เล็กลง

— Scortchi - Reinstate Monica

ในเช่นBeddhu (2000), "ระดับ comorbidity ง่าย ๆ ทำนายผลทางคลินิกและค่าใช้จ่ายในผู้ป่วยที่ล้างไต" Am J. Med., 108 , 8สมการตัวแบบมีรูปแบบเดียวกับคุณโดยที่ s ถูกกำหนดเป็นตัวแปรตัวบ่งชี้สำหรับโรคเบาหวาน, มะเร็งต่อมน้ำเหลือง, & c., และ theนั้นถูกระบุไว้ล่วงหน้า ฉันคิดว่าสิ่งที่ฉันพูดคือความแตกต่างระหว่าง "รูปแบบการถดถอย" ที่ไม่เหมาะสม "และ" เหมาะสม "ดูเหมือนว่าจะอยู่ในความคิดของชุด s ที่พระเจ้ามอบให้ซึ่งแต่ละรุ่นที่" เหมาะสม "จะประมาณค่าสัมประสิทธิ์ .

x_{i}

$x_i$

w_{i}

$w_i$

x_{i}

$x_i$

— Scortchi - Reinstate Monica

เมื่อ , & ถ้าถูกประเมินจากข้อมูลเดียวกันแบบจำลองจะพอดีกับที่จะเป็นปลากาต้มน้ำที่แตกต่างกัน

w_{i} = ρ (y, x_{i})

$w_i = \rho(y, x_i)$

ρ

$\rho$

— Scortchi - Reinstate Monica

ดูเหมือนว่าสำหรับฉันแล้วนี่คือการแบ่งประเภทของโครงสร้างความแปรปรวนร่วมที่สันนิษฐาน กล่าวอีกนัยหนึ่งนี่คือการสร้างแบบจำลองก่อนหน้านี้แบบเบย์

สิ่งนี้จะได้รับความทนทานมากกว่าขั้นตอน MLR ปกติเนื่องจากจำนวนพารามิเตอร์ ( df) ลดลงและแนะนำความไม่ถูกต้องเนื่องจากOVB แปรผันเป็นส่วนเสริม เนื่องจาก OVB ความชันจะถูกทำให้แบน,ค่าสัมประสิทธิ์ของความมุ่งมั่นที่จะลดลง 2 $\downarrow$ $|\hat\beta|<|\beta|$ $\hat{R}^2<R^2$

ประสบการณ์ส่วนตัวของฉันคือเหนือกว่าวิธีการแบบเบย์คือการใช้แบบจำลองที่ดีกว่า เปลี่ยนพารามิเตอร์ใช้บรรทัดฐานอื่นและ / หรือใช้วิธีการไม่เชิงเส้น นั่นคือเมื่อฟิสิกส์ของปัญหาและวิธีการได้รับการสำรวจและประสานงานอย่างถูกต้องสถิติ F ค่าสัมประสิทธิ์ของการตัดสินใจ ฯลฯ จะดีขึ้นแทนที่จะลดลง

— คาร์ล
แหล่งที่มา