วิธีการเลือกระหว่างสูตรAdjustedแตกต่างกันอย่างไร

ฉันมีในใจสูตร R - squared ปรับเสนอโดย:

Ezekiel (1930) ซึ่งฉันเชื่อว่าเป็นสิ่งที่ใช้ใน SPSS

$R_{a d j u s t e d}^{2} = 1 - \frac{(N - 1)}{(N - p - 1)} (1 - R^{2})$ $R^2_{\rm adjusted} = 1 - \frac{(N-1)}{(N-p-1)} (1-R^2)$
Olkin และแพรตต์ (1958)

$R_{u n b i a s e d}^{2} = 1 - \frac{(N - 3) (1 - R^{2})}{(N - p - 1)} - \frac{2 (N - 3) (1 - R^{2})^{2}}{(N - p - 1) (N - p + 1)}$ $R^2_{\rm unbiased} = 1 - \frac{(N-3)(1-R^2)}{(N-p-1)} - \frac{2(N-3)(1-R^2)^2}{(N-p-1)(N-p+1)}$

ภายใต้สถานการณ์ใด (ถ้ามี) ผมจะชอบ 'ปรับ' เป็น 'เป็นกลาง' ? $R^2$

อ้างอิง

Ezekiel, M. (1930) วิธีการวิเคราะห์ความสัมพันธ์ John Wiley and Sons, นิวยอร์ก
Olkin I. แพรตต์เจดับบลิว (1958) การประมาณค่าสัมประสิทธิ์สหสัมพันธ์แบบไม่เอนเอียง พงศาวดารของสถิติคณิตศาสตร์ , 29 (1), 201-211

regression r-squared

— user1205901 - Reinstate Monica
แหล่งที่มา

คำตอบ:

โดยไม่ต้องการรับเครดิตสำหรับคำตอบของ @ttnphns ฉันต้องการย้ายคำตอบออกจากความคิดเห็น (โดยเฉพาะอย่างยิ่งเมื่อพิจารณาว่าลิงก์ไปยังบทความเสียชีวิตแล้ว) คำตอบของ Matt Krause ให้การอภิปรายที่มีประโยชน์เกี่ยวกับความแตกต่างระหว่าง $R^2$ และ $R^2_{adj}$ แต่ไม่ได้กล่าวถึงการตัดสินใจที่ $R^2_{adj}$ สูตรใช้ในกรณีใดก็ตาม

เมื่อฉันพูดถึงคำตอบนี้ Yin และ Fan (2001) ให้ภาพรวมที่ดีของสูตรที่แตกต่างกันมากมายสำหรับการประมาณค่าความแปรปรวนของประชากรที่อธิบายซึ่งทั้งหมดอาจจะต้องติดฉลากประเภทของการปรับ 2 $\rho^2$ $R^2$

พวกเขาทำการจำลองเพื่อประเมินว่าสูตร r-square ที่ปรับได้หลากหลายแบบใดให้การประมาณที่ไม่เอนเอียงที่ดีที่สุดสำหรับขนาดตัวอย่างที่แตกต่างกันและอินเทอร์เรเตอร์สัมพันธ์ของตัวทำนาย พวกเขาแนะนำว่าสูตรของแพรตต์อาจเป็นตัวเลือกที่ดี แต่ฉันไม่คิดว่าการศึกษาจะชัดเจนในเรื่องนี้ $\rho^2$

อัปเดต: Raju et al (1997) โปรดทราบว่าสูตรที่ปรับแล้วนั้นแตกต่างกันไปขึ้นอยู่กับว่าพวกมันถูกออกแบบมาเพื่อประมาณค่าปรับแล้วโดยสมมติว่า predcitors แบบคงที่หรือแบบสุ่ม -x โดยเฉพาะสูตร Ezekial ได้รับการออกแบบเพื่อประเมิน $R^2$ $R^2$ ในบริบทคงที่ x และ Olkin-แพรตต์และแพรตต์สูตรถูกออกแบบมาเพื่อประเมินในบริบทสุ่ม x ไม่มีความแตกต่างกันมากระหว่างสูตร Olkin-Pratt และ Pratt สมมติฐานที่คงที่ -x สอดคล้องกับการทดลองที่วางแผนไว้สมมติฐานแบบสุ่ม -x จะสอดคล้องกับเมื่อคุณสมมติว่าค่าของตัวแปรตัวทำนายเป็นตัวอย่างของค่าที่เป็นไปได้เช่นเดียวกับกรณีทั่วไปในการศึกษาเชิงสังเกตการณ์ ดู $\rho^2$ $\rho^2$ คำตอบนี้สำหรับการอภิปรายต่อไป นอกจากนี้ยังมีความแตกต่างระหว่างสูตรสองประเภทไม่มากนักเมื่อขนาดตัวอย่างมีขนาดใหญ่พอสมควร (ดูที่นี่สำหรับการอภิปรายเกี่ยวกับขนาดของความแตกต่าง )

บทสรุปของกฎของ Thumb

หากคุณสมมติว่าการสังเกตตัวแปรทำนายเป็นตัวอย่างแบบสุ่มจากประชากรและคุณต้องการประมาณ สำหรับประชากรเต็มรูปแบบทั้งการพยากรณ์และเกณฑ์ (เช่นสุ่ม x สมมติฐาน) แล้วใช้สูตร Olkin-แพรตต์ (หรือ สูตร Pratt) $\rho^2$
หากคุณคิดว่าการสังเกตของคุณได้รับการแก้ไขหรือคุณไม่ต้องการพูดเกินกว่าระดับที่คุณคาดการณ์ไว้ให้ประมาณด้วยสูตรเอเสเคียล $\rho^2$
หากคุณต้องการทราบเกี่ยวกับการทำนายตัวอย่างโดยใช้สมการการถดถอยตัวอย่างคุณจะต้องการดูขั้นตอนการตรวจสอบข้ามรูปแบบบางอย่าง

อ้างอิง

Raju, NS, Bilgic, R. , Edwards, JE, & Fleer, PF (1997) การทบทวนวิธีการ: การประมาณความตรงของประชากรและความตรงข้ามและการใช้น้ำหนักเท่ากันในการทำนาย การวัดทางจิตวิทยาประยุกต์, 21 (4), 291-305
Yin, P. , & Fan, X. (2001) การประมาณการหดตัวในการถดถอยหลายครั้ง: การเปรียบเทียบวิธีการวิเคราะห์ที่แตกต่างกัน วารสารการศึกษาทดลอง, 69 (2), 203-224 ไฟล์ PDF $R^2$

— Jeromy Anglim
แหล่งที่มา

ทางเลือกของหรือปรับขึ้นอยู่กับสิ่งที่คุณกำลังพยายามที่จะทำ ในบริบทการถดถอยปกติจะใช้เป็นเครื่องวัดความดีที่เหมาะกับแบบจำลองของคุณ อย่างไรก็ตามลองจินตนาการว่าคุณกำลังเปรียบเทียบหลายรุ่นที่มีพารามิเตอร์ต่างกัน ทุกสิ่งเท่ากันโมเดลที่มีพารามิเตอร์มากขึ้นจะเหมาะสมกับการสังเกตของคุณมากขึ้น ในขีด จำกัด คุณสามารถมีโมเดลพร้อมพารามิเตอร์สำหรับแต่ละจุดข้อมูล แต่มีหนึ่งแบบ สิ่งนี้จะให้ความพอดีกับข้อสังเกตของคุณ แต่จะไร้ประโยชน์สำหรับการคาดการณ์ใหม่เนื่องจากมันจะจับสัญญาณ 'สัญญาณ' และเสียงรบกวนใด ๆ ที่เกี่ยวข้อง Adjusted เป็นความพยายามในการแก้ปัญหานี้โดยการปรับ $R^2$ $R^2$ $R^2$ $R^2$ ค่าตามจำนวนพารามิเตอร์ในรูปแบบ $R^2$

พวกเขามีวัตถุประสงค์ที่แตกต่างกันเล็กน้อย อธิบายว่าชุดข้อมูลที่แตกต่างกันนั้นเหมาะสมกับแบบจำลองอย่างไร คุณอาจเขียนบางอย่างเช่น "แบบจำลองที่อธิบายไว้ข้างต้นทำนายประสิทธิภาพของส่วน A ( = 0.9) ได้อย่างแม่นยำแต่ไม่ใช่ Widget B ( = 0.05) ภายใต้เงื่อนไขการทดสอบมาตรฐาน" ปรับปรุงแล้วจะอธิบายว่าแบบจำลองที่ต่างกันนั้นเหมาะสมกับข้อมูลเดียวกันมากน้อยเพียงใด (หรือข้อมูลที่คล้ายกัน) ตัวอย่างเช่น "ผลลัพธ์จากแบบสอบถามสั้นและยาวทำนายการใช้จ่ายประจำปีของลูกค้าอย่างเท่าเทียมกัน (ปรับ = 0.8 สำหรับทั้งคู่)" $R^2$ $r^2$ $r^2$ $R^2$ $R^2$

— แมตต์กรอส
แหล่งที่มา

ขอบคุณฉันพบว่าการอธิบายอย่างชัดเจนเกี่ยวกับความแตกต่างระหว่าง R-squared และ R-squared ที่ปรับแล้ว ในมุมมองของคุณ R-squared ที่ไม่ลำเอียงเข้ากับภาพนี้ได้อย่างไร

— user1205901 - Reinstate Monica

แน่นอนมีสูตรหลากหลายที่จะประมาณประชากร R ^ 2 ดูตัวอย่างstudyforquals.pbworks.com/f/yin.pdf ฟิชเชอร์ส (= Wherry's) "มีการปรับค่า R ^ 2" บอกว่าจะลำเอียงในทางลบเล็กน้อย (มันยังคงขึ้นอยู่กับขนาดตัวอย่างในขณะที่ไม่ขึ้นอยู่กับจำนวนของตัวทำนาย) ดังนั้น Olkin-Pratt อาจจะค่อนข้างดีกว่า

— ttnphns

@ttnphns อาจเป็นคำตอบแทนที่จะเป็นความคิดเห็น สำหรับฉันดูเหมือนว่าจะตอบคำถามต้นฉบับมากกว่าคำตอบนี้

— gung - Reinstate Monica

R^{2}

$R^2$

R^{2}

$R^2$

@ttnphns ฉันเห็นด้วยกับ Gung! คุณควรเขียนคำตอบและจดเครดิต นอกจากนี้คุณสามารถยืนยันสิ่งที่ฉันเขียน? JStor ทำตัวแปลก ๆ วันนี้และจะไม่ให้ฉันอ่านต้นฉบับ Olkin และ Pratt paper

— Matt Krause