หด VS เป็นกลาง : ประมาณของ

ในหัวของฉันมีความสับสนเกี่ยวกับตัวประมาณสองประเภทของค่าประชากรของสัมประสิทธิ์สหสัมพันธ์เพียร์สัน

A. ฟิชเชอร์ (2458)แสดงให้เห็นว่าสำหรับประชากรปกติ bivariate เชิงประจักษ์คือตัวเอนเอียงของลำเอียงแม้ว่าอคติจะมีจำนวนมากพอสมควรจริงเพียงเล็กน้อยสำหรับกลุ่มตัวอย่างขนาดเล็ก ( ) ตัวอย่างดูถูกในแง่ที่ว่ามันอยู่ใกล้กับกว่า\(ยกเว้นเมื่อสมัยเป็นหรือสำหรับแล้วเป็นกลาง.) หลายเกือบประมาณเป็นกลางของได้รับการเสนอที่ดีที่สุดคนหนึ่งอาจจะเป็นOlkin และแพรตต์ (1958) $r$ $\rho$ $n<30$ $r$ $\rho$ $0$ $\rho$ $0$ $\pm 1$ $r$ $\rho$ แก้ไข : $r$

r_{unbiased} = r [1 + \frac{1 - r^{2}}{2 (n - 3)}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

B.มีการกล่าวกันว่าในการถดถอยพบว่าประเมินค่าประชากร R-square ที่สอดคล้องกัน หรือมีการถดถอยง่ายๆก็คือว่า overestimates 2 จากข้อเท็จจริงนั้นฉันได้เห็นข้อความมากมายที่บอกว่านั้นมีอคติเชิงบวกเมื่อเทียบกับซึ่งหมายถึงค่าสัมบูรณ์:นั้นไกลจากมากกว่า (นั่นเป็นคำสั่งจริงหรือไม่) ข้อความบอกว่ามันเป็นปัญหาเดียวกันกับการประมาณค่าเกินของค่าเบี่ยงเบนมาตรฐานโดยค่าตัวอย่าง มีหลายสูตรที่จะ "ปรับ" สังเกตใกล้กับพารามิเตอร์ประชากรของ Wherry's (1931) $R^2$ $r^2$ $\rho^2$ $r$ $\rho$ $r$ $0$ $\rho$ $R^2$ $R_\text{adj}^2$ เป็นที่รู้จักมากที่สุด (แต่ไม่ดีที่สุด) รูทของการปรับนั้นถูกเรียกว่าshrunken : $r_\text{adj}^2$ $r$

r_{shrunk} = \pm \sqrt{1 - (1 - r^{2}) \frac{n - 1}{n - 2}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

ปัจจุบันมีประมาณสองแตกต่างกันของ\แตกต่างกันมาก: ครั้งแรกหนึ่งพอง , ขึงขังที่สองrจะตกลงกันได้อย่างไร ที่จะใช้ / รายงานหนึ่งและที่ไหน - อื่น ๆ ? $\rho$ $r$ $r$

โดยเฉพาะอย่างยิ่งมันเป็นความจริงหรือไม่ที่ตัวประเมิน "หด" เป็น (เกือบ) ไม่เอนเอียงเกินไปเช่นเดียวกับ "ไม่ลำเอียง" แต่มีเฉพาะในบริบทที่แตกต่าง - ในบริบทที่ไม่สมดุลของการถดถอย สำหรับในการถดถอย OLS เราพิจารณาค่าของด้านหนึ่ง (ตัวทำนาย) ว่าเป็นค่าคงที่การเข้าร่วมโดยไม่มีข้อผิดพลาดแบบสุ่มจากกลุ่มตัวอย่างถึงกลุ่มตัวอย่าง? (และเพื่อเพิ่มที่นี่การถดถอยไม่จำเป็นต้องมีค่าเฉลี่ยแบบ bivariate )

— ttnphns
แหล่งที่มา

ฉันสงสัยว่าสิ่งนี้เกิดขึ้นกับบางสิ่งที่ขึ้นอยู่กับความไม่เท่าเทียมของเซ่นหรือไม่ นั่นและความเป็นปรกติของตัวแปรแบบ bivariate อาจเป็นข้อสันนิษฐานที่ไม่ดีในกรณีส่วนใหญ่

— shadowtalker

นอกจากนี้ความเข้าใจของฉันเกี่ยวกับปัญหาในB.ก็คือการถดถอยนั้นสูงเกินไปเนื่องจากความพอดีของการถดถอยสามารถปรับปรุงได้ตามอำเภอใจโดยการเพิ่มตัวทำนาย นั่นไม่ได้ฟังฉันเหมือนฉบับเดียวกับในA.

r^{2}

$r^2$

— shadowtalker

มันเป็นจริงความจริงที่ว่าเป็นประมาณการลำเอียงบวกทุกค่าของ ? สำหรับการแจกแจงปกติแบบไบวาริเอทดูเหมือนจะไม่เป็นเช่นนั้นสำหรับขนาดใหญ่พอ

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

— NRH

อคติสามารถไปในทิศทางตรงกันข้ามกับกำลังสองของตัวประมาณได้หรือไม่? ตัวอย่างเช่นด้วยตัวประมาณที่ง่ายกว่าสามารถแสดงได้ว่าสำหรับบางช่วงของ ? ฉันคิดว่ามันคงเป็นเรื่องยากที่จะทำถ้าแต่อาจเป็นตัวอย่างที่ง่ายกว่าได้

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

— Anthony

คำตอบ:

เกี่ยวกับอคติในสหสัมพันธ์: เมื่อขนาดตัวอย่างมีขนาดเล็กพอที่อคติจะมีความสำคัญในทางปฏิบัติใด ๆ (เช่นn <30 ที่คุณแนะนำ) ดังนั้นอคตินั้นน่าจะเป็นสิ่งที่คุณกังวลน้อยที่สุดเนื่องจากความไม่ถูกต้องนั้นแย่มาก

เกี่ยวกับความเอนเอียงของR ²ในการถดถอยหลายครั้งมีการปรับที่แตกต่างกันมากมายที่เกี่ยวข้องกับการประมาณประชากรที่เป็นกลางและการประมาณที่เป็นกลางในตัวอย่างอิสระที่มีขนาดเท่ากัน ดู Yin, P. & Fan, X. (2001) การประมาณการหดตัวR ²ในการถดถอยหลายครั้ง: การเปรียบเทียบวิธีการวิเคราะห์ วารสารการศึกษาทดลอง, 69, 203-224

วิธีการถดถอยแบบสมัยใหม่ยังระบุถึงการลดลงของค่าสัมประสิทธิ์การถดถอยเช่นเดียวกับR ²ซึ่งเป็นผลมาจาก - เช่นตาข่ายยืดที่มีการตรวจสอบความถูกต้องแบบk -fold ดูที่http://web.stanford.edu/~hastie/Papers/ elasticnet.pdf

— Fred Oswald
แหล่งที่มา

ฉันไม่รู้ว่านี่ตอบคำถามได้จริงหรือไม่

— shadowtalker

ฉันคิดว่าคำตอบคือในบริบทของการถดถอยอย่างง่ายและการถดถอยหลายครั้ง ในการถดถอยอย่างง่ายกับหนึ่ง IV และ DV หนึ่ง R R ไม่ได้มีอคติเชิงบวกและในความเป็นจริงอาจจะลำเอียงในเชิงลบเนื่องจาก r คืออคติเชิงลบ แต่ในการถดถอยหลายครั้งกับหลาย IV ซึ่งอาจมีความสัมพันธ์ตัวเอง R สี่เหลี่ยมอาจจะลำเอียงในเชิงบวกเพราะการ "ปราบปราม" ใด ๆ ที่อาจเกิดขึ้น ดังนั้นสิ่งที่ฉันใช้คือการสังเกตว่า R2 ประเมินค่าประชากร R-square ที่สอดคล้องกันแต่ประเมินเฉพาะในการถดถอยหลายครั้ง

— Dingus
แหล่งที่มา

R sq is not positively biased, and in-fact may be negatively biasedน่าสนใจ คุณสามารถแสดงมันหรือให้การอ้างอิงได้หรือไม่? - ในประชากรปกติแบบไบวาเรียสามารถสังเกตได้ว่าตัวอย่างสถิติ Rsq เป็นตัวประมาณค่าลบ

— ttnphns

ฉันคิดว่าคุณผิด คุณสามารถให้ข้อมูลอ้างอิงเพื่อสำรองข้อเรียกร้องของคุณได้หรือไม่?

— Richard Hardy

ขออภัย แต่นี่เป็นแบบฝึกหัดที่ใช้ความคิดมากกว่าเดิมดังนั้นฉันจึงไม่มีการอ้างอิง

— Dingus

ฉันกำลังจะออกจากความคิดเห็น A ข้างต้นซึ่งฟิสเชอร์แสดงให้เห็นว่าในสถานการณ์ปกติแบบแยกตัวแปร r คือตัวประมาณค่าแบบอคติเชิงลบของ rho ถ้าเป็นเช่นนั้นมันจะไม่ไปตาม R sq ที่มีอคติเชิงลบด้วยหรือไม่?

— Dingus

บางทีนี่อาจช่วยในการสนทนาdigitalcommons.unf.edu/cgi/…

— Dingus