ตัวประเมินแบบเอนเอียงจะดีกว่าแบบเป็นกลางเมื่อใด

เห็นได้ชัดหลายครั้งว่าทำไมคนคนหนึ่งถึงชอบประมาณค่าที่เป็นกลาง แต่มีสถานการณ์ใดบ้างที่เราอาจชอบตัวประมาณค่าเอนเอียงมากกว่าตัวเอนเอียง?

ใช่. บ่อยครั้งที่มันเป็นกรณีที่เรามีความสนใจในการลดข้อผิดพลาดยกกำลังสองเฉลี่ยซึ่งสามารถย่อยสลายเป็นความแปรปรวน + อคติยกกำลังสอง นี่เป็นแนวคิดพื้นฐานอย่างยิ่งในการเรียนรู้ของเครื่องและสถิติโดยทั่วไป บ่อยครั้งที่เราเห็นว่าการเพิ่มขึ้นของอคติเล็กน้อยสามารถมาพร้อมกับการลดลงของความแปรปรวนที่มากพอที่ MSE โดยรวมจะลดลง

ตัวอย่างมาตรฐานคือการถดถอยของสันเขา เรามีซึ่งมีอคติ; แต่ถ้ามีอาการไม่ดีอาจผิดปกติในขณะที่นั้นมีความสุภาพมากกว่า$\hat \beta_R = (X^T X + \lambda I)^{-1}X^T Y$$X$$Var(\hat \beta) \propto (X^T X)^{-1}$$Var(\hat \beta_R)$

อีกตัวอย่างหนึ่งคือลักษณนาม kNN คิดเกี่ยวกับ : เรากำหนดจุดใหม่ให้กับเพื่อนบ้านที่ใกล้ที่สุด หากเรามีข้อมูลมากมายและมีตัวแปรเพียงไม่กี่ตัวที่เราสามารถกู้คืนขอบเขตการตัดสินใจที่แท้จริงและตัวจําแนกของเรานั้นไม่เอนเอียง แต่สำหรับกรณีที่เป็นจริงใด ๆ มันอาจเป็นไปได้ว่าจะมีความยืดหยุ่นมากเกินไป (เช่นมีความแปรปรวนมากเกินไป) ดังนั้นอคติขนาดเล็กจึงไม่คุ้มค่า (เช่น MSE นั้นใหญ่กว่าความเอนเอียงมาก$k = 1$$k = 1$

ในที่สุดนี่คือรูปภาพ สมมติว่านี่คือการกระจายตัวตัวอย่างของตัวประมาณสองตัวและเราพยายามที่จะประมาณ 0 ส่วนที่แบนราบนั้นไม่เอนเอียง แต่ยังมีตัวแปรมากกว่า โดยรวมฉันคิดว่าฉันต้องการใช้ลำเอียงเพราะโดยเฉลี่ยแล้วเราจะไม่ถูกต้องสำหรับอินสแตนซ์เดียวของตัวประมาณค่าที่เราจะเข้าใกล้

ฉันพูดถึงปัญหาเชิงตัวเลขที่เกิดขึ้นเมื่อมีอาการไม่ดีและวิธีการถดถอยของสันช่วย นี่คือตัวอย่าง$X$

ฉันกำลังสร้างเมทริกซ์ซึ่งเป็นและคอลัมน์ที่สามเกือบทั้งหมด 0 ซึ่งหมายความว่ามันเกือบจะไม่เต็มอันดับซึ่งหมายความว่าใกล้เคียงกับเอกพจน์จริงๆ$X$$4 \times 3$$X^T X$

x <- cbind(0:3, 2:5, runif(4, -.001, .001)) ## almost reduced rank

> x
     [,1] [,2]        [,3]
[1,]    0    2 0.000624715
[2,]    1    3 0.000248889
[3,]    2    4 0.000226021
[4,]    3    5 0.000795289

(xtx <- t(x) %*% x) ## the inverse of this is proportional to Var(beta.hat)

           [,1]        [,2]        [,3]
[1,] 14.0000000 26.00000000 3.08680e-03
[2,] 26.0000000 54.00000000 6.87663e-03
[3,]  0.0030868  0.00687663 1.13579e-06

eigen(xtx)$values ## all eigenvalues > 0 so it is PD, but not by much

[1] 6.68024e+01 1.19756e+00 2.26161e-07


solve(xtx) ## huge values

           [,1]        [,2]        [,3]
[1,]   0.776238   -0.458945     669.057
[2,]  -0.458945    0.352219    -885.211
[3,] 669.057303 -885.210847 4421628.936

solve(xtx + .5 * diag(3)) ## very reasonable values

             [,1]         [,2]         [,3]
[1,]  0.477024087 -0.227571147  0.000184889
[2,] -0.227571147  0.126914719 -0.000340557
[3,]  0.000184889 -0.000340557  1.999998999

อัปเดต 2

ดังที่สัญญาไว้นี่เป็นตัวอย่างที่ละเอียดยิ่งขึ้น

ก่อนอื่นให้จำประเด็นทั้งหมดนี้ไว้: เราต้องการผู้ประมาณที่ดี มีหลายวิธีในการกำหนด 'ดี' สมมติว่าเราได้มีและเราต้องการที่จะประเมิน\$X_1, ..., X_n \sim \ iid \ \mathcal N(\mu, \sigma^2)$$\mu$

สมมติว่าเราตัดสินใจว่าตัวประมาณ 'ดี' เป็นตัวที่ไม่มีอคติ สิ่งนี้ไม่เหมาะสมเพราะในขณะที่เป็นจริงที่ตัวประมาณไม่เอนเอียงสำหรับเรามีจุดข้อมูลจุดดังนั้นจึงดูเหมือนโง่ที่จะไม่สนใจพวกเขาเกือบทั้งหมด ที่จะทำให้ความคิดที่ว่าอย่างเป็นทางการมากขึ้นเราคิดว่าเราควรจะสามารถที่จะได้รับการประมาณการที่แตกต่างกันน้อยจากสำหรับตัวอย่างที่ได้รับกว่าT_1ซึ่งหมายความว่าเราต้องการตัวประมาณค่าที่มีความแปรปรวนน้อยกว่า$T_1(X_1, ..., X_n) = X_1$$\mu$$n$$\mu$$T_1$

ดังนั้นตอนนี้เราอาจบอกว่าเรายังต้องการตัวประมาณค่าที่ไม่เอนเอียง แต่ในบรรดาตัวประมาณที่ไม่เอนเอียงเราจะเลือกตัวประมาณที่มีความแปรปรวนน้อยที่สุด สิ่งนี้นำเราไปสู่แนวคิดของตัวประมาณค่าความแปรปรวนขั้นต่ำที่ไม่เหมือนกัน (UMVUE) ซึ่งเป็นวัตถุของการศึกษาจำนวนมากในสถิติแบบดั้งเดิม หากเราต้องการตัวประมาณที่ไม่เอนเอียงเท่านั้นการเลือกตัวเลือกที่มีความแปรปรวนน้อยที่สุดนั้นเป็นความคิดที่ดี ในตัวอย่างของเราลองพิจารณาเทียบกับและ{n} อีกครั้งทั้งสามจะเป็นกลาง แต่มีความแตกต่างต่างกัน: , , และ$T_1$$T_2(X_1, ..., X_n) = \frac{X_1 + X_2}{2}$$T_n(X_1, ..., X_n) = \frac{X_1 + ... + X_n}{n}$$Var(T_1) = \sigma^2$$Var(T_2) = \frac{\sigma^2}{2}$$Var(T_n) = \frac{\sigma^2}{n}$. สำหรับมีความแปรปรวนน้อยที่สุดและมันไม่เอนเอียงดังนั้นนี่คือตัวประมาณที่เราเลือก$n > 2$ $T_n$

แต่บ่อยครั้งที่ความเป็นกลางเป็นเรื่องแปลกที่ต้องจับจ้องอยู่ที่ (ดูความคิดเห็นของ @Cagdas Ozgenc) ฉันคิดว่านี่เป็นส่วนหนึ่งเพราะโดยทั่วไปเราไม่ค่อยสนใจเรื่องการประมาณค่าเฉลี่ยที่ดี แต่เราต้องการค่าประมาณที่ดีในกรณีเฉพาะของเรา เราสามารถหาจำนวนแนวคิดนี้ด้วยความคลาดเคลื่อนกำลังสองเฉลี่ย (MSE) ซึ่งเหมือนกับระยะห่างกำลังสองเฉลี่ยระหว่างตัวประมาณของเรากับสิ่งที่เราประมาณ ถ้าเป็นประมาณการของแล้ว2) ในฐานะที่ผมเคยกล่าวก่อนหน้านี้ปรากฎว่าที่อคติถูกกำหนดให้เป็น\ ดังนั้นเราอาจตัดสินใจว่าแทนที่จะเป็น UMVUE เราต้องการตัวประมาณค่าที่จะลด MSE ให้เหลือน้อยที่สุด$T$$\theta$$MSE(T) = E((T - \theta)^2)$$MSE(T) = Var(T) + Bias(T)^2$$Bias(T) = E(T) - \theta$

สมมติว่านั้นไม่เอนเอียง ดังนั้นดังนั้นหากเราพิจารณาเฉพาะตัวประมาณค่าที่ไม่เอนเอียงแล้วการย่อ MSE ให้น้อยที่สุดจะเหมือนกับการเลือก UMVUE แต่อย่างที่ฉันได้แสดงไว้ข้างต้นมีหลายกรณีที่เราสามารถได้ MSE ที่เล็กลงโดยพิจารณาจากอคติที่ไม่เป็นศูนย์$T$$MSE(T) = Var(T) = Bias(T)^2 = Var(T)$

โดยสรุปเราต้องการลด 2 เราอาจต้องการจากนั้นเลือกดีที่สุดในบรรดาที่ทำเช่นนั้นหรือเราอาจอนุญาตให้ทั้งคู่เปลี่ยนแปลง การอนุญาตให้ทั้งสองอย่างแตกต่างกันมีแนวโน้มที่จะทำให้เรามี MSE ที่ดีขึ้นเนื่องจากมันรวมถึงกรณีที่ไม่เอนเอียง ความคิดนี้เป็นความแปรปรวนอคติการแลกเปลี่ยนที่ฉันกล่าวถึงก่อนหน้านี้ในคำตอบ$Var(T) + Bias(T)^2$$Bias(T) = 0$$T$

ตอนนี้ที่นี่มีรูปภาพของการแลกเปลี่ยนนี้ เรากำลังพยายามที่จะประเมินและเราได้มีห้ารุ่นผ่านT_5เป็นที่เป็นกลางและอคติที่ได้รับมากขึ้นและรุนแรงมากขึ้นจนT_5มีความแปรปรวนที่ใหญ่ที่สุดและได้รับความแปรปรวนที่มีขนาดเล็กและมีขนาดเล็กจนT_5เราสามารถมองเห็น MSE เป็นสี่เหลี่ยมจัตุรัสของระยะทางของศูนย์กลางการกระจายจากบวกสแควร์ของระยะทางไปยังจุดโรคติดเชื้อแรก (นั่นคือวิธีการดู SD สำหรับความหนาแน่นปกติ เราเห็นได้ว่าสำหรับ$\theta$$T_1$$T_5$$T_1$$T_5$$T_1$$T_5$$\theta$$T_1$(เส้นโค้งสีดำ) ความแปรปรวนมีขนาดใหญ่จนไม่เอนเอียงไม่ช่วย: ยังมี MSE จำนวนมาก ในทางกลับกันสำหรับความแปรปรวนนั้นเล็กลง แต่ตอนนี้อคตินั้นใหญ่พอที่ตัวประมาณจะทุกข์ แต่บางแห่งที่อยู่ตรงกลางมีเป็นสื่อที่มีความสุขและที่T_3มันลดความแปรปรวนลงได้มาก (เมื่อเทียบกับ ) แต่มีอคติเพียงเล็กน้อยเท่านั้นและทำให้ MSE มีขนาดเล็กที่สุด$T_5$$T_3$$T_1$

คุณขอตัวอย่างของตัวประมาณค่าที่มีรูปร่างนี้: ตัวอย่างหนึ่งคือการถดถอยสันซึ่งคุณสามารถคิดว่าตัวประมาณแต่ละตัวเป็น . คุณอาจจะ (อาจจะใช้การตรวจสอบข้าม) สร้างพล็อตของ MSE เป็นฟังก์ชั่นของและจากนั้นเลือกที่ดีที่สุดT_$T_\lambda(X, Y) = (X^T X + \lambda I)^{-1} X^T Y$$\lambda$$T_\lambda$

เหตุผลสองประการที่อยู่ในใจนอกเหนือจากคำอธิบายของ MSE ด้านบน (คำตอบที่ยอมรับโดยทั่วไปสำหรับคำถาม):

• การจัดการความเสี่ยง
• การทดสอบที่มีประสิทธิภาพ

ความเสี่ยงโดยประมาณคือความรู้สึกว่าสามารถระเบิดได้มากเท่าไรเมื่อไม่ตรงตามเงื่อนไข ใช้Superefficientประมาณ:ถ้าโกหกเกินบอลอื่น ๆ ของ 0, 0 มิฉะนั้น คุณสามารถแสดงให้เห็นว่าสถิตินี้มีประสิทธิภาพมากกว่า UMVUE เนื่องจากมีความแปรปรวนแบบ asymptotic เช่นเดียวกับ UMVUE ที่มีและประสิทธิภาพที่ไม่สิ้นสุด นี่เป็นสถิติที่โง่เขลาและฮอดจ์สขว้างมันออกมาจากที่นั่นในฐานะชาวฟาง ปรากฎว่าถ้าคุณรับบนขอบเขตของลูกบอลมันจะกลายเป็นการทดสอบที่ไม่สอดคล้องกันมันไม่เคยรู้เลยว่าเกิดอะไรขึ้นและความเสี่ยงจะระเบิด$T(X) = \bar{X}_n$$\bar{X}_n$$\epsilon$$\theta \ne 0$$\theta_n$

ในโลกย่อเล็กสุดเราพยายามลดความเสี่ยง มันสามารถให้ค่าประมาณที่ลำเอียงกับเรา แต่เราไม่สนใจพวกมันยังทำงานอยู่เพราะมีวิธีการทำลายระบบน้อยกว่า ตัวอย่างเช่นสมมติว่าฉันสนใจที่จะอนุมานการกระจายและอีกครั้งที่การกระจายโยนลูกบอลโค้ง การตัดค่าเฉลี่ยที่ประเมินไว้อย่างเป็นระบบ คะแนนงัดสูงT θ ( X ) = ∑ X ฉันฉัน ( ‖ X ฉัน ‖ < θ ) / ∑ ฉัน ( ‖ X ฉัน ‖ < θ $\Gamma(\alpha, \beta_n)$

การทดสอบที่มีประสิทธิภาพหมายความว่าคุณไม่ได้ประเมินสิ่งที่คุณสนใจ แต่เป็นการประมาณเพราะมันให้การทดสอบที่มีประสิทธิภาพมากขึ้น ตัวอย่างที่ดีที่สุดที่ฉันนึกได้คือการถดถอยโลจิสติกส์ ผู้คนเสมอการถดถอยโลจิสติกสับสนกับการถดถอยความเสี่ยง เช่นอัตราต่อรองที่ 1.6 สำหรับโรคมะเร็งเปรียบเทียบผู้สูบบุหรี่กับผู้ไม่สูบบุหรี่ไม่ได้หมายความว่า "ผู้สูบบุหรี่มีความเสี่ยงต่อการเป็นมะเร็ง 1.6" BZZT ผิด นั่นคืออัตราส่วนความเสี่ยง ในทางเทคนิคพวกเขามีอัตราต่อรองที่ 1.6 เท่าของผลลัพธ์ (เตือนความจำ: อัตราต่อรอง = ความน่าจะเป็น / (ความน่าจะเป็น 1) อย่างไรก็ตามสำหรับเหตุการณ์ที่หายากอัตราต่อรองจะประมาณอัตราส่วนความเสี่ยง มีการถดถอยความเสี่ยงสัมพัทธ์ แต่มีปัญหามากมายเกี่ยวกับการบรรจบกันและไม่ทรงพลังเท่ากับการถดถอยโลจิสติก ดังนั้นเราจึงรายงาน OR ว่าเป็นการประเมินแบบเอนเอียงของ RR (สำหรับเหตุการณ์ที่หายาก) และคำนวณ CIs และ p-values ​​ที่มีประสิทธิภาพมากขึ้น