สัญชาตญาณว่าทำไมความขัดแย้งของสไตน์จึงนำมาใช้ในมิติ

สไตน์ตัวอย่างแสดงให้เห็นว่าการประมาณการความน่าจะเป็นสูงสุดของตัวแปรกระจายตามปกติด้วยวิธีการและผลต่างคือไม่ยอมรับ (ภายใต้ฟังก์ชั่นการสูญเสียตาราง) IFF3 สำหรับการพิสูจน์ที่เป็นระเบียบดูบทแรกของการอนุมานขนาดใหญ่: วิธีการเชิงประจักษ์เบย์สำหรับการประมาณค่าการทดสอบและการทำนายโดยแบรดลีย์เอฟรอน$n$$\mu_1,\ldots,\mu_n$$1$$n\ge 3$

นี่เป็นเรื่องน่าประหลาดใจอย่างมากสำหรับฉันในตอนแรก แต่มีปรีชาอยู่เบื้องหลังว่าทำไมคน ๆ หนึ่งคาดว่าการประมาณมาตรฐานจะไม่สามารถยอมรับได้ (โดยเฉพาะอย่างยิ่งถ้าจากนั้นตามที่ระบุไว้ในกระดาษต้นฉบับของ Stein ซึ่งเชื่อมโยงกับด้านล่าง)$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

คำถามของฉันค่อนข้างจะ: คุณสมบัติใดของช่องว่าง$n$ -dimensional (สำหรับ$n\ge 3$ ) $\mathbb{R}^2$ขาดอะไรบ้างที่อำนวยความสะดวกให้ตัวอย่างของ Stein? คำตอบที่เป็นไปได้อาจเกี่ยวกับความโค้งของ$n$กลมหรือสิ่งที่แตกต่างอย่างสิ้นเชิง

ในคำอื่น ๆ เหตุผลที่เป็นที่ยอมรับใน MLE $\mathbb{R}^2$ ?

---

แก้ไข 1:เพื่อตอบสนองต่อ @mpiktas กังวลเกี่ยวกับ 1.31 จาก 1.30:

$$E_\mu\left(\|z-\hat{\mu}\|^2\right)=E_\mu\left(S\left(\frac{N-2}{S}\right)^2\right)=E_\mu\left(\frac{(N-2)^2}{S}\right).$$

$$\hat{\mu_i} = \left(1-\frac{N-2}{S}\right)z_i$$ ดังนั้น $$E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=E_\mu\left( 1-\frac{N-2}{S}+2\frac{z_i^2}{S^2}\right).$$ ดังนั้นเราจึงมี:

$$2\sum_{i=1}^N E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=2N-2E_\mu\left(\frac{N(N-2)}{S}\right)+4E_\mu\left(\frac{(N-2)}{S}\right)\\=2N-E_\mu\frac{2(N-2)^2}{S}.$$

แก้ไข 2 : ในบทความนี้สไตน์พิสูจน์ให้เห็นว่าเอมิลี่เป็นที่ยอมรับสำหรับ$N=2$ 2

การแบ่งขั้วระหว่างคดีและสำหรับการยอมรับของ MLE ของค่าเฉลี่ยของตัวแปรสุ่มหลายมิติหลายตัวแปรมิติหลายมิติเป็นที่น่าตกใจอย่างแน่นอน$d < 3$$d \geq 3$$d$

มีอีกหนึ่งตัวอย่างที่มีชื่อเสียงมากในความน่าจะเป็นและสถิติที่มีการแบ่งขั้วระหว่างเป็นและกรณี นี่คือการกำเริบของสุ่มเดินเรียบง่ายบนตาข่าย d นั่นคือการเดินแบบสุ่มแบบ -dimensional ง่าย ๆ จะเกิดขึ้นอีกครั้งใน 1 หรือ 2 มิติ แต่เป็นแบบชั่วคราวในมิติอะนาล็อกเวลาต่อเนื่อง (ในรูปแบบของการเคลื่อนไหว Brownian) ยังถือ$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

ปรากฎว่าทั้งสองมีความสัมพันธ์กันอย่างใกล้ชิด

Larry Brownพิสูจน์แล้วว่าคำถามทั้งสองนั้นเทียบเท่ากันโดยพื้นฐานแล้ว นั่นคือตัวประมาณค่าคงที่ที่ดีที่สุดของมิติหลายมิติหลายมิติปกติหมายถึงเวกเตอร์เป็นที่ยอมรับถ้าหากมิติมิติสีน้ำตาลเคลื่อนไหวซ้ำแล้วซ้ำอีก$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

ในความเป็นจริงผลของเขาไปมากต่อไป สำหรับผู้ที่มีเหตุผล (กล่าวคือเบย์ทั่วไป) ตัวประมาณมีขอบเขต (ทั่วไป) ความเสี่ยงมีความชัดเจน (!) ที่เกี่ยวข้องมิติมิติเช่น ตัวประมาณจะยอมรับได้ก็ต่อเมื่อการแพร่ที่เกี่ยวข้องนั้นเกิดขึ้นอีก$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

ค่าเฉลี่ยของการแพร่กระจายในท้องถิ่นนี้เป็นหลักความแตกต่างระหว่างสองประมาณคือและความแปรปรวนของการแพร่กระจายเป็นฉัน จากนี้เป็นเรื่องง่ายที่จะเห็นว่าสำหรับกรณีของ MLEเรากู้คืนการเคลื่อนไหวบราวเนียน (ได้รับการช่วยเหลือ)$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

ดังนั้นในบางแง่มุมเราสามารถดูคำถามเกี่ยวกับการยอมรับผ่านเลนส์ของกระบวนการสโตแคสติกและใช้คุณสมบัติของการแพร่กระจายอย่างดีเพื่อให้ได้ข้อสรุปที่ต้องการ

อ้างอิง

1. L. Brown (1971) ประมาณยอมรับ diffusions กำเริบและปัญหาค่าขอบเขตที่ไม่ละลายน้ำ แอน คณิตศาสตร์. สถิติ ฉบับ หมายเลข 42 3, pp. 855–903
2. RN Bhattacharya (1978) เกณฑ์การกลับเป็นซ้ำและการดำรงอยู่ของมาตรการคงที่สำหรับ diffusions แอน prob ฉบับ 6 ไม่ใช่ 4, 541–553

@cardinal ให้คำตอบที่ดี (+1) แต่ปัญหาทั้งหมดยังคงเป็นปริศนาเว้นแต่ว่าใครจะคุ้นเคยกับการพิสูจน์ (และฉันไม่ได้) ดังนั้นผมจึงคิดว่าคำถามที่ยังคงเป็นสิ่งที่เป็นที่ใช้งานง่ายด้วยเหตุผลที่ว่าความขัดแย้งของสไตน์ไม่ปรากฏในและ 2R$\mathbb R$$\mathbb R^2$

ผมพบว่ามุมมองของการถดถอยที่เป็นประโยชน์มากที่นำเสนอในสตีเฟ่น Stigler 1990, A Galtonian มุมมองเกี่ยวกับการหดตัวประมาณค่า พิจารณาวัดอิสระแต่ละวัดบางพื้นฐาน (สังเกต)และตัวอย่างจาก1) หากเรารู้เราสามารถสร้างพล็อตกระจายของคู่:θ i N ( θ i , 1 ) θ i ( X i , θ i$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

เส้นทแยงมุมสอดคล้องกับเสียงศูนย์และการประมาณที่สมบูรณ์แบบ ในความเป็นจริงเสียงเป็นที่ไม่ใช่ศูนย์และจุดที่มีการย้ายออกจากเส้นทแยงมุมในทิศทางแนวนอน Correspondinly,สามารถมองเห็นเป็นเส้นถดถอยของใน\อย่างไรก็ตามเรารู้และต้องการประมาณดังนั้นเราควรพิจารณาเส้นถดถอยของบน - ซึ่งจะมีความชันที่แตกต่างกัน, ลำเอียงในแนวนอนดังแสดงในรูป (เส้นประ)θ = X X θ X θ θ $\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

ข้อความจากกระดาษของ Stigler:

มุมมองของ Galtonian ใน Stein เส้นขนานทำให้มันเกือบจะโปร่งใส ว่า "ธรรมดา" ประมาณจะได้มาจากสายการถดถอยทางทฤษฎีของใน\บรรทัดนั้นจะมีประโยชน์หากเป้าหมายของเราคือการทำนายจากแต่ปัญหาของเราคือการย้อนกลับคือการทำนายจากโดยใช้ผลรวมของข้อผิดพลาดกำลังสองเป็น เกณฑ์ สำหรับเกณฑ์นั้นตัวประมาณเชิงเส้นที่เหมาะสมจะได้รับจากเส้นการถดถอยกำลังสองน้อยที่สุดของบนXθXθθXΣ(θฉัน - θฉัน)2θ$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$และตัวประมาณ James-Stein และ Efron-Morris เป็นตัวประมาณของตัวประมาณเชิงเส้นที่เหมาะสมที่สุด ตัวประมาณ "ธรรมดา" นั้นได้มาจากเส้นถดถอยที่ไม่ถูกต้องตัวประมาณ James-Stein และ Efron-Morris นั้นมาจากการประมาณค่าไปยังเส้นถดถอยที่ถูกต้อง

และตอนนี้บิตสำคัญ (เน้นเพิ่ม) มา:

เรายังสามารถดูว่าทำไมเป็นสิ่งที่จำเป็นถ้าหรือเส้นสี่เหลี่ยมน้อยในจะต้องผ่านจุดและด้วยเหตุนี้สำหรับหรือที่ เส้นการถดถอยสองบรรทัด (ของบนและของ on ) ต้องยอมรับที่แต่ละอันk = 1 2 θ X ( X ฉัน , θ ฉัน ) k = 1 2 X θ θ X X $k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

ผมคิดว่าสิ่งนี้ทำให้มันชัดเจนมากสิ่งที่เป็นพิเศษเกี่ยวกับและ 2k = $k=1$$k=2$