มุมมองแบบรวมเกี่ยวกับการหดตัว: ความสัมพันธ์ (ถ้ามี) ระหว่างความขัดแย้งของสไตน์การถดถอยของสันเขาและผลกระทบแบบสุ่มในแบบผสมคืออะไร?

พิจารณาสามปรากฏการณ์ต่อไปนี้

1. ความขัดแย้งของสไตน์: ได้รับข้อมูลจากการแจกแจงปกติหลายตัวแปรในค่าเฉลี่ยตัวอย่างไม่ใช่ค่าประมาณที่ดีมากของค่าเฉลี่ยที่แท้จริง เราสามารถได้ค่าประมาณที่มีความคลาดเคลื่อนกำลังสองต่ำกว่าถ้ามีการลดขนาดพิกัดทั้งหมดของค่าเฉลี่ยตัวอย่างไปยังศูนย์ [หรือไปสู่ค่าเฉลี่ยของพวกเขาหรือจริงต่อค่าใด ๆ ถ้าฉันเข้าใจถูกต้อง]$\mathbb R^n, \: n\ge 3$

   หมายเหตุ: มักจะเป็นสูตรของสไตน์โดยพิจารณาจากจุดข้อมูลเดียว ; โปรดแก้ไขฉันหากนี่เป็นสิ่งสำคัญและสูตรของฉันด้านบนไม่ถูกต้อง$\mathbb R^n$

2. สันถดถอย: ให้ตัวแปรและตัวแปรอิสระบางตัว , การถดถอยมาตรฐานมีแนวโน้ม เพื่อให้ข้อมูลเหมาะสมและนำไปสู่ประสิทธิภาพที่ไม่ดีตัวอย่าง หนึ่งมักจะสามารถลดการหดตัวโดยอิงต่อศูนย์:YX β = ( X ⊤ X ) - 1 X ⊤ Y β β = ( X ⊤ X + λ ฉัน) - 1 X ⊤ $\mathbf y$$\mathbf X$$\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$$\beta$$\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$

3. เอฟเฟ็กต์แบบสุ่มในหลายระดับ / แบบผสม: เมื่อพิจารณาตัวแปร (เช่นความสูงของนักเรียน) ซึ่งขึ้นอยู่กับการพยากรณ์หมวดหมู่ (เช่นรหัสโรงเรียนและเพศของนักเรียน) เรามักแนะนำให้ใช้ตัวทำนายบางตัวเป็น 'สุ่ม' เช่นสมมติว่า ความสูงเฉลี่ยของนักเรียนในแต่ละโรงเรียนมาจากการแจกแจงแบบปกติบางส่วน สิ่งนี้ส่งผลให้การประมาณค่าความสูงเฉลี่ยต่อโรงเรียนลดลงไปสู่ค่าเฉลี่ยทั่วโลก$y$

ฉันมีความรู้สึกว่าทั้งหมดนี้เป็นแง่มุมต่าง ๆ ของปรากฏการณ์ "การหดตัว" แบบเดียวกัน แต่ฉันไม่แน่ใจและไม่มีสัญชาตญาณที่ดีเกี่ยวกับเรื่องนี้ ดังนั้นคำถามหลักของฉันคือ: จริง ๆ แล้วมีความคล้ายคลึงกันลึกระหว่างสามสิ่งนี้หรือเป็นเพียงรูปร่างหน้าตาตื้น ๆ ? ชุดรูปแบบทั่วไปคืออะไรที่นี่ สัญชาตญาณที่ถูกต้องเกี่ยวกับมันคืออะไร?

นอกจากนี้นี่คือบางส่วนของปริศนานี้ที่ไม่เหมาะสำหรับฉัน:

• ในการถดถอยสัน,ไม่หดอย่างสม่ำเสมอ; อันที่จริงการหดตัวของสันเขานั้นเกี่ยวข้องกับการสลายตัวของเอกพจน์โดยที่ทิศทางการแปรปรวนต่ำจะหดตัวมากขึ้น (ดูเช่นองค์ประกอบของการเรียนรู้ทางสถิติ 3.4.1) แต่ตัวประเมินเจมส์ - สไตน์ก็แค่หาค่าเฉลี่ยตัวอย่างแล้วคูณมันด้วยตัวประกอบสเกลเดียว มันเข้ากันได้อย่างไร$\beta$$\mathbf X$

  อัปเดต:ดูตัวประมาณการ James-Stein ที่มีความแปรปรวนไม่เท่ากันและที่นี่เกี่ยวกับความแปรปรวนของค่าสัมประสิทธิ์$\beta$

• ค่าเฉลี่ยตัวอย่างเหมาะสมที่สุดในมิติด้านล่าง 3 หมายความว่าเมื่อมีตัวทำนายเพียงหนึ่งหรือสองตัวในแบบจำลองการถดถอยการถดถอยของสันเขาจะแย่กว่าสแควร์น้อยธรรมดาทั่วไปเสมอ ที่จริงแล้วลองคิดดูสิฉันไม่สามารถจินตนาการถึงสถานการณ์ใน 1D (เช่นการถดถอยแบบง่าย ๆ ไม่ใช่หลาย ๆ จุด) ซึ่งการหดตัวของสันจะเป็นประโยชน์ ...

  อัปเดต:ไม่โปรดดูภายใต้เงื่อนไขว่าการถดถอยของสันเขาสามารถให้การปรับปรุงมากกว่าการถดถอยกำลังสองน้อยที่สุดได้อย่างไร

• บนมืออื่น ๆ ตัวอย่างเฉลี่ยมักจะก่อให้เกิดผลลัพธ์ในมิติดังกล่าวข้างต้น 3. มันหมายความว่ามีมากกว่า 3 ตัวทำนายถดถอยสันอยู่เสมอดีกว่า OLS แม้ว่าพยากรณ์ทั้งหมดที่มี uncorrelated (มุมฉาก)? โดยทั่วไปแล้วการถดถอยของสันเขานั้นเกิดจากความหลากหลายของความสัมพันธ์และความต้องการที่จะ "คงที่"คำ$(\mathbf X^\top \mathbf X)^{-1}$

  อัพเดท:ใช่! ดูชุดข้อความเดียวกันกับด้านบน

• บ่อยครั้งที่มีการพูดคุยกันอย่างร้อนแรงเกี่ยวกับว่าปัจจัยต่าง ๆ ใน ANOVA ควรรวมไว้เป็นเอฟเฟกต์แบบคงที่หรือแบบสุ่ม เราไม่ควรใช้ตรรกะเดียวกันปฏิบัติกับปัจจัยสุ่มเสมอหากมีมากกว่าสองระดับ (หรือถ้ามีมากกว่าสองปัจจัยตอนนี้ฉันสับสน)

  UPDATE: ?

---

อัปเดต:ฉันได้รับคำตอบที่ยอดเยี่ยม แต่ไม่มีภาพใหญ่เพียงพอดังนั้นฉันจะให้คำถาม "เปิด" ฉันสามารถสัญญาว่าจะมอบรางวัลอย่างน้อย 100 คะแนนให้กับคำตอบใหม่ที่เกินกว่าที่มีอยู่เดิม ฉันส่วนใหญ่กำลังมองหามุมมองรวมที่สามารถอธิบายว่าปรากฏการณ์ทั่วไปของการหดตัวปรากฏตัวในบริบทต่าง ๆ เหล่านี้และชี้ให้เห็นความแตกต่างที่สำคัญระหว่างพวกเขา

การเชื่อมต่อระหว่างตัวประมาณ James – Stein กับการถดถอยแบบสัน

ปล่อยเป็นเวกเตอร์ของการสังเกตของความยาว ,ตัวประมาณการเจมส์สไตน์คือ ในแง่ของการถดถอยสันเราสามารถประมาณผ่าน ที่คำตอบคือ มันง่ายที่จะเห็นว่าตัวประมาณสองตัวอยู่ในรูปแบบเดียวกัน แต่เราต้องประมาณ$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$ในตัวประเมินเจมส์ - สไตน์และกำหนดในสันเขาถดถอยผ่านการตรวจสอบความถูกต้อง$\lambda$

การเชื่อมต่อระหว่างตัวประมาณ James – Stein กับโมเดลเอฟเฟกต์แบบสุ่ม

ให้เราคุยเกี่ยวกับแบบจำลองผลกระทบผสม / แบบสุ่มในพันธุศาสตร์ก่อน แบบจำลองคือ หากไม่มีผลกระทบคงที่และแบบจำลองจะกลายเป็น ซึ่งเทียบเท่ากับการตั้งค่าของเจมส์ - สไตน์ประมาณด้วย ความคิดแบบเบย์

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

การเชื่อมต่อระหว่างโมเดลสุ่มเอฟเฟกต์กับการถดถอยสัน

ถ้าเรามุ่งเน้นที่โมเดลเอฟเฟกต์แบบสุ่มด้านบน การประเมินนั้นเทียบเท่ากับการแก้ปัญหา เมื่อ 2 หลักฐานที่สามารถพบได้ในบทที่ 3 ของการรับรู้และการเรียนรู้รูปแบบเครื่อง

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

การเชื่อมต่อระหว่าง (เอฟเฟ็กต์แบบสุ่มหลายระดับ) กับแบบจำลองทางพันธุศาสตร์

ในผลกระทบที่สุ่มแบบข้างต้นมิติของเป็นและที่ของเป็นครั้งหน้า ถ้าเรา vectorizeเป็นและทำซ้ำตามลำดับเรามีโครงสร้างแบบลำดับชั้น / คลัสเตอร์คลัสเตอร์และแต่ละหน่วยมีหน่วยถ้าเราถดถอยบนซ้ำแล้วเราจะได้ผลแบบสุ่มของต่อสำหรับแต่ละกลุ่มแม้ว่ามันจะเหมือนกับการถดถอยแบบย้อนกลับ$\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

รับทราบ : สามจุดแรกที่จะเรียนรู้ส่วนใหญ่มาจากทั้งสองบทความจีน, 1 , 2

ฉันจะปล่อยให้มันเป็นแบบฝึกหัดสำหรับชุมชนเพื่อเนื้อคำตอบนี้ แต่โดยทั่วไปเหตุผลที่ตัวประมาณค่าการหดตัวจะ * * * * * * *ตัวประมาณค่าเอนเอียงในกลุ่มตัวอย่าง จำกัด เป็นเพราะตัวประมาณค่าBayesไม่สามารถควบคุมได้ , และตัวประมาณค่าการหดตัวจำนวนมากสามารถรับได้ว่าเป็นเบย์ $^1$$^2$$^3$$^4$

ทั้งหมดนี้อยู่ภายใต้การอุปถัมภ์ของทฤษฎีการตัดสินใจ การอ้างอิงที่ละเอียดถี่ถ้วน แต่ค่อนข้างไม่เป็นมิตรคือ "ทฤษฎีการประมาณค่าจุด" โดย Lehmann และ Casella บางทีคนอื่นอาจพูดสอดกับการอ้างอิงที่เป็นมิตร?

---

$^1$ตัวประมาณของพารามิเตอร์บนข้อมูลถูกครอบงำโดยตัวประมาณอีกถ้าสำหรับทุกความเสี่ยง (เช่น Mean Square Error) ของเท่ากับหรือใหญ่กว่าและเต้นเวลาอย่างน้อยหนึ่ง\กล่าวอีกนัยหนึ่งคุณจะได้รับประสิทธิภาพที่เท่าเทียมกันหรือดีกว่าสำหรับทุกที่ในพื้นที่พารามิเตอร์$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

$^2$ตัวประมาณคือ Bayes (ภายใต้การสูญเสียความผิดพลาดกำลังสอง) ถ้ามันเป็นความคาดหวังหลังของ , ให้ข้อมูลภายใต้ , e ,ที่คาดหวังไว้กับหลัง ธรรมชาติไพรเออร์ที่แตกต่างกันนำไปสู่ความเสี่ยงที่แตกต่างกันสำหรับย่อยแตกต่างกันของ\ตัวอย่างของเล่นที่สำคัญคือ ที่วางไว้ก่อนหน้าทั้งหมด มวลเกี่ยวกับจุด\จากนั้นคุณสามารถแสดงให้เห็นว่าตัวประมาณ Bayes เป็นฟังก์ชันคงที่$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$ซึ่งแน่นอนว่ามีประสิทธิภาพที่ดีมากที่และใกล้และประสิทธิภาพที่แย่มาก ๆ แต่กระนั้นก็ไม่สามารถครอบงำเพราะเพียงประมาณการที่นำไปสู่ความเสี่ยงเป็นศูนย์ที่\$\theta_0$$\theta_0$

$^3$คำถามธรรมชาติคือถ้าตัวประมาณใด ๆ ที่ไม่สามารถควบคุมได้ (เรียกว่ายอมรับได้แม้ว่าจะไม่แพ้ Snazzier?) จำเป็นต้องเป็น Bayes หรือไม่? คำตอบคือเกือบ ดูที่ "ทฤษฎีบทคลาสสมบูรณ์"

$^4$ตัวอย่างเช่นการถดถอยสันเขาเกิดขึ้นเป็นขั้นตอนคชกรรมเมื่อคุณวางปกติ (0, ) ก่อนที่ใน , และสุ่มแบบจำลองผลกระทบเกิดขึ้นเป็นขั้นตอนคชกรรมเชิงประจักษ์ในกรอบที่คล้ายกัน การโต้เถียงเหล่านี้มีความซับซ้อนเนื่องจากข้อเท็จจริงที่ว่าทฤษฎีวานิลาของการยอมรับแบบเบย์นั้นสันนิษฐานว่าพารามิเตอร์ทุกตัวมีค่าที่เหมาะสมก่อน แม้แต่ในสันเขาถดถอยนั่นไม่เป็นความจริงเพราะ "วางไว้ก่อนหน้า" ถูกวางลงบนความแปรปรวน$1/\lambda^2$$\beta$$\sigma^2$ของข้อผิดพลาดคือฟังก์ชั่นคงที่ (การวัด Lebesgue) ซึ่งไม่ได้เป็นการกระจายความน่าจะเป็น แต่อย่างไรก็ตามตัวประมาณค่าแบบเบย์บางส่วนสามารถแสดงให้เห็นว่ายอมรับได้โดยแสดงให้เห็นว่าพวกมันเป็น "ขีด จำกัด " ของลำดับตัวประมาณค่าที่เหมาะสมกับเบย์ แต่หลักฐานที่นี่ค่อนข้างซับซ้อนและละเอียดอ่อน ดูที่ "ตัวประมาณค่าแบบเบย์ทั่วไป"

• James-Stein สันนิษฐานว่ามิติของการตอบสนองเป็นอย่างน้อย 3 ในการถดถอยสันมาตรฐานการตอบสนองเป็นหนึ่งมิติ คุณกำลังสับสนจำนวนผู้ทำนายที่มีมิติการตอบสนอง

• ที่ถูกกล่าวว่าฉันเห็นความคล้ายคลึงกันในสถานการณ์เหล่านั้น แต่สิ่งที่ต้องทำเช่นว่าปัจจัยควรได้รับการแก้ไขหรือแบบสุ่มเท่าใดการหดตัวที่จะใช้ถ้าทั้งหมดขึ้นอยู่กับชุดข้อมูลที่เฉพาะเจาะจง ยกตัวอย่างเช่นยิ่งตัวพยากรณ์ตั้งฉากมากเท่าไหร่ก็ยิ่งมีความเหมาะสมที่จะเลือกการถดถอยแบบริดจ์มากกว่าการถดถอยแบบมาตรฐาน ยิ่งมีจำนวนพารามิเตอร์มากเท่าไหร่ก็ยิ่งมีความเหมาะสมที่จะดึงข้อมูลก่อนหน้าออกจากชุดข้อมูลผ่าน Empirical Bayes แล้วใช้เพื่อลดขนาดการประมาณค่าพารามิเตอร์ ยิ่งอัตราส่วนสัญญาณต่อเสียงรบกวนมากเท่าไหร่ก็ยิ่งมีประโยชน์น้อยลงเท่านั้น

อย่างที่คนอื่นพูดการเชื่อมโยงระหว่างสามสิ่งนี้เป็นวิธีที่คุณรวมข้อมูลก่อนหน้านี้เข้ากับการวัด

1. ในกรณีของ Stein บุคคลที่ผิดธรรมดาคุณรู้ว่าความสัมพันธ์ที่แท้จริงระหว่างตัวแปรอินพุตควรเป็นศูนย์ (และมาตรการความสัมพันธ์ที่เป็นไปได้ทั้งหมดเนื่องจากคุณต้องการบ่งบอกถึงความเป็นอิสระไม่ใช่แค่ความสัมพันธ์ที่ไม่เกี่ยวข้อง) ดังนั้นคุณสามารถสร้างตัวแปรได้ง่ายกว่า ค่าเฉลี่ยตัวอย่างและปราบปรามมาตรการความสัมพันธ์ต่าง ๆ ในกรอบการทำงานแบบเบย์คุณสามารถสร้างก่อนหน้านั้นว่าน้ำหนักที่แท้จริงของเหตุการณ์ที่นำไปสู่ความสัมพันธ์ระหว่างค่าเฉลี่ยตัวอย่างและค่าน้ำหนักอื่น ๆ
2. ในกรณีของสันเขาถดถอยคุณต้องการหาค่าประมาณที่ดีสำหรับค่าคาดหวังตามเงื่อนไข E (y | x) โดยหลักการแล้วนี่เป็นปัญหามิติอนันต์และไม่ถูกต้องเนื่องจากเรามีจำนวนการวัดที่แน่นอน อย่างไรก็ตามความรู้ก่อนหน้าคือเรากำลังมองหาฟังก์ชั่นต่อเนื่องที่เป็นแบบจำลองข้อมูล สิ่งนี้ยังคงไม่ชัดเจนเนื่องจากยังมีวิธีการจำลองฟังก์ชันต่อเนื่องหลายวิธี แต่ชุดมีขนาดเล็กกว่า การถดถอยของสันเขาเป็นเพียงวิธีง่าย ๆ ในการเรียงลำดับฟังก์ชั่น continuos ที่เป็นไปได้ทดสอบและหยุดในระดับสุดท้ายของอิสรภาพ การตีความคือภาพ VC-มิติ: ในระหว่างการถดถอยสันคุณตรวจสอบว่าแบบจำลอง af (x, p1, p2 ... ) ที่มีระดับความอิสระที่กำหนดอธิบายความไม่แน่นอนที่มีอยู่ในข้อมูลได้ดีเพียงใด ในทางปฏิบัติมันวัดว่า f (x, p1, p2 ... ) และ P ประจักษ์ (p1, p2 ... ) สามารถสร้างการกระจายแบบเต็ม P (y | x) และไม่ใช่แค่ E (y | x) ด้วยวิธีนี้แบบจำลองที่มีระดับความเป็นอิสระมากเกินไป (ซึ่งมักจะมีน้ำหนักเกิน) จะถูกชั่งน้ำหนักลงเนื่องจากค่าเฉลี่ยของพารามิเตอร์ที่เพิ่มขึ้นหลังจากระดับความอิสระที่แน่นอนจะให้ความสัมพันธ์ที่มากขึ้นระหว่างพารามิเตอร์และ P (f (x, p1, p2) .. )) การแจกแจง การตีความอื่น ๆ ก็คือฟังก์ชั่นการสูญเสียดั้งเดิมเป็นค่าการวัดเช่นกันและการประเมินในตัวอย่างที่กำหนดมาพร้อมกับความไม่แน่นอนดังนั้นงานที่แท้จริงไม่ได้ลดฟังก์ชั่นการสูญเสีย แต่เพื่อค้นหาขั้นต่ำที่ต่ำกว่า อื่น ๆ (การเปลี่ยนจากระดับหนึ่งไปสู่อีกระดับหนึ่งเป็นการตัดสินใจแบบเบย์ดังนั้นสิ่งหนึ่งจะเปลี่ยนจำนวนพารามิเตอร์เฉพาะเมื่อพวกมันลดฟังก์ชันการสูญเสียอย่างมีนัยสำคัญ) การถดถอยของสันเขาสามารถตีความได้ว่าเป็นการประมาณของภาพทั้งสองนี้ (CV-dimension, การสูญเสียที่คาดหวัง) ในบางกรณีคุณต้องการให้มีระดับเสรีภาพสูงกว่าเช่นในฟิสิกส์ของอนุภาคคุณศึกษาการชนกันของอนุภาคที่คุณคาดว่าจำนวนอนุภาคที่ผลิตจะเป็นการกระจายแบบปัวซองดังนั้นคุณจึงสร้างแทร็กของอนุภาคจากภาพใหม่ ) ในลักษณะที่เลือกจำนวนแทร็กและระงับรุ่นที่มีขนาดเล็กกว่าหรือสูงกว่าการตีความหมายเลขแทร็คของภาพ
3. กรณีที่สามยังพยายามนำข้อมูลก่อนหน้านี้ไปใช้ในการวัดกล่าวคือเป็นที่ทราบกันว่าจากการวัดก่อนหน้านี้ว่าความสูงของนักเรียนสามารถเป็นแบบอย่างที่ดีมากโดยการแจกแจงแบบเกาส์และไม่ใช่ Cauchy

ดังนั้นในระยะสั้นคำตอบก็คือคุณสามารถลดความไม่แน่นอนของการวัดได้หากคุณรู้ว่าจะคาดหวังอะไรและจัดหมวดหมู่ข้อมูลด้วยข้อมูลก่อนหน้า (ข้อมูลก่อนหน้า) ข้อมูลก่อนหน้านี้เป็นสิ่งที่ จำกัด ฟังก์ชันการสร้างแบบจำลองของคุณที่คุณใช้เพื่อให้พอดีกับการวัด ในกรณีง่าย ๆ คุณสามารถเขียนโมเดลของคุณในกรอบ Bayesian แต่บางครั้งมันก็ทำไม่ได้เช่นในการรวมฟังก์ชั่น continuos ทั้งหมดที่เป็นไปได้เพื่อหาสิ่งที่มีค่าสูงสุด A หลัง

ตัวประเมินเจมส์สไตน์และการถดถอยของสัน

พิจารณา

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

ด้วย $\mathbf{\epsilon}\sim N(0,\sigma^2I)$

วิธีการแก้ปัญหาสแควร์น้อยที่สุดเป็นรูปแบบ

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ ที่X$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$เป็นกลางสำหรับและมีเมทริกซ์ covriance1} ดังนั้นเราสามารถเขียน$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ โปรดทราบว่าเป็นค่าประมาณความน่าจะเป็นสูงสุด, MLE$\hat \beta$

James Stein

สำหรับความเรียบง่ายสำหรับเจมส์สไตน์เราจะถือว่าฉัน เจมส์และสไตน์จากนั้นจะเพิ่มก่อนในของแบบฟอร์ม$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

และจะได้รับด้านหลังของรูปแบบ พวกเขา จากนั้นจะประมาณด้วย และได้รับแบบฟอร์มการประเมินของเจมส์สไตน์$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$\

การถดถอยของสัน

ในสันเขาถดถอยมักจะ standadised (หมายถึง 0, vairance 1 สำหรับแต่ละคอลัมน์ของ ) เพื่อให้พารามิเตอร์การถดถอยเปรียบได้ เมื่อเป็นเช่นนี้เป็นสำหรับพี$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

ประมาณการสันถดถอยของถูกกำหนดให้เป็น,ที่จะ$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$โปรดทราบว่าคือ MLE$\hat \beta$

เป็นไงบ้าง? จำ$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$และถ้าเราเพิ่ม Bayesian ก่อน

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

จากนั้นเราจะได้รับ

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

เช่นเดียวกับสันเขาถดถอยประมาณการแลมบ์ดา) ดังนั้นรูปแบบเดิมของเจมส์สไตน์ให้ที่นี่ใช้เวลาและแลมบ์ดา}$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$