เครื่องมือประมาณการ James-Stein ที่มีความแปรปรวนไม่เท่ากัน

ทุกคำสั่งที่ฉันพบของตัวประมาณ James-Stein ถือว่าตัวแปรสุ่มที่ถูกประมาณนั้นมีความแปรปรวน (และหน่วย) เหมือนกัน

แต่ตัวอย่างทั้งหมดเหล่านี้ยังพูดถึงว่าตัวประมาณ JS สามารถใช้ในการประมาณปริมาณโดยไม่เกี่ยวข้องกัน ตัวอย่างเช่นวิกิพีเดียคือความเร็วของแสงการบริโภคกาแฟในไต้หวันและน้ำหนักหมูในมอนแทนา แต่สมมุติว่าการวัดปริมาณทั้งสามนี้ของคุณจะมีความแปรปรวน "ที่แท้จริง" ที่แตกต่างกัน สิ่งนี้นำเสนอปัญหาหรือไม่?

สิ่งนี้เชื่อมโยงกับปัญหาเชิงแนวคิดที่ใหญ่กว่าซึ่งฉันไม่เข้าใจเกี่ยวข้องกับคำถามนี้: ตัวประเมินเจมส์ - สไตน์: Efron และมอร์ริสคำนวณในปัจจัยการหดตัวอย่างเบสบอลของพวกเขาอย่างไร $\sigma^2$ เราคำนวณปัจจัยการหดตัวดังนี้ $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

ฉันคิดว่าเทอมนั้นจริง ๆ แล้ว - ต่างกันสำหรับแต่ละปริมาณที่ประมาณไว้ แต่การสนทนาในคำถามนั้นพูดถึงการใช้ความแปรปรวนร่วมเท่านั้น ... $\sigma^2$ $\sigma^2_i$

ฉันจะซาบซึ้งจริง ๆ ถ้าใครสามารถล้างความสับสนนี้

estimation shrinkage steins-phenomenon

— exp1orer
แหล่งที่มา

หากความแปรปรวนคือเราสามารถคูณซ้ายด้วยเพื่อกลับไปที่ปัญหา James-Stein ถ้าไม่ทราบแต่แต่ละ "การสังเกต" ในปัญหาคือค่าเฉลี่ยตัวอย่างที่คำนวณจากการสังเกตเราสามารถประมาณด้วยและหวังว่าเราจะได้รับสถานการณ์ James-Stein ถ้าเราคูณด้วยแทน

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— ผู้ชาย

@guy: นี่เป็นข้อเสนอแนะที่สมเหตุสมผล (+1) อย่างไรก็ตามสิ่งนี้จะส่งผลให้เกิดการหดตัวของตัวแปรทั้งหมดสำหรับตัวแปรทั้งหมดในขณะที่หนึ่งต้องการลดขนาดของตัวแปรที่แตกต่างกันขึ้นอยู่กับความแปรปรวน / ความไม่แน่นอน ดูคำตอบที่ฉันเพิ่งโพสต์

— อะมีบา

@amoeba แน่นอน; ฉันไม่ได้แนะนำตัวประมาณของฉันว่าใช้งานได้จริงเพียง แต่แสดงให้เห็นว่าทำไมผู้คนถึงพูดในสิ่งที่ OP กล่าวถึงในวรรคที่สองของเขา / เธอ

— ผู้ชาย

คำถามนี้ได้รับคำตอบอย่างชัดเจนในเอกสารชุดดั้งเดิมเกี่ยวกับตัวประมาณค่า James-Stein ในบริบท Empirical Bayes ที่เขียนในปี 1970 โดย Efron & Morris ฉันหมายถึง:

Efron และ Morris, 1973, กฎการประมาณค่าของ Stein และคู่แข่ง - แนวทางเชิงประจักษ์ Bayes
Efron และ Morris, 1975, การวิเคราะห์ข้อมูลด้วยเครื่องมือประมาณการของ Stein และลักษณะทั่วไป
Efron และ Morris, 1977, Stein Paradox ในสถิติ

บทความปี 1977 เป็นงานแสดงสินค้าที่ไม่ใช่ด้านเทคนิคที่ต้องอ่าน ที่นั่นพวกเขาแนะนำตัวอย่างลูกบอลเบสบอล (ที่กล่าวถึงในเธรดที่คุณเชื่อมโยง); ในตัวอย่างนี้ความแปรปรวนการสังเกตควรจะเท่ากันสำหรับตัวแปรทั้งหมดและปัจจัยการหดตัวเป็นค่าคงที่ $c$

อย่างไรก็ตามพวกเขายังคงยกตัวอย่างอีกอันหนึ่งซึ่งกำลังประเมินอัตราการ toxoplasmosis ในหลาย ๆ เมืองในเอลซัลวาดอร์ ในแต่ละเมืองมีการสำรวจผู้คนแตกต่างกันจำนวนมากดังนั้นการสำรวจแต่ละครั้ง (อัตราการติดเชื้อท็อกโซพลาสโมซิสในแต่ละเมือง) จึงมีความแตกต่างกัน (ยิ่งจำนวนคนสำรวจน้อย สัญชาตญาณแน่นอนว่าจุดข้อมูลที่มีความแปรปรวนต่ำ (ความไม่แน่นอนต่ำ) ไม่จำเป็นต้องหดตัวลงอย่างรุนแรงเท่ากับจุดข้อมูลที่มีความแปรปรวนสูง (ความไม่แน่นอนสูง) ผลของการวิเคราะห์ของพวกเขาจะแสดงในรูปต่อไปนี้ซึ่งสิ่งนี้สามารถเห็นได้เกิดขึ้นจริง:

ป้อนคำอธิบายรูปภาพที่นี่

ข้อมูลและการวิเคราะห์ที่เหมือนกันถูกนำเสนอในบทความทางเทคนิคมากกว่าปี 1975 เช่นกันในรูปที่สง่างามกว่ามาก

ป้อนคำอธิบายรูปภาพที่นี่

ที่นั่นพวกเขานำเสนอการรักษาแบบ Empirical Bayes ที่เรียบง่ายซึ่งมีดังต่อไปนี้ ให้โดยที่ไม่ทราบ ในกรณีที่เหมือนกันการรักษา Empirical Bayes มาตรฐานคือประมาณเป็นและคำนวณค่าเฉลี่ยของเป็นซึ่งไม่มีอะไรเลย นอกเหนือจากตัวประมาณ James-Stein

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

ถ้าตอนนี้แล้วกฎปรับปรุง Bayes เป็นและเราสามารถใช้เดียวกันเคล็ดลับเชิงประจักษ์เบส์ในการประมาณการ, แม้ว่าจะไม่มีสูตรปิดสำหรับในกรณีนี้ (ดูกระดาษ) อย่างไรก็ตามพวกเขาทราบว่า $D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

... กฎนี้ไม่ได้ลดลงถึง Stein เมื่อทุกเท่ากันและเราใช้ตัวแปรย่อยของตัวประมาณนี้มาใน [the 1973 paper] ซึ่งจะลดลงเป็น Stein กฎชุดตัวเลือกจะประเมินค่าต่างกันสำหรับแต่ละเมือง ความแตกต่างระหว่างกฎมีเพียงเล็กน้อยในกรณีนี้ แต่อาจสำคัญหากมีขนาดเล็กลง $D_j$ $\hat A_i$ $k$

ส่วนที่เกี่ยวข้องในบทความปี 1973 คือหมวดที่ 8 และค่อนข้างอ่านยาก ที่น่าสนใจพวกเขามีความคิดเห็นที่ชัดเจนเกี่ยวกับคำแนะนำของ @guy ในความคิดเห็นด้านบน:

วิธีที่ง่ายมากในการกำหนดกฎเจมส์ - สไตน์สำหรับสถานการณ์นี้คือการกำหนดดังนั้น , ใช้ [กฎ James-Stein ดั้งเดิม] กับข้อมูลที่ถูกแปลงแล้วเปลี่ยนกลับไปเป็นพิกัดดั้งเดิม ผลลัพธ์ที่ได้คือกฎโดย สิ่งนี้ไม่น่าสนใจเนื่องจากแต่ละตัวนั้นหดตัวไปทางต้นกำเนิดด้วยปัจจัยเดียวกัน $\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

จากนั้นพวกเขาก็อธิบายขั้นตอนที่พวกเขาต้องการสำหรับการประมาณซึ่งฉันต้องยอมรับว่าฉันยังไม่ได้อ่านอย่างเต็มที่ ฉันขอแนะนำให้คุณดูที่นั่นถ้าคุณมีความสนใจในรายละเอียด $\hat A_i$

— อะมีบา
แหล่งที่มา