ตัวประมาณที่ลดผลรวมถ่วงน้ำหนักของอคติกำลังสองและความแปรปรวนเข้ากับทฤษฎีการตัดสินใจได้อย่างไร

ตกลง - ข้อความต้นฉบับของฉันไม่สามารถตอบสนองได้ ขอผมใส่คำถามที่ต่างออกไป ฉันจะเริ่มต้นด้วยการอธิบายความเข้าใจของฉันเกี่ยวกับการประเมินจากมุมมองทางทฤษฎีการตัดสินใจ ฉันไม่มีการฝึกฝนอย่างเป็นทางการและจะไม่ทำให้ฉันประหลาดใจถ้าความคิดของฉันมีข้อบกพร่อง

สมมติว่าเรามีบางฟังก์ชั่นการสูญเสีย(x)) การสูญเสียที่คาดหวังคือความเสี่ยง (บ่อยครั้ง): $L(\theta,\hat\theta(x))$

R (θ, \hat{θ} (x)) = \int L (θ, \hat{θ} (x)) L (θ, \hat{θ} (x)) d x,

$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$

โดยที่คือความเป็นไปได้; และความเสี่ยงของ Bayes คือความเสี่ยงที่พบบ่อย: $\mathcal{L}(\theta,\hat\theta(x))$

r (θ, \hat{θ} (x)) = \int \int R (θ, \hat{θ} (x)) π (θ) d x d θ,

$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$

โดยที่เป็นของเราก่อนหน้า $\pi (\theta)$

โดยทั่วไปแล้วเราพบที่ย่อและสิ่งนี้ได้ผลดี; ยิ่งกว่านั้นทฤษฎีบทของ Fubini ก็นำมาใช้และเราสามารถกลับลำดับการรวมเพื่อให้ใด ๆที่ย่อเป็นอิสระจากคนอื่นทั้งหมด วิธีนี้หลักการความน่าจะเป็นไม่ได้ถูกละเมิดและเราสามารถรู้สึกดีเกี่ยวกับการเป็นแบบเบย์เป็นต้น $\hat\theta(x)$ $r$ $\hat\theta(x)$ $r$

ตัวอย่างเช่นเนื่องจากการสูญเสียข้อผิดพลาดกำลังสองที่คุ้นเคยความเสี่ยงของเราที่พบบ่อยคือความคลาดเคลื่อนกำลังสองเฉลี่ยหรือผลรวม ความเอนเอียงและความแปรปรวนและความเสี่ยงของเบย์คือผลรวมที่คาดหวังของความอคติกำลังสองและความแปรปรวนตามที่เราคาดไว้ก่อนหน้านั่นคือการสูญเสียด้านหลัง $L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

นี่ดูเหมือนจะสมเหตุสมผลสำหรับฉัน (แม้ว่าฉันอาจจะผิดมาก); แต่ไม่ว่าในกรณีใดสิ่งต่าง ๆ ทำให้ฉันรู้สึกไม่ถึงวัตถุประสงค์อื่น ๆ ตัวอย่างเช่นสมมติว่าแทนที่จะลดผลรวมของอคติและความแปรปรวนที่ถ่วงน้ำหนักเท่า ๆ กันฉันต้องการลดผลรวมน้ำหนักที่ไม่เท่ากันนั่นคือฉันต้องการที่ย่อเล็กสุด: $\hat\theta(x)$

(E [\hat{θ} (x)] - θ)^{2} + k E [(\hat{θ} (x) - E [\hat{θ} (x)])^{2}],

$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$

โดยที่คือค่าคงที่จริงที่เป็นบวก (นอกเหนือจาก 1) $k$

ฉันมักจะอ้างถึงผลรวมเช่นนี้เป็น "ฟังก์ชันวัตถุประสงค์" แม้ว่ามันอาจเป็นไปได้ว่าฉันกำลังใช้คำนั้นอย่างไม่ถูกต้อง คำถามของฉันไม่เกี่ยวกับวิธีค้นหาวิธีแก้ปัญหา - การค้นหาที่ลดฟังก์ชันวัตถุประสงค์นี้ให้ทำได้เป็นตัวเลข - แต่คำถามของฉันคือสองเท่า: $\hat\theta(x)$

ฟังก์ชันวัตถุประสงค์ดังกล่าวเหมาะสมกับกระบวนทัศน์ทฤษฎีการตัดสินใจหรือไม่? ถ้าไม่มีกรอบอื่นที่มันเหมาะสมหรือไม่ ถ้าใช่เป็นเช่นนั้น? ดูเหมือนว่าฟังก์ชันการสูญเสียที่เกี่ยวข้องจะเป็นฟังก์ชันของ ,และซึ่ง - เพราะความคาดหวัง - คือ ( ฉันคิดว่า) ไม่เหมาะสม $\theta$ $\hat\theta(x)$ $\mathbb{E}[\hat\theta(x)]$
ฟังก์ชั่นวัตถุประสงค์ดังกล่าวละเมิดหลักการความน่าจะเป็นเพราะมีการประมาณขึ้นอยู่กับการประมาณการอื่น ๆ ทั้งหมดของ (แม้แต่สมมุติฐาน) อย่างไรก็ตามมีบางครั้งที่การซื้อขายเพิ่มความแปรปรวนข้อผิดพลาดเพื่อลดอคติ เมื่อได้รับเป้าหมายดังกล่าวจะมีวิธีคิดแนวปัญหาที่สอดคล้องกับหลักการความน่าจะเป็นหรือไม่? $\hat\theta(x_{j})$ $\hat\theta(x_{i\neq j})$

ฉันสมมติว่าฉันไม่เข้าใจแนวคิดพื้นฐานบางประการเกี่ยวกับทฤษฎีการตัดสินใจ / การประมาณค่า / การเพิ่มประสิทธิภาพ ขอบคุณล่วงหน้าสำหรับคำตอบใด ๆ และโปรดสมมติว่าฉันไม่รู้อะไรเลยเนื่องจากฉันไม่มีการฝึกอบรมในเรื่องนี้หรือคณิตศาสตร์มากกว่าปกติ นอกจากนี้การอ้างอิงที่แนะนำใด ๆ (สำหรับผู้อ่านไร้เดียงสา) จะได้รับการชื่นชม

— user153935
แหล่งที่มา

นี่เป็นคำถามที่น่าสนใจและแปลกใหม่! ในระดับอย่างเป็นทางการโดยใช้ฟังก์ชั่นความเสี่ยง หมายถึงการใช้ (ตัวอย่าง) ฟังก์ชันการสูญเสียที่กำหนดเป็น ตั้งแต่ ไม่มีเหตุผลใดที่ห้ามความคาดหวังเช่นเพื่อให้ปรากฏในฟังก์ชันการสูญเสีย พวกเขาขึ้นอยู่กับการกระจายทั้งหมดของเป็นคุณลักษณะที่อาจดูแปลก แต่การกระจายทั้งหมดถูกตั้งค่าเป็นฟังก์ชั่นของ และการสูญเสียที่เกิดขึ้นจึงเป็นหน้าที่ของ

(E_{θ} [\hat{θ} (X)] - θ)^{2} + k E_{θ} [(\hat{θ} (X) - E [\hat{θ} (X)])^{2}],

$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$

L (θ, \hat{θ}) = (E_{θ} [\hat{θ} (X)] - θ)^{2} + k (\hat{θ} - E_{θ} [\hat{θ} (X)])^{2}

$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$

E_{θ} [\hat{θ} (X)]

$\mathbb{E}_\theta[\hat\theta(X)]$

\hat{θ} (X)

$\hat{\theta}(X)$

θ

$\theta$

θ

$\theta$ ,และการกระจายของ(X)

\hat{θ}

$\hat{\theta}$

\hat{θ} (X)

$\hat{\theta}(X)$

ฉันสามารถคาดการณ์การคัดค้านอย่างสมบูรณ์ว่าฟังก์ชั่นการสูญเสียอยู่บนหลักการของฟังก์ชั่นของสภาวะธรรมชาติและการกระทำเกิดขึ้นเช่นในพื้นที่พารามิเตอร์ดังนั้นจึงไม่เกี่ยวข้องกับข้อสันนิษฐานการกระจายใด ๆ ซึ่งถูกต้องจากมุมมองทฤษฎีเกม แต่เนื่องจากนี่คือทฤษฎีการตัดสินใจเชิงสถิติที่การตัดสินใจจะขึ้นอยู่กับการสังเกตของตัวแปรสุ่มฉันไม่เห็นเหตุผลว่าทำไมลักษณะทั่วไปที่ฟังก์ชันการสูญเสียขึ้นอยู่กับการกระจายตัวของโดยดัชนีโดย $L(\theta,\delta)$ $\theta$ $\delta$ $\Theta$ $\delta$ $x$ $X$ $X$ $\theta$ ไม่สามารถพิจารณาได้ การที่มันอาจเป็นการละเมิดหลักการความน่าจะเป็นนั้นไม่ได้เกี่ยวข้องโดยตรงกับทฤษฎีการตัดสินใจและไม่ได้ป้องกันการได้มาของตัวประมาณค่าแบบเบย์อย่างเป็นทางการ

— ซีอาน
แหล่งที่มา