การอนุมานเชิงสถิติภายใต้การสะกดผิด

การรักษาแบบดั้งเดิมของการอนุมานทางสถิติอาศัยสมมติฐานที่ว่ามีการใช้สถิติที่ระบุอย่างถูกต้อง นั่นคือการกระจาย $\mathbb{P}^*(Y)$ ที่สร้างข้อมูลที่สังเกตได้เป็นส่วนหนึ่งของแบบจำลองทางสถิติ : อย่างไรก็ตามในสถานการณ์ส่วนใหญ่เราไม่สามารถสรุปได้ว่านี่เป็นเรื่องจริง ฉันสงสัยว่าจะเกิดอะไรขึ้นกับขั้นตอนการอนุมานเชิงสถิติหากเราทิ้งสมมติฐานที่ระบุไว้อย่างถูกต้อง $y$ $\mathcal{M}$

P^{*} (Y) \in M = {P_{θ} (Y) : θ \in Θ}

$\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\}$

ฉันได้พบงานบางอย่างของWhite 1982ในการประมาณ ML ภายใต้การสะกดผิด มันเป็นที่ถกเถียงกันอยู่ว่ามีความเป็นไปได้มากที่สุดคือการประเมินที่สอดคล้องกันสำหรับการแจกแจง ที่ช่วยลด KL-แตกต่างจากการกระจายทั้งหมดภายในแบบจำลองทางสถิติและการจัดจำหน่ายจริง *

P_{θ_{1}} = \arg min_{P_{θ} \in M} K L (P^{*}, P_{θ})

$\mathbb{P}_{\theta_1}=\arg \min_{\mathbb{P}_\theta \in \mathcal{M}} KL(\mathbb{P}^*,\mathbb{P}_\theta)$

P^{*}

$\mathbb{P}^*$

เกิดอะไรขึ้นกับตัวประมาณค่าความเชื่อมั่น ให้สรุปความเชื่อมั่นชุดประเมิน Let $\delta:\Omega_Y \rightarrow 2^\Theta$ เป็นประมาณการที่ตั้งไว้ที่ $\Omega_Y$ เป็นพื้นที่ตัวอย่างและ $2^\Theta$ ชุดไฟมากกว่าพื้นที่พารามิเตอร์\ $\Theta$ สิ่งที่เราอยากรู้คือความน่าจะเป็นของเหตุการณ์ที่ชุดที่สร้างโดย $\delta$ รวมการแจกแจงที่แท้จริง $\mathbb{P}^*$ นั่นคือ

P^{*} (P^{*} \in {P_{θ} : θ \in δ (Y)}) := A .

$\mathbb{P}^*(\mathbb{P}^* \in \{P_\theta : \theta \in \delta(Y)\}):=A.$

อย่างไรก็ตามเราแน่นอนไม่ทราบความจริงการกระจาย * สมมติฐานที่กำหนดไว้อย่างถูกต้องบอกเราว่า{M} อย่างไรก็ตามเรายังไม่ทราบว่าเป็นรุ่นใด แต่เป็นผูกพันที่ต่ำกว่าสำหรับความน่าจะเป็น Equationคือการ จำกัด คลาสสิกของระดับความเชื่อมั่นสำหรับตัวประมาณค่าชุดความเชื่อมั่น $\mathbb{P}^*$ $\mathbb{P}^* \in \mathcal{M}$

inf_{θ \in Θ} P_{θ} (θ \in δ (Y)) := B

$\inf_{\theta \in \Theta} \mathbb{P}_\theta(\theta \in \delta(Y)):=B$

A

$A$

B

$B$

หากเราทิ้งสมมติฐานที่ระบุไว้อย่างถูกต้องไม่จำเป็นต้องเป็นขอบเขตล่างของซึ่งเป็นคำที่เราสนใจจริง ๆ อีกต่อไป แน่นอนถ้าเราคิดว่ารูปแบบการ misspecied ซึ่งเป็น arguably กรณีสำหรับสถานการณ์ที่สมจริงที่สุด, เป็น 0 เพราะการกระจายจริงไม่อยู่ในแบบจำลองทางสถิติ{M} $B$ $A$ $A$ $P^*$ $\mathcal{M}$

จากมุมมองอื่นเราสามารถคิดได้ว่าเกี่ยวข้องกับอะไรเมื่อแบบจำลองไม่ได้ระบุ นี่เป็นคำถามที่เฉพาะเจาะจงกว่านี้ ไม่ยังคงมีความหมายถ้ารูปแบบคือ misspecified ถ้าไม่ทำไมเราถึงต้องกังวลกับสถิติเชิงพารามิเตอร์? $B$ $B$

ฉันเดาว่าWhite 1982มีผลลัพธ์บางอย่างเกี่ยวกับปัญหาเหล่านี้ โชคไม่ดีที่การขาดภูมิหลังทางคณิตศาสตร์ของฉันทำให้ฉันไม่สามารถเข้าใจสิ่งที่เขียนอยู่ที่นั่นได้

— Julian Karls
แหล่งที่มา

ผมพบว่าคำถามนี้คำตอบ + stats.stackexchange.com/questions/149773/... มันคล้ายกันมาก การอ่านหนังสือเหล่านี้อาจนำไปสู่คำตอบของคำถามนี้ อย่างไรก็ตามฉันยังคงคิดว่าการสรุปโดยคนที่ทำสิ่งนี้ไปแล้วจะมีประโยชน์มาก

— Julian Karls

เป็นความอัปยศที่คำถามนี้ไม่ได้สร้างความสนใจมากขึ้น - การเชื่อมโยงของ Julian มีเนื้อหาที่ดี แต่ฉันสนใจที่จะฟังความคิดเพิ่มเติมเกี่ยวกับเรื่องนี้

— Florian Hartig

โดยทั่วไปสิ่งที่ทำคือการแจกแจงการทดสอบทางสถิติคำนวณภายใต้สมมติฐานว่างที่สมมติว่าแบบจำลองทางสถิตินั้นถูกต้อง หากค่า p - ต่ำพอจะสรุปได้ว่าเป็นเพราะโอกาสหรือว่าโมฆะเป็นเท็จ หากแบบจำลองนั้นถูกระบุผิด แต่ก็เป็นข้อสรุปที่สามารถดึงเหตุผลได้ การถือครองแบบเดียวกันสำหรับการอนุมานอื่น ๆ ทั้งหมด: ความจริงที่ว่าตัวแบบนั้นถูกระบุผิดจะให้ข้อสรุปทางเลือก นี่คือสิ่งที่ฉันคิดเกี่ยวกับมันขึ้นอยู่กับการอ่านงานของ Spanos

— Toby

โดยพื้นฐานแล้วทุกรุ่นผิด ช่วยในการพัฒนาเชิงปริมาณของการสะกดผิด สำหรับรูปภาพการสะกดผิดพลาดเป็นการลงทะเบียนที่ไม่ถูกต้อง ตัวอย่างเช่นสำหรับข้อผิดพลาดในการนับ (เช่นจากการสลายตัวของสารกัมมันตรังสี) สำหรับจำนวนที่เพียงพอข้อผิดพลาดคือปัวซองกระจาย ในกรณีดังกล่าวการลงทะเบียนข้อมูลอนุกรมผิดพลาดเป็นข้อผิดพลาดแกน y ของรากที่สองของภาพและสัญญาณรบกวนอยู่ในหน่วยเดียวกัน ตัวอย่างที่นี่

— Carl

คำตอบ:

ให้เป็นข้อมูลที่สังเกตซึ่งสันนิษฐานว่าเป็นสำนึกของลำดับของตัวแปรสุ่ม IIDกับความน่าจะร่วมกันฟังก์ชั่นความหนาแน่นกำหนดด้วยความเคารพต่อมาตรการ Sigma- จำกัด\ความหนาแน่นเรียกว่าความหนาแน่นของData Generating Process (DGP) $y_1, \ldots, y_n$ $Y_1, \ldots, Y_n$ $p_e$ $\nu$ $p_e$

ในรูปแบบความน่าจะเป็นนักวิจัยของ คือชุดของฟังก์ชั่นความหนาแน่นของความน่าจะเป็นที่มีการจัดทำดัชนีโดยพารามิเตอร์เวกเตอร์ \สมมติว่าความหนาแน่นแต่ละตัวในเป็นนิยามที่เกี่ยวข้องกับการวัด sigma-finite ทั่วไป (เช่นความหนาแน่นแต่ละครั้งอาจเป็นฟังก์ชันมวลความน่าจะเป็นที่มีพื้นที่ตัวอย่างเดียวกัน ) ${\cal M} \equiv \{ p(y ; \theta) : \theta \in \Theta \}$ $\theta$ ${\cal M}$ $\nu$ $S$

สิ่งสำคัญคือต้องรักษาความหนาแน่นของซึ่งสร้างข้อมูลที่แตกต่างจากแนวคิดแบบจำลองความน่าจะเป็นของข้อมูล ในการรักษาเชิงสถิติแบบคลาสสิกการแยกอย่างระมัดระวังของแนวคิดเหล่านี้อาจถูกละเว้นไม่ทำหรือถูกสันนิษฐานตั้งแต่ต้นว่ามีการระบุแบบจำลองความน่าจะเป็น $p_e$

รูปแบบที่ระบุอย่างถูกต้องเกี่ยวกับถูกกำหนดเป็นแบบจำลองที่ - เกือบทุกที่ เมื่อ ถูก misspecified ด้วยความเคารพสิ่งนี้สอดคล้องกับกรณีที่ไม่ได้ระบุรูปแบบความน่าจะเป็นอย่างถูกต้อง ${\cal M}$ $p_e$ $p_e \in {\cal M}$ $\nu$ ${\cal M}$ $p_e$

หากระบุรูปแบบความน่าจะเป็นอย่างถูกต้องแสดงว่ามีในพื้นที่พารามิเตอร์เช่นนั้น - เกือบทุกที่ พารามิเตอร์เวกเตอร์ดังกล่าวเรียกว่า "พารามิเตอร์เวกเตอร์ที่แท้จริง" หากแบบจำลองความน่าจะเป็นได้รับการระบุแล้วแสดงว่าเวกเตอร์พารามิเตอร์จริงไม่มีอยู่จริง $\theta^*$ $\Theta$ $p_e(y) = p(y ; \theta^*)$ $\nu$

ภายในกรอบการทำข้อผิดพลาดของโมเดลสีขาวเป้าหมายคือการหาการประมาณค่าพารามิเตอร์ที่ย่อขนาด บางพื้นที่ที่มีขนาดกะทัดรัดพารามิเตอร์\สันนิษฐานว่าเป็นที่ไม่ซ้ำกันผืนโลกที่เข้มงวดของมูลค่าที่คาดหวังของในตั้งอยู่ในการตกแต่งภายในของ\ในกรณีนำโชคที่มีการระบุแบบจำลองความน่าจะเป็นอย่างถูกต้องอาจตีความได้ว่าเป็น "ค่าพารามิเตอร์จริง" $\hat{\theta}_n$ $\hat{\ell}_n({\theta}) \equiv (1/n) \sum_{i=1}^n \log p(y_i ; { \theta})$ $\Theta$ $\theta^*$ $\hat{\ell}_n$ $\Theta$ $\Theta$ $\theta^*$

ในกรณีพิเศษที่ระบุรูปแบบความน่าจะเป็นอย่างถูกต้องแล้วเป็นค่าประมาณโอกาสสูงสุดที่คุ้นเคย ถ้าเราไม่ทราบว่ามีความรู้แน่นอนว่ารูปแบบความน่าจะมีการระบุอย่างถูกต้องแล้วเรียกว่าการประเมินความน่าจะเป็นกึ่งสูงสุดและมีเป้าหมายที่จะประเมิน * หากเราได้รับโชคดีและมีการระบุแบบจำลองความน่าจะเป็นอย่างแม่นยำการประมาณค่าความน่าจะเป็นแบบกึ่งอัตโนมัติจะลดลงเป็นกรณีพิเศษให้ประมาณค่าความน่าจะเป็นสูงสุดที่คุ้นเคยและ จะกลายเป็นค่าพารามิเตอร์จริง $\hat{\theta}_n$ $\hat{\theta}_n$ $\theta^*$ $\theta^*$

ความสอดคล้องภายในกรอบงานสีขาว (1982) สอดคล้องกับการบรรจบกับโดยไม่ต้องการให้จำเป็นต้องเป็นพารามิเตอร์เวกเตอร์ที่แท้จริง ภายในกรอบของ White เราจะไม่ประมาณความน่าจะเป็นของเหตุการณ์ที่เซตที่ผลิตโดยδรวมการแจกแจง TRUE P * แต่เรามักจะประเมินการกระจายความน่า P ** ซึ่งเป็นความน่าจะเป็นของเหตุการณ์ที่ชุดที่ผลิตโดยδรวมถึงการกระจายที่ระบุโดยความหนาแน่น *) $\theta^*$ $\theta^*$ $p(y ; \theta^*)$

ในที่สุดความคิดเห็นบางประการเกี่ยวกับการสะกดคำผิดแบบ มันง่ายในการค้นหาตัวอย่างที่แบบจำลองที่มีการสะกดผิดมีประโยชน์อย่างมากและสามารถคาดการณ์ได้มาก ตัวอย่างเช่นพิจารณาโมเดลการถดถอยแบบไม่เชิงเส้น (หรือแบบเชิงเส้น) ด้วยคำผิดพลาดแบบเกาส์ที่เหลือซึ่งมีความแปรปรวนน้อยมาก แต่ข้อผิดพลาดที่เหลือจริงในสภาพแวดล้อมไม่ใช่แบบเกาส์เซียน

นอกจากนี้ยังง่ายต่อการค้นหาตัวอย่างที่โมเดลที่ระบุอย่างถูกต้องไม่มีประโยชน์และไม่สามารถทำนายได้ ตัวอย่างเช่นลองใช้แบบจำลองการเดินแบบสุ่มเพื่อคาดการณ์ราคาหุ้นซึ่งคาดการณ์ว่าราคาปิดของวันพรุ่งนี้เป็นผลรวมถ่วงน้ำหนักของราคาปิดของวันนี้และเสียงเกาส์เซียนบางส่วนที่มีความแปรปรวนขนาดใหญ่มาก

วัตถุประสงค์ของเฟรมเวิร์กการสะกดผิดโมเดลไม่ได้เพื่อรับรองความถูกต้องของโมเดล แต่เพื่อให้มั่นใจในความน่าเชื่อถือ นั่นคือตรวจสอบให้แน่ใจว่าข้อผิดพลาดการสุ่มตัวอย่างที่เกี่ยวข้องกับการประมาณค่าพารามิเตอร์ของคุณช่วงความเชื่อมั่นการทดสอบสมมติฐานและอื่น ๆ มีการประเมินอย่างถูกต้องแม้จะมีการสะกดผิดรูปแบบไม่มากหรือน้อย การประมาณความเป็นไปได้สูงสุดเสมือนกึ่งกลางปกติที่ asymptotically กับตัวประมาณค่าความแปรปรวนร่วมของเมทริกซ์ความแปรปรวนร่วมซึ่งขึ้นอยู่กับอนุพันธ์อันดับหนึ่งและสองของฟังก์ชันลบบันทึกความน่าจะเป็น ในกรณีพิเศษที่คุณได้รับโชคดีและตัวแบบถูกต้องสูตรทั้งหมดจะลดลงเป็นกรอบทางสถิติแบบดั้งเดิมที่คุ้นเคยซึ่งเป้าหมายคือการประมาณค่าพารามิเตอร์ "จริง" $\theta^*$

— RMG
แหล่งที่มา

ก่อนอื่นให้ฉันบอกว่านี่เป็นคำถามที่น่าสนใจจริงๆ รุ่งโรจน์ถึงจูเลียนสำหรับการโพสต์ ดังที่ฉันเห็นมันปัญหาพื้นฐานที่คุณเผชิญในการวิเคราะห์แบบนี้คือการอนุมานของเซตย่อยใด ๆ ของเป็นการอนุมานเหนือคลาสความน่าจะเป็นแบบ จำกัด ของการวัดความน่าจะเป็นในโมเดลดังนั้นเมื่อคุณเริ่มถามเกี่ยวกับความน่าจะเป็น แบบจำลองภายใต้ตัวแบบนี้จะลดลงไปเป็นคำถามที่สำคัญว่ามีการผิดพลาดในการเริ่มต้นด้วยหรือไม่ White ได้มาโดยการดูว่าตัวแบบใกล้ถึงความน่าจะเป็นจริง ๆ เพียงใดโดยใช้การวัดระยะทางที่เหมาะสม สิ่งนี้นำพาเขาไปสู่การวัดความน่าจะเป็นซึ่งเป็นพร็อกซีที่ใกล้เคียงที่สุดสำหรับ in $\Theta$ $\mathcal{M}$ $\mathbb{P}_{\theta_1}$ $\mathbb{P}^*$ . วิธีการดูนี้สามารถขยายออกไปเพื่อให้ปริมาณที่น่าสนใจเกี่ยวกับคำถามของคุณเกี่ยวกับชุดความเชื่อมั่น $\mathcal{M}$ $\mathbb{P}_{\theta_1}$

ก่อนที่จะมาถึงสิ่งนี้มันก็คุ้มค่าที่จะชี้ให้เห็นว่าค่าและนั้นมีความชัดเจนทางคณิตศาสตร์ในการวิเคราะห์ของคุณ (เช่นมีอยู่) และพวกเขาก็ยังมีความหมายอยู่ มันไม่ได้แปลว่ามีประโยชน์มาก ค่าในการวิเคราะห์ของคุณนั้นถูกกำหนดไว้อย่างดี เป็นความน่าจะเป็นจริงที่ชุดของความน่าจะเป็นที่สรุปรวมถึงการวัดความน่าจะเป็นที่แท้จริง คุณถูกต้องที่หมายถึงซึ่งหมายความว่าปริมาณนี้เล็กน้อยในกรณีของการสะกดผิด ต่อไปนี้นำของสีขาวมันอาจจะน่าสนใจที่จะดูปริมาณ: $A$ $B$ $A$ $\mathbb{P}^* \notin \mathcal{M}$ $A = 0$

A^{*} \equiv A^{*} (Y) \equiv P^{*} (P_{θ_{1}} \in {P_{θ} | θ \in δ (Y)}) .

$A^* \equiv A^*(Y) \equiv \mathbb{P}^* (\mathbb{P}_{\theta_1} \in \{P_\theta | \theta \in \delta(Y) \} ).$

ที่นี่เราได้เปลี่ยนที่เกิดขึ้นภายในของกับพร็อกซี่ที่ใกล้เคียงที่สุดในรูปแบบเพื่อให้ปริมาณที่จะไม่แสดงผลเล็กน้อยเมื่อ Mตอนนี้เรากำลังถามถึงความน่าจะเป็นจริงที่ชุดของความน่าจะเป็นที่สรุปรวมถึงพร็อกซีที่ใกล้เคียงที่สุดสำหรับการวัดความน่าจะเป็นที่แท้จริงในรูปแบบ การระบุรายละเอียดของโมเดลไม่ทำให้ปริมาณน้อยลงเนื่องจากเรามีโดยการก่อสร้าง $\mathbb{P}^*$ $\mathcal{M}$ $\mathbb{P}^* \notin \mathcal{M}$ $\mathbb{P}_{\theta_1} \in \mathcal{M}$

สีขาววิเคราะห์ misspecification โดยแสดงให้เห็นว่าเอมิลี่เป็นประมาณการที่สอดคล้องกันของ 1สิ่งนี้มีค่าเพราะมันบอกคุณว่าแม้ว่าจะมีการผิดพลาดคุณยังคงประมาณการพร็อกซีที่ใกล้เคียงที่สุดกับการวัดความน่าจะเป็นจริงในโมเดล คำถามติดตามอย่างเป็นธรรมชาติเกี่ยวกับชุดความเชื่อมั่นคือวิธีการอนุมานที่เฉพาะเจาะจงหรือไม่กำหนดขอบเขตล่างของปริมาณหรือผลการลู่เข้าใด ๆ ให้อยู่ในขอบเขตที่ $\mathbb{P}_{\theta_1}$ $\delta$ $A^*$ $n \rightarrow \infty$ . หากคุณสามารถสร้างขอบเขตล่าง (บวก) หรือผลลัพธ์คอนเวอร์เจนซ์ (บวก) สิ่งนี้ให้คุณค่าบางอย่างแก่คุณในการรับรองว่าแม้ว่าจะมีการสะกดผิดคุณยังคงประมาณการพร็อกซี่ที่ใกล้เคียงที่สุดกับระดับความน่าจะเป็น ฉันขอแนะนำให้คุณสำรวจปัญหาเหล่านั้นตามการวิเคราะห์ที่ทำโดย White

— Reinstate Monica
แหล่งที่มา