การประมาณค่า MLE แบบไม่แสดงอาการปกติ & มีประสิทธิภาพแม้ว่าตัวแบบจะไม่เป็นจริงหรือไม่?

สถานที่ตั้ง: นี่อาจเป็นคำถามที่โง่ ฉันรู้เพียงคำแถลงเกี่ยวกับคุณสมบัติของ asymptotic ของ MLE แต่ฉันไม่เคยศึกษาหลักฐานเลย ถ้าฉันทำฉันอาจจะไม่ถามคำถามเหล่านี้หรือฉันอาจรู้ว่าคำถามเหล่านี้ไม่สมเหตุสมผล ... ดังนั้นโปรดไปที่ฉันเถอะ :)

ฉันมักจะเห็นข้อความที่บอกว่าตัวประมาณค่า MLE ของพารามิเตอร์ของโมเดลนั้นเป็นเรื่องปกติและมีประสิทธิภาพ คำสั่งมักจะเขียนเป็น

$\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})$ เป็น $N\to\infty$

ที่คือจำนวนของกลุ่มตัวอย่างที่เป็นข้อมูลที่ฟิชเชอร์และเป็นพารามิเตอร์ (เวกเตอร์) มูลค่าที่แท้จริง ตอนนี้เนื่องจากมีการอ้างอิงถึงโมเดลจริงนี่หมายความว่าผลลัพธ์จะไม่ถูกเก็บไว้หากโมเดลไม่เป็นจริงหรือไม่? $N$ $\mathbf{I}$ $\theta_0$

ตัวอย่าง: สมมติว่าฉันเป็นแบบจำลองกำลังไฟฟ้าออกจากกังหันลม เป็นฟังก์ชั่นของความเร็วลมบวกกับเสียงรบกวนแบบเกาส์เพิ่มเติม $P$ $V$

$P=\beta_0+\beta_1V+\beta_2V^2+\epsilon$

ฉันรู้ว่าแบบจำลองนั้นผิดด้วยเหตุผลอย่างน้อยสองประการ: 1)เป็นสัดส่วนจริง ๆ กับกำลังสามของและ 2) ข้อผิดพลาดนั้นไม่ได้เป็นสารเติมแต่งเพราะฉันละเลยตัวทำนายอื่น ๆ ซึ่งไม่ได้เกี่ยวข้องกับความเร็วลม ที่ควรเป็น 0 เพราะที่ 0 ความเร็วลมไม่มีอำนาจจะถูกสร้างขึ้น แต่ที่ไม่เกี่ยวข้องที่นี่) ทีนี้สมมติว่าฉันมีฐานข้อมูลพลังงานและความเร็วลมที่ไม่มีที่สิ้นสุดจากกังหันลมของฉัน ฉันสามารถวาดตัวอย่างได้มากเท่าที่ต้องการขนาดใดก็ได้ สมมติว่าฉันดึงตัวอย่าง 1,000 ตัวอย่างแต่ละขนาด 100 และคำนวณการประเมิน MLE ของ $P$ $V$ $\beta_0$ $\hat{\boldsymbol{\beta}}_{100}$ $\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$ (ซึ่งภายใต้โมเดลของฉันจะเป็นค่าประมาณ OLS) ผมจึงมี 1000 ตัวอย่างจากการกระจายตัวของ $\hat{\boldsymbol{\beta}}_{100}$ {100} ผมสามารถทำซ้ำการออกกำลังกายที่มีN $N=500,1000,1500,\dots$ ในฐานะ $N\to\infty$ การกระจายตัวของ $\hat{\boldsymbol{\beta}}_{N}$ มีแนวโน้มที่จะเป็นแบบปกติเชิงเส้นกำกับด้วยค่าเฉลี่ยและความแปรปรวนที่ระบุไว้หรือไม่ หรือความจริงที่ว่ารูปแบบไม่ถูกต้องทำให้ผลลัพธ์นี้ไม่ถูกต้องหรือไม่

เหตุผลที่ฉันถามก็คือรูปแบบที่ไม่ค่อยมีใครเป็นแอพพลิเคชั่น "จริง" หากคุณสมบัติแบบอะซิติกโทติกของ MLE หายไปเมื่อแบบจำลองไม่เป็นจริงมันอาจเหมาะสมที่จะใช้หลักการประมาณแบบต่าง ๆ ซึ่งในขณะที่ทรงพลังน้อยกว่าในการตั้งค่าแบบจำลองที่ถูกต้องอาจทำงานได้ดีกว่า MLE ในกรณีอื่น ๆ

แก้ไข : มันถูกบันทึกไว้ในความคิดเห็นที่ความคิดของรูปแบบที่แท้จริงอาจเป็นปัญหาได้ ฉันมีคำจำกัดความต่อไปนี้ในใจ: กำหนดตระกูลของแบบจำลองระบุโดยพารามิเตอร์เวกเตอร์สำหรับแต่ละรุ่นในตระกูลคุณสามารถเขียนได้เสมอ $f_{\boldsymbol{\theta}}(x)$ $\boldsymbol{\theta}$

$Y=f_{\boldsymbol{\theta}}(X)+\epsilon$

โดยเพียงแค่การกำหนดเป็น(X) อย่างไรก็ตามโดยทั่วไปแล้วข้อผิดพลาดจะไม่เป็นมุมฉากเป็นมีค่าเฉลี่ย 0 และมันไม่จำเป็นต้องมีการแจกแจงแบบสมมติในการหาโมเดล หากมีค่าที่มีคุณสมบัติทั้งสองนี้รวมถึงการแจกแจงแบบสันนิษฐานฉันจะบอกว่าแบบจำลองเป็นจริง ฉันคิดว่ามันเกี่ยวข้องโดยตรงกับการบอกว่า , เนื่องจากข้อผิดพลาดในการสลายตัว $\epsilon$ $Y-f_{\boldsymbol{\theta}}(X)$ $X$ $\boldsymbol{\theta_0}$ $\epsilon$ $f_{\boldsymbol{\theta_0}}(X)=E[Y|X]$

$Y=E[Y|X]+\epsilon$

มีคุณสมบัติทั้งสองที่กล่าวถึงข้างต้น

maximum-likelihood model asymptotics

— DeltaIV
แหล่งที่มา

การประมาณค่า MLE นั้นมักเป็นแบบไม่แสดงอาการปกติแม้ว่าตัวแบบนั้นจะไม่เป็นจริงก็ตาม แต่ก็อาจจะสอดคล้องกันสำหรับค่าพารามิเตอร์ แต่ในกรณีเช่นนี้มันจะยากที่จะแสดงประสิทธิภาพหรือคุณสมบัติการเพิ่มประสิทธิภาพอื่น ๆ

— kjetil b halvorsen

ก่อนประสิทธิภาพเราควรดูความมั่นคง ในสถานการณ์ที่ความจริงไม่ได้อยู่ในพื้นที่การค้นหาของคุณเราต้องการคำจำกัดความของความมั่นคงที่แตกต่างกันเช่น: d (P *, P) โดยที่ d คือ divergence P * เป็นแบบจำลองที่ใกล้เคียงที่สุดในแง่ของ d และ P คือความจริง เมื่อ d คือ KL divergence (เช่น MLE ที่ย่อเล็กสุด) เป็นที่ทราบกันดีว่ากระบวนการของ Bayesian นั้นไม่สอดคล้องกัน (ไม่สามารถเข้าถึงแบบจำลองที่ใกล้เคียงที่สุดได้) ยกเว้นว่า model นั้นเป็นแบบนูน ดังนั้นฉันคิดว่า MLE จะไม่สอดคล้องเช่นกัน ดังนั้นประสิทธิภาพจึงถูกกำหนดอย่างไม่เหมาะสม homepage.tudelft.nl/19j49/benelearn/papers/Paper_Grunwald.pdf

— Cagdas Ozgenc

@Cagdas Ozgenc: ในหลาย ๆ กรณี (เช่นการถดถอยโลจิสติก) MLE ยังคงสอดคล้องกับพารามิเตอร์ "น้อยเท็จ" คุณมีการอ้างอิงสำหรับการเรียกร้องของคุณเกี่ยวกับความไม่สอดคล้องในกรณี nonconvex หรือไม่? จะสนใจมากไหม (ฟังก์ชั่นความน่าจะเป็นของการถดถอยโลจิสติกส์เป็นรูปนูน)

— kjetil b halvorsen

@kjetilbhalvorsen homepages.cwi.nl/~pdg/ftp/inconsistency.pdfมันอยู่เหนือหัวฉัน แต่มันเป็นสิ่งที่ฉันเข้าใจ หากความเข้าใจของฉันเป็นเท็จโปรดแก้ไขฉัน ฉันเป็นแค่งานอดิเรกหลังจากทั้งหมด

— Cagdas Ozgenc

ฉันคิดว่าเราประสบปัญหาเมื่อเราใช้คำเช่น "model is true" หรือ "false false" เมื่อต้องรับมือกับแบบจำลองในทางปฏิบัติ หากเรากำหนดสมมติฐานบางอย่างเราสามารถใช้คณิตศาสตร์เพื่อแสดงคุณสมบัติทางสถิติ มีความขัดแย้งระหว่างคณิตศาสตร์ของความน่าจะเป็นและการวิเคราะห์ข้อมูลเชิงปฏิบัติอยู่เสมอ

— Michael R. Chernick

ฉันไม่เชื่อว่ามีคำตอบเดียวสำหรับคำถามนี้

เมื่อเราพิจารณาการสะกดผิดแบบกระจายได้ในขณะที่ใช้การประมาณความเป็นไปได้สูงสุดเราจะได้สิ่งที่เรียกว่าตัวประมาณ "ความเป็นไปได้สูงสุดเสมือน" (QMLE) ในบางกรณี QMLE มีทั้งที่สอดคล้องและไม่ปกติ

สิ่งที่สูญเสียไปอย่างแน่นอนคือประสิทธิภาพของซีมโทติค นี่เป็นเพราะความแปรปรวนของซีมโทติค (นี่คือปริมาณที่มีการแจกแจงแบบซีมโทติคไม่ใช่แค่ ) ในทุกกรณี $\sqrt n (\hat \theta - \theta)$ $\hat \theta$

\begin{matrix} (1) & Avar [\sqrt{n} (\hat{θ} - θ)] = plim ([\hat{H}]^{- 1} [\hat{S} {\hat{S}}^{T}] [\hat{H}]^{- 1}) \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = \text{plim}\Big( [\hat H]^{-1}[\hat S \hat S^T][\hat H]^{-1}\Big) \tag{1}$

โดยที่คือเมทริกซ์ของ Hessian ของ log-likelihood และคือ gradient และหมวกแสดงค่าประมาณตัวอย่าง $H$ $S$

ทีนี้ถ้าเรามีสเปคที่ถูกต้องเราจะได้ก่อนว่า

\begin{matrix} (2) & Avar [\sqrt{n} (\hat{θ} - θ)] = (E [H_{0}])^{- 1} E [S_{0} S_{0}^{T}] (E [H_{0}])^{- 1} \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = (\mathbb E[H_0])^{-1}\mathbb E[S_0S_0^T](\mathbb E[H_0])^{-1} \tag{2}$

ที่ " " หมายถึงการประเมินผลที่แท้จริงของตัวห้อย (และโปรดสังเกตว่าในระยะกลางคือคำนิยามของข้อมูลฟิชเชอร์) และที่สองว่า " ความเท่าเทียมกันของข้อมูลเมทริกซ์ " ถือและกล่าวว่าซึ่งหมายความว่าในที่สุดความแปรปรวนเชิงจะเป็น $0$ $-\mathbb E[H_0] = \mathbb E[S_0S_0^T]$

\begin{matrix} (3) & Avar [\sqrt{n} (\hat{θ} - θ)] = - (E [H_{0}])^{- 1} \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = -(\mathbb E[H_0])^{-1} \tag{3}$

ซึ่งเป็นสิ่งที่ตรงกันข้ามกับข้อมูลฟิชเชอร์

แต่ถ้าเรามีการสะกดผิดการแสดงออกไม่นำไปสู่การแสดงออก (เพราะอนุพันธ์อันดับหนึ่งและสองในได้มาจากความน่าจะเป็นผิด) นี่ก็หมายความว่าความไม่เท่าเทียมกันของเมทริกซ์ข้อมูลไม่ได้อยู่ที่เราไม่ได้ลงเอยด้วยการแสดงออกและ (Q) MLE ไม่ได้มีประสิทธิภาพเชิงซีมโทติคเต็มรูปแบบ $(1)$ $(2)$ $(1)$ $(3)$

— Alecos Papadopoulos
แหล่งที่มา

Avar

$\text{Avar}$ คือความแปรปรวนแบบซีมโทติคของตัวแปรสุ่มและย่อมาจากการลู่เข้าในความน่าจะเป็นใช่มั้ย คำตอบของคุณดูเหมือนว่าน่าสนใจมาก แต่ผมไม่เข้าใจสิ่งที่อยู่ในบริบทของคุณ ฉันอ้างถึงกรณีที่ไม่มีคุณค่าที่ถูกต้องของ : ดูตัวอย่างกังหันลมของฉันที่ใดก็ตามที่ค่าของไม่มี ค่าที่ทำให้แบบจำลองนั้นถูกต้องเนื่องจากไม่มีคำว่าและเนื่องจากตัวทำนายอื่น ๆ ที่สัมพันธ์กับหายไป สิ่งที่จะหมายถึงในบริบทนี้?

plim

$\text{plim}$

θ

$\theta$

θ

$\theta$

β = (β_{0}, β_{1}, β_{2})

$\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$

β_{3}

$\beta_3$

V

$V$

θ

$\theta$

— DeltaIV

ขออภัยความคิดเห็นฉบับแรกของฉันไม่สามารถเข้าใจได้: ตอนนี้ประเด็นของฉันควรชัดเจน กล่าวอีกนัยหนึ่งถ้าไม่มี "ของจริง"เราควร intepret เป็นในการแสดงออก ?

θ

$\theta$

θ

$\theta$

\sqrt{n} (\hat{θ} - θ)

$\sqrt n (\hat \theta - \theta)$

— DeltaIV

@DeltaIV Zero QMLE จะ "จับ" สิ่งนี้หรือไม่? มันขึ้นอยู่กับว่ามันจะสอดคล้องหรือไม่ - และอีกครั้งไม่มีคำตอบเดียวสำหรับคำถามนั้น

— Alecos Papadopoulos

ฉันเข้าใจแล้ว. ดังนั้น QMLE (หากสอดคล้องกัน) ควรมาบรรจบกับ : ฉันคิดว่ามันน่าจะรวมเข้ากับค่าพารามิเตอร์ "less false" ตามที่แนะนำโดย @kjetilbhalvorsen คุณสามารถแนะนำการอ้างอิงใด ๆ เกี่ยวกับ QMLE และสมการที่คุณเขียนได้หรือไม่? ขอบคุณ

θ = 0

$\theta=0$

— DeltaIV

@DeltaIV ฉันอยากจะแนะนำนิทรรศการใน Hayashi ch 7 เกี่ยวกับ Extremum Estimators โดยคำนึงถึงความมั่นคงของ MLE, normality ฯลฯ สำหรับ QMLE หัวข้อนั้นค่อนข้างกว้าง ตัวอย่างเช่นภายใต้ "QMLE" เราอาจมีสถานการณ์ที่เรายอมรับตั้งแต่เริ่มต้นว่าพารามิเตอร์ที่เรากำลังประเมินอาจไม่มีการเชื่อมต่อที่ชัดเจนกับ "พารามิเตอร์ที่แท้จริง" ใด ๆ (แต่การออกกำลังกายยังคงถูกต้องตามการประมาณ) และเพื่อให้ได้เวกเตอร์ "น้อยที่สุดที่ผิดพลาด" ตามที่แนะนำ

— Alecos Papadopoulos