เหตุใดการพิสูจน์ของวิลก์ในปี 1938 จึงไม่ทำงานกับแบบจำลองที่ผิดพลาด

ใน 1,938 กระดาษที่มีชื่อเสียง (" การกระจายตัวอย่างขนาดใหญ่ของอัตราส่วนความน่าจะเป็นสำหรับการทดสอบสมมติฐานประกอบ ", พงศาวดารของคณิตศาสตร์สถิติ, 9: 60-62), ซามูเอล Wilks มากระจาย asymptotic (อัตราส่วนความน่าจะเป็นบันทึก ) สำหรับสมมติฐานที่ซ้อนกันภายใต้สมมติฐานว่ามีการระบุสมมติฐานที่ใหญ่กว่าอย่างถูกต้อง การ จำกัด การแจกแจงคือχ 2 (ไค - สแควร์) ที่มีองศาอิสระh - mโดยที่hคือจำนวนพารามิเตอร์ในสมมติฐานขนาดใหญ่และ$2 \times LLR$$\chi^2$$h-m$$h$$m$คือจำนวนของพารามิเตอร์อิสระในสมมติฐานที่ซ้อนกัน อย่างไรก็ตามเป็นที่ทราบกันดีว่าผลลัพธ์นี้ไม่ได้เก็บไว้เมื่อสมมติฐานถูกสะกดผิด (กล่าวคือเมื่อสมมติฐานที่ใหญ่กว่านั้นไม่ใช่การแจกแจงที่แท้จริงสำหรับข้อมูลตัวอย่าง)

มีใครอธิบายได้บ้างไหม สำหรับฉันแล้วดูเหมือนว่าการพิสูจน์ของวิลก์สควรจะทำงานกับการดัดแปลงเล็กน้อย มันขึ้นอยู่กับมาตรฐานเชิงเส้นกำกับของการประมาณความน่าจะเป็นสูงสุด (MLE) ซึ่งยังคงมีรูปแบบที่ผิดพลาด ความแตกต่างเพียงอย่างเดียวคือเมทริกซ์ความแปรปรวนของการ จำกัด หลายตัวแปรปกติ: สำหรับรุ่นที่ระบุไว้อย่างถูกต้องเราสามารถใกล้เคียงกับเมทริกซ์ความแปรปรวนร่วมกับผกผันฟิชเชอร์ข้อมูลเมทริกซ์กับ misspecification เราสามารถใช้การประมาณการแซนวิชของเมทริกซ์ความแปรปรวนร่วม ( J - 1 K J - 1 ) ส่วนหลังจะลดค่าผกผันของเมทริกซ์ข้อมูลฟิชเชอร์เมื่อโมเดลถูกระบุอย่างถูกต้อง (ตั้งแต่J = $J^{-1}$$J^{-1} K J^{-1}$$J = K$) AFAICT หลักฐาน Wilks ไม่สนใจว่าการประมาณของเมทริกซ์ความแปรปรวนร่วมนั้นมาจากตราบใดที่เรามีเมทริกซ์ความแปรปรวนร่วมแบบไม่มีการแปรกลับของเมทริกซ์หลายตัวแปรปกติสำหรับ MLEs ( ในกระดาษ Wilks) $c^{-1}$

RV Foutz และ RC Srivastava ตรวจสอบปัญหาโดยละเอียด 1977 กระดาษของพวกเขา"ประสิทธิภาพของการทดสอบอัตราส่วนเมื่อรูปแบบไม่ถูกต้อง"มีคำสั่งของผลการกระจายในกรณีของ misspecification ควบคู่ไปกับร่างที่สั้นมากของการพิสูจน์ในขณะที่ 1978 กระดาษของพวกเขา"การกระจาย asymptotic อัตราส่วนความเป็นไปได้เมื่อ แบบจำลองไม่ถูกต้อง "มีการพิสูจน์ - แต่หลังถูกพิมพ์ในตัวเขียนแบบโบราณ (ทั้งเอกสารใช้สัญกรณ์เดียวกันแม้ว่าดังนั้นเพื่อให้คุณสามารถรวมพวกเขาในการอ่าน) นอกจากนี้สำหรับบางขั้นตอนของการพิสูจน์พวกเขาอ้างถึงกระดาษโดย KP Roy "บันทึกเกี่ยวกับการแจกแจงแบบไม่มีอาการของอัตราส่วนความน่าจะเป็น" จากปี 1957 ซึ่งไม่ปรากฏว่ามีอยู่ในบรรทัดแม้แต่ประตูรั้ว

ในกรณีที่มีการแจกแจงการสะกดผิดถ้า MLE ยังคงสอดคล้องและเป็นปกติ (ซึ่งไม่ใช่กรณี) asymptotically, LR สถิติดังนี้ asymptotically เชิงเส้นรวมกันเป็นอิสระของไคสแควร์ - asymptotically (แต่ละระดับอิสระ)

$$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$$

ที่เมตร เราสามารถเห็น "ความคล้ายคลึงกัน": แทนที่จะเป็นไคสแควร์ที่มีอิสระในระดับh - mเราจะมีไค - สแควร์h - mแต่ละอันที่มีอิสระในระดับหนึ่ง แต่ "การเปรียบเทียบ" หยุดอยู่ที่นั่นเพราะการรวมกันเชิงเส้นของไคสแควร์ไม่มีความหนาแน่นของรูปแบบปิด chi-square ที่ปรับสเกลแต่ละตัวเป็นแกมม่า แต่ด้วยพารามิเตอร์c i ที่แตกต่างกันซึ่งนำไปสู่พารามิเตอร์สเกลที่แตกต่างกันสำหรับแกมม่า - และผลรวมของ gammas ดังกล่าวไม่ได้เป็นแบบปิดแม้ว่าจะสามารถคำนวณค่าได้$r=h-m$$h-m$$h-m$$c_i$

สำหรับคงที่เรามีค1 ≥ ค2 ≥ . . c r ≥ 0 , และพวกมันคือค่าลักษณะเฉพาะของเมทริกซ์ ... เมทริกซ์ตัวไหน? การใช้สัญกรณ์ของผู้แต่งตั้งค่าΛให้เป็น Hessian ของบันทึกความน่าจะเป็นและCเป็นผลิตภัณฑ์ชั้นนอกของการไล่ระดับสีของความน่าจะเป็นบันทึก (ในแง่ที่คาดหวัง) ดังนั้นV = Λ - 1 C ( Λ ′ ) - 1คือเมทริกซ์ความแปรปรวนเชิงซ้อน - ความแปรปรวนร่วมของ MLE$c_i$$c_1 \geq c_2\geq ...c_r \geq0$$\Lambda$$C$$V = \Lambda^{-1} C (\Lambda')^{-1}$

จากนั้นตั้งค่าจะเป็นR × rบล็อกเส้นทแยงมุมบนของ$M$$r \times r$$V$.

Also write $\Lambda$ in block form

$$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$$

$W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ ($W$ is the negative of the Schur Complement of $\Lambda$).

$c_i$$MW$

$[9]$, the proof can move forward even if we assume that we have a distributional misspecification: as the OP notes, the terms of the variance covariance matrix will be different in the misspecification scenario, but all Wilks does is take derivatives, and identify asymptotically negligible terms. And so he arrives at eq. $[9]$ where we see that the likelihood ratio statistic, if the specification is correct, is just the sum of $h-m$ squared standard normal random variables, and so they are distributed as one chi-square with $h-m$ degrees of freedom: (generic notation)

$$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$$

But if we have misspecification, then the terms that are used in order to scale the centered and magnified MLE $\sqrt n(\hat \theta -\theta)$ are no longer the terms that will make the variances of each element equal to unity, and so transform each term into a standard normal r.v and the sum into a chi-square.
And they are not, because these terms involve the expected values of the second derivatives of the log-likelihood... but the expected value can only be taken with respect to the true distribution, since the MLE is a function of the data and the data follows the true distribution, while the second derivatives of the log-likelihood are calculated based on the wrong density assumption.

So under misspecification we have something like

$$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$$ and the best we can do is to manipulate it into

$$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$$

which is a sum of scaled chi-square r.v.'s, no longer distributed as one chi-square r.v. with $h-m$ degrees of freedom. The reference provided by the OP is indeed a very clear exposition of this more general case that includes Wilks' result as a special case.

Wilks' 1938 proof doesn't work because Wilks used $J^{-1}$ As the asymptotic covariance matrix in his proof. $J^{-1}$ is the inverse of the Hessian of the negative log likelihood rather than the sandwich estimator $J^{-1} K J^{-1}$. Wilks references the $ij$th element of $J$ as $c_{ij}$ in his proof. By making the assumption that $J^{-1}KJ^{-1} = J^{-1}$ Wilks (1938) is assuming that $K=J$ holds which is the Fisher Information Matrix equality. If the probability model is correctly specified then $K=J$. So one interpretation of the assumption by Wilks is that he is assuming the stronger assumption that the probability model is correctly specified.