องศาอิสระในการทดสอบ Hosmer-Lemeshow

สถิติการทดสอบสำหรับการทดสอบHosmer-Lemeshow (HLT) สำหรับความดีของพอดี (GOF) ของแบบจำลองการถดถอยโลจิสติกถูกกำหนดดังนี้:

ตัวอย่างจะถูกแบ่งออกเป็น deciles, D_1, D_2, \ dots, D_ {d} , ต่อหนึ่ง decile คำนวณปริมาณต่อไปนี้:$d=10$$D_1, D_2, \dots , D_{d}$

• $O_{1d}=\displaystyle \sum_{i \in D_d} y_i$ , คือจำนวนที่สังเกตได้ของจำนวนคดีที่เป็นบวกใน decile $D_d$ ;
• $O_{0d}=\displaystyle \sum_{i \in D_d} (1-y_i)$คือจำนวนที่สังเกตได้จากจำนวนลบในช่วง$D_d$ ;
• $E_{1d}=\displaystyle \sum_{i \in D_d} \hat{\pi}_i$คือจำนวนคดีโดยประมาณที่เป็นบวกในช่วง$D_d$ ;
• $E_{0d}= \displaystyle \sum_{i \in D_d} (1-\hat{\pi}_i)$คือจำนวนผู้ติดลบโดยประมาณในช่วง$D_d$ ;

โดยที่$y_i$คือผลลัพธ์ไบนารีที่สังเกตได้สำหรับการสังเกต$i$ -th และ$\hat{\pi}_i$ความน่าจะเป็นโดยประมาณสำหรับการสังเกตนั้น

จากนั้นสถิติทดสอบจะถูกกำหนดเป็น:

$X^2 = \displaystyle \sum_{h=0}^{1} \sum_{g=1}^d \left( \frac{(O_{hg}-E_{hg})^2}{E_{hg}} \right)= \sum_{g=1}^d \left( \frac{ O_{1g} - n_g \hat{\pi}_g}{\sqrt{n_g (1-\hat{\pi}_g) \hat{\pi}_g}} \right)^2,$

โดยที่$\hat{\pi}_g$คือความน่าจะเป็นโดยเฉลี่ยในช่วงทศวรรษ$g$และให้$n_g$เป็นจำนวน บริษัท ในช่วงทศวรรษ

ตามฮอสเมอร์-Lemeshow (ดูลิงค์นี้ ) สถิตินี้มี (ภายใต้สมมติฐานบางบริการ) $\chi^2$กระจายกับ$(d-2)$องศาอิสระ

ในทางตรงกันข้ามถ้าฉันจะกำหนดตารางฉุกเฉินด้วยแถว$d$ (ตรงกับ deciles) และ 2 คอลัมน์ (ตรงกับผลลัพธ์ไบนารีจริง / เท็จ) จากนั้นสถิติการทดสอบสำหรับการทดสอบ$\chi^2$สำหรับตารางฉุกเฉินนี้ เช่นเดียวกับจะ$X^2$ที่กำหนดไว้ข้างต้น แต่ในกรณีของตารางฉุกเฉินที่สถิติการทดสอบนี้เป็น$\chi^2$กับ$(d-1)(2-1)=d-1$องศาอิสระ ดังนั้นเสรีภาพอีกระดับหนึ่ง !

เราจะอธิบายความแตกต่างนี้ในจำนวนองศาอิสระได้อย่างไร

แก้ไข: เพิ่มเติมหลังจากอ่านความคิดเห็น:

@whuber

พวกเขาพูดว่า (ดูHosmer DW, Lemeshow S. (1980), การทดสอบความเหมาะสมของแบบจำลองการถดถอยโลจิสติกหลายแบบการสื่อสารในสถิติ A10, 1043-1069 ) มีทฤษฎีที่แสดงให้เห็นโดย Moore และ Spruill มันเป็นไปตามนั้นหาก (1) พารามิเตอร์ถูกประเมินโดยใช้ฟังก์ชันความน่าจะเป็นสำหรับข้อมูลที่ไม่ได้จัดกลุ่มและ (2) ความถี่ในตาราง 2xg ขึ้นอยู่กับพารามิเตอร์โดยประมาณนั่นคือเซลล์จะสุ่มไม่คงที่ภายใต้เงื่อนไขปกติที่เหมาะสม ความดีของสถิติพอดีภายใต้ (1) และ (2) เป็นของศูนย์กลางไค - สแควร์ที่มีการลดลงขององศาอิสระตามปกติเนื่องจากพารามิเตอร์ที่ประมาณรวมกับตัวแปรไคสแควร์ถ่วงน้ำหนักรวม

จากนั้นถ้าฉันเข้าใจบทความของพวกเขาดีพวกเขาพยายามหาคำว่า 'การแก้ไข' ที่ว่าถ้าฉันเข้าใจได้ดีนี่คือผลรวมถ่วงน้ำหนักของตัวแปรสุ่มไคสแควร์และพวกเขาทำได้โดยการจำลอง แต่ฉัน ต้องยอมรับว่าฉันไม่เข้าใจสิ่งที่พวกเขาพูดที่นั่นดังนั้นคำถามของฉัน; เหตุใดเซลล์เหล่านี้จึงสุ่มมามีผลต่อองศาอิสระอย่างไร มันจะแตกต่างกันหรือไม่ถ้าฉันแก้ไขเส้นขอบของเซลล์และจากนั้นฉันจัดประเภทการสังเกตในเซลล์คงที่ตามคะแนนโดยประมาณในกรณีนั้นเซลล์จะไม่สุ่มแม้ว่า 'เนื้อหา' ของเซลล์จะเป็นอย่างไร

@ Frank Harell: เป็นไปไม่ได้หรือที่ 'ข้อบกพร่อง' ของการทดสอบ Hosmer-Lemeshow ที่คุณพูดถึงในความคิดเห็นของคุณด้านล่างนี้เป็นเพียงผลของการประมาณน้ำหนักรวมของไคสแควร์ ?

Hosmer DW, Lemeshow S. (1980), การทดสอบความดีพอดีสำหรับแบบจำลองการถดถอยโลจิสติกหลายแบบ การสื่อสารในสถิติ, A10, 1043-1069 แสดงให้เห็นว่า:

ถ้าแบบจำลองนั้นเป็นแบบจำลองการถดถอยโลจิสติกและพารามิเตอร์ถูกประเมินโดยความน่าจะเป็นสูงสุดและกลุ่มGถูกกำหนดในความน่าจะเป็นโดยประมาณจากนั้นจะถือว่าX 2นั้นเป็น asymptotically χ 2 ( G - p - 1 ) + ∑ p + 1 i = 1 λ i χ 2 i ( 1 ) (Hosmer, Lemeshow, 1980, p.1052, ทฤษฎีบท 2)$p$$G$$X^2$$\chi^2(G-p-1)+\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

(หมายเหตุ: เงื่อนไขที่จำเป็นไม่ได้ระบุไว้อย่างชัดเจนในทฤษฎีบท 2 ในหน้า 1052 แต่ถ้ามีคนอ่านกระดาษและหลักฐานอย่างตั้งใจแล้วปรากฏขึ้นเหล่านี้)

เทอมที่สองผลมาจากความจริงที่ว่าการจัดกลุ่มจะขึ้นอยู่กับการประเมิน - คือการสุ่ม - ปริมาณ (Hosmer, Lemeshow, 1980, p.1051)$\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

โดยใช้แบบจำลองพวกเขาแสดงให้เห็นว่าในระยะที่สองสามารถ (ในกรณีที่ใช้ในการจำลอง) ประมาณโดย (Hosmer, Lemeshow, 1980, p.1060)$\chi^2(p-1)$

รวมทั้งสองข้อเท็จจริงผลลัพธ์ในผลรวมของทั้งสองตัวแปรหนึ่งที่มีG - พี- 1องศาอิสระและเป็นครั้งที่สองเป็นหนึ่งเดียวกับพี- 1 องศาอิสระหรือX 2 ~ χ 2 ( G - พี- 1 + P - 1 = G - 2 $\chi^2$$G-p-1$$p-1$$X^2 \sim \chi^2(G-p-1+p-1=G-2)$

ดังนั้นคำตอบของคำถามจึงอยู่ที่การ 'ถ่วงน้ำหนักไคสแควร์' หรือในความจริงที่ว่ากลุ่มถูกกำหนดโดยใช้ความน่าจะเป็นโดยประมาณซึ่งเป็นตัวแปรสุ่ม

ดูที่Hosmer Lemeshow (1980) Paper - Theorem 2

ทฤษฎีที่คุณอ้างถึง (ส่วนการลดลงตามปกติ "การลดองศาอิสระตามปกติเนื่องจากพารามิเตอร์โดยประมาณ") ได้รับการสนับสนุนโดย RA Fisher เป็นส่วนใหญ่ ใน 'การตีความของ Chi Square จากตารางฉุกเฉินและการคำนวณของ P' (1922) เขาแย้งที่จะใช้กฎและใน 'ความดีของแบบฟอร์มการถดถอย' ( 2465) เขาระบุว่าจะลดองศาอิสระด้วยจำนวนพารามิเตอร์ที่ใช้ในการถดถอยเพื่อให้ได้ค่าที่คาดหวังจากข้อมูล (เป็นที่น่าสนใจที่จะทราบว่าคนใช้การทดสอบไคสแควร์ในทางที่ผิดกับองศาอิสระที่ไม่ถูกต้องมานานกว่ายี่สิบปีนับตั้งแต่เปิดตัวในปี 1900)$(R-1) * (C-1)$

กรณีของคุณเป็นประเภทที่สอง (การถดถอย) และไม่ใช่ประเภทเดิม (ตารางความเป็นไปได้) แม้ว่าทั้งสองจะเกี่ยวข้องกันว่าเป็นข้อ จำกัด เชิงเส้นของพารามิเตอร์

เนื่องจากคุณจำลองค่าที่คาดไว้ตามค่าที่สังเกตได้ของคุณและคุณทำสิ่งนี้กับแบบจำลองที่มีพารามิเตอร์สองตัวการลดลงขององศาปกติตามปกติคือสองบวกหนึ่ง (เพิ่มอีกหนึ่งเนื่องจาก O_i ต้องรวมถึง ผลรวมซึ่งเป็นข้อ จำกัด เชิงเส้นอีกเส้นหนึ่งและคุณจะจบลงอย่างมีประสิทธิภาพด้วยการลดลงสองแทนที่จะเป็นสามเพราะ 'ประสิทธิภาพในการใช้งาน' ของค่าที่คาดหวังจากแบบจำลอง)

การทดสอบไคสแควร์ใช้เป็นเครื่องวัดระยะทางเพื่อแสดงว่าผลลัพธ์ใกล้เคียงกับข้อมูลที่คาดหวังมากเพียงใด ในหลาย ๆ เวอร์ชั่นของการทดสอบไคสแควร์การกระจายตัวของ 'ระยะทาง' นี้เกี่ยวข้องกับผลรวมของการเบี่ยงเบนในตัวแปรกระจายแบบปกติ (ซึ่งเป็นจริงในขีด จำกัด เท่านั้นและเป็นการประมาณถ้าคุณจัดการกับข้อมูลที่ไม่ปกติ .$\chi^2$

สำหรับการแจกแจงปกติหลายตัวแปรฟังก์ชันความหนาแน่นจะสัมพันธ์กับโดย$\chi^2$

$f(x_1,...,x_k) = \frac{e^{- \frac{1}{2}\chi^2} }{\sqrt{(2\pi)^k \vert \mathbf{\Sigma}\vert}}$

ด้วยดีเทอร์มีแนนต์ของเมทริกซ์ความแปรปรวนร่วมของ$\vert \mathbf{\Sigma}\vert$$\mathbf{x}$

และคือระยะทาง Mahalanobis ซึ่งจะช่วยลดระยะทางในการ Euclidian ถ้าΣ =ฉัน$\chi^2 = (\mathbf{x}-\mathbf{\mu})^T \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu})$$\mathbf{\Sigma}=\mathbf{I}$

ในบทความของเขา 1900 เพียร์สันที่ถกเถียงกันอยู่ว่า -levels มี spheroids และบอกว่าเขาสามารถเปลี่ยนพิกัดทรงกลมเพื่อรวมค่าเช่นP ( χ 2 > ) ซึ่งกลายเป็นส่วนประกอบสำคัญเดียว$\chi^2$$P(\chi^2 > a)$

มันคือการแสดงเชิงเรขาคณิต, เป็นระยะทางและเป็นฟังก์ชันความหนาแน่นที่สามารถช่วยให้เข้าใจการลดลงขององศาอิสระเมื่อมีข้อ จำกัด เชิงเส้น$\chi^2$

กรณีแรกของตาราง 2x2 ฉุกเฉินที่ คุณควรสังเกตว่าทั้งสี่ค่าไม่ใช่ตัวแปรกระจายแบบอิสระอิสระสี่ตัว พวกเขาจะเกี่ยวข้องกันแทนและต้มลงไปเป็นตัวแปรเดียว$\frac{O_i-E_i}{E_i}$

ให้ใช้ตาราง

$O_{ij} = \begin{array}{cc} o_{11} & o_{12} \\ o_{21} & o_{22} \end{array}$

ถ้าค่าคาดหวัง

$E_{ij} = \begin{array}{cc} e_{11} & e_{12} \\ e_{21} & e_{22} \end{array}$

ที่ได้รับการแก้ไขแล้วจะถูกกระจายเป็นการกระจายแบบไคสแควร์ที่มีอิสระสี่องศา แต่บ่อยครั้งที่เราประมาณค่าeijตามoijและการแปรผันนั้นไม่เหมือนกับตัวแปรอิสระสี่ตัว เรากลับได้รับความแตกต่างทั้งหมดระหว่างoและeเหมือนกัน$\sum \frac{o_{ij}-e_{ij}}{e_{ij}}$$e_{ij}$$o_{ij}$$o$$e$

$\begin{array}\\&(o_{11}-e_{11}) &=\\ &(o_{22}-e_{22}) &=\\ -&(o_{21}-e_{21}) &=\\ -&(o_{12}-e_{12}) &= o_{11} - \frac{(o_{11}+o_{12})(o_{11}+o_{21})}{(o_{11}+o_{12}+o_{21}+o_{22})} \end{array}$

และพวกเขาเป็นตัวแปรเดียวอย่างมีประสิทธิภาพมากกว่าสี่ ทางเรขาคณิตคุณสามารถเห็นสิ่งนี้เป็นค่าไม่รวมอยู่ในทรงกลมสี่มิติ แต่ในบรรทัดเดียว$\chi^2$

โปรดทราบว่าการทดสอบตารางฉุกเฉินนี้ไม่ใช่กรณีของตารางฉุกเฉินในการทดสอบ Hosmer-Lemeshow (ใช้การทดสอบสมมติฐานที่แตกต่างกัน!) ดูเพิ่มเติมในส่วน 2.1 'กรณีเมื่อและβ _เป็นที่รู้จักกันในบทความของฮอสเมอร์และ Lemshow ในกรณีของพวกเขาคุณจะได้รับอิสรภาพ 2g-1 องศาและไม่ใช่ g-1 องศาอิสระตามกฎ (R-1) (C-1) กฎ (R-1) (C-1) นี้เป็นกรณีเฉพาะสำหรับสมมติฐานว่างว่าตัวแปรแถวและคอลัมน์เป็นอิสระ (ซึ่งสร้างข้อ จำกัด R + C-1 ในo i - e $\beta_0$$\underline\beta$$o_i-e_i$ค่า) การทดสอบ Hosmer-Lemeshow เกี่ยวข้องกับสมมติฐานที่ว่าเซลล์ถูกเติมเต็มตามความน่าจะเป็นของแบบจำลองการถดถอยโลจิสติกตามพารามิเตอร์ในกรณีของสมมติฐานการกระจายแบบ A และp + 1ในกรณีของสมมติฐานการกระจายข$four$$p+1$

สองกรณีของการถดถอย การถดถอยทำบางสิ่งที่คล้ายกับความแตกต่างของเป็นตารางฉุกเฉินและลดมิติของความแปรปรวน มีการแสดงทางเรขาคณิตที่ดีสำหรับการนี้เป็นค่าเป็นY ฉันสามารถแสดงเป็นผลรวมของระยะรุ่นβ x ฉันและที่เหลือ (ไม่ผิด) แง่εฉัน เทอมโมเดลและเทอมที่เหลือแต่ละอันแทนมิติของพื้นที่ซึ่งตั้งฉากซึ่งกันและกัน นั่นหมายถึงข้อกำหนดที่เหลือϵ $o-e$$y_i$$\beta x_i$$\epsilon_i$$\epsilon_i$ไม่สามารถรับค่าใด ๆ ที่เป็นไปได้! กล่าวคือพวกเขาลดลงโดยส่วนที่โครงการในรูปแบบและโดยเฉพาะอย่างยิ่ง 1 มิติสำหรับแต่ละพารามิเตอร์ในรูปแบบ

บางทีภาพต่อไปนี้อาจช่วยได้บ้าง

ด้านล่างนี้คือ 400 ครั้งสาม (uncorrelated) ตัวแปรจากการแจกแจงทวินาม ) พวกเขาเกี่ยวข้องกับตัวแปรกระจายปกติN ( μ = n * P , σ 2 = n * P * ( 1 - P ) ) ในภาพเดียวกันเราวาดพื้นผิว iso สำหรับχ 2 = $B(n=60,p={1/6,2/6,3/6})$$N(\mu=n*p,\sigma^2=n*p*(1-p))$$\chi^2={1,2,6}$$\chi$$\int_0^a e^{-\frac{1}{2} \chi^2 }\chi^{d-1} d\chi$$\chi^{d-1}$$\chi$

ภาพด้านล่างนี้สามารถใช้เพื่อรับแนวคิดเกี่ยวกับการลดขนาดในส่วนที่เหลือ มันอธิบายวิธีการปรับกำลังสองน้อยที่สุดในรูปทรงเรขาคณิต

ในสีน้ำเงินคุณมีการวัด ในสีแดงคุณมีสิ่งที่แบบจำลองช่วยให้ การวัดมักจะไม่เท่ากันกับตัวแบบและมีความเบี่ยงเบนบ้าง คุณสามารถพิจารณาสิ่งนี้ได้ในเชิงเรขาคณิตเป็นระยะทางจากจุดที่วัดไปยังพื้นผิวสีแดง

$mu_1$ and $mu_2$ have values $(1,1,1)$ and $(0,1,2)$ and could be related to some linear model as x = a + b * z + error or

$\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix} = a \begin{bmatrix}1\\1\\1\end{bmatrix} + b \begin{bmatrix}0\\1\\2\end{bmatrix} + \begin{bmatrix}\epsilon_1\\\epsilon_2\\\epsilon_3\end{bmatrix}$

so the span of those two vectors $(1,1,1)$ and $(0,1,2)$ (the red plane) are the values for $x$ that are possible in the regression model and $\epsilon$ is a vector that is the difference between the observed value and the regression/modeled value. In the least squares method this vector is perpendicular (least distance is least sum of squares) to the red surface (and the modeled value is the projection of the observed value onto the red surface).

So this difference between observed and (modelled) expected is a sum of vectors that are perpendicular to the model vector (and this space has dimension of the total space minus the number of model vectors).

In our simple example case. The total dimension is 3. The model has 2 dimensions. And the error has a dimension 1 (so no matter which of those blue points you take, the green arrows show a single example, the error terms have always the same ratio, follow a single vector).

I hope this explanation helps. It is in no way a rigorous proof and there are some special algebraic tricks that need to be solved in these geometric representations. But anyway I like these two geometrical representations. The one for the trick of Pearson to integrate the $\chi^2$ by using the spherical coordinates, and the other for viewing the sum of least squares method as a projection onto a plane (or larger span).

I am always amazed how we end up with $\frac{o-e}{e}$, this is in my point of view not trivial since the normal approximation of a binomial is not a devision by $e$ but by $np(1-p)$ and in the case of contingency tables you can work it out easily but in the case of the regression or other linear restrictions it does not work out so easily while the literature is often very easy in arguing that 'it works out the same for other linear restrictions'. (An interesting example of the problem. If you performe the following test multiple times 'throw 2 times 10 times a coin and only register the cases in which the sum is 10' then you do not get the typical chi-square distribution for this "simple" linear restriction)