วิธีการคำนวณข้อผิดพลาดมาตรฐานของสัมประสิทธิ์การถดถอยโลจิสติก

ฉันใช้ Scikit เรียนรู้ของ Python ในการฝึกอบรมและทดสอบการถดถอยโลจิสติก

scikit-Learn จะส่งกลับค่าสัมประสิทธิ์การถดถอยของตัวแปรอิสระ แต่ไม่ได้ให้ข้อผิดพลาดมาตรฐานของสัมประสิทธิ์ ฉันต้องการข้อผิดพลาดมาตรฐานเหล่านี้เพื่อคำนวณสถิติ Wald สำหรับค่าสัมประสิทธิ์แต่ละค่าและเปรียบเทียบค่าสัมประสิทธิ์เหล่านี้กับแต่ละอื่น ๆ

ฉันได้พบคำอธิบายวิธีการคำนวณข้อผิดพลาดมาตรฐานสำหรับค่าสัมประสิทธิ์ของการถดถอยโลจิสติก ( ที่นี่ ) แต่มันค่อนข้างยากที่จะติดตาม

หากคุณรู้วิธีอธิบายง่ายๆเกี่ยวกับการคำนวณข้อผิดพลาดมาตรฐานเหล่านี้และ / หรือสามารถให้ข้อผิดพลาดมาตรฐานกับฉันได้ฉันขอขอบคุณจริงๆ! ฉันไม่ได้หมายถึงรหัสเฉพาะ (แต่โปรดโพสต์รหัสใด ๆ ที่อาจเป็นประโยชน์) แต่เป็นคำอธิบายอัลกอริทึมของขั้นตอนที่เกี่ยวข้อง

ซอฟต์แวร์ของคุณให้เมทริกซ์ความแปรปรวนร่วมพารามิเตอร์ (หรือแปรปรวนร่วมแปรปรวน) กับคุณหรือไม่? ถ้าเป็นเช่นนั้นข้อผิดพลาดมาตรฐานคือรากที่สองของเส้นทแยงมุมของเมทริกซ์นั้น คุณอาจต้องการที่จะปรึกษาตำราเรียน (หรือ google สำหรับเอกสารประกอบการบรรยายมหาวิทยาลัย) สำหรับวิธีการที่จะได้รับเมทริกซ์เชิงเส้นและเส้นตรงรุ่นทั่วไป$V_\beta$

ข้อผิดพลาดมาตรฐานของสัมประสิทธิ์แบบจำลองคือรากที่สองของรายการเส้นทแยงมุมของเมทริกซ์ความแปรปรวนร่วม พิจารณาสิ่งต่อไปนี้:

• เมทริกซ์การออกแบบ:

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

(หมายเหตุ: นี่ถือว่าเป็นโมเดลที่มีจุดตัด)

• $\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

เมทริกซ์ความแปรปรวนร่วมสามารถเขียนได้เป็น:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

สิ่งนี้สามารถนำไปใช้กับรหัสต่อไปนี้:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

ทั้งหมดที่กล่าวมาstatsmodelsน่าจะเป็นแพ็คเกจที่ดีกว่าหากคุณต้องการเข้าถึงการวินิจฉัยแบบ "ทันที"

หากคุณกำลังสนใจในการทำข้อสรุปแล้วคุณอาจจะต้องการที่จะมีลักษณะที่statsmodels มีข้อผิดพลาดมาตรฐานและการทดสอบทางสถิติทั่วไป นี่คือการถดถอยโลจิสติตัวอย่างเช่น