สัญลักษณ์เมทริกซ์สำหรับการถดถอยโลจิสติก

ในการถดถอยเชิงเส้น (การสูญเสียกำลังสอง) การใช้เมทริกซ์เรามีสัญกรณ์ที่รัดกุมมากสำหรับวัตถุประสงค์

$$\text{minimize}~~ \|Ax-b\|^2$$

โดยที่$A$คือเมทริกซ์ข้อมูล$x$คือสัมประสิทธิ์และ$b$คือการตอบสนอง

มีสัญกรณ์เมทริกซ์ที่คล้ายกันสำหรับวัตถุประสงค์การถดถอยโลจิสติก? สัญลักษณ์ทั้งหมดที่ฉันเห็นไม่สามารถกำจัดผลรวมเหนือจุดข้อมูลทั้งหมดได้ (เช่น$\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$ )

---

แก้ไข: ขอบคุณสำหรับ joceratops และคำตอบที่ยอดเยี่ยมของ AdamO คำตอบของพวกเขาช่วยให้ผมตระหนักดีว่าเหตุผลถดถอยเชิงเส้นอื่นมีสัญกรณ์รัดกุมมากขึ้นเป็นเพราะความหมายของบรรทัดฐานซึ่งแค็ปซูตารางและผลรวมหรือบนอี แต่ในการสูญเสียโลจิสติกไม่มีคำจำกัดความดังกล่าวซึ่งทำให้สัญกรณ์ซับซ้อนขึ้นเล็กน้อย$e^\top e$

ในการถดถอยเชิงเส้นโซลูชันการประมาณค่าความน่าจะเป็นสูงสุด (MLE) สำหรับการประมาณค่า$x$มีวิธีแก้ปัญหาแบบปิดดังต่อไปนี้ (สมมติว่า A เป็นเมทริกซ์ที่มีอันดับคอลัมน์เต็ม):

$$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$$

นี่คืออ่านว่า "ค้นหา$x$ที่ย่อขนาดฟังก์ชันวัตถุประสงค์$\|Ax-b\|_2^2$ " สิ่งที่ดีเกี่ยวกับการเป็นตัวแทนของการถดถอยเชิงเส้นฟังก์ชันวัตถุประสงค์ในลักษณะนี้คือการที่เราสามารถเก็บทุกอย่างในสัญกรณ์เมทริกซ์และแก้ปัญหาสำหรับx linด้วยมือ ตามที่ Alex R. กล่าวถึงในทางปฏิบัติเรามักจะไม่พิจารณา( A T A ) - 1โดยตรงเนื่องจากไม่มีประสิทธิภาพในการคำนวณและAมักจะไม่ตรงตามเกณฑ์อันดับเต็ม แต่เรากลับไปที่pseudoinverse Moore-Penrose$\hat{x}_\text{lin}$$(A^TA)^{-1}$$A$. รายละเอียดของการแก้การคำนวณสำหรับหลอก - ผกผันสามารถเกี่ยวข้องกับการสลายตัว Cholesky หรือการสลายตัวมูลค่าเอกพจน์

อีกวิธีหนึ่งโซลูชัน MLE สำหรับประมาณค่าสัมประสิทธิ์ในการถดถอยโลจิสติกคือ:

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$$

โดยที่ (สมมติว่าแต่ละตัวอย่างของข้อมูลถูกเก็บไว้ในแถวฉลาด):

$x$คือเวกเตอร์แทนค่าสัมประสิทธิ์การถดถอย

$a^{(i)}$เป็นเวกเตอร์หมายถึง$i^{th}$ตัวอย่าง / แถวใน Data Matrix$A$

$y^{(i)}$เป็นสเกลาใน$\{0, 1\}$และ$i^{th}$ฉลากที่สอดคล้องกับ$i^{th}$ตัวอย่าง

$N$คือจำนวนของตัวอย่างข้อมูล / จำนวนแถวในข้อมูลเมทริกซ์$A$

อีกครั้งนี้จะถูกอ่านเป็น "ค้นหา$x$ที่ย่อขนาดฟังก์ชันวัตถุประสงค์"

หากคุณต้องการคุณอาจจะใช้ขั้นตอนต่อไปและเป็นตัวแทนxบันทึกในสัญกรณ์เมทริกซ์ดังต่อไปนี้:$\hat{x}_\text{log}$

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$$

แต่คุณจะไม่ได้อะไรจากการทำเช่นนี้ การถดถอยแบบลอจิสติกไม่มีโซลูชันแบบปิดและไม่ได้รับประโยชน์เช่นเดียวกับการถดถอยเชิงเส้นโดยแสดงในรูปของเมทริกซ์ เพื่อแก้ปัญหาสำหรับxบันทึกเทคนิคการประมาณการเช่นโคตรลาดและวิธีการ Newton-Raphson ถูกนำมาใช้ ผ่านการใช้บางส่วนของเทคนิคเหล่านี้ (เช่น Newton-Raphson) xบันทึกอยู่ในห้วงและเป็นตัวแทนในสัญกรณ์เมทริกซ์ ( จะเห็นลิงค์ให้โดยอเล็กซ์อาร์ )$\hat{x}_\text{log}$$\hat{x}_\text{log}$

@joceratops คำตอบมุ่งเน้นไปที่ปัญหาการเพิ่มประสิทธิภาพของโอกาสสูงสุดสำหรับการประเมิน นี่เป็นวิธีการที่ยืดหยุ่นซึ่งสามารถแก้ไขปัญหาได้หลายประเภท สำหรับการประเมินแบบจำลองส่วนใหญ่รวมถึงแบบจำลองการถดถอยเชิงเส้นและแบบลอจิสติกมีวิธีการทั่วไปอีกวิธีหนึ่งซึ่งยึดตามวิธีการประมาณช่วงเวลา

ตัวประมาณถดถอยเชิงเส้นยังสามารถกำหนดเป็นรากของสมการการประมาณได้:

$$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$$

$\beta$

$$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$$

Where $Y_i$ has expected value $g(\mathbf{X}_i \beta)$. In GLM estimation, $g$ is said to be the inverse of a link function. In normal likelihood equations, $g^{-1}$ is the identity function, and in logistic regression $g^{-1}$ is the logit function. A more general approach would be to require $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$ which allows for model misspecification.

Additionally, it is interesting to note that for regular exponential families, $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ which is called a mean-variance relationship. Indeed for logistic regression, the mean variance relationship is such that the mean $p = g(\mathbf{X}\beta)$ is related to the variance by $\mbox{var}(Y_i) = p_i(1-p_i)$. This suggests an interpretation of a model misspecified GLM as being one which gives a 0 average Pearson residual. This further suggests a generalization to allow non-proportional functional mean derivatives and mean-variance relationships.

A generalized estimating equation approach would specify linear models in the following way:

$$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$$

With $\mathbf{V}$ a matrix of variances based on the fitted value (mean) given by $g(\mathbf{X}\beta)$. This approach to estimation allows one to pick a link function and mean variance relationship as with GLMs.

In logistic regression $g$ would be the inverse logit, and $V_{ii}$ would be given by $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$. The solutions to this estimating equation, obtained by Newton-Raphson, will yield the $\beta$ obtained from logistic regression. However a somewhat broader class of models is estimable under a similar framework. For instance, the link function can be taken to be the log of the linear predictor so that the regression coefficients are relative risks and not odds ratios. Which--given the well documented pitfalls of interpreting ORs as RRs--behooves me to ask why anyone fits logistic regression models at all anymore.