การถดถอยโลจิสติกส์ถูกแก้ไขเมื่อใดในรูปแบบปิด?

รับและและสมมติว่าเราจำลองงานของการทำนาย y ที่ได้รับ x โดยใช้การถดถอยโลจิสติก เมื่อใดที่สามารถเขียนสัมประสิทธิ์การถดถอยโลจิสติกในรูปแบบปิด? y ∈ { 0 , 1 $x \in \{0,1\}^d$$y \in \{0,1\}$

ตัวอย่างหนึ่งคือเมื่อเราใช้แบบจำลองที่อิ่มตัว

นั่นคือกำหนดโดยที่ดัชนีของตั้งอยู่ในชุดพลังงานของและส่งคืน 1 ถ้า ตัวแปรทั้งหมดในชุดคือ 1 และ 0 เป็นอย่างอื่น จากนั้นคุณสามารถแสดงแต่ละในรูปแบบการถดถอยโลจิสติกนี้เป็นลอการิทึมของฟังก์ชันเหตุผลของสถิติของข้อมูลฉัน{ x 1 , ... , x d } ฉฉันฉันW $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$$i$$\{x_1,\ldots,x_d\}$$f_i$$i$$w_i$

มีตัวอย่างที่น่าสนใจอื่น ๆ อีกไหมเมื่อมีแบบฟอร์มปิดอยู่?

-2 Σผม (Yฉัน-x ' ฉัน β)xฉัน=0พีพี

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$$p$$p$ราชวงศ์ ที่สำคัญที่สุดก็คือระบบเชิงเส้นเพื่อให้คุณสามารถหาทางแก้ปัญหาโดยใช้มาตรฐานทฤษฎีพีชคณิตเชิงเส้นและการปฏิบัติ ระบบนี้จะมีทางออกที่น่าจะเป็น 1 ยกเว้นว่าคุณมีตัวแปร collinear อย่างสมบูรณ์

ตอนนี้ด้วยการถดถอยโลจิสติกสิ่งที่ไม่ง่ายอีกต่อไป จดบันทึกฟังก์ชันความน่าจะเป็น และหาอนุพันธ์เพื่อค้นหา MLE เราได้รับ พารามิเตอร์ใส่สิ่งนี้ในรูปแบบที่ไม่เชิงเส้น: สำหรับแต่ละคนมีฟังก์ชั่นไม่เชิงเส้นและพวกมันถูกรวมเข้าด้วยกัน ไม่มีวิธีการวิเคราะห์ (ยกเว้นอาจอยู่ในสถานการณ์ที่ไม่สำคัญกับการสังเกตสองครั้งหรืออะไรทำนองนั้น) และคุณต้องใช้∂

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$วิธีการเพิ่มประสิทธิภาพการไม่เชิงเส้นเพื่อหาประมาณการ\$\hat\beta$

เมื่อมองลึกลงไปในปัญหา (การหาอนุพันธ์อันดับสอง) พบว่านี่เป็นปัญหาการหาค่าเหมาะที่สุดของการหาค่าสูงสุดของฟังก์ชันเว้า (พาราโบลาหลายตัวแปรที่ได้รับการยกย่อง) ดังนั้นจึงมีอยู่จริงและอัลกอริธึมที่เหมาะสม อย่างรวดเร็วหรือสิ่งต่าง ๆ ระเบิดออกไปไม่มีที่สิ้นสุด หลังเกิดขึ้นกับการถดถอยโลจิสติกเมื่อสำหรับบางนั่นคือคุณมีการทำนายที่สมบูรณ์แบบ นี่เป็นสิ่งประดิษฐ์ที่ไม่พึงประสงค์: คุณจะคิดว่าเมื่อคุณมีการทำนายที่สมบูรณ์แบบตัวแบบจะทำงานได้อย่างสมบูรณ์ แต่อยากรู้อยากเห็นมากพอ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$

เดิมโพสต์นี้มีจุดประสงค์เพื่อแสดงความคิดเห็นเป็นระยะเวลานานกว่าจะตอบคำถามทั้งหมดได้

จากคำถามมันไม่ชัดเจนหากความสนใจอยู่เฉพาะในกรณีไบนารีหรือบางทีในกรณีทั่วไปมากขึ้นซึ่งพวกเขาอาจจะต่อเนื่องหรือรับค่าแยกอื่น ๆ

ตัวอย่างหนึ่งที่ไม่ค่อยตอบคำถาม แต่เกี่ยวข้องและฉันชอบเกี่ยวข้องกับการจัดอันดับความพึงพอใจของรายการที่ได้จากการเปรียบเทียบแบบคู่ รุ่นแบรดลีย์เทอร์รี่สามารถแสดงเป็นถดถอยโลจิสติกที่ และเป็น "ความสัมพันธ์", "ความนิยม" หรือ " พารามิเตอร์ strength ของไอเท็มมีระบุไอเท็มมากกว่าไอเท็ม

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ $\alpha_i$$i$$Y_{ij} = 1$$i$$j$

$(i,j)$$\hat{\alpha}_i$$S_i = \sum_{j \neq i} Y_{ij}$

หากต้องการตีความสิ่งนี้ลองนึกภาพการแข่งขันแบบเต็มรอบในกีฬาที่คุณชื่นชอบ จากนั้นผลลัพธ์นี้บอกว่าโมเดลของแบรดลีย์ - เทอร์รี่จัดอันดับผู้เล่น / ทีมตามเปอร์เซ็นต์ที่ชนะ ไม่ว่าจะเป็นผลลัพธ์ที่ให้กำลังใจหรือน่าผิดหวังขึ้นอยู่กับมุมมองของคุณฉันคิดว่า

หมายเหตุผลการจัดอันดับนี้ไม่ได้ถือโดยทั่วไปเมื่อไม่ได้เล่นรอบโรบินเต็ม