ฉันสามารถใช้อัลกอริทึม glm เพื่อทำการถดถอยโลจิสติกพหุนาม

ฉันใช้สปอตไฟร์ (S ++) สำหรับการวิเคราะห์ทางสถิติในโครงการของฉันและฉันต้องเรียกใช้การถดถอยโลจิสติกหลายมิติสำหรับชุดข้อมูลขนาดใหญ่ ฉันรู้ว่าอัลกอริทึมที่ดีที่สุดจะเป็น mlogit แต่น่าเสียดายที่มันไม่สามารถใช้ได้ใน s ++ อย่างไรก็ตามฉันมีตัวเลือกในการใช้อัลกอริทึม glm สำหรับการถดถอยนี้ ฉันต้องการชี้แจงสองสิ่งที่นี่:

1. ความเข้าใจของฉันถูกต้องหรือไม่ที่ glm สามารถใช้ในการรัน Multinomial Logistic Regression ได้?

1. หากตอบคำถามก่อนหน้านี้คือใช่แล้วพารามิเตอร์ใดที่ควรใช้ใน glm algo

ขอบคุณ

ใช่ด้วย Poisson GLM (โมเดลเชิงเส้นสำหรับบันทึกข้อมูล) คุณสามารถติดตั้งโมเดลมัลติโนเมียลได้ ดังนั้นโลจิสติกพหุนามหรือโมเดลเชิงเส้นพูซองเชิงเส้นเท่ากัน

คุณต้องดูการนับแบบสุ่มเป็นตัวแปรแบบสุ่มของปัวซงที่มีค่าเฉลี่ยและระบุรูปแบบการบันทึกเชิงเส้นต่อไปนี้$y_{ij}$$μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

ในการรับโมเดล logit แบบมัลติโนเมียลพารามิเตอร์คือ:

พารามิเตอร์สำหรับการสังเกตหลาย ๆ ครั้งเช่นรายบุคคลหรือกลุ่ม สิ่งนี้ทำให้มั่นใจได้ว่าการทำสำเนาที่แน่นอนของตัวส่วนพหุนามและสร้างความเท่าเทียมกันของปัวซองและโมเดลพหุนาม พวกเขาได้รับการแก้ไขในความเป็นไปได้หลายครั้ง แต่สุ่มในโอกาสปัวซอง$p_i$

พารามิเตอร์สำหรับแต่ละหมวดหมู่การตอบกลับ วิธีนี้การนับอาจแตกต่างกันสำหรับแต่ละหมวดหมู่การตอบกลับและระยะขอบอาจไม่สม่ำเสมอ$c_j$

สิ่งที่คุณสนใจจริงๆในการมีปฏิสัมพันธ์แง่ที่แสดงถึงผลกระทบของในการเข้าสู่ระบบการต่อรองของการตอบสนองที่ j$x_iβ_j$$x_i$$j$

ที่อัตราต่อรองล็อกสามารถคำนวณได้โดยเพียงแค่(β_j-β_k) มันเป็นอัตราต่อรองบันทึกที่สังเกตฉันจะตกอยู่ในประเภทการตอบสนองเจเทียบกับประเภทการตอบสนองk$\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$$k$

จากนั้นพารามิเตอร์ในรูปแบบ logit พหุนาม (แสดงในตัวอักษรละติน) สามารถหาได้เป็นความแตกต่างระหว่างค่าพารามิเตอร์ในรูปแบบบันทึกการเชิงเส้นที่สอดคล้องกันคือและβ_j-β_kb j = β j - β$a_j = α_j-α_k$$b_j = β_j-β_k$

ใช่คุณสามารถทำได้และในความเป็นจริงนี่เป็นสิ่งที่แพคเกจ R GLMNET ทำขึ้นสำหรับการถดถอยโลจิสติกแบบหลายส่วน การเขียนฟังก์ชั่นบันทึกความน่าจะเป็น:

$$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$$

ที่ไหนหมายถึงการสังเกตและการคหมายถึงประเภทพหุนามn ฉันคเป็นนับสังเกตสำหรับการสังเกตฉันอยู่ในหมวดหมู่ค การสังเกตถูกกำหนดโดยชุดค่า covariate ที่เป็นเอกลักษณ์ของพวกเขา - หรือมิฉะนั้นเราสามารถอนุญาตการทำซ้ำและตั้งค่าแต่ละn i c = 1เพื่อให้เรามีข้อมูล "binary" เด็ดขาด (.... ไม่รู้ว่าพหูพจน์ของไบนารีคืออะไร .. .. ) สำหรับการถดถอยโลจิสติกความน่าจะเป็นถูกกำหนดเป็น:$i$$c$$n_{ic}$$i$$c$$n_{ic}=1$

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$$

นี่เป็นพารามิเตอร์การจัดอันดับน้อยกว่าเต็มและอาจมีประโยชน์หากคุณใช้โอกาสในการถูกลงโทษ (เช่น GLMNET) โดยหลักการแล้วเราสามารถใช้ IRLS / newton rhapson บนเมทริกซ์เบต้าเต็มรูปแบบอย่างไรก็ตามคุณจบลงด้วยเมทริกซ์น้ำหนักแบบไม่ทแยงมุม อีกวิธีหนึ่งเราสามารถเพิ่มประสิทธิภาพ "สไตล์กิ๊บส์" โดยการแก้ไข betas ทุกประเภทยกเว้นหนึ่งและจากนั้นเพิ่มประสิทธิภาพเพียงประเภทนั้น จากนั้นดำเนินการในหมวดหมู่ถัดไปและอื่น ๆ คุณจะเห็นว่าเนื่องจากความน่าจะเป็นมีแบบฟอร์ม$(\beta_1,\dots,\beta_{C})$

พีฉันค'=

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$$ $$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$$

ว่าการขยายกำลังสองเกี่ยวกับจะมีรูปแบบเดียวกับการถดถอยโลจิสติก แต่ด้วยน้ำหนัก IRLS คำนวณต่างกัน - แม้ว่าเรายังคงมีW i i , c = n ฉันc p ฉันc ( 1 - p i c )ใน ปกติ( X T W X ) -อัปเดตเบต้า1 X T W $\beta_c$$W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$$(X^TWX)^{-1}X^TWY$