การถดถอยโลจิสติกสำหรับมัลติคลาส

ฉันได้แบบจำลองสำหรับการถดถอยโลจิสติกสำหรับมัลติคลาสที่กำหนดโดย

$$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$$

โดยที่ k คือจำนวนคลาส theta คือพารามิเตอร์ที่จะประมาณ j คือคลาส jth Xi คือข้อมูลการฝึกอบรม

ดีสิ่งหนึ่งที่ฉันไม่ได้เป็นวิธีการที่ได้มาเป็นส่วนหนึ่งหาร ปกติรูปแบบ ฉันหมายความว่ามันทำให้ความน่าจะเป็นอยู่ระหว่าง 0 ถึง 1

$$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$$

ฉันหมายถึงฉันเคยชินกับการถดถอยโลจิสติก

$$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$$

ที่จริงฉันสับสนกับสิ่งที่มีการเสนอชื่อ ในกรณีนี้เนื่องจากมันเป็นฟังก์ชั่น sigmoid มันไม่ยอมให้ค่าน้อยกว่า 0 หรือมากกว่า 1 แต่ผมสับสนในหลายกรณี ทำไมถึงเป็นเช่นนั้น?

นี่คือการอ้างอิงของฉันhttps://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html ฉันคิดว่ามันควรจะเป็น normalizing

$$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$$

Your formula is wrong (the upper limit of the sum). In logistic regression with $K$ classes ($K> 2$) you basically create $K-1$ binary logistic regression models where you choose one class as reference or pivot. Usually, the last class $K$ is selected as the reference. Thus, the probability of the reference class can be calculated by รูปแบบทั่วไปของความน่าจะเป็นคือ P ( y i = k | x i ) = exp ( θ T i x i

$$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$$ เนื่องจากคลาสK-th เป็นข้อมูลอ้างอิงของคุณθK=(0,…,0)Tและดังนั้นK ∑ i=1exp(θ T i xi)=exp(0)+ K - 1 ∑ i=1exp $$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$$ $K$$\theta_K = (0, \ldots, 0)^T$ในท้ายที่สุดคุณจะได้รับสูตรต่อไปนี้สำหรับ k < K : P ( y i = k | x i ) = exp ( θ T i x i $$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$$ $k < K$ $$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$$

$k$$k-1$$\exp(0)$$k$$\theta=0$

$\theta_1 X=b$

$$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$$