เหตุใดจึงมีการกำหนด / การสูญเสียข้อมูลสองรายการที่แตกต่างกันในโลจิสติกส์

ฉันได้เห็นสูตรการสูญเสียโลจิสติกสองประเภท เราสามารถแสดงให้พวกเขามีความเหมือนที่แตกต่างเพียงอย่างเดียวคือความหมายของฉลากY$y$

สูตร / สัญกรณ์ 1, :$y \in \{0, +1\}$

$$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$$

โดยที่โดยที่ฟังก์ชันโลจิสติกแมปจำนวนจริงเป็น 0,1 ช่วงเวลา$p=\frac 1 {1+\exp(-\beta^Tx)}$$\beta^T x$

สูตร / สัญกรณ์ 2, :$y \in \{-1, +1\}$

$$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$$

การเลือกสัญกรณ์ก็เหมือนกับการเลือกภาษามีข้อดีข้อเสียที่จะใช้อย่างใดอย่างหนึ่ง ข้อดีและข้อเสียของเครื่องหมายทั้งสองนี้คืออะไร

---

ความพยายามของฉันที่จะตอบคำถามนี้คือดูเหมือนว่าชุมชนสถิติชอบสัญกรณ์แรกและชุมชนวิทยาศาสตร์คอมพิวเตอร์ชอบสัญกรณ์ที่สอง

• สัญกรณ์แรกสามารถอธิบายได้ด้วยคำว่า "ความน่าจะเป็น" เนื่องจากฟังก์ชันโลจิสติกจะแปลงจำนวนจริงเป็นช่วงเวลา 0,1$\beta^Tx$
• และสัญกรณ์ที่สองนั้นรัดกุมกว่าและง่ายกว่าที่จะเปรียบเทียบกับการสูญเสียบานพับหรือการสูญเสีย 0-1

ฉันถูกไหม? ข้อมูลเชิงลึกอื่น ๆ

รุ่นสั้น ๆ

• ใช่
• ใช่

รุ่นยาว

สิ่งที่ดีเกี่ยวกับการสร้างแบบจำลองทางคณิตศาสตร์คือมันมีความยืดหยุ่น ฟังก์ชั่นการสูญเสียเหล่านี้เทียบเท่ากันจริง ๆ แต่มันมาจากแบบจำลองพื้นฐานที่แตกต่างกันมากของข้อมูล

สูตร 1

ครั้งแรกบุคลากรสัญกรณ์จากรูปแบบความน่าจะเป็น Bernoulliสำหรับซึ่งถูกกำหนดตามอัตภาพใน{ 0 , 1 } ในรุ่นนี้ผล / ฉลาก / ระดับ / ทำนายเป็นตัวแทนจากตัวแปรสุ่มYที่ตามB E R n o ยูลิตรลิตรฉัน ( P )การจัดจำหน่าย ดังนั้นความน่าจะเป็นคือ: $y$$\{0, 1\}$$Y$$\mathrm{Bernoulli}(p)$

$$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$$

สำหรับ1] การใช้ 0 และ 1 เป็นค่าตัวบ่งชี้ให้เราลดฟังก์ชั่นทีละส่วนทางด้านขวาสุดไปเป็นนิพจน์ที่กระชับ$p\in[0, 1]$

ในขณะที่คุณได้ชี้ให้เห็นแล้วคุณสามารถเชื่อมโยงเมทริกซ์ของการป้อนข้อมูลโดยให้x จากที่นี่การจัดการพีชคณิตแบบตรงไปตรงมาแสดงให้เห็นว่าเหมือนกับในคำถามของคุณ (hint: ) ดังนั้นการลดการสูญเสียบันทึกให้น้อยที่สุดจึงเท่ากับการประเมินความเป็นไปได้สูงสุดของแบบจำลอง Bernoulli$Y$$x$$\operatorname{logit} p = \beta^T x$$\log \mathcal L(p;y)$$L(y, \beta^Tx)$$(y - 1) = - (1 - y)$$\{0, 1\}$

สูตรนี้ยังเป็นกรณีพิเศษของโมเดลเชิงเส้นแบบวางนัยทั่วไปซึ่งถูกกำหนดเป็นสำหรับฟังก์ชัน invertible, differentiableและการแจกแจงในครอบครัวชี้แจง$Y \sim D(\theta),\ g(Y) = \beta^T x$$g$$D$

สูตร 2

$y$$\{-1, 1\}$

$$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$$

นี่เป็นรูปแบบของลากรองจ์ปัญหาการปรับให้เหมาะสมแบบ จำกัด นอกจากนี้ยังเป็นตัวอย่างของปัญหาการปรับให้เป็นมาตรฐานด้วยฟังก์ชั่นวัตถุประสงค์ สำหรับฟังก์ชั่นการสูญเสียและพารามิเตอร์สเกลาร์หลายมิติที่ควบคุมปริมาณของการทำให้เป็นมาตรฐาน (ที่เรียกว่า "หดตัว") นำไปใช้กับ\การสูญเสียบานพับเป็นเพียงหนึ่งในความเป็นไปได้แบบเลื่อนลงสำหรับซึ่งรวมถึงในคำถามของคุณ

$$\ell(y, \beta) + \lambda \|\beta\|^2$$ $\ell$$\lambda$$\beta$$\ell$$L(y, \beta^Tx)$

ฉันคิดว่า @ssdecontrol มีคำตอบที่ดีมาก ฉันต้องการเพิ่มความคิดเห็นสำหรับสูตร 2 สำหรับคำถามของฉันเอง

$$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$$

เหตุผลที่คนชอบสูตรนี้คือมันกระชับและเอา "รายละเอียดการตีความความน่าจะเป็น" ออก

สัญกรณ์ที่ยุ่งยากคือ , note,เป็นตัวแปรไบนารี แต่ที่นี่เป็นจำนวนจริง เมื่อเทียบกับสูตร 1 เราต้องการสองขั้นตอนเพิ่มเติมเพื่อให้เป็นฉลากแบบแยกส่วนขั้นตอนที่ 1 ฟังก์ชั่น sigmod ขั้นตอนที่ 2 ใช้ 0.5 เกณฑ์$\hat y$$y$$\hat y$

แต่หากไม่มีรายละเอียดเหล่านี้จะดีในแง่ของเราสามารถเปรียบเทียบกับการสูญเสียการจัดประเภทอื่น ๆ เช่น 01 การสูญเสียหรือการสูญเสียบานพับ

$$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$$

ที่นี่เราพล็อตสามฟังก์ชั่นการสูญเสียแกน x คือและแกน y คือค่าการสูญเสีย หมายเหตุในสูตรทั้งหมดเป็นจำนวนจริงและตัวเลขนี้อาจมาจากรูปแบบเชิงเส้นหรือรูปแบบอื่น ๆ สัญลักษณ์ดังกล่าวซ่อนรายละเอียดความน่าจะเป็น$y \cdot \hat y$$\hat y$$\beta^Tx$