การเรียนรู้ของเครื่อง: ฉันควรใช้เอนโทรปีของการแยกประเภทเอนโทรปีหรือการสูญเสียเอนโทรปีในการทำนายแบบไบนารี

ก่อนอื่นฉันรู้ว่าฉันต้องทำการคาดคะเนไบนารีฉันต้องสร้างคลาสอย่างน้อยสองคลาสผ่านการเข้ารหัสหนึ่งครั้ง ถูกต้องหรือไม่ อย่างไรก็ตามเอนโทรปีของไบนารีไขว้สำหรับการทำนายด้วยคลาสเดียวเท่านั้น? หากฉันต้องใช้การสูญเสียเอนโทรปีของการจำแนกอย่างเป็นหมวดหมู่ซึ่งมักพบในห้องสมุดส่วนใหญ่ (เช่น TensorFlow) จะมีความแตกต่างที่สำคัญหรือไม่

ในความเป็นจริงอะไรคือความแตกต่างที่แน่นอนระหว่างเอนโทรปีของการแบ่งประเภทและการข้ามแบบไบนารี? ฉันไม่เคยเห็นการใช้งานของเอนโทรปีของการข้ามเลขฐานสองใน TensorFlow ดังนั้นฉันคิดว่าบางทีหมวดหมู่อาจใช้ได้ดี

ทวินามสูญเสียข้ามเอนโทรปีเป็นกรณีพิเศษของพหุนามการสูญเสียข้ามเอนโทรปีสำหรับ$m=2$ 2

$$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$$

$i$$j$$y$$p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$

Binary cross-entropy นั้นใช้สำหรับการจำแนกประเภทหลายฉลากในขณะที่การจัดหมวดหมู่ข้าม Entropy สำหรับการจำแนกประเภทหลายชั้นที่แต่ละตัวอย่างเป็นของชั้นเดียว

ฉันคิดว่ามีงานการจำแนกสามประเภท:

1. การจำแนกประเภทไบนารี: สองคลาสพิเศษ
2. การจำแนกประเภทหลายชั้น: มากกว่าสองชั้นเรียนพิเศษ
3. การจัดหมวดหมู่หลายฉลาก: เป็นคลาสที่ไม่ใช่แบบเอกสิทธิ์เท่านั้น

จากนี้เราสามารถพูดได้

• ในกรณีของ (1) คุณต้องใช้ไบนารีไขว้เอนโทรปี
• ในกรณีของ (2) คุณต้องใช้เอนโทรปีของการแยกประเภทอย่างเด็ดขาด
• ในกรณีของ (3) คุณต้องใช้ไบนารีไขว้เอนโทรปี คุณสามารถพิจารณาตัวแยกประเภทแบบหลายป้ายชื่อเป็นตัวแยกประเภทไบนารีแบบแยกหลายส่วนได้ หากคุณมี 10 คลาสที่นี่คุณมีตัวแยกประเภทไบนารี 10 แบบแยกกัน ลักษณนามของไบนารีแต่ละตัวได้รับการฝึกฝนอย่างอิสระ ดังนั้นเราสามารถผลิตหลายฉลากสำหรับแต่ละตัวอย่าง หากคุณต้องการให้แน่ใจว่าจะต้องมีฉลากอย่างน้อยหนึ่งป้ายคุณสามารถเลือกได้ด้วยฟังก์ชั่นการสูญเสียการจำแนกประเภทที่ต่ำที่สุดหรือใช้ตัวชี้วัดอื่น ๆ

ฉันต้องการเน้นย้ำว่าการจำแนกประเภทหลายคลาสนั้นไม่คล้ายกับการจำแนกประเภทหลายป้าย ! ค่อนข้างลักษณนามหลายฉลากยืมความคิดจากลักษณนามไบนารี!