sparse_softmax_cross_entropy_with_logits กับ softmax_cross_entropy_with_logits ต่างกันอย่างไร

ฉันเพิ่งมาข้ามtf.nn.sparse_softmax_cross_entropy_with_logitsและผมก็ไม่สามารถคิดออกสิ่งที่แตกต่างเมื่อเทียบกับtf.nn.softmax_cross_entropy_with_logits

ความแตกต่างเพียงอย่างเดียวที่เวกเตอร์การฝึกอบรมyต้องเข้ารหัสแบบร้อนเดียวเมื่อใช้sparse_softmax_cross_entropy_with_logits?

อ่าน API ที่ผมไม่สามารถที่จะค้นหาความแตกต่างอื่น ๆ softmax_cross_entropy_with_logitsเมื่อเทียบกับ แต่ทำไมเราถึงต้องการฟังก์ชันพิเศษ?

ไม่ควรsoftmax_cross_entropy_with_logitsให้ผลลัพธ์เช่นเดียวsparse_softmax_cross_entropy_with_logitsกับที่มาพร้อมกับข้อมูลการฝึกอบรม / เวกเตอร์ที่เข้ารหัสร้อนเดียวหรือไม่?

การมีฟังก์ชั่นที่แตกต่างกันสองอย่างถือเป็นความสะดวกสบายเนื่องจากให้ผลลัพธ์เหมือนกัน

ความแตกต่างนั้นง่ายมาก:

• สำหรับsparse_softmax_cross_entropy_with_logitsป้ายกำกับต้องมีรูปร่าง [batch_size] และ dtype int32 หรือ int64 แต่ละป้ายเป็น int [0, num_classes-1]อยู่ในช่วง
• สำหรับsoftmax_cross_entropy_with_logitsป้ายกำกับต้องมีรูปร่าง [batch_size, num_classes] และ dtype float32 หรือ float64

ป้ายชื่อที่ใช้ในการsoftmax_cross_entropy_with_logitsเป็นรุ่นร้อนหนึ่งsparse_softmax_cross_entropy_with_logitsของป้ายที่ใช้ในการ

อีกความแตกต่างเล็ก ๆ เป็นที่ที่มีsparse_softmax_cross_entropy_with_logitsคุณสามารถให้ -1 เป็นป้ายที่จะมีการสูญเสีย0บนฉลากนี้

ฉันต้องการเพิ่ม 2 สิ่งในคำตอบที่ยอมรับซึ่งคุณสามารถพบได้ในเอกสาร TF

อันดับแรก:

tf.nn.softmax_cross_entropy_with_logits

หมายเหตุ: แม้ว่าชั้นเรียนจะไม่รวมกัน แต่ความน่าจะเป็นของพวกเขาก็ไม่จำเป็นต้องเป็น สิ่งที่ต้องมีก็คือป้ายกำกับแต่ละแถวเป็นการแจกแจงความน่าจะเป็นที่ถูกต้อง หากไม่เป็นเช่นนั้นการคำนวณของการไล่ระดับสีจะไม่ถูกต้อง

ประการที่สอง:

tf.nn.sparse_softmax_cross_entropy_with_logits

หมายเหตุ: สำหรับการดำเนินการนี้ความน่าจะเป็นของฉลากที่ระบุถือเป็นเอกสิทธิ์ นั่นคือไม่อนุญาตให้ใช้คลาสแบบอ่อนและเวกเตอร์ป้ายกำกับต้องระบุดัชนีเฉพาะสำหรับคลาสจริงสำหรับแต่ละแถวของบันทึก (รายการมินิแบทช์แต่ละรายการ)

ฟังก์ชันทั้งสองจะคำนวณผลลัพธ์ที่เหมือนกันและsparse_softmax_cross_entropy_with_logitsจะคำนวณเอนโทรปีแบบไขว้โดยตรงบนฉลากแบบกระจัดกระจายแทนที่จะแปลงด้วยการเข้ารหัสแบบร้อนเดียว

คุณสามารถตรวจสอบได้โดยรันโปรแกรมต่อไปนี้:

import tensorflow as tf
from random import randint

dims = 8
pos  = randint(0, dims - 1)

logits = tf.random_uniform([dims], maxval=3, dtype=tf.float32)
labels = tf.one_hot(pos, dims)

res1 = tf.nn.softmax_cross_entropy_with_logits(       logits=logits, labels=labels)
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.constant(pos))

with tf.Session() as sess:
    a, b = sess.run([res1, res2])
    print a, b
    print a == b

ที่นี่ฉันสร้างแบบสุ่ม logitsเวกเตอร์ของความยาวdimsและสร้างป้ายกำกับที่เข้ารหัสแบบร้อนเดียว (โดยที่องค์ประกอบในposคือ 1 และอื่น ๆ เป็น 0)

หลังจากนั้นฉันคำนวณ softmax และ softmax แบบเบาบางและเปรียบเทียบผลลัพธ์ของมัน ลองรันใหม่สองสามครั้งเพื่อให้แน่ใจว่าจะให้ผลลัพธ์เดียวกันเสมอ