คำถามติดแท็ก softmax

จากคลาสการเรียนรู้เชิงลึกของ Udacityซอฟต์แม็กซ์ของ y_i นั้นเป็นเพียงแค่เลขชี้กำลังหารด้วยผลรวมของเลขชี้กำลังของเวกเตอร์ Y ทั้งหมด: S(y_i)ฟังก์ชัน softmax อยู่ที่ไหนy_iและeเป็นเลขชี้กำลังและjเป็นเลขที่ ของคอลัมน์ในเวกเตอร์อินพุต Y ฉันได้ลองทำสิ่งต่อไปนี้แล้ว: import numpy as np def softmax(x): """Compute softmax values for each sets of scores in x.""" e_x = np.exp(x - np.max(x)) return e_x / e_x.sum() scores = [3.0, 1.0, 0.2] print(softmax(scores)) ซึ่งผลตอบแทน: [ 0.8360188 0.11314284 0.05083836] แต่ทางออกที่แนะนำคือ: def …

247 python  numpy  machine-learning  logistic-regression  softmax 

ในเลเยอร์เอาท์พุทของเครือข่ายนิวรัลมันเป็นเรื่องปกติที่จะใช้ฟังก์ชั่น softmax เพื่อประมาณการแจกแจงความน่าจะเป็น: สิ่งนี้มีราคาแพงในการคำนวณเนื่องจากเลขชี้กำลัง ทำไมไม่เพียงทำการแปลง Z เพื่อให้เอาต์พุตทั้งหมดเป็นค่าบวกจากนั้นก็ทำให้ปกติเพียงแค่หารผลลัพธ์ทั้งหมดด้วยผลรวมของเอาต์พุตทั้งหมด

159 math  neural-network  softmax 

ฉันเพิ่งมาข้ามtf.nn.sparse_softmax_cross_entropy_with_logitsและผมก็ไม่สามารถคิดออกสิ่งที่แตกต่างเมื่อเทียบกับtf.nn.softmax_cross_entropy_with_logits ความแตกต่างเพียงอย่างเดียวที่เวกเตอร์การฝึกอบรมyต้องเข้ารหัสแบบร้อนเดียวเมื่อใช้sparse_softmax_cross_entropy_with_logits? อ่าน API ที่ผมไม่สามารถที่จะค้นหาความแตกต่างอื่น ๆ softmax_cross_entropy_with_logitsเมื่อเทียบกับ แต่ทำไมเราถึงต้องการฟังก์ชันพิเศษ? ไม่ควรsoftmax_cross_entropy_with_logitsให้ผลลัพธ์เช่นเดียวsparse_softmax_cross_entropy_with_logitsกับที่มาพร้อมกับข้อมูลการฝึกอบรม / เวกเตอร์ที่เข้ารหัสร้อนเดียวหรือไม่?

112 neural-network  tensorflow  softmax  cross-entropy