หนึ่งในพารามิเตอร์สำหรับเครือข่าย LSTM คืออุณหภูมิ มันคืออะไร?

อุณหภูมิเป็นพารามิเตอร์หลายมิติของ LSTMs (และเครือข่ายประสาททั่วไป) ที่ใช้ในการควบคุมการสุ่มของการทำนายโดยการปรับขนาดการบันทึกก่อนที่จะใช้ softmax ยกตัวอย่างเช่นใน TensorFlow ของ Magenta การดำเนินงานของ LSTMs อุณหภูมิแสดงให้เห็นถึงวิธีการมากที่จะแบ่ง logits โดยก่อนที่จะคำนวณ softmax

เมื่ออุณหภูมิเท่ากับ 1 เราคำนวณ softmax โดยตรงบน logits (เอาต์พุตที่ไม่ปรับสัดส่วนของเลเยอร์ก่อนหน้า) และการใช้อุณหภูมิ 0.6 โมเดลจะคำนวณ softmax บนส่งผลให้มีค่ามากขึ้น การดำเนินการ softmax ด้วยค่าที่มากขึ้นทำให้ LSTMมีความมั่นใจมากขึ้น(จำเป็นต้องป้อนข้อมูลให้น้อยลงเพื่อเปิดใช้งานเลเยอร์เอาท์พุท) แต่ก็มีความระมัดระวังมากกว่าในตัวอย่างของมัน การใช้อุณหภูมิที่สูงขึ้นก่อให้เกิดการกระจายความน่าจะนุ่มไปเรียนและทำให้ RNN มากกว่า“ตื่นเต้นได้อย่างง่ายดาย” โดยตัวอย่างที่เกิดขึ้นในความหลากหลายมากขึ้นและยังมีความผิดพลาดมากขึ้น$\frac{logits}{0.6}$

โครงข่ายประสาทเทียมผลิตน่าจะเรียนกับ logit เวกเตอร์ที่Z = ( Z 1 , ... , Z n )โดยการดำเนินการฟังก์ชัน softmax การผลิตน่าจะเป็นเวกเตอร์Q = ( Q 1 , ... , Q n )โดยการเปรียบเทียบZ ฉันด้วยกับ logits อื่น ๆ .$\mathbf{z}$$\mathbf{z} =$$(z_1,\ldots,z_n)$$\mathbf{q} = (q_1,\ldots,q_n)$$z_i$

$q_i = \frac{\exp{(z_i/T)}}{\sum_j\exp{(z_j/T)}}\tag{1}$

โดยที่คือพารามิเตอร์อุณหภูมิโดยปกติตั้งไว้ที่ 1$T$

ฟังก์ชั่น softmax จะปรับผู้สมัครให้เป็นปกติในการวนซ้ำแต่ละครั้งของเครือข่ายโดยขึ้นอยู่กับค่าเอ็กซ์โปเนนเชียล

อุณหภูมิจึงเพิ่มความไวต่อความน่าจะเป็นที่ต่ำ ใน LSTMs ผู้สมัครหรือตัวอย่างสามารถเป็นตัวอักษรคำหรือโน้ตดนตรีตัวอย่างเช่น:

สำหรับอุณหภูมิสูง ( ) [ตัวอย่าง] เกือบทั้งหมดมีความน่าจะเป็นแบบเดียวกันและยิ่งอุณหภูมิต่ำลงเท่าไหร่รางวัลที่คาดหวังมากก็จะส่งผลต่อความน่าจะเป็น สำหรับอุณหภูมิต่ำ ( τ → 0 + ) ความน่าจะเป็นของ [ตัวอย่าง] ที่มีรางวัลสูงสุดที่คาดไว้มีแนวโน้มที่ 1${\displaystyle \tau \to \infty }$${\displaystyle \tau \to 0^{+}}$

- จากบทความ Wikipedia เกี่ยวกับฟังก์ชั่น softmax

การอ้างอิง

Hinton, Geoffrey, Oriol Vinyals และ Jeff Dean "การกลั่นความรู้ในเครือข่ายประสาทเทียม" พิมพ์ล่วงหน้า arXiv arXiv: 1503.02531 (2015) arXiv