ฉันกำลังเรียนหลักสูตร Machine Learning Stanford ใน Coursera
ในบทที่เกี่ยวกับการถดถอยโลจิสติกฟังก์ชันต้นทุนคือ:
ฉันพยายามหาอนุพันธ์ของฟังก์ชันต้นทุน แต่ฉันได้บางอย่างที่แตกต่างออกไปอย่างสิ้นเชิง
อนุพันธ์ได้มาอย่างไร
ขั้นตอนตัวกลางคืออะไร
ฉันกำลังเรียนหลักสูตร Machine Learning Stanford ใน Coursera
ในบทที่เกี่ยวกับการถดถอยโลจิสติกฟังก์ชันต้นทุนคือ:
ฉันพยายามหาอนุพันธ์ของฟังก์ชันต้นทุน แต่ฉันได้บางอย่างที่แตกต่างออกไปอย่างสิ้นเชิง
อนุพันธ์ได้มาอย่างไร
ขั้นตอนตัวกลางคืออะไร
คำตอบ:
ที่ดัดแปลงมาจากบันทึกในหลักสูตรซึ่งผมไม่เห็นใช้ได้ (รวมทั้งที่มานี้) นอกบันทึกการสนับสนุนโดยนักเรียนที่อยู่ในหน้าของหลักสูตรการเรียนรู้ Coursera เครื่องแอนดรูอึ้งของ
ในสิ่งต่อไปนี้ตัวยกหมายถึงการวัดหรือการฝึกอบรมแต่ละ "ตัวอย่าง"
อนุพันธ์ของฟังก์ชัน sigmoid คือ
เพื่อหลีกเลี่ยงความประทับใจในความซับซ้อนที่มากเกินไปของเรื่องให้เราเห็นโครงสร้างของการแก้ปัญหา
ด้วยความเรียบง่ายและการใช้สัญกรณ์อย่างไม่เหมาะสมทำให้เป็นคำศัพท์ที่เป็นผลรวมของและเป็นฟังก์ชันของ :
เราอาจใช้กฎลูกโซ่: และแก้ปัญหาโดย หนึ่ง (และเป็นค่าคงที่)
สุดท้ายx
การรวมผลลัพธ์ทั้งหมดเข้าด้วยกันจะให้นิพจน์ที่ต้องการ: หวังที่ช่วย
เครดิตสำหรับคำตอบนี้ไปที่ Antoni Parellada จากความคิดเห็นซึ่งฉันคิดว่าสมควรได้รับสถานที่ที่โดดเด่นมากขึ้นในหน้านี้ (เพราะมันช่วยฉันออกเมื่อไม่มีคำตอบอื่น ๆ อีกมากมาย) นอกจากนี้ไม่ได้เป็นที่มาเต็ม แต่มากขึ้นของคำสั่งที่ชัดเจนของtheta} (สำหรับที่มาแบบเต็มดูคำตอบอื่น ๆ )
ที่ไหน
นอกจากนี้การดำเนินงานที่งูใหญ่สำหรับผู้ที่ต้องการการคำนวณการไล่ระดับสีของด้วยความเคารพ\
import numpy
def sig(z):
return 1/(1+np.e**-(z))
def compute_grad(X, y, w):
"""
Compute gradient of cross entropy function with sigmoidal probabilities
Args:
X (numpy.ndarray): examples. Individuals in rows, features in columns
y (numpy.ndarray): labels. Vector corresponding to rows in X
w (numpy.ndarray): weight vector
Returns:
numpy.ndarray
"""
m = X.shape[0]
Z = w.dot(X.T)
A = sig(Z)
return (-1/ m) * (X.T * (A - y)).sum(axis=1)
สำหรับพวกเราที่ไม่แข็งแกร่งมากที่แคลคูลัส แต่ต้องการที่จะเล่นกับการปรับฟังก์ชั่นค่าใช้จ่ายและต้องการหาวิธีในการคำนวณอนุพันธ์ ... ทางลัดเพื่อเรียนรู้แคลคูลัสอีกครั้งเป็นเครื่องมือออนไลน์ที่ให้โดยอัตโนมัติ ความเป็นมาพร้อมคำอธิบายทีละขั้นตอนของกฎ