การรับฟังก์ชั่นต้นทุนการถดถอยเชิงเส้นแบบปกติต่อหลักสูตรการเรียนรู้ของเครื่อง Coursera

12

ฉันใช้หลักสูตร "การเรียนรู้ของเครื่องจักร" ของ Andrew Ng ผ่านทาง Coursera เมื่อไม่กี่เดือนก่อนโดยไม่สนใจวิชาคณิตศาสตร์ / ภาควิชาส่วนใหญ่และมุ่งเน้นไปที่การนำไปใช้และการปฏิบัติจริง ตั้งแต่นั้นมาฉันเริ่มกลับไปศึกษาทฤษฎีพื้นฐานบางอย่างและกลับมาเยี่ยมการบรรยายของศ. อึ้งอีกครั้ง ฉันกำลังอ่านผ่านการบรรยายของเขาใน "Normalized Linear Regression" และเห็นว่าเขาให้ฟังก์ชั่นค่าใช้จ่ายต่อไปนี้:

J (θ) = \frac{1}{2 m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}]

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

จากนั้นเขาให้การไล่ระดับสีต่อไปนี้สำหรับฟังก์ชันต้นทุนนี้:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)}) x_{j}^{(i)} - λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$

ฉันสับสนเล็กน้อยเกี่ยวกับวิธีการที่เขาได้รับจากที่หนึ่งไปยังอีกที่ เมื่อฉันพยายามทำรากศัพท์ของตัวเองฉันได้ผลลัพธ์ดังนี้:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) + y^{(i)}) x_{j}^{(i)} + λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$

ความแตกต่างคือเครื่องหมาย 'บวก' ระหว่างฟังก์ชันต้นทุนดั้งเดิมและพารามิเตอร์การทำให้เป็นมาตรฐานในสูตรของ Prof. Ng เปลี่ยนเป็นเครื่องหมาย 'ลบ' ในฟังก์ชันการไล่ระดับสีของเขาในขณะที่สิ่งนั้นไม่ได้เกิดขึ้นในผลลัพธ์ของฉัน

ฉันเข้าใจว่าทำไมมันถึงเป็นลบ: เรากำลังลดพารามิเตอร์ theta ด้วยตัวเลขการไล่ระดับสีและเราต้องการให้พารามิเตอร์ ฉันแค่ติดแคลคูลัสนิดหน่อยที่หนุนปรีชานี้

FYI คุณสามารถค้นหาสำรับที่นี่บนสไลด์ที่ 15 และ 16

regression self-study

— เวลลิงตัน
แหล่งที่มา

1

ในผลลัพธ์ของคุณคุณมี " + " ก่อนหน้า y ^ (i) - นั่นคือการพิมพ์ผิด?

— Steve S

12

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

ตอนนี้

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

โปรดทราบว่าในรูปแบบเชิงเส้น (ถูกกล่าวถึงในหน้าเว็บที่คุณพูดถึง), $\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

ดังนั้นสำหรับกรณีเชิงเส้น

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

ดูเหมือนว่าทั้งคุณและแอนดรูว์อาจพิมพ์ผิด อย่างน้อยสองในสามของเราดูเหมือนจะ

— Glen_b -Reinstate Monica
แหล่งที่มา

มันได้รับการยืนยันเพียงพิมพ์ผิดในบันทึกของแอนดรูมันควรจะเป็นเครื่องหมาย + และศาสตราจารย์อย่างถูกต้องอธิบายทุกอย่างอย่างถูกต้องรวมถึงปรีชาθ (1-α (λ / m)) ความหมายทุกครั้งที่หดตัวนี้θแล้วลบส่วนปกติก่อนที่จะมีการนำมาตรฐาน

— Gob00st

4

จริง ๆ แล้วถ้าคุณตรวจสอบบันทึกการบรรยายหลังวิดีโอมันจะแสดงสูตรอย่างถูกต้อง สไลด์ที่คุณจัดเรียงไว้ที่นี่จะแสดงสไลด์ที่แน่นอนของวิดีโอ

— ปยุต
แหล่งที่มา

coursera.org/learn/machine-learning/supplement/pKAsc/…นี่คือลิงค์ไปยังโน้ตทันทีหลังจากวิดีโอแสดงสูตรที่ถูกต้อง

— Gob00st

1

อันที่จริงฉันคิดว่ามันเป็นเพียงการพิมพ์ผิด

บนภาพนิ่ง # 16 เขาเขียนอนุพันธ์ของฟังก์ชั่นค่าใช้จ่าย (ที่มีระยะกู) ในส่วนที่เกี่ยวกับ theta แต่มันอยู่ในบริบทของการไล่โทนสีโคตรอัลกอริทึม ดังนั้นเขายังคูณอนุพันธ์นี้โดย-หมายเหตุ: ในบรรทัดที่สอง (ของภาพนิ่ง 16) เขามี (ตามที่คุณได้เขียน) คูณด้วย-อย่างไรก็ตามในบรรทัดที่สามคำที่คูณจะยังคงเป็นลบแม้ว่า - หากบรรทัดที่สองนั้นถูกต้อง - สัญญาณเชิงลบจะถูกยกเลิก $-\alpha$ $-\lambda\theta$ $-\alpha$

ทำให้รู้สึก?

— สตีฟ
แหล่งที่มา