ฟังก์ชันต้นทุนในการถดถอยเชิงเส้น OLS

ฉันสับสนเล็กน้อยกับการบรรยายเกี่ยวกับการถดถอยเชิงเส้นที่ Andrew Ng ให้กับ Coursera เกี่ยวกับการเรียนรู้ของเครื่อง ที่นั่นเขาได้จัดทำฟังก์ชั่นต้นทุนที่จะลดผลรวมของกำลังสองเป็น:

$$\frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2$$

ฉันเข้าใจว่ามาจากไหน ฉันคิดว่าเขาทำเพื่อที่ว่าเมื่อเขาทำอนุพันธ์บนเทอมสแควร์, 2 ในเทอมสแควร์จะยกเลิกด้วยครึ่งหนึ่ง แต่ฉันไม่เข้าใจว่ามาจากไหน$\frac{1}{2}$$\frac{1}{m}$

ทำไมเราต้องทำ ? ในการถดถอยเชิงเส้นมาตรฐานเราไม่มีมันเราแค่ลดจำนวนเหลือ ทำไมเราต้องการที่นี่?$\frac{1}{m}$

ตามที่คุณเห็นว่าเราไม่จำเป็นต้องใช้ปัจจัยในการถดถอยเชิงเส้น ตัวย่อขนาดเล็กสุดจะเหมือนกันทั้งที่มีและไม่มีมัน เหตุผลทั่วไปหนึ่งข้อในการทำให้เป็นมาตรฐานโดยคือเพื่อให้เราสามารถดูฟังก์ชันต้นทุนเป็นค่าประมาณของ "ข้อผิดพลาดทั่วไป" ซึ่งเป็นผลขาดทุนสแควร์ที่คาดหวังจากตัวอย่างใหม่ที่เลือกแบบสุ่ม (ไม่ใช่ในชุดฝึกอบรม):$1/m$$m$

สมมติว่ามีการสุ่มตัวอย่าง iid จากบางคน การกระจาย สำหรับขนาดใหญ่เราคาดหวังว่า m $(X,Y),(X^{(1)},Y^{(1)}),\ldots,(X^{(m)},Y^{(m)})$$m$

$$\frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 \approx \mathbb{E}\left(h_\theta(X)-Y\right)^2.$$

แม่นยำยิ่งขึ้นตามกฎหมายที่แข็งแกร่งของคนจำนวนมากเรามี ด้วยความน่าจะเป็น 1

$$\lim_{m\to\infty} \frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 = \mathbb{E}\left(h_\theta(X)-Y\right)^2$$

หมายเหตุ: แต่ละข้อความข้างต้นมีไว้สำหรับใด ๆ โดยเลือกโดยไม่ดูที่ชุดฝึกอบรม สำหรับการเรียนรู้ของเครื่องจักรเราต้องการให้ข้อความเหล่านี้มีไว้สำหรับเลือกตามประสิทธิภาพที่ดีในชุดฝึกอบรม การอ้างสิทธิ์เหล่านี้ยังคงสามารถเกิดขึ้นได้ในกรณีนี้แม้ว่าเราจำเป็นต้องตั้งสมมติฐานบางอย่างเกี่ยวกับชุดฟังก์ชั่นและเราต้องการอะไรที่แข็งแกร่งกว่ากฎหมาย ของตัวเลขขนาดใหญ่ θ { ชั่วโมง$\theta$$\hat{\theta}$$\{h_\theta \,|\, \theta \in \Theta\}$

คุณไม่ต้องไป ฟังก์ชันการสูญเสียมีค่าต่ำสุดเหมือนกันไม่ว่าคุณจะใส่หรือไม่ก็ตาม หากคุณรวมไว้คุณจะได้รับการตีความที่ดีในการลดข้อผิดพลาดโดยเฉลี่ย (ครึ่งหนึ่ง) ต่อดาต้าพอยน์ อีกวิธีหนึ่งคุณลดอัตราข้อผิดพลาดให้น้อยที่สุดแทนที่จะเป็นข้อผิดพลาดทั้งหมด$\frac{1}{m}$

พิจารณาเปรียบเทียบประสิทธิภาพกับชุดข้อมูลสองขนาดที่แตกต่างกัน ผลรวมดิบของข้อผิดพลาดกำลังสองนั้นไม่สามารถเปรียบเทียบกันได้โดยตรงเนื่องจากชุดข้อมูลขนาดใหญ่มักจะมีข้อผิดพลาดทั้งหมดมากกว่าเนื่องจากขนาดของชุดข้อมูลนั้น ในทางกลับกันข้อผิดพลาดเฉลี่ยต่อ DataPoint คือ

คุณอธิบายรายละเอียดเล็กน้อยได้ไหม?

แน่ใจ ชุดข้อมูลของคุณเป็นคอลเลกชันของจุดข้อมูล\} เมื่อคุณมีโมเดลแล้วข้อผิดพลาดกำลังสองน้อยที่สุดของบนจุดข้อมูลเดียวคือh $\{ x_i, y_i \}$$h$$h$

$$(h(x_i) - y_i)^2$$

แน่นอนนี่แตกต่างกันไปสำหรับแต่ละดาต้าพอยน์ ตอนนี้ถ้าเราสรุปข้อผิดพลาด (และคูณครึ่งด้วยเหตุผลที่คุณอธิบาย) เราจะได้รับข้อผิดพลาดทั้งหมด

$$\frac{1}{2} \sum_i (h(x_i) - y_i)^2$$

แต่ถ้าเราหารด้วยจำนวนการสรุปเราจะได้รับข้อผิดพลาดเฉลี่ยต่อจุดข้อมูล

$$\frac{1}{2m} \sum_i (h(x_i) - y_i)^2$$

ประโยชน์ของข้อผิดพลาดเฉลี่ยคือว่าถ้าเรามีสองชุดข้อมูลและของdiffereing ขนาดแล้วเราสามารถเปรียบเทียบข้อผิดพลาดเฉลี่ย แต่ไม่ใช่ข้อผิดพลาดทั้งหมด สำหรับถ้าชุดข้อมูลที่สองคือพูดขนาดของชุดข้อมูลแรกเป็นสิบเท่าจากนั้นเราคาดว่าข้อผิดพลาดทั้งหมดจะใหญ่ขึ้นประมาณสิบเท่าสำหรับรุ่นเดียวกัน ในทางกลับกันข้อผิดพลาดเฉลี่ยจะแบ่งผลกระทบของขนาดของชุดข้อมูลออกดังนั้นเราคาดว่าแบบจำลองของประสิทธิภาพที่คล้ายคลึงกันจะมีข้อผิดพลาดเฉลี่ยที่คล้ายกันในชุดข้อมูลที่แตกต่างกัน{ x ′ i , y ′ i$\{ x_i, y_i \}$$\{ x'_i, y'_i \}$