เหตุใดการแก้ปัญหาแบบกำลังสองน้อยที่สุดจึงให้ผลลัพธ์ไม่ดีในกรณีนี้

มีรูปภาพในหน้า 204 บทที่ 4 ของ "การจดจำรูปแบบและการเรียนรู้ของเครื่อง" โดย Bishop ซึ่งฉันไม่เข้าใจว่าทำไม Least Square solution จึงให้ผลลัพธ์ที่ไม่ดีที่นี่:

ย่อหน้าก่อนหน้านี้เกี่ยวกับข้อเท็จจริงที่ว่าวิธีแก้ปัญหากำลังสองน้อยที่สุดนั้นไม่มีความทนทานต่อค่าผิดปกติอย่างที่คุณเห็นในภาพต่อไปนี้ แต่ฉันไม่เข้าใจว่าเกิดอะไรขึ้นในภาพอื่นและทำไม LS จึงให้ผลลัพธ์ที่แย่เช่นกัน

ปรากฏการณ์โดยเฉพาะอย่างยิ่งที่คุณเห็นด้วยโซลูชั่นสี่เหลี่ยมน้อยใน Bishops รูปที่ 4.5 เป็นปรากฏการณ์ที่เกิดขึ้นเฉพาะเมื่อจำนวนของชั้นเรียนเป็น3$\geq 3$

ในESLรูปที่ 4.2 ในหน้า 105, ปรากฏการณ์ที่เรียกว่ากำบัง ดู ESL รูปที่ 4.3 การแก้ปัญหากำลังสองน้อยที่สุดส่งผลให้ตัวทำนายสำหรับคลาส middel ซึ่งส่วนใหญ่ถูกครอบงำโดยตัวทำนายสำหรับคลาสอื่น ๆ สองคลาส LDA หรือการถดถอยโลจิสติกไม่ประสบปัญหานี้ อาจกล่าวได้ว่ามันเป็นโครงสร้างที่แข็งของโมเดลเชิงเส้นของความน่าจะเป็นของคลาส (ซึ่งเป็นสิ่งที่คุณได้รับจากกำลังสองน้อยที่สุด) ที่ทำให้เกิดการหลอกลวง

มีเพียงสองคลาสเท่านั้นที่ปรากฏการณ์ไม่ได้เกิดขึ้นดูการฝึกซ้อมที่ 4.2 ใน ESL หน้า 135 สำหรับรายละเอียดเกี่ยวกับความสัมพันธ์ระหว่างการแก้ปัญหา LDA และการแก้ปัญหากำลังสองน้อยที่สุดในกรณีสองชั้น$-$

แก้ไข: Masking อาจมองเห็นได้ง่ายที่สุดสำหรับปัญหาสองมิติ แต่มันก็เป็นปัญหาในกรณีหนึ่งมิติและที่นี่คณิตศาสตร์นั้นเข้าใจง่ายโดยเฉพาะ สมมติว่าตัวแปรอินพุตแบบหนึ่งมิติถูกเรียงลำดับเป็น

$$x_1 < \ldots < x_k < y_1 < \ldots y_m < z_1 < \ldots < z_n$$

ด้วยจากคลาส 1,จากคลาสสองและจากคลาส 3 พร้อมกับโครงร่างการเข้ารหัสสำหรับคลาสเป็นเวกเตอร์ไบนารีสามมิติเรามีข้อมูลที่จัดระเบียบดังต่อไปนี้$x$$y$$z$

$$\begin{array}{c|cccccccc} & 1 & \ldots & 1 & 0 & \ldots & 0 & 0 & \ldots & 0 \\ \mathbf{T}^T & 0 & \ldots & 0 & 1 & \ldots & 1 & 0 & \ldots & 0 \\ & 0 & \ldots & 0 & 0 & \ldots & 0 & 1 & \ldots & 1 \\ \hline \mathbf{x}^T & x_1 & \ldots & x_k & y_1 & \ldots & y_m & z_1 & \ldots & z_n \\ \end{array}$$

ทางออกที่สองน้อยที่สุดจะได้รับเป็นสามถดถอยของแต่ละคอลัมน์ในใน{x} สำหรับคอลัมน์แรก -class ความชันจะเป็นค่าลบ ( คอลัมน์ทั้งหมดจะอยู่ทางซ้ายด้านบน) และสำหรับคอลัมน์สุดท้ายคือ class ความชันจะเป็นค่าบวก สำหรับคอลัมน์กลาง$\mathbf{T}$$\mathbf{x}$$x$$z$$y$- คลาสการถดถอยเชิงเส้นจะต้องสร้างศูนย์สำหรับสองคลาสนอกกับคลาสกลางส่งผลให้เส้นถดถอยค่อนข้างแบนและความพอดีที่ไม่น่าเป็นไปได้ของเงื่อนไขคลาสสำหรับคลาสนี้ เมื่อปรากฎว่าค่าสูงสุดของบรรทัดการถดถอยสำหรับคลาสภายนอกสองคลาสนั้นควบคุมสายการถดถอยสำหรับคลาสกลางสำหรับค่าส่วนใหญ่ของตัวแปรอินพุตและคลาสกลางจะถูกพรางโดยคลาสภายนอก

ในความเป็นจริงถ้าดังนั้นคลาสหนึ่งจะถูกปิดบังอย่างสมบูรณ์เสมอไม่ว่าจะสั่งตัวแปรอินพุตตามข้างบนหรือไม่ หากขนาดของชั้นเรียนเท่ากับเส้นถดถอยสามเส้นทั้งหมดจะผ่านจุดโดยที่ ดังนั้นทั้งสามเส้นตัดกันทั้งหมดในจุดเดียวกันและสูงสุดของพวกเขาทั้งสองครองที่สาม$k = m = n{}$$(\bar{x}, 1/3)$

$$\bar{x} = \frac{1}{3k}\left(x_1 + \ldots + x_k + y_1 + \ldots + y_m + z_1 + \ldots + z_n\right).$$

ตามลิงก์ที่ให้ไว้ด้านล่างเหตุผลที่เลือกปฏิบัติ LS ไม่ทำงานได้ดีในกราฟบนซ้ายมีดังนี้: -
ขาดความทนทานต่อค่าผิดปกติ
- ชุดข้อมูลบางอย่างไม่เหมาะสมสำหรับการจำแนกสี่เหลี่ยมอย่างน้อยที่สุด
- ขอบเขตการตัดสินใจสอดคล้องกับโซลูชัน ML ภายใต้การแจกแจงแบบมีเงื่อนไขแบบเกาส์เซียน แต่ค่าเป้าหมายไบนารีมีการกระจายไกลจากเกาส์เซียน

ดูหน้า 13 ในข้อเสียของกำลังสองน้อยที่สุด

ฉันเชื่อว่าปัญหาในกราฟแรกของคุณเรียกว่า "กำบัง" และถูกกล่าวถึงใน "องค์ประกอบของการเรียนรู้ทางสถิติ: การทำเหมืองข้อมูลการอนุมานและการทำนาย" (Hastie, Tibshirani, Friedman Springer 2001), หน้า 83-84

สังหรณ์ใจ (ซึ่งเป็นสิ่งที่ดีที่สุดที่ฉันสามารถทำได้) ฉันเชื่อว่านี่เป็นเพราะการคาดการณ์ของการถดถอย OLS นั้นไม่ได้ จำกัด อยู่ที่ [0,1] ดังนั้นคุณสามารถจบลงด้วยการทำนาย -0.33 เมื่อคุณต้องการมากกว่า 0 .. 1 ซึ่งคุณสามารถใช้กลเม็ดเด็ดพรายในกรณีของสองชั้น แต่ยิ่งคุณมีความเป็นไปได้ที่จะเกิดปัญหามากขึ้น ฉันคิด.

สแควร์น้อยมีความอ่อนไหวต่อสเกล (เนื่องจากข้อมูลใหม่มีขนาดแตกต่างกันมันจะเอียงขอบเขตการตัดสินใจ) โดยทั่วไปต้องการน้ำหนักอย่างใดอย่างหนึ่ง (หมายถึงข้อมูลที่จะเข้าสู่อัลกอริธึมการเพิ่มประสิทธิภาพอยู่ในระดับเดียวกัน) หรือทำการแปลงที่เหมาะสม (หมายถึงศูนย์บันทึก (1 + ข้อมูล) ... ฯลฯ ) กับข้อมูลในกรณีดังกล่าว ดูเหมือนว่า Least Square จะทำงานได้สมบูรณ์แบบถ้าคุณขอให้มันทำการแยกประเภท 3 แบบซึ่งในกรณีนี้จะรวมคลาสเอาต์พุตสองคลาสเข้าด้วยกัน