เหตุผลในการไม่ลดขนาดอคติ (การสกัดกั้น) ในการถดถอย

สำหรับตัวแบบเชิงเส้นคำการหดตัวจะเป็นเสมอ$y=\beta_0+x\beta+\varepsilon$$P(\beta)$

อะไรคือเหตุผลที่เราไม่ลดขนาดอคติ (การสกัดกั้น) คำว่า ? เราควรย่อคำอคติในโมเดลโครงข่ายประสาทเทียมหรือไม่$\beta_0$

องค์ประกอบของการเรียนรู้ทางสถิติโดย Hastie และคณะ กำหนดการถดถอยของสันดังต่อไปนี้ (ส่วน 3.4.1, สมการ 3.41):คือ ยกเว้นคำดักจับอย่างชัดเจนจากบทลงโทษของริดจ์ β

$$\hat \beta{}^\mathrm{ridge} = \underset{\beta}{\mathrm{argmin}}\left\{\sum_{i=1}^N(y_i - \beta_0 - \sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2\right\},$$ $\beta_0$

จากนั้นพวกเขาเขียน:

[... ] สังเกตว่ามีการตัดออกจากระยะเวลาการลงโทษ การลงโทษของการสกัดกั้นจะทำให้ขั้นตอนขึ้นอยู่กับที่มาที่เลือกสำหรับ ; นั่นคือการเพิ่มคงที่ให้กับแต่ละเป้าหมายจะไม่เพียงส่งผลให้เกิดการเปลี่ยนแปลงของการคาดการณ์โดยจำนวนเงินเดียวกันค Y c y ฉัน$\beta_0$$Y$$c$$y_i$$c$

แท้จริงในการปรากฏตัวของระยะตัดเพิ่มทุกก็จะนำไปสู่เพิ่มขึ้นเป็นค่าที่ดีและตามลําดับทั้งหมดที่คาดการณ์ยังจะเพิ่มขึ้นโดยคนี้ไม่เป็นความจริงถ้าตัดมือสัมผัส:จะต้องเพิ่มขึ้นน้อยกว่าคY ฉันβ 0คYฉันคβ 0$c$$y_i$$\beta_0$$c$$\hat y_i$$c$$\beta_0$$c$

ในความเป็นจริงมีคุณสมบัติที่ดีและสะดวกสบายหลายประการของการถดถอยเชิงเส้นซึ่งขึ้นอยู่กับว่ามีการสกัดกั้นระยะที่เหมาะสม เช่นค่าเฉลี่ยของและค่าเฉลี่ยของมีค่าเท่ากันและ (ดังนั้น) ค่าสัมประสิทธิ์สหสัมพันธ์กำลังสองหลายเท่ากับค่าสัมประสิทธิ์การตัดสินใจ :ดูตัวอย่างหัวข้อนี้สำหรับ คำอธิบาย: การตีความทางเรขาคณิตหลายค่าสัมประสิทธิ์สหสัมพันธ์และค่าสัมประสิทธิ์การตัดสินใจ 2Yฉัน R R 2 ( R ) 2 = cos 2 ( Y , Y ) = ‖ Y ‖ $y_i$$\hat y_i$$R$$R^2$RR

$$(R)^2 = \cos^2(\hat {\mathbf y}, \mathbf y) = \frac{\|\hat{\mathbf y}\|^2}{\|\mathbf y\|^2} = R^2,$$ $R$$R^2$

การลงโทษการสกัดกั้นจะนำไปสู่สิ่งที่ไม่เป็นจริงอีกต่อไป

ระลึกถึงวัตถุประสงค์ของการหดตัวหรือทำให้เป็นปกติ มันคือการป้องกันอัลกอริทึมการเรียนรู้ให้พอดีกับข้อมูลการฝึกอบรมหรือเทียบเท่า - ป้องกันการเลือกค่าพารามิเตอร์ที่มีขนาดใหญ่โดยพลการ นี่เป็นโอกาสสำหรับชุดข้อมูลที่มีตัวอย่างการฝึกอบรมมากกว่าสองสามตัวอย่างในที่ที่มีสัญญาณรบกวน (การอภิปรายที่น่าสนใจมากเกี่ยวกับการมีอยู่ของเสียงรบกวนและผลกระทบของมันถูกกล่าวถึงใน "การเรียนรู้จากข้อมูล" แบบจำลองที่เรียนรู้เกี่ยวกับข้อมูลที่มีเสียงดังซึ่งไม่มีการทำให้เป็นปกติจะมีประสิทธิภาพต่ำในบางจุดของข้อมูลที่มองไม่เห็น

ด้วยสิ่งนี้ในใจคิดว่าคุณมีจุดข้อมูล 2D ที่คุณต้องการจัดเป็นสองชั้น การแก้ไขทั้งหมดยกเว้นพารามิเตอร์ไบอัสการเปลี่ยนแปลงคำศัพท์ไบแอสจะย้ายขอบเขตขึ้นหรือลง คุณสามารถพูดคุยเรื่องนี้กับพื้นที่มิติที่สูงขึ้น

อัลกอริทึมการเรียนรู้ไม่สามารถใส่ค่าที่มีขนาดใหญ่โดยพลการสำหรับคำอคติเนื่องจากสิ่งนี้จะส่งผลให้เกิดมูลค่าการสูญเสียขั้นต้น (รูปแบบจะไม่พอดีกับข้อมูลการฝึกอบรม) กล่าวอีกนัยหนึ่งเมื่อกำหนดชุดการฝึกอบรมคุณ (หรืออัลกอริทึมการเรียนรู้) จะไม่สามารถย้ายระนาบออกไปโดยไม่ตั้งใจจากความจริง

ดังนั้นจึงไม่มีเหตุผลที่จะลดขนาดคำอคติอัลกอริทึมการเรียนรู้จะค้นหาสิ่งที่ดีโดยไม่มีความเสี่ยงของการมีน้ำหนักเกิน

หมายเหตุสุดท้าย: ฉันเห็นในกระดาษบางฉบับว่าเมื่อทำงานในที่ว่างในมิติสูงสำหรับการจัดหมวดหมู่ไม่จำเป็นต้องเข้มงวดในการสร้างแบบจำลองคำอคติ สิ่งนี้อาจใช้ได้กับข้อมูลที่แยกได้เชิงเส้นเนื่องจากมีการเพิ่มมิติข้อมูลมากขึ้นมีความเป็นไปได้มากกว่าที่จะแยกทั้งสองคลาส

ระยะการดักจับนั้นไม่มีผลกระทบต่อการหดตัว สูตรทั่วไป "การหดตัว" (เช่นการทำให้เป็นมาตรฐาน) ทำให้คำศัพท์ในฟังก์ชั่นการสูญเสียเช่น:

$RSS(\beta) = \|y_i - X_i \beta \|^2$

$RegularizedLoss(\beta) = RSS(\beta) - \lambda f(\beta)$

โดยที่มักจะเกี่ยวข้องกับบรรทัดฐาน lebesgue และเป็นเซนต์คิตส์และเนวิสที่ควบคุมน้ำหนักที่เราใส่ในเทอมการหดตัว$f(\beta)$$\lambda$

โดยการใส่คำย่อในฟังก์ชั่นการสูญเสียเช่นนี้มันมีผลกระทบต่อสัมประสิทธิ์ทั้งหมดในแบบจำลอง ฉันสงสัยว่าคำถามของคุณเกิดจากความสับสนเกี่ยวกับสัญกรณ์ซึ่งเป็น (ใน ) เป็นเวกเตอร์ของสัมประสิทธิ์ทั้งหมดรวม\โมเดลเชิงเส้นของคุณน่าจะเขียนได้ดีกว่าในฐานะโดยที่คือ "เมทริกซ์การออกแบบ" โดยที่ฉันหมายความว่ามันคือข้อมูลของคุณที่มีคอลัมน์ต่อท้ายซ้ายมือ )$\beta$$P(\beta)$$\beta_0$$y = X \beta + \epsilon$$X$$1's$

ตอนนี้ฉันไม่สามารถพูดคุยกับการทำให้เป็นปกติสำหรับเครือข่ายประสาท เป็นไปได้ว่าสำหรับโครงข่ายประสาทเทียมคุณต้องการหลีกเลี่ยงการหดตัวของคำอคติหรือออกแบบฟังก์ชันการสูญเสียปกติที่แตกต่างจากสูตรที่อธิบายไว้ข้างต้น ฉันไม่รู้ แต่ฉันสงสัยอย่างยิ่งว่าเงื่อนไขน้ำหนักและอคตินั้นได้รับการรวมเข้าด้วยกันอย่างสม่ำเสมอ

ฉันไม่แน่ใจว่าคำตอบข้างต้นโดย David Marx ค่อนข้างถูกต้อง อ้างอิงจากแอนดรูว์อึ้งโดยทั่วไปแล้วค่าสัมประสิทธิ์ความเอนเอียง / การสกัดกั้นโดยทั่วไปไม่ได้ทำให้เป็นมาตรฐานในการถดถอยเชิงเส้นและไม่ว่าในกรณีใดก็ตาม

ฉันจะให้คำอธิบายที่ง่ายที่สุดแล้วขยาย

$$y_t=\varepsilon_t$$ $E[\varepsilon_t]=E[y_t]\ne 0$

$\beta$

$\beta$$\beta_0$

$$y_t=\beta_0+\varepsilon_t$$ $$E[y_t]=\beta_0+E[\varepsilon_t]$$ $E[\varepsilon_t]=0$$\beta_0=\mu=E[y_t]$

รุ่นนี้ไม่ได้เซ็กซี่เหมือนรุ่นดั้งเดิม แต่มันค่อนข้างโง่ในความเป็นจริง อย่างไรก็ตามมันเป็นรูปแบบที่ถูกต้อง คุณสามารถใช้งาน ANOVA ได้เช่น

$\beta_0=E[y_t]$