เหตุผลเชิงประจักษ์สำหรับกฎข้อผิดพลาดมาตรฐานเดียวเมื่อใช้การตรวจสอบความถูกต้องข้าม

มีการศึกษาเชิงประจักษ์ที่แสดงให้เห็นถึงการใช้กฎข้อผิดพลาดมาตรฐานเดียวเพื่อสนับสนุนการประหยัดเงินหรือไม่? เห็นได้ชัดว่ามันขึ้นอยู่กับกระบวนการสร้างข้อมูล แต่สิ่งใดก็ตามที่วิเคราะห์คลังข้อมูลขนาดใหญ่จะเป็นการอ่านที่น่าสนใจมาก

"กฎข้อผิดพลาดมาตรฐานหนึ่งข้อ" จะถูกนำไปใช้เมื่อเลือกรุ่นผ่านการตรวจสอบข้าม (หรือโดยทั่วไปผ่านขั้นตอนการสุ่มใด ๆ )

สมมติเราพิจารณารุ่นการจัดทำดัชนีความซับซ้อนพารามิเตอร์เช่นว่าคือ "ความซับซ้อนมากขึ้น" กว่าว่าเมื่อtau' สมมติว่าเราประเมินคุณภาพของโมเดลโดยกระบวนการสุ่มตัวอย่างเช่นการตรวจสอบข้าม ให้แสดงถึงคุณภาพ "เฉลี่ย" ของเช่นค่าความผิดพลาดการทำนายค่าเฉลี่ยของการข้ามการตรวจสอบความถูกต้องจำนวนมาก เราต้องการลดปริมาณนี้$M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

อย่างไรก็ตามเนื่องจากการวัดคุณภาพของเรานั้นมาจากขั้นตอนการสุ่มตัวอย่างบางอย่างจึงมาพร้อมกับความแปรปรวน อนุญาตให้แสดงถึงข้อผิดพลาดมาตรฐานของคุณภาพของในการดำเนินการสุ่มเช่นค่าเบี่ยงเบนมาตรฐานของข้อผิดพลาดการคาดการณ์นอกถุงของในการดำเนินการตรวจสอบข้าม$s(M)$$M$$M$

จากนั้นเราก็เลือกรูปแบบที่เป็นที่เล็กที่สุดดังกล่าวว่า$M_\tau$$\tau$$\tau$

ที่ดัชนี (โดยเฉลี่ย) แบบที่ดีที่สุด,tau)$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

นั่นคือเราเลือกแบบจำลองที่ง่ายที่สุด ( เล็กที่สุด $\tau$ ) ซึ่งไม่เกินหนึ่งข้อผิดพลาดมาตรฐานที่แย่กว่าแบบจำลองที่ดีที่สุด$M_{\tau'}$ในขั้นตอนการสุ่ม

ฉันพบ "กฎข้อผิดพลาดมาตรฐานหนึ่งข้อ" ที่อ้างถึงในที่ต่อไปนี้ แต่ไม่เคยมีเหตุผลที่ชัดเจน:

• หน้า 80 ในการจำแนกและต้นไม้ถดถอยโดย Breiman, Friedman, Stone & Olshen (1984)
• หน้า 415 ในการประมาณจำนวนกลุ่มในชุดข้อมูลผ่านสถิติ Gapโดย Tibshirani, Walther & Hastie ( JRSS B , 2001) (อ้างอิง Breiman และคณะ)
• หน้า 61 และ 244 ในองค์ประกอบของการเรียนรู้ทางสถิติโดย Hastie, Tibshirani & Friedman (2009)
• หน้า 13 ในการเรียนรู้ทางสถิติด้วย Sparsityโดย Hastie, Tibshirani & Wainwright (2015)

ต่อไปนี้ไม่ใช่การศึกษาเชิงประจักษ์ซึ่งเป็นสาเหตุที่ฉันต้องการโพสต์เป็นความคิดเห็นไม่ใช่คำตอบ - แต่จริงๆแล้วมันกลับกลายเป็นว่านานเกินไปสำหรับความคิดเห็น

Cawley & Talbot ( การวิจัยการเรียนรู้ของเครื่องจักร , 2010)ให้ความสนใจกับความแตกต่างระหว่างการ overfitting ในระหว่างการเลือกรูปแบบและ overfitting ในระหว่างขั้นตอนการติดตั้งแบบจำลอง

การ overfitting ประเภทที่สองคือสิ่งที่คนส่วนใหญ่คุ้นเคย: เนื่องจากแบบจำลองหนึ่ง ๆ เราไม่ต้องการให้มันมากเกินไปเช่นเพื่อให้พอดีกับลักษณะเฉพาะของชุดข้อมูลเดียวที่เรามีอยู่โดยทั่วไป ( นี่คือที่การหดตัว / การทำให้เป็นปกติสามารถช่วยได้โดยการค้าเพิ่มขึ้นเล็กน้อยในอคติต่อการลดลงของความแปรปรวน )

อย่างไรก็ตาม Cawley & Talbot ยืนยันว่าเราสามารถมีความเหมาะสมเช่นกันในระหว่างขั้นตอนการเลือกรุ่น ท้ายที่สุดเรายังมีชุดข้อมูลเพียงชุดเดียวและเรากำลังตัดสินใจระหว่างรุ่นที่แตกต่างกันของความซับซ้อนที่แตกต่างกัน การประเมินแบบจำลองผู้สมัครแต่ละคนเพื่อเลือกแบบหนึ่งมักจะเกี่ยวข้องกับการปรับแบบจำลองนั้นซึ่งสามารถทำได้โดยใช้การทำให้เป็นมาตรฐานหรือไม่ แต่การประเมินในตัวมันเองนั้นเป็นตัวแปรสุ่มอีกครั้งเพราะมันขึ้นอยู่กับชุดข้อมูลที่เรามี ดังนั้นตัวเลือกแบบ "ดีที่สุด" ของเราจึงสามารถมีอคติและจะแสดงความแปรปรวนขึ้นอยู่กับชุดข้อมูลเฉพาะจากชุดข้อมูลทั้งหมดที่เราดึงมาจากประชากร

Cawley & Talbot ให้เหตุผลว่าการเลือกแบบจำลองที่มีประสิทธิภาพดีที่สุดในการประเมินนี้อาจเป็นกฎการเลือกที่มีอคติเล็ก ๆ แต่อาจมีความแปรปรวนขนาดใหญ่ นั่นคือเนื่องจากชุดข้อมูลการฝึกอบรมที่แตกต่างจากกระบวนการสร้างข้อมูล (DGP) เดียวกันกฎนี้อาจเลือกรุ่นที่แตกต่างกันมากซึ่งจะถูกติดตั้งและใช้สำหรับการคาดการณ์ในชุดข้อมูลใหม่ที่ตาม DGP เดียวกันอีกครั้ง ในแสงนี้การจำกัดความแปรปรวนของขั้นตอนการเลือกแบบจำลอง แต่การเบี่ยงเบนเล็กน้อยไปสู่ตัวแบบที่ง่ายกว่าอาจทำให้เกิดข้อผิดพลาดน้อยกว่าตัวอย่าง

Cawley & Talbot ไม่ได้เชื่อมต่อสิ่งนี้กับกฎข้อผิดพลาดมาตรฐานอย่างชัดเจนและส่วนของพวกเขาใน "การเลือกรูปแบบปกติ" นั้นสั้นมาก อย่างไรก็ตามกฎข้อผิดพลาดมาตรฐานหนึ่งข้อจะปฏิบัติตามการทำให้เป็นมาตรฐานนี้อย่างแน่นอนและนำความสัมพันธ์ระหว่างความแปรปรวนในการเลือกรูปแบบและความแปรปรวนของข้อผิดพลาดการตรวจสอบความถูกต้องออกนอกกระเป๋า

ยกตัวอย่างเช่นด้านล่างเป็นรูปที่ 2.3 จากการเรียนรู้ทางสถิติกับ Sparsityโดย Hastie, Tibshirani และเวนไรท์ (2015) ความแปรปรวนของการเลือกแบบจำลองนั้นกำหนดโดยความนูนของเส้นสีดำอย่างน้อยที่สุด ที่นี่ค่าต่ำสุดไม่ได้เด่นชัดมากนักและเส้นนั้นค่อนข้างนูนเล็กน้อยดังนั้นการเลือกแบบจำลองอาจค่อนข้างไม่แน่นอนเมื่อมีความแปรปรวนสูง และความแปรปรวนของการประมาณข้อผิดพลาด OOB CV นั้นแน่นอนโดยเส้นสีน้ำเงินจำนวนมากที่แสดงถึงข้อผิดพลาดมาตรฐาน

สำหรับเหตุผลเชิงประจักษ์ให้ดูที่หน้า 12 ในบันทึกหลักสูตรการขุดข้อมูล Tibshirani เหล่านี้ซึ่งแสดงข้อผิดพลาด CV เป็นฟังก์ชันของแลมบ์ดาสำหรับปัญหาการสร้างแบบจำลองเฉพาะ ข้อเสนอแนะน่าจะเป็นที่ต่ำกว่าค่าที่แน่นอนlambdas ทั้งหมดให้เกี่ยวกับข้อผิดพลาด CV เดียวกัน สิ่งนี้สมเหตุสมผลเนื่องจาก LASSO ไม่ได้ใช้เพียงอย่างเดียวหรือแม้กระทั่งเบื้องต้นเพื่อปรับปรุงความแม่นยำในการทำนาย จุดขายหลักของมันคือการทำให้แบบจำลองง่ายขึ้นและสามารถตีความได้มากขึ้นโดยการกำจัดตัวทำนายที่เกี่ยวข้อง / มีค่าน้อยที่สุด

ตอนนี้ที่จะเข้าใจกฎหนึ่งข้อผิดพลาดมาตรฐานขอคิดเกี่ยวกับครอบครัวของแบบจำลองที่เราได้รับจากการที่แตกต่างกัน\ร่างของ Tibshirani กำลังบอกเราว่าเรามีโมเดลที่มีความซับซ้อนปานกลางถึงสูงที่มีความคล้ายคลึงกันในด้านความแม่นยำในการทำนายและโมเดลที่มีความซับซ้อนต่ำซึ่งไม่สามารถคาดการณ์ได้ เราควรเลือกอะไร ถ้าเราใช้เราอาจสนใจแบบจำลองทางดังนั้นเราอาจต้องการแบบจำลองที่ง่ายที่สุดที่อธิบายข้อมูลของเราได้ดีพอสมควรเพื่อถอดความ Einstein แล้วแบบจำลองความซับซ้อนต่ำสุดที่ "เกี่ยวกับดีเท่า" กับโมเดลที่มีความซับซ้อนสูงเหล่านั้นคืออะไร? และวิธีที่ดีในการวัด "เกี่ยวกับดี" คืออะไร? ข้อผิดพลาดมาตรฐานหนึ่งข้อ$\lambda$$L_1$

จำนวนของตัวแปรที่เลือกโดยประมาณการเชือกจะตัดสินใจโดยมูลค่าการลงโทษ\ใหญ่กว่าคือยิ่งเล็กลงเป็นชุดของตัวแปรที่เลือก Let เป็นชุดของตัวแปรที่เลือกใช้เป็นโทษ\ $\lambda$$\lambda$$\hat S(\lambda)$$\lambda$

ให้เป็นบทลงโทษที่เลือกโดยใช้ฟังก์ชั่นการตรวจสอบข้ามขั้นต่ำ ก็สามารถที่จะพิสูจน์ให้เห็นว่า1 โดยที่เป็นชุดของตัวแปรที่ไม่ใช่ 0 จริง ๆ (ชุดของตัวแปรที่แท้จริงคือเนื้อหาอย่างเคร่งครัดในชุดที่ประเมินโดยใช้เป็นบทลงโทษขั้นต่ำของการตรวจสอบข้าม)$\lambda^ \star$$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$$S_0$

ควรรายงานในสถิติสำหรับข้อมูลมิติสูงโดยBühlmannและ van de Geer

ค่าปรับมักถูกเลือกผ่านการตรวจสอบข้าม ซึ่งหมายความว่ามีการเลือกตัวแปรที่มีความน่าจะเป็นสูงเกินไป เพื่อลดจำนวนของตัวแปรที่เลือกโทษจะเพิ่มขึ้นเล็กน้อยโดยใช้กฎข้อผิดพลาดมาตรฐานเดียว$\lambda$