ช่วงเวลาการทำนายขึ้นอยู่กับการตรวจสอบข้าม (CV)

ในหนังสือข้อความและการบรรยาย youtube ฉันได้เรียนรู้มากมายเกี่ยวกับแบบจำลองซ้ำ ๆ เช่นการส่งเสริม แต่ฉันไม่เคยเห็นอะไรเลยเกี่ยวกับช่วงเวลาการทำนาย

การตรวจสอบความถูกต้องไขว้ถูกใช้สำหรับสิ่งต่อไปนี้:

การเลือกรุ่น : ลองใช้รุ่นที่แตกต่างกันและเลือกรุ่นที่เหมาะสมที่สุด ในกรณีของการส่งเสริมให้ใช้ CV เพื่อเลือกพารามิเตอร์การปรับ
การประเมินโมเดล : ประเมินประสิทธิภาพของโมเดลที่เลือก

พารามิเตอร์หลายตัวมีความสำคัญต่อการประเมินแบบจำลองโดยหนึ่งในนั้นคือข้อผิดพลาดในการทำนายที่คาดหวัง การตรวจสอบความถูกต้องของข้อมูลให้การประมาณที่ดีของข้อผิดพลาดในการทำนายเช่นเดียวกับที่อธิบายไว้ในหนังสือ "องค์ประกอบของการเรียนรู้ทางสถิติ"

แต่เราจะใช้ข้อผิดพลาดการคาดการณ์เพื่อสร้างช่วงเวลาการทำนายได้อย่างไร

และถ้าคุณทำนายราคาของบ้านตัวอย่างเช่นช่วงเวลาการทำนายจะสูงกว่าสำหรับบ้านที่ 500,000 ยูโรเมื่อเทียบกับบ้านที่มี 200,000 ยูโร เราจะประเมินช่วงเวลาการทำนายเหล่านี้โดยใช้การตรวจสอบความถูกต้องไขว้ได้อย่างไร

cross-validation boosting prediction-interval

— แคสเปอร์
แหล่งที่มา

นี่เป็นขั้นตอนในทิศทางที่ดี: blog.datadive.net/prediction-intervals-for-random-forests

— Kasper

ฉันคิดว่าสิ่งที่คุณกำลังมองหาคือการคาดการณ์ที่สอดคล้องกัน ดูกระดาษโดยเชและ Vovk jmlr.csail.mit.edu/papers/volume9/shafer08a/shafer08a.pdf

— Alexey Zaytsev

คุณช่วยอธิบายได้ไหมว่าทำไมคุณถึงเชื่อว่าช่วงเวลาการทำนายนั้นจะ "สูงกว่า" สำหรับบ้าน 500k เมื่อเทียบกับบ้านที่ 200k นั่นคือฟังก์ชั่นของจำนวนตัวอย่างหรือไม่? คุณสามารถสมมติว่าตัวอย่างถูกดึงออกมาจากการกระจายทั้งหมดหรือไม่?

— justanotherbrain

หลังจากอ่านคำถามนี้อีกครั้งฉันสามารถมอบข้อ จำกัด ต่อไปนี้ให้คุณ:

สมมติว่ากลุ่มตัวอย่างถูกวาดด้วย iid การแจกแจงคงที่และการสูญเสียถูก จำกัด โดยจากนั้นด้วยความน่าจะเป็นอย่างน้อย , $B$ $1 - \delta$

E [E (h)] \leq \hat{E} (h) + B \sqrt{\frac{\log \frac{1}{δ}}{2 m}}

$\mathbb{E}[\mathcal{E}(h)] \leq \hat{\mathcal{E}}(h) + B\sqrt{\frac{\log \frac{1}{\delta}}{2m}}$

โดยที่คือขนาดตัวอย่างและคือความมั่นใจ ขอบเขตของความไม่เท่าเทียมของ McDiarmid นั้นมีอยู่เล็กน้อย $m$ $1-\delta$

$m$ คือขนาดตัวอย่างคือข้อผิดพลาดทั่วไปและคือข้อผิดพลาดในการทดสอบสมมติฐาน $\mathbb{E}[\mathcal{E}(h)]$ $\hat{\mathcal{E}}(h)$

โปรดอย่ารายงานเฉพาะข้อผิดพลาดในการตรวจสอบความถูกต้องไขว้หรือข้อผิดพลาดในการทดสอบซึ่งไม่มีความหมายโดยทั่วไปเนื่องจากเป็นเพียงการประมาณค่า

โพสต์เก่าสำหรับบันทึก:

ฉันไม่แน่ใจว่าฉันเข้าใจคำถามของคุณทั้งหมด แต่ฉันจะแทงมัน

อันดับแรกฉันไม่แน่ใจว่าคุณจะกำหนดช่วงเวลาการทำนายสำหรับการเลือกแบบจำลองได้อย่างไรเนื่องจากฉันเข้าใจแล้วช่วงเวลาการทำนายทำให้สมมติฐานบางส่วนกระจาย แต่คุณสามารถได้รับความไม่เท่าเทียมกันของความเข้มข้นซึ่งผูกตัวแปรสุ่มโดยความแปรปรวนของความน่าจะเป็น ความไม่เท่าเทียมกันของความเข้มข้นถูกใช้ผ่านการเรียนรู้ของเครื่องจักรรวมถึงทฤษฎีขั้นสูงสำหรับการส่งเสริม ในกรณีนี้คุณต้องการเชื่อมโยงข้อผิดพลาดทั่วไป (ข้อผิดพลาดของคุณโดยทั่วไปคุณไม่เห็นจุด) จากข้อผิดพลาดเชิงประจักษ์ (ข้อผิดพลาดของคุณในชุดทดสอบ) บวกกับคำที่ซับซ้อนและคำที่เกี่ยวข้องกับความแปรปรวน

ตอนนี้ฉันต้องขจัดความเข้าใจผิดเกี่ยวกับการตรวจสอบข้ามซึ่งเป็นเรื่องธรรมดามาก การตรวจสอบความถูกต้องไขว้จะให้การประมาณที่ไม่ลำเอียงถึงข้อผิดพลาดที่คาดหวังของแบบจำลองสำหรับขนาดตัวอย่างที่มีการแก้ไข หลักฐานนี้ใช้งานได้กับโปรโตคอลการลาแบบครั้งเดียวเท่านั้น สิ่งนี้ค่อนข้างอ่อนแอเนื่องจากไม่มีข้อมูลเกี่ยวกับความแปรปรวน ในทางกลับกันการตรวจสอบความถูกต้องจะส่งคืนแบบจำลองที่ใกล้กับโซลูชันการลดความเสี่ยงทางโครงสร้างซึ่งเป็นทางออกที่ดีที่สุดในทางทฤษฎี คุณสามารถหาหลักฐานได้ในภาคผนวกที่นี่: http://www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

ดังนั้นวิธีที่จะได้รับลักษณะทั่วไปที่ถูกผูกไว้? (โปรดจำไว้ว่าข้อ จำกัด ของการวางนัยทั่วไปนั้นเป็นช่วงเวลาการคาดเดาเกี่ยวกับข้อผิดพลาดในการวางนัยสำหรับรุ่นเฉพาะ) ขอบเขตเหล่านี้เป็นอัลกอริทึมเฉพาะ น่าเสียดายที่มีหนังสือเรียนเพียงเล่มเดียวเท่านั้นที่กำหนดขอบเขตสำหรับอัลกอริทึมที่ใช้กันทั่วไปทั้งหมดในการเรียนรู้ของเครื่อง (รวมถึงการส่งเสริม) หนังสือเล่มนี้เป็นพื้นฐานของการเรียนรู้ของเครื่อง (2012) โดย Mohri, Rostamizadeh และ Talwalkar สำหรับสไลด์บรรยายที่ครอบคลุมเนื้อหาคุณสามารถค้นหาได้ในหน้าเว็บของ Mohri: http://www.cs.nyu.edu/~mohri/ml14/

ในขณะที่องค์ประกอบของการเรียนรู้ทางสถิติเป็นหนังสือที่มีความสำคัญและค่อนข้างเป็นประโยชน์ แต่ก็ไม่ได้เข้มงวดมากนักและจะละเว้นรายละเอียดทางเทคนิคที่สำคัญมากเกี่ยวกับอัลกอริธึมและละเว้นขอบเขตการจัดประเภททั่วไป รากฐานของการเรียนรู้ของเครื่องเป็นหนังสือที่ครอบคลุมมากที่สุดสำหรับการเรียนรู้ของเครื่อง (ซึ่งทำให้รู้สึกว่ามันถูกเขียนโดยบางส่วนที่ดีที่สุดในสนาม) อย่างไรก็ตามตำราเรียนเป็นแบบขั้นสูงดังนั้นโปรดระวังรายละเอียดทางเทคนิค

ลักษณะทั่วไปของการส่งเสริมสามารถพบได้ (พร้อมหลักฐาน) ที่นี่: http://www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

ฉันหวังว่าคำแนะนำเหล่านั้นจะเพียงพอที่จะตอบคำถามของคุณ ฉันลังเลที่จะตอบคำถามให้ครบเพราะจะใช้เวลาประมาณ 50 หน้าในการตรวจสอบรายละเอียดที่จำเป็นทั้งหมดโดยไม่ต้องพูดถึงการสนทนาเบื้องต้น ...

โชคดี!

— justanotherbrain
แหล่งที่มา

ดังนั้นถ้าฉันเข้าใจดีสิ่งนี้จะให้ขอบเขตสูงสุดสำหรับข้อผิดพลาดการวางนัยทั่วไปสำหรับควอไทล์ใด ๆ การกระจายทั้งหมด (ตามสมมติฐานบางอย่าง) อย่างไรก็ตามฉันไม่เข้าใจประโยคของคุณ "โปรดอย่ารายงานข้อผิดพลาดการตรวจสอบไขว้หรือข้อผิดพลาดการทดสอบ" คุณหมายถึงมาตรการทั้งสองนี้ไร้ประโยชน์หรือพวกเขาไร้ประโยชน์ที่จะพยายามหาช่วงเวลาการทำนายหรือไม่?

— LouisBBBB

@LouisBBBB CV ข้อผิดพลาดและข้อผิดพลาดในการทดสอบนั้นคล้ายกับการรายงานค่าเฉลี่ยตัวอย่าง โดยทั่วไปแล้วการปฏิบัติที่ไม่ดีในการรายงานค่าเฉลี่ยตัวอย่างโดยไม่มีช่วงความมั่นใจเพราะทุกครั้งที่ฉันทำการทดสอบฉันจะได้รับผลลัพธ์ที่แตกต่างกัน ฉันพูดว่าไม่มีความหมาย แต่อาจจะ "ไร้ประโยชน์" ดีกว่า ... เราอาจโต้แย้งว่ามีความหมายบางอย่างในการประมาณค่าจุด (เช่นคำจำกัดความ) แต่โดยทั่วไปแล้วการประมาณจุดนั้น "ไร้ประโยชน์" ในแง่ที่ว่าพวกเขาไม่ได้จำแนกลักษณะการกระจายของความผิดพลาดในแบบ "มีประโยชน์" "มีประโยชน์" ในบริบทของการตัดสินใจ

— justanotherbrain

ฉันคิดว่าฉันเข้าใจสิ่งที่คุณพูด ดังนั้นคุณชอบวิเคราะห์การกระจายของข้อผิดพลาดแทนค่าเฉลี่ย และถ้าฉันกลับไปที่คำถามแคสเปอร์ต้องการประมาณช่วงการทำนาย "ต่อจุด" คำตอบของคุณคือขอบเขตระดับโลกสำหรับความยาวช่วงเวลาการทำนาย (หรือบางอย่างที่ใกล้เคียง) ใช่ไหม? ดังนั้นคุณรู้วิธีที่จะได้รับขอบเขตบนท้องถิ่นหรือไม่

— LouisBBBB

อ่า - ขอบคุณสำหรับการชี้แจง ฉันคิดว่าฉันเข้าใจคำถาม @ Kasper ผิดและมีคำถามติดตามจำนวนมาก ขอบคุณที่ชี้ให้ฉันเห็นฉันจะขุด

— justanotherbrain