k-fold การตรวจสอบความถูกต้องของการเรียนรู้ทั้งมวล


20

ฉันสับสนเกี่ยวกับวิธีแบ่งพาร์ติชันข้อมูลสำหรับการตรวจสอบความถูกต้องของวง k-fold

สมมติว่าฉันมีกรอบการเรียนรู้ทั้งมวลสำหรับการจำแนก เลเยอร์แรกของฉันมีโมเดลการจัดหมวดหมู่เช่น svm แผนภูมิการตัดสินใจ

เลเยอร์ที่สองของฉันมีโมเดลการลงคะแนนซึ่งรวมการทำนายจากเลเยอร์แรกและให้การทำนายขั้นสุดท้าย

หากเราใช้การตรวจสอบความถูกต้อง 5 เท่าของ cross-cross ฉันคิดว่าจะใช้ 5 folds ดังนี้:

  • 3 เท่าสำหรับการฝึกชั้นแรก
  • 1 เท่าสำหรับฝึกซ้อมเลเยอร์ที่สอง
  • 1 เท่าสำหรับการทดสอบ

นี้เป็นวิธีที่ถูกต้องหรือไม่? ข้อมูลการฝึกอบรมสำหรับชั้นหนึ่งและชั้นสองควรเป็นอิสระหรือไม่? ฉันคิดว่าพวกเขาควรจะมีความเป็นอิสระเพื่อให้กรอบการเรียนรู้ทั้งมวลจะแข็งแกร่ง

เพื่อนของฉันแนะนำข้อมูลการฝึกอบรมสำหรับเลเยอร์แรกและเลเยอร์ที่สองควรเหมือนกันเช่น

  • 4 เท่าสำหรับการฝึกชั้นหนึ่งและชั้นสอง
  • 1 เท่าสำหรับการทดสอบ

ด้วยวิธีนี้เราจะมีข้อผิดพลาดที่แม่นยำยิ่งขึ้นของกรอบการเรียนรู้ทั้งมวลและการปรับกรอบซ้ำ ๆ จะมีความแม่นยำมากขึ้นเนื่องจากมีพื้นฐานจากข้อมูลการฝึกอบรมเพียงครั้งเดียว นอกจากนี้เลเยอร์ที่สองอาจมีอคติต่อข้อมูลการฝึกอบรมที่เป็นอิสระ

คำแนะนำใด ๆ ที่ชื่นชมอย่างมาก

คำตอบ:


26

การเรียนรู้ทั้งมวลหมายถึงวิธีการที่แตกต่างกันไม่กี่อย่าง การเพิ่มและบรรจุถุงอาจเป็นสองสิ่งที่พบบ่อยที่สุด ดูเหมือนว่าคุณกำลังพยายามที่จะใช้วิธีการเรียนรู้ทั้งมวลเรียกซ้อน การวางซ้อนมีวัตถุประสงค์เพื่อปรับปรุงความแม่นยำโดยการรวมการทำนายจากอัลกอริทึมการเรียนรู้หลายอย่าง มีหลายวิธีในการทำสแต็คและไม่ใช่ทฤษฎีที่เข้มงวด มันใช้งานง่ายและเป็นที่นิยม

พิจารณาแนวทางของเพื่อนคุณ คุณกำลังติดตั้งโมเดลเลเยอร์แรกในสี่ในห้าเท่าจากนั้นติดตั้งโมเดลเลเยอร์ที่สอง (การโหวต) โดยใช้โฟลด์เดียวกัน ปัญหาคือเลเยอร์ที่สองจะสนับสนุนโมเดลที่มีข้อผิดพลาดในการฝึกอบรมต่ำที่สุด คุณกำลังใช้ข้อมูลเดียวกันเพื่อจัดทำโมเดลและกำหนดขั้นตอนเพื่อรวมโมเดลเหล่านั้น เลเยอร์ที่สองควรรวมโมเดลโดยใช้การคาดการณ์ที่ไม่อยู่ในกลุ่มตัวอย่าง วิธีการของคุณดีกว่า แต่ก็ยังมีวิธีที่จะทำให้ดียิ่งขึ้น

เราจะดำเนินการทดสอบต่อไปหนึ่งครั้ง ใช้โฟลด์โฟลด์และใช้ CV โฟลด์เพื่อรับการทำนายตัวอย่างสำหรับแต่ละเลเยอร์แรกของคุณในโฟลว์ทั้งสี่เท่า นั่นคือปล่อยให้หนึ่งในสี่เท่าและพอดีกับตัวแบบในอีกสามตัวและทำนายข้อมูลที่ถูกจัดเก็บไว้ ทำซ้ำทั้งสี่เท่าเพื่อให้คุณได้รับการคาดการณ์ที่ไม่อยู่ในตัวอย่างทั้งสี่เท่า จากนั้นปรับโมเดลเลเยอร์ที่สองให้เหมาะกับการคาดการณ์ที่ไม่อยู่ในกลุ่มตัวอย่าง จากนั้นติดตั้งเลเยอร์ชั้นแรกอีกครั้งทั้งสี่เท่า ตอนนี้คุณสามารถไปที่โฟลด์ที่ห้าที่คุณยังไม่ได้แตะ ใช้โมเดลเลเยอร์แรกพอดีกับทั้งสี่เท่าพร้อมกับโมเดลเลเยอร์ที่สองเพื่อประเมินข้อผิดพลาดของข้อมูลที่จัดไว้ คุณสามารถทำซ้ำขั้นตอนนี้อีกครั้งโดยการพับอีกครั้งที่ยื่นออกมาจากการปรับแบบเลเยอร์แรกและสอง

หากคุณพอใจกับประสิทธิภาพแล้วสร้างการคาดการณ์แบบนอกสำหรับรุ่นเลเยอร์แรกในทั้งห้าเท่าจากนั้นใส่แบบจำลองเลเยอร์ที่สองในสิ่งเหล่านี้ จากนั้นให้พอดีกับเลเยอร์โมเดลหนึ่งเป็นครั้งสุดท้ายในข้อมูลทั้งหมดของคุณและใช้กับโมเดลเลเยอร์ที่สองในข้อมูลใหม่!

ในที่สุดก็มีคำแนะนำทั่วไป คุณจะได้รับประโยชน์มากขึ้นหากโมเดลเลเยอร์แรกของคุณแตกต่างจากกัน คุณอยู่บนเส้นทางที่ถูกต้องที่นี่โดยใช้ SVM และแผนผังการตัดสินใจซึ่งค่อนข้างแตกต่างจากกัน เนื่องจากมีเอฟเฟ็กต์เฉลี่ยจากโมเดลเลเยอร์ที่สองคุณอาจต้องการลองสร้างโมเดลเลเยอร์แรกของคุณมากขึ้นเรื่อย ๆ โดยเฉพาะอย่างยิ่งถ้าคุณมีมันมาก โดยทั่วไปแล้วชั้นที่สองนั้นเป็นสิ่งที่เรียบง่ายและมีข้อ จำกัด เช่นการไม่คัดค้านเรื่องน้ำหนักและการพูดซ้ำซากเป็นเรื่องธรรมดา สุดท้ายโปรดจำไว้ว่าการเรียงซ้อนอาศัยการตรวจสอบข้ามซึ่งเป็นเพียงการประเมินความเสี่ยงที่แท้จริง หากคุณได้รับอัตราความผิดพลาดที่แตกต่างกันมากและน้ำหนักของแบบจำลองที่แตกต่างกันมากในครึ่งเท่าก็แสดงว่าการประเมินความเสี่ยงที่อิงกับ CV ของคุณมีความแปรปรวนสูง ในกรณีนี้คุณอาจต้องการพิจารณาการผสมแบบง่ายของโมเดลชั้นแรกของคุณ หรือคุณสามารถประนีประนอมได้โดยการวางซ้อนกับข้อ จำกัด เกี่ยวกับน้ำหนักสูงสุด / นาทีที่วางไว้ในแต่ละชั้นแรก


ขอบคุณสำหรับคำแนะนำที่เป็นประโยชน์มาก ฉันไม่เข้าใจย่อหน้าที่สี่ของคุณ ดูเหมือนว่าฉันจะฝึกอบรมอีกครั้ง? ฉันคิดว่าย่อหน้าที่สามของคุณสรุปวิธีการที่คุณเสนอใช่ไหม
Michael

1
ตามปกติด้วยการตรวจสอบข้ามเมื่อเราพอใจกับโมเดลที่เราทำการฝึกอบรมใหม่โดยใช้ข้อมูลทั้งหมด โมเดลที่อธิบายในวรรคสามไม่สอดคล้องกับข้อมูลที่จัดไว้ การเก็บข้อมูลไว้เป็นเครื่องมือเพื่อเป็นแนวทางในการประเมินและเลือกแบบจำลอง คุณควรใส่โมเดลสุดท้ายให้กับข้อมูลทั้งหมดเสมอ
MichaelJ

สำหรับฉันแล้วดูเหมือนว่าวิธีการนี้คล้ายกับเครือข่ายประสาทเทียมไปข้างหน้า
Michael

คำอธิบายที่ดี สิ่งเดียวที่ขาดคือแผนภาพ;)
Josh
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.