การคำนวณช่วงเวลาการทำนายเมื่อใช้การตรวจสอบความถูกต้องข้าม

การประมาณค่าเบี่ยงเบนมาตรฐานคำนวณโดย:

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}.$

( http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation )

สำหรับการทำนายความถูกต้องตัวอย่างจากการตรวจสอบความถูกต้องไขว้ 10 เท่า ฉันกังวลว่าความแม่นยำในการทำนายที่คำนวณระหว่างแต่ละครั้งนั้นขึ้นอยู่กับชุดการฝึกอบรมที่ทับซ้อนกันอย่างมาก (แม้ว่าชุดการทำนายจะเป็นอิสระ) แหล่งข้อมูลใด ๆ ที่กล่าวถึงนี้จะเป็นประโยชน์อย่างมาก

ฉันกังวลว่าความแม่นยำในการทำนายที่คำนวณได้ระหว่างแต่ละครั้งนั้นขึ้นอยู่กับชุดการฝึกอบรมที่ทับซ้อนกันอย่างมาก (แม้ว่าชุดการทำนายจะเป็นอิสระ)

IMHO ความซ้ำซ้อนระหว่างชุดการฝึกอบรมไม่จำเป็นต้องเป็นเรื่องใหญ่ที่นี่ แน่นอนว่าเป็นเรื่องสำคัญที่จะต้องตรวจสอบว่าตัวแบบมีความเสถียรหรือไม่ ความมั่นคงหมายถึงการคาดการณ์ตัวแทนแบบจำลองการตรวจสอบความถูกต้องของไม้กางเขนนั้นมีความเท่าเทียมกัน (เช่นกรณีที่เป็นอิสระจะได้รับการทำนายแบบเดียวกันโดยแบบจำลองเหล่านั้นทั้งหมด) และในความเป็นจริงแล้ว กรณี ดังนั้นการพึ่งพานี้จึงค่อนข้างเป็นผลมาจากสิ่งที่เราต้องการ

สิ่งนี้ใช้กับคำถามทั่วไป: ถ้าฉันฝึกแบบจำลองกับข้อมูลเหล่านี้ช่วงเวลาการทำนายคืออะไร หากคำถามเป็นเช่นนั้นหากเราฝึกแบบจำลองในกรณีของประชากรนี้การทำนายระยะเวลาคืออะไรเราไม่สามารถตอบได้เพราะการทับซ้อนกันในชุดการฝึกอบรมหมายความว่าเราประเมินค่าความแปรปรวนต่ำเกินไป$n$

การเปรียบเทียบกับการทดสอบด้วยชุดการทดสอบอิสระคืออะไร

• การประเมินการตรวจสอบข้ามอาจมีความแปรปรวนสูงกว่าการทดสอบรุ่นสุดท้ายด้วยชุดทดสอบอิสระขนาดเดียวกันเนื่องจากนอกเหนือจากความแปรปรวนเนื่องจากกรณีทดสอบเราเผชิญความแปรปรวนเนื่องจากความไม่แน่นอนของแบบจำลองตัวแทน

• อย่างไรก็ตามหากรุ่นมีความเสถียรความแปรปรวนนี้จะมีขนาดเล็ก / เล็กน้อย ยิ่งไปกว่านั้นความมั่นคงประเภทนี้สามารถวัดได้

• สิ่งที่ไม่สามารถวัดได้คือวิธีเปรียบเทียบข้อมูลชุดทั้งหมดกับจำนวนประชากรที่ดึงมา ซึ่งรวมถึงส่วนหนึ่งของอคติของรุ่นสุดท้าย (อย่างไรก็ตามชุดทดสอบอิสระขนาดเล็กอาจมีอคติ) และหมายความว่าความแปรปรวนที่สอดคล้องกันไม่สามารถประเมินได้โดยการตรวจสอบข้าม

• ในการปฏิบัติงานของแอปพลิเคชัน (ประสิทธิภาพของแบบจำลองที่ฝึกกับข้อมูลเหล่านี้ ) การคำนวณช่วงเวลาการทำนายจะเผชิญกับปัญหาที่ IMHO มีความสำคัญมากกว่าสิ่งที่ส่วนหนึ่งของการตรวจสอบความแปรปรวนข้ามที่ไม่สามารถตรวจพบได้เช่น

  • การตรวจสอบความถูกต้องไขว้ไม่สามารถทดสอบประสิทธิภาพสำหรับกรณีที่มีความเป็นอิสระในเวลา (โดยปกติจะต้องใช้การคาดการณ์สำหรับกรณีที่วัดในอนาคต)
  • ข้อมูลอาจมีกลุ่มที่ไม่รู้จักและประสิทธิภาพของกลุ่มอาจมีความสำคัญ ข้อมูลแบบกลุ่มเป็นสิ่งที่สำคัญอย่างยิ่งที่คุณสามารถนำมาใช้ในการตรวจสอบความถูกต้องไขว้กัน แต่คุณจำเป็นต้องรู้เกี่ยวกับการทำคลัสเตอร์

  สิ่งเหล่านี้เป็นมากกว่าเพียงแค่การตรวจสอบไขว้กับการตั้งค่าการทดสอบอิสระ: โดยทั่วไปคุณจะต้องนั่งลงและออกแบบการศึกษาการตรวจสอบความถูกต้องมิฉะนั้นมีความเสี่ยงสูงที่ชุดการทดสอบ "อิสระ" ไม่ได้เป็นอิสระทั้งหมด เมื่อทำเสร็จแล้วเราสามารถคิดได้ว่าปัจจัยใดที่มีแนวโน้มว่าจะมีความสำคัญและสามารถละเลยได้ คุณอาจได้ข้อสรุปว่าหลังจากการพิจารณาอย่างละเอียดแล้วการเทียบข้ามเป็นสิ่งที่ดีพอและมีเหตุผลที่ต้องทำเพราะการตรวจสอบอิสระจะมีราคาแพงเกินไปเมื่อเทียบกับการได้รับข้อมูลที่เป็นไปได้

ทุกสิ่งรวมกันฉันจะใช้สูตรปกติสำหรับค่าเบี่ยงเบนมาตรฐานเรียกว่าในลักษณะที่คล้ายคลึงกับและรายงานรายละเอียดวิธีการทดสอบ$s_{CV}$$RMSE_{CV}$