มาตรการของความซับซ้อนของแบบจำลอง

เราจะเปรียบเทียบความซับซ้อนของทั้งสองรุ่นด้วยจำนวนพารามิเตอร์เท่ากันได้อย่างไร

แก้ไข 09/19 : เพื่อชี้แจงความซับซ้อนของแบบจำลองเป็นการวัดความยากในการเรียนรู้จากข้อมูลที่ จำกัด เมื่อทั้งสองรุ่นเหมาะสมกับข้อมูลที่มีอยู่อย่างเท่าเทียมกันโมเดลที่มีความซับซ้อนต่ำกว่าจะทำให้เกิดข้อผิดพลาดน้อยลงสำหรับข้อมูลในอนาคต เมื่อมีการใช้การประมาณค่านี้อาจไม่จริงเสมอไปทางเทคนิค แต่ก็ไม่เป็นไรถ้ามันมีแนวโน้มที่จะเป็นจริงในทางปฏิบัติ การประมาณค่าต่าง ๆ ให้มาตรการความซับซ้อนที่แตกต่างกัน

นอกเหนือจากมาตรการต่าง ๆ ของคำอธิบายขั้นต่ำความยาว (เช่นความเป็นไปได้สูงสุดปกติการประมาณข้อมูลฟิชเชอร์) มีสองวิธีอื่นที่ควรกล่าวถึง:

1. Parametric Bootstrap มันง่ายกว่าที่จะใช้งานมากกว่ามาตรการ MDL ที่เรียกร้อง กระดาษที่ดีคือ Wagenmaker และเพื่อนร่วมงาน:
   Wagenmakers, E.-J. , Ratcliff, R. , Gomez, P. , & Iverson, GJ (2004) การประเมินล้อเลียนรูปแบบการใช้บูตพารา วารสารจิตวิทยาคณิตศาสตร์ , 48, 28-50
   นามธรรม:

   เรานำเสนอขั้นตอนการสุ่มตัวอย่างทั่วไปเพื่อวัดปริมาณการจำลองแบบจำลองซึ่งกำหนดให้เป็นความสามารถของแบบจำลองในการพิจารณาข้อมูลที่สร้างขึ้นโดยแบบจำลองการแข่งขัน ขั้นตอนการสุ่มตัวอย่างนี้เรียกว่าวิธีการข้ามสายรัดข้อต่อพาราเมตริก (PBCM; cf. วิลเลียมส์ (นักสถิติของ JR Soc. B 32 (1970) 350; ชีวภาพ 26 (1970) 23)) สร้างการกระจายของความแตกต่างในความเหมาะสม คาดหวังไว้ภายใต้โมเดลการแข่งขันแต่ละแบบ ในรุ่นข้อมูลที่แจ้งของ PBCM ตัวแบบการสร้างมีค่าพารามิเตอร์เฉพาะที่ได้รับโดยการปรับข้อมูลการทดลองให้เหมาะสมภายใต้การพิจารณา ข้อมูลที่ได้จากการแจกแจงความแตกต่างนั้นสามารถนำมาเปรียบเทียบกับความแตกต่างที่สังเกตได้ในความดีของพอดีเพื่อให้มีการวัดปริมาณของแบบจำลองความเพียงพอ ใน PBCM เวอร์ชันที่ไม่มีข้อมูล แบบจำลองการสร้างมีช่วงกว้างของค่าพารามิเตอร์ขึ้นอยู่กับความรู้ก่อน การประยุกต์ใช้ทั้งข้อมูลที่แจ้งและข้อมูลที่ไม่เป็นไปตามมาตรฐาน PBCM นั้นมีหลายตัวอย่าง

   ปรับปรุง: การประเมินรูปแบบล้อเลียนในภาษาอังกฤษธรรมดา คุณใช้หนึ่งในสองโมเดลการแข่งขันและสุ่มเลือกชุดพารามิเตอร์สำหรับโมเดลนั้น (ไม่ว่าข้อมูลจะแจ้งหรือไม่ก็ตาม) จากนั้นคุณสร้างข้อมูลจากรุ่นนี้ด้วยชุดพารามิเตอร์ที่เลือก ถัดไปคุณปล่อยให้ทั้งสองรุ่นสอดคล้องกับข้อมูลที่ผลิตและตรวจสอบว่าตัวเลือกใดที่เหมาะสมที่สุด หากทั้งสองรุ่นมีความยืดหยุ่นหรือซับซ้อนเท่ากันโมเดลที่คุณสร้างข้อมูลควรให้พอดี อย่างไรก็ตามหากรุ่นอื่นมีความซับซ้อนมากขึ้นก็สามารถให้แบบที่ดีขึ้นแม้ว่าข้อมูลที่ผลิตจากรุ่นอื่น ๆ คุณทำซ้ำหลายครั้งกับทั้งสองรุ่น (เช่นให้ทั้งสองรุ่นสร้างข้อมูลและดูว่าแบบใดเหมาะกับสองแบบที่ดีกว่า) โมเดลที่ "overfits" ข้อมูลที่ผลิตโดยรุ่นอื่นนั้นมีความซับซ้อนมากกว่า

2. การตรวจสอบข้าม : มันค่อนข้างง่ายที่จะใช้ ดูคำตอบของคำถามนี้ อย่างไรก็ตามโปรดทราบว่าปัญหาที่เกิดขึ้นคือตัวเลือกระหว่างกฎการตัดตัวอย่าง (การลาออกหนึ่งครั้ง, K-fold และอื่น ๆ ) เป็นสิ่งที่ไม่มีหลักการ

ฉันคิดว่ามันจะขึ้นอยู่กับขั้นตอนการติดตั้งอุปกรณ์รุ่นจริง สำหรับมาตรการที่ใช้โดยทั่วไปคุณอาจพิจารณาองศาอิสระทั่วไปที่อธิบายไว้ในYe 1998 - โดยพื้นฐานแล้วความอ่อนไหวของการเปลี่ยนแปลงของแบบจำลองการประมาณเพื่อรบกวนการสังเกต - ซึ่งใช้งานได้ดีเช่นเดียวกับการวัดความซับซ้อนของแบบจำลอง

ความยาวขั้นต่ำคำอธิบาย (MDL) และความยาวข้อความต่ำสุด (MML) คุ้มค่าที่จะเช็คเอาท์

เท่าที่เกี่ยวข้องกับ MDL, กระดาษธรรมดาที่แสดงขั้นตอนปกติโอกาสสูงสุด (NML) เช่นเดียวกับการประมาณ asymptotic คือ:

S. de Rooij & P. ​​Grünwald การศึกษาเชิงประจักษ์เกี่ยวกับการเลือกแบบจำลองความยาวต่ำสุดของคำอธิบายที่มีความซับซ้อนเชิงพารามิเตอร์แบบไม่สิ้นสุด วารสารจิตวิทยาคณิตศาสตร์, 2549, 50, 180-192

ที่นี่พวกเขาดูความซับซ้อนของตัวแบบของการกระจายแบบเรขาคณิตกับแบบปัวซอง บทแนะนำที่ยอดเยี่ยม (ฟรี) เกี่ยวกับ MDL สามารถพบได้ที่นี่ที่นี่

อีกวิธีหนึ่งคือกระดาษอยู่กับความซับซ้อนของการกระจายชี้แจงการตรวจสอบที่มีทั้ง MML และ MDL สามารถพบได้ที่นี่ น่าเสียดายที่ไม่มีบทช่วยสอนล่าสุดใน MML แต่หนังสือเล่มนี้เป็นหนังสืออ้างอิงที่ดีเยี่ยมและแนะนำเป็นอย่างยิ่ง

คำอธิบายขั้นต่ำความยาวอาจเป็นถนนที่คุ้มค่าในการติดตาม

โดย "ความซับซ้อนของรูปแบบ" มักจะหมายถึงความร่ำรวยของพื้นที่รูปแบบ โปรดทราบว่าคำจำกัดความนี้ไม่ได้ขึ้นอยู่กับข้อมูล สำหรับโมเดลเชิงเส้นความสมบูรณ์ของพื้นที่จำลองนั้นวัดได้เล็กน้อยโดยการลดพื้นที่ นี่คือสิ่งที่ผู้เขียนบางคนเรียกว่า "องศาอิสระ" (แม้ว่าในอดีตจะมีการสงวนองศาความเป็นอิสระไว้สำหรับความแตกต่างระหว่างพื้นที่ตัวอย่างและพื้นที่ตัวอย่าง) สำหรับแบบจำลองที่ไม่ใช่เชิงเส้นการวัดความสมบูรณ์ของพื้นที่นั้นเป็นเรื่องเล็กน้อย องศาความคิดเห็นทั่วไป (ดูคำตอบของ ars) เป็นวิธีการวัด เป็นเรื่องทั่วไปมากและสามารถใช้กับพื้นที่จำลอง "แปลก" เช่นต้นไม้, KNN และไลค์ได้ มิติ VC เป็นตัวชี้วัดอื่น

ดังกล่าวข้างต้นคำจำกัดความของ "ความซับซ้อน" นี้เป็นข้อมูลที่เป็นอิสระ ดังนั้นสองรุ่นที่มีจำนวนพารามิเตอร์เท่ากันจึงมักจะมี "ความซับซ้อน" เหมือนกัน

จากความคิดเห็นของยาโรสลาฟถึงคำตอบของเฮนริก:

แต่การตรวจสอบข้ามดูเหมือนจะเพิ่งเลื่อนงานการประเมินความซับซ้อน หากคุณใช้ข้อมูลเพื่อเลือกพารามิเตอร์และแบบจำลองของคุณเช่นเดียวกับการตรวจสอบความถูกต้องคำถามที่เกี่ยวข้องจะกลายเป็นวิธีประมาณการจำนวนข้อมูลที่จำเป็นสำหรับ "meta" นี้ - ตัวกรองทำงานได้ดี

$k$$k$$k$$CV(k)$$k$$k$เพิ่ม ) จะซับซ้อนน้อยกว่า หนึ่ง.

คุณสามารถให้รสชาติ 'นัยสำคัญ' กับสิ่งนี้ได้เนื่องจากผลลัพธ์ของขั้นตอนนั้นอยู่ในเงื่อนไข (หน่วย) ที่มีความแตกต่างจากข้อผิดพลาดการพยากรณ์ตัวอย่างโดยตรง

เกณฑ์ข้อมูลสำหรับการเปรียบเทียบแบบจำลองเป็นอย่างไร ดูเช่น http://en.wikipedia.org/wiki/Akaike_information_criterion

ความซับซ้อนของโมเดลอยู่ที่นี่จำนวนพารามิเตอร์ของโมเดล