วิธีที่ดีที่สุดสำหรับการเลือกแบบจำลองแบบเบส์หรือการตรวจสอบข้าม

เมื่อพยายามเลือกระหว่างรุ่นต่าง ๆ หรือจำนวนฟีเจอร์ที่ต้องระบุให้บอกคำทำนายว่าฉันสามารถคิดถึงสองวิธี

1. แบ่งข้อมูลออกเป็นชุดฝึกอบรมและทดสอบ ยังดีกว่าใช้ bootstrapping หรือตรวจสอบข้าม k-fold ฝึกอบรมชุดฝึกอบรมในแต่ละครั้งและคำนวณข้อผิดพลาดเหนือชุดทดสอบ ข้อผิดพลาดการทดสอบพล็อตเทียบกับจำนวนพารามิเตอร์ โดยปกติคุณจะได้รับสิ่งนี้:
2. คำนวณความน่าจะเป็นของโมเดลโดยรวมค่าพารามิเตอร์ต่างๆ คือการคำนวณและพล็อตนี้กับจำนวนพารามิเตอร์ จากนั้นเราจะได้รับสิ่งนี้:$\int_\theta P(D|\theta)P(\theta)d \theta$

ดังนั้นคำถามของฉันคือ:

1. แนวทางเหล่านี้เหมาะสมสำหรับการแก้ปัญหานี้หรือไม่ (ตัดสินใจว่าจะรวมพารามิเตอร์จำนวนเท่าใดในโมเดลของคุณหรือเลือกระหว่างรุ่นจำนวนหนึ่ง)
2. พวกมันเท่ากันหรือเปล่า อาจจะไม่. พวกเขาจะให้แบบจำลองที่ดีที่สุดแบบเดียวกันภายใต้สมมติฐานหรือในทางปฏิบัติหรือไม่?
3. นอกเหนือจากความแตกต่างทางปรัชญาตามปกติของการระบุความรู้เดิมในแบบจำลองเบย์ ฯลฯ ข้อดีและข้อเสียของแต่ละวิธีคืออะไร คุณจะเลือกอันไหน

อัปเดต: ฉันพบคำถามที่เกี่ยวข้องกับการเปรียบเทียบ AIC และ BIC ด้วย ดูเหมือนว่าวิธีที่ 1 ของฉันเทียบเท่ากับ AIC และวิธีที่ 2 นั้นเกี่ยวข้องกับ BIC แต่ฉันก็อ่านว่า BIC นั้นเทียบเท่ากับ CV-Out-One-Out นั่นหมายความว่าค่าต่ำสุดของข้อผิดพลาดในการฝึกอบรมและค่าสูงสุดของความเป็นไปได้แบบเบย์เท่ากับที่ LOO CV เท่ากับ K-fold CV กระดาษที่น่าสนใจมากบางทีอาจเป็น " ทฤษฎีแบบเชิงเส้นประสาทสำหรับการเลือกแบบจำลองเชิงเส้น " โดย Jun Shao เกี่ยวข้องกับปัญหาเหล่านี้

1. แนวทางเหล่านี้เหมาะสมสำหรับการแก้ปัญหานี้หรือไม่ (ตัดสินใจว่าจะรวมพารามิเตอร์จำนวนเท่าใดในโมเดลของคุณหรือเลือกระหว่างรุ่นจำนวนหนึ่ง)

อาจเป็นได้ทั้งใช่ หากคุณสนใจที่จะรับแบบจำลองที่ทำนายได้ดีที่สุดออกจากรายการแบบจำลองที่คุณพิจารณาวิธีการแยก / การตรวจสอบความถูกต้องสามารถทำได้ดี หากคุณสนใจที่จะรู้ว่าแบบจำลองใด (ในรายการแบบจำลองสมมุติ) ของคุณเป็นแบบจำลองที่สร้างข้อมูลของคุณวิธีการที่สอง (ประเมินความน่าจะเป็นหลังของแบบจำลอง) คือสิ่งที่คุณต้องการ

2. พวกมันเท่ากันหรือเปล่า อาจจะไม่. พวกเขาจะให้แบบจำลองที่ดีที่สุดแบบเดียวกันภายใต้สมมติฐานหรือในทางปฏิบัติหรือไม่?

ไม่พวกเขาไม่เทียบเท่ากันโดยทั่วไป ตัวอย่างเช่นการใช้AIC (An Information Criterion โดย Akaike) เพื่อเลือกโมเดลที่ดีที่สุดที่สอดคล้องกับการตรวจสอบความถูกต้องข้าม การใช้BIC (Bayesian Information Criterion) สอดคล้องกับการใช้ความน่าจะเป็นหลังซึ่งเป็นอีกครั้งโดยประมาณ สิ่งเหล่านี้ไม่ใช่เกณฑ์เดียวกันดังนั้นจึงควรคาดหวังให้พวกเขานำไปสู่ทางเลือกที่แตกต่างกันโดยทั่วไป พวกเขาสามารถให้คำตอบที่เหมือนกัน - เมื่อใดก็ตามที่แบบจำลองที่ทำนายได้ดีที่สุดก็คือความจริง - แต่ในหลาย ๆ กรณีแบบจำลองที่เหมาะสมที่สุดคืออันที่จริงแล้วเสื้อคลุมซึ่งนำไปสู่ความขัดแย้งระหว่างแนวทาง

พวกเขาเห็นด้วยในทางปฏิบัติหรือไม่ มันขึ้นอยู่กับสิ่งที่ 'ฝึก' ของคุณเกี่ยวข้อง ลองทั้งสองวิธีและค้นหา

3. นอกเหนือจากความแตกต่างทางปรัชญาตามปกติของการระบุความรู้เดิมในแบบจำลองเบย์ ฯลฯ ข้อดีและข้อเสียของแต่ละวิธีคืออะไร คุณจะเลือกอันไหน

• โดยทั่วไปแล้วมันง่ายกว่ามากในการทำการคำนวณข้ามการตรวจสอบความถูกต้องแทนที่จะคำนวณความน่าจะเป็นหลัง
• บ่อยครั้งที่มันยากที่จะสร้างกรณีที่น่าเชื่อถือว่ารูปแบบ 'ของจริง' นั้นเป็นหนึ่งในรายการที่คุณเลือก นี่เป็นปัญหาสำหรับการใช้งานความน่าจะเป็นหลัง แต่ไม่ได้มีการตรวจสอบข้าม
• ทั้งสองวิธีมีแนวโน้มที่จะเกี่ยวข้องกับการใช้ค่าคงที่โดยพลการค่อนข้าง; หน่วยการทำนายพิเศษมีมูลค่าเท่าใดในแง่ของจำนวนตัวแปร? เราเชื่อว่าแต่ละโมเดลมากน้อยแค่ไหน?
  • ฉันอาจเลือกการตรวจสอบข้าม แต่ก่อนที่จะลงมือทำฉันอยากรู้มากเกี่ยวกับสาเหตุที่การเลือกรุ่นนี้เสร็จแล้วนั่นคือรูปแบบที่เลือกไว้ที่จะใช้ ทั้งรูปแบบของการเลือกแบบจำลองอาจไม่เหมาะสมถ้าจำเป็นต้องใช้การอนุมานเชิงสาเหตุ

การเพิ่มประสิทธิภาพเป็นรากฐานของความชั่วร้ายทั้งหมดในสถิติ! ; o)

เมื่อใดก็ตามที่คุณพยายามเลือกโมเดลตามเกณฑ์ที่ประเมินบนตัวอย่างข้อมูลที่มี จำกัด คุณจะมีความเสี่ยงในการปรับเปลี่ยนเกณฑ์การเลือกโมเดลให้เหมาะสมและจบลงด้วยโมเดลที่แย่กว่าที่คุณเริ่มด้วย ทั้งการตรวจสอบข้ามและความเป็นไปได้เล็กน้อยเป็นเกณฑ์การเลือกแบบจำลองที่สมเหตุสมผล แต่ทั้งคู่นั้นขึ้นอยู่กับกลุ่มตัวอย่างของข้อมูล (เช่น AIC และ BIC - การลงโทษที่ซับซ้อนสามารถช่วยได้ แต่ไม่สามารถแก้ปัญหานี้ได้) ฉันพบว่าสิ่งนี้เป็นปัญหาสำคัญในการเรียนรู้ของเครื่องดู

GC Cawley และ NLC Talbot, การเลือกรุ่นที่มากเกินไปและความลำเอียงในการเลือกการประเมินผลการปฏิบัติงาน, วารสารการวิจัยการเรียนรู้ของเครื่องจักร, การวิจัย 2010, บทที่ 11, pp. 2079-2107, กรกฎาคม 2010 ( www )

จากมุมมองแบบเบย์จะเป็นการดีกว่าที่จะรวมตัวเลือกและพารามิเตอร์ทั้งหมดของแบบจำลอง หากคุณไม่ปรับให้เหมาะสมหรือเลือกสิ่งใดมันก็ยากที่จะปรับให้พอดี ข้อเสียคือคุณต้องจบลงด้วยการรวมอินเทอร์รัลที่ยากซึ่งมักจะต้องแก้ไขด้วย MCMC หากคุณต้องการประสิทธิภาพการทำนายที่ดีที่สุดฉันขอแนะนำวิธีการแบบเบย์อย่างเต็มที่ หากคุณต้องการเข้าใจข้อมูลการเลือกรุ่นที่ดีที่สุดมักจะเป็นประโยชน์ อย่างไรก็ตามหากคุณสุ่มตัวอย่างข้อมูลใหม่และจบลงด้วยรูปแบบที่แตกต่างกันในแต่ละครั้งนั่นหมายความว่าขั้นตอนการติดตั้งไม่เสถียรและไม่มีรุ่นใดที่เชื่อถือได้สำหรับการทำความเข้าใจข้อมูล

โปรดสังเกตว่าความแตกต่างที่สำคัญอย่างหนึ่งระหว่างการตรวจสอบความถูกต้องข้ามและหลักฐานคือมูลค่าของความเป็นไปได้ที่จะอนุมานว่าแบบจำลองนั้นไม่ได้ถูกพลาด (โดยพื้นฐานแล้วรูปแบบพื้นฐานของแบบจำลองมีความเหมาะสม) การตรวจสอบความถูกต้องไขว้ทำให้ไม่มีข้อสันนิษฐานดังกล่าวซึ่งหมายความว่ามันจะแข็งแกร่งขึ้นอีกเล็กน้อย