การตรวจสอบความถูกต้องเทียบกับเบย์เชิงประจักษ์สำหรับการประมาณค่าพารามิเตอร์

ด้วยรูปแบบลำดับชั้นฉันต้องการกระบวนการสองขั้นตอนเพื่อให้พอดีกับแบบจำลอง ครั้งแรกที่แก้ไขกำมือของ hyperparametersแล้วดำเนินการอนุมานแบบเบย์ในส่วนที่เหลือของพารามิเตอร์\สำหรับการแก้ไขพารามิเตอร์หลายมิติฉันกำลังพิจารณาสองตัวเลือก$p(x|\phi,\theta)$$\theta$$\phi$

1. ใช้Empirical Bayes (EB)และเพิ่มความเป็นไปได้ที่จะเกิด (รวมส่วนที่เหลือของตัวแบบซึ่งมีพารามิเตอร์มิติสูง)$p(\mbox{all data}|\theta)$
2. ใช้ข้ามการตรวจสอบ (CV)เทคนิคเช่นเท่าการตรวจสอบข้ามให้เลือกที่เพิ่มโอกาสtheta)$k$$\theta$$p(\mbox{test data}|\mbox{training data}, \theta)$

ข้อได้เปรียบของ EB คือว่าผมสามารถใช้ข้อมูลทั้งหมดในครั้งเดียวในขณะที่สำหรับ CV ผมจำเป็นที่จะต้อง (อาจ) คำนวณความน่าจะเป็นรูปแบบหลายครั้งและค้นหา\ประสิทธิภาพของ EB และ CV นั้นเทียบเคียงได้ในหลายกรณี (*) และบ่อยครั้งที่ EB นั้นจะประเมินได้เร็วกว่า$\theta$

คำถาม: มีรากฐานทางทฤษฎีที่เชื่อมโยงทั้งสอง (พูด EB และ CV เหมือนกันในขีด จำกัด ของข้อมูลขนาดใหญ่)? หรือเชื่อมโยง EB กับเกณฑ์ทั่วไปบางอย่างเช่นความเสี่ยงเชิงประจักษ์? ใครบางคนสามารถชี้ไปที่วัสดุอ้างอิงที่ดี?

(*) ตามภาพประกอบนี่คือภาพจาก Murphy's Machine Learning , Section 7.6.4 ซึ่งเขาบอกว่าสำหรับการถดถอยของสันทั้งสองขั้นตอนให้ผลลัพธ์ที่คล้ายกันมาก:

เมอร์ฟียังบอกด้วยว่าหลักการที่ได้เปรียบในเชิงปฏิบัติของเบย์เชิงประจักษ์ (เขาเรียกมันว่า "ขั้นตอนการพิสูจน์") เหนือ CV คือเมื่อประกอบด้วยพารามิเตอร์หลายอย่างมาก (เช่นการลงโทษแยกต่างหากสำหรับแต่ละคุณสมบัติ ไม่สามารถใช้ CV ได้เลย$\theta$

ฉันสงสัยว่าจะมีการเชื่อมโยงทฤษฎีที่บอกว่า CV และหลักฐานสูงสุดเทียบเท่า asymptotically เป็นหลักฐานบอกเราน่าจะเป็นของข้อมูลที่ได้รับการตั้งสมมติฐานของรูปแบบ ดังนั้นหากแบบจำลองนั้นถูกระบุผิดพลาดหลักฐานอาจไม่น่าเชื่อถือ การตรวจสอบความถูกต้องไขว้ในทางกลับกันให้การประมาณความน่าจะเป็นของข้อมูลไม่ว่าจะเป็นสมมติฐานการสร้างแบบจำลองที่ถูกต้องหรือไม่ ซึ่งหมายความว่าหลักฐานอาจเป็นแนวทางที่ดีกว่าหากสมมติฐานการสร้างแบบจำลองนั้นถูกต้องโดยใช้ข้อมูลที่น้อยลง CV นั้นไม่เอนเอียง แต่ฉันจะสมมติว่าหลักฐานไม่ได้เว้นแต่ว่าตัวแบบจำลองจะเกิดขึ้นจริง

นี่คือสัญชาตญาณของฉัน / ประสบการณ์ ฉันก็อยากจะรับฟังเกี่ยวกับการวิจัยเกี่ยวกับเรื่องนี้

โปรดทราบว่าสำหรับหลาย ๆ รุ่น (เช่นการถดถอยของสันกระบวนการแบบเกาส์, การถดถอยของเคอร์เนล / LS-SVM ฯลฯ ) การตรวจสอบแบบ cross-one-out สามารถทำได้อย่างน้อยมีประสิทธิภาพเท่ากับการประเมินหลักฐานดังนั้นจึงไม่จำเป็นต้องมีการคำนวณ ประโยชน์ที่นั่น

ภาคผนวก: ทั้งความเป็นไปได้ของโอกาสและการตรวจสอบความถูกต้องของการตรวจสอบความถูกต้องถูกประเมินผ่านตัวอย่างข้อมูลที่ จำกัด และดังนั้นจึงมีความเป็นไปได้ที่จะมีการปรับตัวให้เหมาะสมมากเกินไป สำหรับตัวอย่างขนาดเล็กความแตกต่างในความแปรปรวนของเกณฑ์ทั้งสองอาจเป็นตัวตัดสินว่าอะไรดีที่สุด ดูกระดาษของฉัน

Gavin C. Cawley, Nicola LC Talbot, "ในการเลือกรุ่นและการเลือกแบบอคติในการประเมินผลการปฏิบัติงาน", วารสารการวิจัยการเรียนรู้ของเครื่อง, 11 (ก.ค. ): 2079-2107, 2010 ( pdf )

$k$$k$