การสุ่มตัวอย่างจากการกระจายที่ไม่เหมาะสม (ใช้ MCMC และอื่น ๆ )

คำถามพื้นฐานของฉันคือคุณจะตัวอย่างจากการกระจายที่ไม่เหมาะสมอย่างไร มันทำให้รู้สึกถึงตัวอย่างจากการกระจายที่ไม่เหมาะสมหรือไม่

ความคิดเห็นของซีอานที่นี่เป็นประเภทที่อยู่คำถาม แต่ฉันกำลังมองหารายละเอียดเพิ่มเติมเกี่ยวกับเรื่องนี้

เฉพาะกับ MCMC:

ในการพูดคุยเกี่ยวกับ MCMC และการอ่านเอกสารผู้เขียนเน้นที่การได้รับการแจกแจงหลังที่เหมาะสม มีกระดาษที่มีชื่อเสียงGeyer (1992)ที่ผู้เขียนลืมตรวจสอบว่าหลังของพวกเขาถูกต้องหรือไม่ (เป็นกระดาษที่ยอดเยี่ยม)

แต่สมมติว่าเรามีความเป็นไปได้ที่และการแจกแจงก่อนหน้าที่ไม่เหมาะสมในθเช่นนั้นผลลัพธ์หลังนั้นไม่เหมาะสมเช่นกันและ MCMC ใช้เพื่อสุ่มตัวอย่างจากการแจกแจง ในกรณีนี้ตัวอย่างบ่งชี้อะไร มีข้อมูลที่เป็นประโยชน์ในตัวอย่างนี้หรือไม่? ฉันรู้ว่าลูกโซ่มาร์คอฟที่นี่นั้นเป็นทั้งชั่วคราวหรือเป็นโมฆะซ้ำ จะมีสิ่งใดที่ได้ผลดีหากเป็นโมฆะซ้ำหรือไม่?$f(x|\theta)$$\theta$

ในที่สุดในคำตอบของนีลจีที่นี่เขาพูดถึง

โดยทั่วไปคุณสามารถสุ่มตัวอย่าง (ใช้ MCMC) จากด้านหลังแม้ว่ามันจะไม่เหมาะสมก็ตาม

เขากล่าวถึงการสุ่มตัวอย่างดังกล่าวเป็นเรื่องปกติในการเรียนรู้อย่างลึกซึ้ง หากเป็นจริงสิ่งนี้จะสมเหตุสมผลได้อย่างไร

การสุ่มตัวอย่างจากด้านหลัง (ความหนาแน่น) ไม่เหมาะสมนั้นไม่สมเหตุสมผลจากมุมมองเชิงความน่าจะเป็น / ทฤษฎี เหตุผลก็คือฟังก์ชั่นfไม่มีอินทิกรัล จำกัด เหนือช่องว่างพารามิเตอร์และดังนั้นจึงไม่สามารถเชื่อมโยงกับแบบจำลองความน่าจะเป็น (ขอบเขต จำกัด ) แบบจำลองความน่าจะเป็น( Ω , σ , P ) (ช่องว่าง, ซิกม่า - พีชคณิต )$f$$f$$(\Omega,\sigma,{\mathbb P})$

หากคุณมีรูปแบบที่ไม่เหมาะสมก่อนที่จะนำไปสู่การหลังที่ไม่เหมาะสมในหลายกรณีคุณยังสามารถสุ่มตัวอย่างจากรูปแบบการใช้ MCMC ตัวอย่างเช่น Metropolis-Hastings และ "ตัวอย่างหลัง" อาจดูสมเหตุสมผล นี่ดูน่าสนใจและขัดแย้งได้อย่างรวดเร็วก่อน อย่างไรก็ตามเหตุผลในการนี้คือวิธีการ MCMC ถูก จำกัด ด้วยข้อ จำกัด เชิงตัวเลขของคอมพิวเตอร์ในทางปฏิบัติดังนั้นการสนับสนุนทั้งหมดจะถูก จำกัด ขอบเขต (และไม่ต่อเนื่อง!) สำหรับคอมพิวเตอร์ จากนั้นภายใต้ข้อ จำกัด เหล่านั้น (ขอบเขตและ discreteness) หลังเป็นจริงในกรณีส่วนใหญ่

มีการอ้างอิงที่ยอดเยี่ยมโดย Hobert และ Casella ที่นำเสนอตัวอย่าง (ในลักษณะที่แตกต่างกันเล็กน้อย) ซึ่งคุณสามารถสร้างตัวอย่าง Gibbs สำหรับหลังตัวอย่างหลังดูตัวอย่างที่เหมาะสมอย่างสมบูรณ์ แต่หลังไม่เหมาะสม!

http://www.jstor.org/stable/2291572

ตัวอย่างที่คล้ายกันได้ปรากฏตัวขึ้นเมื่อเร็ว ๆ นี้ที่นี่ ในความเป็นจริง Hobert และ Casella เตือนผู้อ่านว่าวิธีการ MCMC ไม่สามารถใช้ในการตรวจสอบความไม่ถูกต้องของหลังและสิ่งนี้จะต้องมีการตรวจสอบแยกต่างหากก่อนที่จะใช้วิธีการ MCMC ใด ๆ สรุป:

1. ตัวอย่าง MCMC บางตัวเช่น Metropolis-Hastings สามารถใช้ (แต่ไม่ควร) เพื่อสุ่มตัวอย่างจากคนหลังที่ไม่เหมาะสมเนื่องจากขอบเขตของคอมพิวเตอร์และแบ่งพื้นที่พารามิเตอร์ออก เฉพาะในกรณีที่คุณมีตัวอย่างจำนวนมากคุณอาจสังเกตเห็นสิ่งแปลก ๆ คุณสามารถตรวจจับปัญหาเหล่านี้ได้ดีเพียงใดขึ้นอยู่กับการกระจาย "เครื่องมือ" ที่ใช้ในตัวอย่างของคุณ ประเด็นหลังต้องการการอภิปรายที่กว้างขวางยิ่งขึ้นดังนั้นฉันชอบที่จะออกจากที่นี่
2. (โฮเบอร์ทร์และคาเซลลา) ความจริงที่ว่าคุณสามารถสร้างตัวอย่าง Gibbs (แบบจำลองตามเงื่อนไข) สำหรับแบบจำลองที่ไม่เหมาะสมก่อนหน้านี้ไม่ได้หมายความว่าหลัง (แบบจำลองร่วม) เหมาะสม
3. การตีความความน่าจะเป็นทางการของตัวอย่างหลังต้องการความเหมาะสมของหลัง ผลลัพธ์ของการบรรจบและการพิสูจน์ถูกสร้างขึ้นเพื่อการกระจาย / การวัดความน่าจะเป็นที่เหมาะสมเท่านั้น

PS (แก้มลิ้นเล็กน้อย): อย่าเชื่อในสิ่งที่คนทำในการเรียนรู้ของเครื่องจักร ดังที่ศาสตราจารย์ไบรอันริปลีย์กล่าวว่า: "การเรียนรู้ของเครื่องเป็นสถิติลบการตรวจสอบโมเดลและสมมติฐานใด ๆ "

ให้ทางเลือกใช้งานมากขึ้นดูจากคำตอบที่ยอดเยี่ยมของ Rod ด้านบน -

$+/- 10^{100}$

$1/x$ก่อนหน้า - หนึ่งที่ฉันใช้สำหรับการคำนวณซึ่งไม่มีขอบเขตบนและ "คุณสมบัติพิเศษ" ซึ่งมีค่าเท่ากับศูนย์เหนือประชากรของซานฟรานซิสโก ... "โดยมีการใช้" คุณสมบัติพิเศษ "ใน ขั้นตอนถัดจากการสร้างตัวอย่างจริงก่อนไม่ใช่สิ่งที่ใช้ในการคำนวณ MCMC (ในตัวอย่างของฉัน)

ดังนั้นในหลักการฉันจะค่อนข้างโอเคกับการใช้ตัวอย่างที่สร้างขึ้นจาก MCMC จากการแจกจ่ายที่ไม่เหมาะสมในงานที่นำไปใช้ แต่ฉันจะให้ความสนใจอย่างมากเกี่ยวกับความไม่เหมาะสมที่เกิดขึ้นและวิธีสุ่มตัวอย่างจะได้รับผลกระทบจากมัน . ตามหลักการแล้วตัวอย่างแบบสุ่มจะไม่ได้รับผลกระทบจากตัวอย่างเช่นฮ็อตด็อกของฉันซึ่งในโลกที่มีเหตุผลคุณจะไม่สร้างตัวเลขสุ่มมากกว่าจำนวนผู้คนในซานฟรานซิสโก ...

คุณควรตระหนักถึงความจริงที่ว่าผลลัพธ์ของคุณอาจมีความอ่อนไหวต่อคุณสมบัติของหลังที่ทำให้ไม่เหมาะสมแม้ว่าคุณจะตัดทอนมันด้วยจำนวนมากในภายหลัง (หรือการเปลี่ยนแปลงใด ๆ ที่เหมาะสมกับแบบจำลองของคุณ ) คุณต้องการให้ผลลัพธ์ของคุณมีความแข็งแกร่งไปสู่การเปลี่ยนแปลงเล็กน้อยซึ่งเปลี่ยนจากด้านหลังของคุณไม่เหมาะสมไปเป็นเหมาะสม นี่เป็นเรื่องยากที่จะมั่นใจ แต่เป็นส่วนหนึ่งของปัญหาที่ใหญ่กว่าของการทำให้มั่นใจว่าผลลัพธ์ของคุณจะแข็งแกร่งตามสมมติฐานของคุณโดยเฉพาะอย่างยิ่งสิ่งที่ทำเพื่อความสะดวก