การระบุความไม่แน่นอนของโมเดล

25

ฉันสงสัยว่า Bayesians ในชุมชน CrossValidated มองปัญหาความไม่แน่นอนของโมเดลอย่างไรและพวกเขาต้องการจัดการกับปัญหาอย่างไร ฉันจะพยายามตั้งคำถามของฉันในสองส่วน:

ความสำคัญ (ในประสบการณ์ / ความคิดเห็นของคุณ) มีความสำคัญต่อความไม่แน่นอนของแบบจำลองอย่างไร ฉันไม่พบเอกสารใด ๆ ที่เกี่ยวข้องกับปัญหานี้ในชุมชนการเรียนรู้ของเครื่องดังนั้นฉันแค่สงสัยว่าทำไม
อะไรคือวิธีการทั่วไปในการจัดการกับความไม่แน่นอนของแบบจำลอง (คะแนนโบนัสหากคุณให้การอ้างอิง) ฉันได้ยินเกี่ยวกับค่าเฉลี่ยของแบบจำลอง Bayesian แต่ฉันไม่คุ้นเคยกับเทคนิค / ข้อ จำกัด เฉพาะของวิธีการนี้ อะไรคือคนอื่นบ้างและทำไมคุณถึงชอบมากกว่ากัน?

machine-learning bayesian model-selection

— กรงขัง
แหล่งที่มา

1

วิธีที่ได้รับความนิยมน้อยกว่า (แต่ด้วยความนิยมที่เพิ่มขึ้น) คือกฎการให้คะแนนซึ่งประเมินประสิทธิภาพการทำนายของตัวแบบ

17

มีสองกรณีที่เกิดขึ้นในการจัดการกับการเลือกรูปแบบ:

เมื่อโมเดลที่แท้จริงอยู่ในพื้นที่ของโมเดล

นี้เป็นเรื่องง่ายมากที่จะจัดการกับการใช้BIC มีผลลัพธ์ที่แสดงว่า BIC จะเลือกรูปแบบจริงที่มีความน่าจะเป็นสูง

อย่างไรก็ตามในทางปฏิบัติมันเป็นของหายากมากที่เรารู้แบบจริง ผมต้องพูด BIC มีแนวโน้มที่จะถูกนำไปใช้เพราะเรื่องนี้ (เหตุผลน่าจะเป็นลักษณะที่คล้ายกันในฐานะAIC ) ปัญหาเหล่านี้ได้รับการแก้ไขในฟอรัมนี้ก่อนในรูปแบบต่างๆ การอภิปรายที่ดีคือที่นี่

เมื่อรูปแบบที่แท้จริงไม่ได้อยู่ในพื้นที่รูปแบบ

นี่คือพื้นที่ของการวิจัยในชุมชนเบย์ อย่างไรก็ตามมีการยืนยันว่าผู้คนรู้ว่าการใช้ BIC เป็นเกณฑ์ในการเลือกรุ่นในกรณีนี้เป็นสิ่งที่อันตราย วรรณกรรมล่าสุดในการวิเคราะห์ข้อมูลมิติสูงแสดงให้เห็นสิ่งนี้ ตัวอย่างหนึ่งดังกล่าวนี้ ปัจจัย Bayes ทำงานได้ดีอย่างน่าประหลาดใจในมิติที่สูงอย่างแน่นอน มีการเสนอการดัดแปลง BIC หลายรายการเช่น mBIC แต่ไม่มีความเห็นเป็นเอกฉันท์ RJMCMCของ Green เป็นอีกวิธีหนึ่งที่ได้รับความนิยมในการเลือกรูปแบบของ Bayesian แต่มีตัวย่อมาเอง คุณสามารถติดตามเพิ่มเติมเกี่ยวกับสิ่งนี้

มีอีกค่ายหนึ่งในโลกของ Bayesian ที่แนะนำค่าเฉลี่ยของแบบจำลอง เป็นที่ชื่นชมดร. Raftery

ค่าเฉลี่ยโมเดลเบส์

นี้เว็บไซต์ของคริส Volinksy เป็นแหล่งที่ครอบคลุมของเบส์รุ่น averging บางงานอื่น ๆที่นี่

การเลือกแบบจำลองแบบเบย์ยังคงเป็นพื้นที่ของการวิจัยและคุณอาจได้รับคำตอบที่แตกต่างกันมากขึ้นอยู่กับว่าคุณถามใคร

— suncoolsu
แหล่งที่มา

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

อาจเป็นเพราะการประมาณ Laplace ทำงานได้ไม่ดีเช่นกัน

— ความน่าจะเป็นทาง

11

Bayesian "ของจริง" จะจัดการกับความไม่แน่นอนของแบบจำลองโดยการทำให้เกิดขอบ ตัวอย่างเช่นในปัญหาการถดถอยเชิงเส้นริดจ์คุณจะต้องลดพารามิเตอร์การถดถอย (ซึ่งจะมีหลังเกาส์เซียนดังนั้นจึงสามารถทำได้ในเชิงวิเคราะห์) แต่จากนั้นก็ด้อยกว่าไฮเปอร์ paremeters (ระดับเสียงและพารามิเตอร์การทำให้เป็นมาตรฐาน) ผ่านเช่น MCMC วิธีการ

การแก้ปัญหาแบบเบส์ "น้อยกว่านั้นคือการทำให้พารามิเตอร์ของโมเดลนั้นด้อยลง แต่เพื่อปรับพารามิเตอร์ไฮเปอร์ให้ดีที่สุดโดยการเพิ่มความน่าจะเป็นที่ขอบเล็กน้อย (หรือที่รู้จักกันในชื่อ อย่างไรก็ตามสิ่งนี้สามารถนำไปสู่การปรับตัวที่มากเกินความคาดหมาย (ดูเช่นCawley และ Talbot ) ดูผลงานของDavid MacKayสำหรับข้อมูลเกี่ยวกับการเพิ่มพูนหลักฐานในการเรียนรู้ของเครื่อง สำหรับการเปรียบเทียบดูงานของRadford Nealในแนวทาง "รวมทุกอย่างออก" เพื่อแก้ไขปัญหาที่คล้ายกัน โปรดทราบว่ากรอบการทำงานของหลักฐานนั้นมีประโยชน์มากสำหรับสถานการณ์ที่การรวมระบบออกมามีราคาแพงเกินไปการคำนวณดังนั้นจึงมีขอบเขตสำหรับทั้งสองวิธี

Bayesians อย่างมีประสิทธิภาพรวมมากกว่าการเพิ่มประสิทธิภาพ ตามหลักการแล้วเราจะกล่าวถึงความเชื่อเดิมของเราเกี่ยวกับลักษณะของการแก้ปัญหา (เช่นความราบรื่น) และทำการคาดคะเนแบบ notoionally โดยไม่ต้องสร้างแบบจำลอง กระบวนการ“ แบบจำลอง” แบบเกาส์ที่ใช้ในการเรียนรู้ของเครื่องเป็นตัวอย่างของความคิดนี้ที่ฟังก์ชันความแปรปรวนร่วมเข้ารหัสความเชื่อเดิมของเราเกี่ยวกับการแก้ปัญหา ดูหนังสือที่ดีโดยกรัสมุสและวิลเลียมส์

สำหรับชาวเบย์ในทางปฏิบัติมักจะมีการตรวจสอบข้ามมันเป็นเรื่องยากที่จะเอาชนะในทุกสิ่ง!

— Dikran Marsupial
แหล่งที่มา

11

หนึ่งในสิ่งที่น่าสนใจที่ฉันพบในโลก "ความไม่แน่นอนของแบบจำลอง" คือแนวคิดของ "แบบจำลองที่แท้จริง" นี้ สิ่งนี้หมายความว่าโดยนัย "โมเดลข้อเสนอ" ของเรามีอยู่ในรูปแบบ:

M_{ผม}^{(1)} : โมเดล ith เป็นโมเดลจริง

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$

ความหมดจดเป็นสิ่งสำคัญที่นี่เพราะสิ่งนี้ช่วยให้มั่นใจความน่าจะเป็นที่จะเพิ่มเป็น 1 ซึ่งหมายความว่าเราสามารถทำให้โมเดลนั้นด้อยลง

แต่ทั้งหมดนี้อยู่ในระดับแนวคิด - ค่าเฉลี่ยโมเดลมีประสิทธิภาพที่ดี ดังนั้นนี่หมายความว่าจะต้องมีแนวคิดที่ดีกว่า

โดยส่วนตัวฉันดูรุ่นเป็นเครื่องมือเช่นค้อนหรือสว่าน แบบจำลองเป็นโครงสร้างทางจิตที่ใช้สำหรับการทำนายหรืออธิบายสิ่งที่เราสามารถสังเกตได้ มันฟังดูแปลกมากหากพูดถึง "ค้อนที่แท้จริง" และ bizzare อย่างเท่าเทียมกันที่จะพูดถึง "โครงสร้างจิตที่แท้จริง" จากสิ่งนี้ความคิดของ "ตัวตนที่แท้จริง" ดูเหมือนจะแปลกสำหรับฉัน ดูเหมือนเป็นธรรมชาติมากกว่าที่จะนึกถึงโมเดล "ดี" และโมเดล "เลว" แทนที่จะเป็นโมเดล "ถูกต้อง" และ "ผิด"

จากมุมมองนี้เราอาจไม่แน่ใจเหมือนกันกับโมเดล "ดีที่สุด" ที่จะใช้จากการเลือกรุ่น สมมติว่าเรามีเหตุผลเกี่ยวกับการขับเคลื่อน:

M_{ผม}^{(2)} : จากทุกรุ่นที่ระบุไว้

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

รุ่นที่ ith เป็นรุ่นที่ดีที่สุดที่จะใช้

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

อย่างไรก็ตามในวิธีการนี้คุณจำเป็นต้องมีการวัดความพอดีที่เหมาะสมเพื่อประเมินว่าแบบจำลอง "ดีที่สุด" ของคุณนั้นดีเพียงใด วิธีนี้สามารถทำได้สองวิธีโดยการทดสอบกับแบบจำลอง "แน่นอน" ซึ่งมีจำนวนตามสถิติ GoF (การเบี่ยงเบน KL, Chi-square ฯลฯ ) อีกวิธีในการวัดค่านี้คือการรวมโมเดลที่มีความยืดหยุ่นอย่างมากในคลาสของคุณ - อาจเป็นโมเดลผสมปกติที่มีส่วนประกอบหลายร้อยชิ้นหรือส่วนผสมของกระบวนการ Dirichlet หากโมเดลนี้ออกมาดีที่สุดแสดงว่าเป็นไปได้ว่าโมเดลอื่น ๆ ของคุณจะไม่เพียงพอ

บทความนี้มีการอภิปรายเชิงทฤษฎีที่ดีและผ่านขั้นตอนตัวอย่างของวิธีการเลือกรูปแบบจริง ๆ

— probabilityislogic
แหล่งที่มา

+1 ที่ยิ่งใหญ่ การวิเคราะห์ที่รอบคอบและชัดเจนมาก

— whuber

คำตอบที่ดี ฉันควรพูดถึงว่าการตัดสินจากรุ่นเฉพาะรุ่น BIC นั้นยอดเยี่ยม อย่างไรก็ตามส่วนใหญ่แล้วอย่างที่คุณพูดถึงโมเดลที่แท้จริงนั้นอยู่นอกพื้นที่ของโมเดล จากนั้นเมื่อคุณพูดถึงความใกล้ชิดระหว่างโมเดลจริงและ "โมเดลที่ดีที่สุด" ก็สมเหตุสมผล นี่คือคำตอบ AIC และไอซีอื่น ๆ พยายามที่จะตอบ กทม. ทำงานได้ แต่มันก็ยังแสดงว่าไม่ทำงาน นี่ไม่ใช่การบอกว่าไม่ดี แต่เราควรระวังเมื่อคิดว่ามันเป็นทางเลือกที่เป็นสากล

— suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

4

ฉันรู้ว่าผู้คนใช้ปัจจัย DIC และ Bayes ตามที่ suncoolsu กล่าว และฉันสนใจเมื่อเขาพูดว่า "มีผลลัพธ์ที่แสดงให้เห็นว่า BIC จะเลือกรูปแบบจริงที่มีความน่าจะเป็นสูง" (อ้างอิง?) แต่ฉันใช้สิ่งเดียวที่ฉันรู้ซึ่งก็คือการตรวจสอบการคาดการณ์หลังซึ่งได้รับการสนับสนุนจากแอนดรูเจล หากคุณ google Andrew Gelman และการตรวจสอบการคาดการณ์ด้านหลังคุณจะพบกับหลายสิ่ง และฉันจะดูสิ่งที่คริสเตียนโรเบิร์ตเป็น writtingในเบื้องต้นเกี่ยวกับทางเลือกรูปแบบ ในกรณีใด ๆ ต่อไปนี้เป็นข้อมูลอ้างอิงที่ฉันชอบและโพสต์ล่าสุดในบล็อกของ Gelman:

บล็อก

DIC และ AIC ; เพิ่มเติมเกี่ยวกับ DICเพิ่มเติมเกี่ยวกับไอซี การตรวจสอบรูปแบบและการตรวจสอบภายนอก

เอกสารในการตรวจสอบการคาดการณ์หลัง:

เจลแมนแอนดรูว์ (2003a) “ การสร้างแบบเบย์ของการวิเคราะห์ข้อมูลเชิงสำรวจและการทดสอบความดีพอดี” การทบทวนทางสถิติระหว่างประเทศ 71, n.2, pp. 389-382

เจลแมนแอนดรูว์ (2003b) “ การวิเคราะห์ข้อมูลเชิงสำรวจสำหรับแบบจำลองที่ซับซ้อน” วารสารคอมพิวเตอร์สถิติและกราฟฟิค 13, n. 4, pp. 755/779

เจลแมนแอนดรูว์; MECHELEN, Iven Van; VERBEKE, Geert; HEITJAN, Daniel F .; MEULDERS มิเชล (2005) “ การใส่ข้อมูลหลายครั้งเพื่อตรวจสอบแบบจำลอง: แปลงข้อมูลที่เสร็จสมบูรณ์พร้อมข้อมูลที่ขาดหายไปและข้อมูลแฝง” Biometrics 61, 74–85, มีนาคม

เจลแมนแอนดรูว์; เม้งเสี่ยวหลี่; สเติร์นฮัล (1996) “ การประเมินความเหมาะสมของโมเดลหลังผ่านความคลาดเคลื่อนที่เกิดขึ้นจริง” Statistica Sinica, 6, pp. 733-807

— Manoel Galdino
แหล่งที่มา