แบบจำลองเบย์แบบลำดับชั้นเปรียบเทียบกับเบย์เชิงประจักษ์


12

คุณจะพิจารณา HBM กับ EB เป็นสองทางเลือกซึ่งไฮเปอร์พารามิเตอร์คือ "ในเกม" ที่มีการสุ่มตัวอย่าง / โดยประมาณ / ฯลฯ มีการเชื่อมโยงอย่างชัดเจนระหว่างสองสิ่งนี้

คุณจะพิจารณา HBM ว่า "Bayesian อย่างเต็มที่" มากกว่า EB หรือไม่ มีบางที่ที่ฉันเห็นความแตกต่างระหว่างการเป็น "Bayesian เต็มที่" และทางเลือกอื่น ๆ หรือไม่?

ขอบคุณ


1
สำหรับการอภิปรายในสิ่งที่ "อย่างเต็มที่แบบเบย์" และ "เชิงประจักษ์เบส์" หมายถึงดูคำตอบใน"‘ครบคชกรรม’ VS ‘เบส์’"

ขอบคุณ Procrastinator ฉันยังคงต้องการฟังการตอบสนองเกี่ยวกับความสัมพันธ์กับโมเดลเบย์แบบลำดับชั้นหากเป็นไปได้
singelton

1
คุณสามารถค้นหาสิ่งนี้ได้ในรายการวิกิพีเดียวิธี Empirical Bayes : "empirical Bayes อาจถูกมองว่าเป็นการประมาณค่าสำหรับการรักษาแบบเบย์แบบเต็มรูปแบบโดยที่พารามิเตอร์ในระดับสูงสุดของลำดับชั้นถูกตั้งค่าเป็นค่าที่เป็นไปได้มากที่สุดแทนที่จะเป็น ถูกรวมเข้าด้วยกัน ".

คำตอบ:


10

ฉันอยากจะบอกว่า HBM นั้นแน่นอนว่า "ยิ่งกว่า Bayesian" ยิ่งกว่า EB เพราะการอยู่ชายขอบเป็นวิธีที่ Bayesian มากกว่าที่จะปรับให้เหมาะสมที่สุด โดยพื้นฐานแล้วฉันคิดว่า EB ไม่สนใจความไม่แน่นอนในพารามิเตอร์ไฮเปอร์ขณะที่ HBM พยายามรวมไว้ในการวิเคราะห์ ฉันสงสัยว่า HMB เป็นความคิดที่ดีที่มีข้อมูลน้อยและดังนั้นจึงมีความไม่แน่นอนอย่างมากในพารามิเตอร์ไฮเปอร์ซึ่งจะต้องนำมาพิจารณา ในทางตรงกันข้ามสำหรับชุดข้อมูลขนาดใหญ่ EB จะน่าสนใจยิ่งขึ้นเนื่องจากโดยทั่วไปราคาคอมพิวเตอร์จะถูกกว่าและปริมาณข้อมูลมักหมายความว่าผลลัพธ์มีความอ่อนไหวต่อการตั้งค่าพารามิเตอร์มากเกินไป

ฉันได้ทำงานกับตัวแยกประเภทกระบวนการแบบเกาส์และมักจะปรับพารามิเตอร์ไฮเปอร์ให้เหมาะสมเพื่อเพิ่มผลลัพธ์ความเป็นไปได้ที่จะทำให้ ML ลดลงมากเกินไปและทำให้ประสิทธิภาพการทำงานทั่วไปลดลงอย่างมีนัยสำคัญ ฉันสงสัยว่าในกรณีเหล่านั้นการรักษา HBM แบบเต็มจะน่าเชื่อถือมากขึ้น แต่ก็มีราคาแพงกว่ามาก


6
+1 สำหรับEB ละเว้นความไม่แน่นอนใน Hyper-พารามิเตอร์ นอกจากนี้รากคชกรรมพิจารณา EB ป้องกันคชกรรมเพราะใช้ข้อมูลสำหรับการประเมินก่อนเป็นดูหมิ่น

4
เห็นได้ชัดว่าฉันไม่ใช่ Bayesian fundie! HBM ดูเหมือนว่าฉันจะเป็นสิ่งที่ถูกต้องหากเป็นไปได้จริง ณ สิ้นวันที่คุณต้องใช้งานได้จริงในระดับหนึ่ง (หลังจากซื้อคอมพิวเตอร์ที่ใหญ่ที่สุดที่มีอยู่;
Dikran Marsupial
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.