เป็นความจริงที่ว่าวิธีการแบบเบย์ไม่เหมาะสมหรือไม่


25

เป็นความจริงที่ว่าวิธีการแบบเบย์ไม่เหมาะสมหรือไม่ (ฉันเห็นเอกสารและแบบฝึกหัดที่อ้างสิทธิ์นี้)

ตัวอย่างเช่นหากเราใช้กระบวนการแบบเกาส์เซียนกับ MNIST (การจำแนกตัวเลขด้วยลายมือ) แต่แสดงเพียงตัวอย่างเดียวมันจะเปลี่ยนเป็นการกระจายก่อนหน้าสำหรับอินพุตใด ๆ ที่แตกต่างจากตัวอย่างเดี่ยว แต่มีความแตกต่างเล็กน้อยหรือไม่?


แค่คิด - มีวิธีที่แม่นยำทางคณิตศาสตร์ที่คุณสามารถกำหนด "เกินพอดี"? หากคุณสามารถเป็นไปได้ว่าคุณสามารถสร้างคุณลักษณะในฟังก์ชั่นความน่าจะเป็นหรือก่อนหน้าเพื่อหลีกเลี่ยงปัญหา ความคิดของฉันคือความคิดนี้ฟังดูคล้ายกับ "ผิด"
ความน่าจะเป็น

คำตอบ:


25

ไม่มันไม่เป็นความจริง วิธีการแบบเบย์จะทำให้ข้อมูลมีความเหมาะสมอย่างแน่นอน มีสองสิ่งที่ทำให้วิธีการแบบเบย์แข็งแกร่งกว่าการให้น้ำหนักมากเกินไปและคุณสามารถทำให้มันมีความเปราะบางได้เช่นกัน

ลักษณะของ combinatoric ของ Bayesian hypotheses แทนที่จะเป็นแบบทวิภาคีช่วยให้สามารถทำการเปรียบเทียบหลาย ๆ แบบเมื่อมีคนขาดโมเดล "ของจริง" สำหรับวิธีการตั้งสมมติฐานว่าง ด้านหลังของ Bayesian ปรับโครงสร้างโมเดลได้อย่างมีประสิทธิภาพเช่นการเพิ่มตัวแปรในขณะที่ให้รางวัลกับการปรับปรุงที่เหมาะสม บทลงโทษและผลกำไรไม่ใช่การปรับให้เหมาะสมเช่นเดียวกับวิธีการที่ไม่ใช่แบบเบย์ แต่เป็นการเปลี่ยนแปลงความน่าจะเป็นจากข้อมูลใหม่

ในขณะที่สิ่งนี้โดยทั่วไปให้วิธีการที่แข็งแกร่งมากขึ้นมีข้อ จำกัด ที่สำคัญและนั่นคือการใช้การกระจายก่อนที่เหมาะสม ในขณะที่มีแนวโน้มที่จะต้องการเลียนแบบวิธีการเป็นประจำโดยใช้นักบวชแบนนี่เป็นวิธีที่ไม่เหมาะสม มีบทความเกี่ยวกับการ overfitting ในวิธีการแบบเบย์และดูเหมือนว่าบาปดูเหมือนจะพยายาม "ยุติธรรม" กับวิธีการที่ไม่ใช่แบบเบย์โดยเริ่มจากนักบวชที่เคร่งครัด ความยากลำบากก็คือก่อนหน้านี้มีความสำคัญในการทำให้เป็นไปได้

แบบจำลองแบบเบย์นั้นเป็นแบบจำลองที่เหมาะสมที่สุดในความรู้สึกที่ยอมรับได้ของ Wald แต่มีปิศาจที่ซ่อนอยู่ในนั้น Wald สันนิษฐานว่าสิ่งที่เกิดขึ้นก่อนหน้านี้เป็นเรื่องจริงของคุณก่อนหน้านี้และไม่ใช่บางอย่างที่คุณเคยใช้มาก่อน พวกเขาจะไม่ดีที่สุดในความหมายเดียวกับแบบจำลองของผู้มาเป็นประจำ วิธีการของผู้ใช้บ่อยจะเริ่มต้นด้วยการปรับการลดความแปรปรวนให้เหลือน้อยที่สุดโดยไม่เหลือความเป็นกลาง

นี่คือการเพิ่มประสิทธิภาพที่มีค่าใช้จ่ายสูงซึ่งเป็นการทิ้งข้อมูลและไม่สามารถยอมรับได้ในแง่ของ Wald แม้ว่าจะเป็นที่ยอมรับได้บ่อยก็ตาม ดังนั้นโมเดลของผู้ใช้บ่อยจึงให้ข้อมูลที่เหมาะสมที่สุด แบบเบย์นั้นไม่เอนเอียงหรือไม่เหมาะกับข้อมูล นี่คือการค้าที่คุณทำเพื่อลดการล้น

แบบจำลองแบบเบย์นั้นเป็นแบบจำลองที่มีอคติอย่างแท้จริงเว้นแต่ว่ามีขั้นตอนพิเศษที่จะทำให้พวกเขาปราศจากอคติ คุณธรรมของพวกเขาคือพวกเขาไม่เคยใช้ข้อมูลน้อยกว่าวิธีอื่นในการค้นหา "โมเดลที่แท้จริง" และข้อมูลเพิ่มเติมนี้ทำให้โมเดลเบย์ไม่เคยมีความเสี่ยงน้อยกว่าตัวเลือกอื่นโดยเฉพาะเมื่อทำงานนอกกลุ่มตัวอย่าง ที่กล่าวว่าจะมีตัวอย่างอยู่เสมอที่สามารถสุ่มจับได้ว่าจะ "หลอกลวง" วิธีการแบบเบย์อย่างเป็นระบบ

ในส่วนที่สองของคำถามของคุณหากคุณต้องวิเคราะห์ตัวอย่างเดียวผู้หลังจะเปลี่ยนแปลงตลอดไปในทุกส่วนของมันและจะไม่ย้อนกลับไปที่ก่อนหน้าเว้นแต่จะมีตัวอย่างที่สองที่ยกเลิกข้อมูลทั้งหมดใน ตัวอย่างแรก อย่างน้อยในทางทฤษฎีนี่เป็นเรื่องจริง ในทางปฏิบัติหากก่อนหน้านี้มีข้อมูลเพียงพอและมีการสังเกตอย่างไม่เป็นทางการเพียงพอผลกระทบอาจมีขนาดเล็กมากจนคอมพิวเตอร์ไม่สามารถวัดความแตกต่างได้เนื่องจากข้อ จำกัด ของจำนวนตัวเลขที่มีนัยสำคัญ เป็นไปได้ที่เอฟเฟ็กต์จะเล็กเกินไปสำหรับคอมพิวเตอร์ที่จะประมวลผลการเปลี่ยนแปลงด้านหลัง

ดังนั้นคำตอบคือ "ใช่" คุณสามารถทำให้ตัวอย่างมากเกินไปโดยใช้วิธีแบบเบย์โดยเฉพาะอย่างยิ่งถ้าคุณมีตัวอย่างขนาดเล็กและนักบวชที่ไม่เหมาะสม คำตอบที่สองคือทฤษฎีบทของ Bayes ที่ไม่เคยลืมผลกระทบของข้อมูลก่อนหน้านี้แม้ว่าเอฟเฟกต์อาจมีขนาดเล็กมากจนคุณพลาดการคำนวณ


2
ในพวกเขาเริ่มต้นด้วยการเพิ่มประสิทธิภาพของการลดความแปรปรวนในขณะที่เหลืออยู่อย่างเป็นกลาง พวกเขาคืออะไร
Richard Hardy

มีเพียงไม่กี่โมเดลเท่านั้น (โดยทั่วไปจะเป็นชุดที่มีค่าศูนย์การวัด) อนุญาตให้มีการสร้างตัวประมาณค่าที่เป็นกลาง ยกตัวอย่างเช่นในปกติรูปแบบไม่มีการประมาณการที่เป็นกลางจาก\อันที่จริงเวลาส่วนใหญ่ที่เราเพิ่มความเป็นไปได้สูงสุดเราจบลงด้วยการประมาณลำเอียง N(θ,σ2)σ
Andrew M

1
@AndrewM: มีคือเป็นกลาง estimator ของในรูปแบบปกติ - stats.stackexchange.com/a/251128/17230 σ
Scortchi - Reinstate Monica

11

สิ่งที่ต้องระวังคือเหมือนกับทุกหนทุกแห่งปัญหาที่สำคัญในวิธีการแบบเบย์สามารถเป็นแบบจำลองการสะกดผิด

นี่คือจุดที่ชัดเจน แต่ฉันคิดว่าฉันยังคงแบ่งปันเรื่องราว

บทความจากด้านหลังในระดับปริญญาตรี ...

แอปพลิเคชันแบบคลาสสิกของการกรองอนุภาคแบบเบย์คือการติดตามตำแหน่งของหุ่นยนต์ขณะเคลื่อนที่ไปรอบ ๆ ห้อง การเคลื่อนไหวเพิ่มความไม่แน่นอนในขณะที่การอ่านเซ็นเซอร์ลดความไม่แน่นอน

ฉันจำได้ว่าการเขียนโปรแกรมขึ้นมาเพื่อทำสิ่งนี้ ฉันเขียนแบบจำลองที่สมเหตุสมผลและมีเหตุผลในทางทฤษฎีสำหรับความเป็นไปได้ในการสังเกตการอ่านโซนาร์หลายครั้งที่ให้คุณค่าที่แท้จริง ทุกอย่างได้รับมาอย่างแม่นยำและเขียนอย่างสวยงาม จากนั้นฉันไปทดสอบ ...

เกิดอะไรขึ้น? ความล้มเหลวทั้งหมด! ทำไม? ตัวกรองอนุภาคของฉันคิดอย่างรวดเร็วว่าการอ่านเซ็นเซอร์ได้ขจัดความไม่แน่นอนเกือบทั้งหมด เมฆจุดของฉันทรุดตัวลงหนึ่งจุด

ฟังก์ชั่นความเป็นไปได้ของฉันแย่ การอ่านเซ็นเซอร์ของฉันไม่ได้ให้ความรู้เท่าที่ฉันคิด ฉันเป็นคนมากเกินไป ทางออก? ฉันมิกซ์เสียงเกาส์เซียนมากขึ้น (ในแบบที่เป็นแบบเฉพาะกิจ) เมฆจุดหยุดยุบแล้วตัวกรองก็ทำงานได้อย่างสวยงาม

คุณธรรม?

ดังที่กล่องดังกล่าวกล่าวว่า "โมเดลทั้งหมดผิด แต่บางรุ่นก็มีประโยชน์" เกือบจะแน่นอนคุณจะไม่ได้รับฟังก์ชั่นความเป็นไปได้ที่แท้จริงและถ้าหากมันปิดเพียงพอวิธีการเบย์ของคุณอาจผิดเพี้ยนและผิดเพี้ยนไป

การเพิ่มก่อนไม่ได้แก้ปัญหาอย่างน่าอัศจรรย์อันเนื่องมาจากการสมมติว่าการสังเกตเป็น IID เมื่อพวกเขาไม่ได้สมมติว่าโอกาสที่จะมีความโค้งมากกว่าที่มัน ฯลฯ ...


3
"บทความสั้น ๆ จากด้านหลังในระดับปริญญาตรี ... แอปพลิเคชันแบบคลาสสิกของตัวกรองอนุภาคแบบเบย์คือการติดตามตำแหน่งของหุ่นยนต์เมื่อมันเคลื่อนที่ไปรอบ ๆ ห้อง" ... โอ้โหปริญญาตรีของคุณอยู่ที่ไหน :)
หน้าผา AB
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.