เมื่อใด (และทำไม) Bayesians ปฏิเสธวิธีการ Bayesian ที่ถูกต้อง? [ปิด]

จากสิ่งที่ฉันได้อ่านและจากคำตอบของคำถามอื่น ๆ ที่ฉันถามที่นี่วิธีการที่ใช้กันบ่อย ๆ นั้นเรียกว่าคณิตศาสตร์เป็นประจำ ( ฉันไม่สนใจว่าพวกเขาสอดคล้องกับปรัชญาหรือไม่ฉันแค่สนใจว่ามันสอดคล้องกับคณิตศาสตร์) หรือไม่ วิธีการแบบเบย์ (สำหรับผู้ที่คัดค้านเรื่องนี้ให้ดูหมายเหตุที่ด้านล่างของคำถามนี้) คำตอบสำหรับคำถามที่เกี่ยวข้อง (ไม่ใช่ของฉัน) นี้สนับสนุนข้อสรุปนี้:

วิธีการของผู้ใช้บ่อย ๆ ส่วนใหญ่มีความเท่าเทียมกันแบบเบย์ซึ่งในกรณีส่วนใหญ่จะให้ผลลัพธ์ที่เหมือนกัน

โปรดทราบว่าในสิ่งต่อไปนี้การมีความหมายทางคณิตศาสตร์เหมือนกันจะให้ผลลัพธ์เดียวกัน หากคุณกำหนดลักษณะสองวิธีที่สามารถพิสูจน์ได้ว่าให้ผลลัพธ์ที่เหมือนกันว่า "แตกต่าง" อยู่เสมอนั่นคือสิ่งที่ถูกต้องของคุณ แต่นั่นเป็นการตัดสินเชิงปรัชญาไม่ใช่เชิงคณิตศาสตร์หรือวิธีปฏิบัติ

หลายคนที่อธิบายตนเองว่า "Bayesians" แต่ดูเหมือนว่าจะปฏิเสธโดยใช้การประเมินความเป็นไปได้สูงสุดภายใต้สถานการณ์ใด ๆ แม้ว่ามันจะเป็นกรณีพิเศษของวิธีการแบบเบส์( ทางคณิตศาสตร์ ) เพราะมันเป็น "วิธีการประจำ" เห็นได้ชัดว่า Bayesians ยังใช้การแจกแจงแบบ จำกัด / จำกัด เมื่อเปรียบเทียบกับผู้ใช้บ่อยแม้ว่าการแจกแจงแบบนั้นจะถูกต้องทางคณิตศาสตร์จากมุมมองแบบเบย์

คำถาม: Bayesians ปฏิเสธและวิธีการที่ถูกต้องทางคณิตศาสตร์จากมุมมองของ Bayesian เมื่อใดและเพราะเหตุใด มีเหตุผลสำหรับสิ่งนี้ซึ่งไม่ใช่ "ปรัชญา" หรือไม่?

พื้นหลัง / บริบท:ต่อไปนี้เป็นคำพูดจากคำตอบและความคิดเห็นไปยังคำถามก่อนหน้านี้ของฉันใน CrossValidated :

พื้นฐานทางคณิตศาสตร์สำหรับการถกเถียงแบบเบย์ vs บ่อยครั้งง่ายมาก ในสถิติแบบเบย์พารามิเตอร์ที่ไม่รู้จักจะถือเป็นตัวแปรสุ่ม ในสถิติเป็นประจำจะถือว่าเป็นองค์ประกอบคงที่ ...

จากข้างต้นฉันจะได้ข้อสรุปว่า (การพูดทางคณิตศาสตร์ ) วิธีการแบบเบย์นั้นทั่วไปกว่าวิธีแบบสามัญในแง่ที่ว่าแบบจำลองผู้ใช้เป็นประจำนั้นตรงกับสมมติฐานทางคณิตศาสตร์แบบเดียวกับแบบเบย์ แต่ไม่ใช่ในทางกลับกัน อย่างไรก็ตามคำตอบเดียวกันแย้งว่าข้อสรุปของฉันจากด้านบนไม่ถูกต้อง (เน้นในสิ่งที่เป็นของฉัน):

แม้ว่าค่าคงที่เป็นกรณีพิเศษของตัวแปรสุ่มฉันก็ลังเลที่จะสรุปว่า Bayesianism นั้นกว้างกว่า คุณจะไม่ได้รับผลลัพธ์จากเบย์แบบประจำโดยการยุบตัวแปรสุ่มให้เป็นค่าคงที่ ความแตกต่างนั้นลึกซึ้งยิ่งกว่า ...

กำลังไปที่การตั้งค่าส่วนตัว ... ฉันไม่ชอบที่สถิติแบบเบย์ใช้ส่วนย่อยที่ จำกัด ของการแจกแจงที่มีอยู่

ผู้ใช้คนอื่นในคำตอบของพวกเขากล่าวว่าตรงกันข้ามวิธีการแบบเบย์นั้นทั่วไปกว่าแม้ว่าจะเป็นเหตุผลที่ดีที่สุดที่ฉันสามารถหาสาเหตุที่เป็นไปได้ว่าทำไมในกรณีนี้ก็คือคำตอบก่อนหน้านี้

ผลทางคณิตศาสตร์คือผู้ที่ใช้บ่อยคิดว่าสมการพื้นฐานของความน่าจะเป็นบางครั้งเท่านั้นและเบย์คิดว่าพวกเขามักจะใช้ ดังนั้นพวกเขาจึงดูสมการเดียวกันว่าถูกต้อง แต่แตกต่างกันว่าพวกเขาเป็นอย่างไร ... Bayesian เป็นคนที่เคร่งครัดกว่าเป็นประจำ เนื่องจากอาจมีความไม่แน่นอนเกี่ยวกับข้อเท็จจริงใด ๆ ความจริงใด ๆ สามารถกำหนดความน่าจะเป็น โดยเฉพาะอย่างยิ่งหากข้อเท็จจริงที่คุณกำลังทำอยู่นั้นเกี่ยวข้องกับความถี่ในโลกแห่งความเป็นจริง (ไม่ว่าจะเป็นสิ่งที่คุณคาดการณ์หรือเป็นส่วนหนึ่งของข้อมูล) วิธีการแบบเบย์สามารถพิจารณาและใช้งานได้เช่นเดียวกับข้อเท็จจริงอื่น ๆ ในโลกแห่งความเป็นจริง ดังนั้นปัญหาใด ๆ ที่พบบ่อยนักรู้สึกว่าวิธีการของพวกเขานำไปใช้กับ Bayesians ยังสามารถทำงานได้ตามธรรมชาติ

จากคำตอบข้างต้นฉันมีความรู้สึกว่ามีคำจำกัดความที่แตกต่างกันอย่างน้อยสองคำของ Bayesian ที่ใช้กันโดยทั่วไป ครั้งแรกที่ฉันจะเรียกว่า "คณิตศาสตร์ Bayesian" ซึ่งครอบคลุมวิธีการทางสถิติทั้งหมดเพราะมันมีพารามิเตอร์ที่ RVs คงที่และที่ไม่ RVs คงที่ จากนั้นก็มี "วัฒนธรรม Bayesian" ซึ่งปฏิเสธวิธีการบางอย่าง "คณิตศาสตร์ Bayesian" เพราะวิธีการเหล่านั้นเป็น "ประจำ" (เช่นออกจากความเกลียดชังส่วนบุคคลกับพารามิเตอร์บางครั้งถูกจำลองเป็นค่าคงที่หรือความถี่) อีกคำตอบสำหรับคำถามดังกล่าวดูเหมือนว่าจะสนับสนุนการคาดเดานี้:

นอกจากนี้ยังทราบด้วยว่ามีการแบ่งจำนวนมากระหว่างแบบจำลองที่ใช้โดยทั้งสองค่ายที่เกี่ยวข้องกับสิ่งที่ทำมากกว่าสิ่งที่สามารถทำได้ (เช่นแบบจำลองจำนวนมากที่ใช้แบบดั้งเดิมโดยค่ายหนึ่งสามารถเป็นธรรมโดยค่ายอื่น ๆ )

ดังนั้นฉันจึงเดาอีกวิธีหนึ่งที่จะตอบคำถามของฉันได้ดังนี้: ทำไมชาวเบเซียนวัฒนธรรมจึงเรียกตนเองว่าเบย์ถ้าพวกเขาปฏิเสธวิธีการทางเบส์ทางคณิตศาสตร์จำนวนมาก? แล้วทำไมพวกเขาถึงปฏิเสธวิธีการแบบเบย์ทางคณิตศาสตร์? มันเป็นความเกลียดชังส่วนตัวสำหรับคนที่ใช้วิธีการเหล่านั้นบ่อยที่สุดหรือไม่?

แก้ไข:วัตถุสองรายการเทียบเท่ากันในแง่คณิตศาสตร์หากมีคุณสมบัติเหมือนกันโดยไม่คำนึงถึงวิธีการสร้าง ตัวอย่างเช่นผมสามารถคิดอย่างน้อยห้าวิธีที่แตกต่างกันในการสร้างหน่วยจินตภาพฉันอย่างไรก็ตามมี "โรงเรียนแห่งความคิด" อย่างน้อยห้าเรื่องเกี่ยวกับการศึกษาจำนวนจินตภาพ อันที่จริงฉันเชื่อว่ามีเพียงกลุ่มเดียวเท่านั้นซึ่งเป็นกลุ่มที่ศึกษาคุณสมบัติของพวกเขา ให้กับผู้ที่คัดค้านว่าการประมาณการจุดโดยใช้ความน่าจะเป็นสูงสุดไม่ได้เป็นสิ่งเดียวกับที่ได้รับการประเมินจุดใช้สูงสุดเบื้องต้นและเครื่องแบบก่อนเพราะการคำนวณที่เกี่ยวข้องมีความแตกต่างกันผมยอมรับว่าพวกเขามีความแตกต่างกันในปรัชญาความรู้สึก แต่ เท่าที่พวกเขามักจะ$i$ให้ค่าเดิมสำหรับการประมาณการที่พวกเขามีทางคณิตศาสตร์เทียบเท่าเพราะพวกเขามีเหมือนกันคุณสมบัติ บางทีความแตกต่างทางปรัชญาอาจเกี่ยวข้องกับคุณเป็นการส่วนตัว แต่ไม่เกี่ยวข้องกับคำถามนี้

หมายเหตุ:คำถามนี้ แต่เดิมมีลักษณะที่ไม่ถูกต้องของการประมาณค่า MLE และการประมาณค่า MAP ด้วยเครื่องแบบก่อนหน้า

ฉันต้องการแก้ไขข้อผิดพลาดที่ผิดพลาดในโพสต์ต้นฉบับซึ่งเป็นข้อผิดพลาดที่ค่อนข้างบ่อย OP กล่าวว่า:

จากสิ่งที่ฉันได้อ่านและจากคำตอบของคำถามอื่น ๆ ที่ฉันถามที่นี่การประเมินความเป็นไปได้สูงสุดสอดคล้องกับเชิงคณิตศาสตร์ (ฉันไม่สนใจว่ามันจะสอดคล้องกับปรัชญาหรือไม่ฉันแค่สนใจว่ามันสอดคล้องกับคณิตศาสตร์ สำหรับผู้ที่คัดค้านโปรดดูหมายเหตุที่ด้านล่างของคำถามนี้)

และข้อความที่ด้านล่างของโพสต์บอกว่า:

วัตถุสองชนิดมีความเท่าเทียมกันในแง่คณิตศาสตร์หากมีคุณสมบัติเหมือนกันโดยไม่คำนึงถึงวิธีการสร้าง [ ... ]

ข้อคัดค้านของฉันคือการประเมินปรัชญาความเป็นไปได้สูงสุด (MLE) และการประเมินสูงสุด -a-posteriori (MAP) ไม่มีคุณสมบัติทางคณิตศาสตร์ที่เหมือนกัน

Crucially, MLE และ MAP เปลี่ยนรูปแบบที่แตกต่างกันภายใต้ (ไม่เชิงเส้น) reparametrization ของพื้นที่ สิ่งนี้เกิดขึ้นเนื่องจาก MLE มี "flat before" ในทุก parametrization ในขณะที่ MAP ไม่ (การแปลงก่อนหน้าเป็นความหนาแน่นของความน่าจะเป็นดังนั้นจึงมีคำจาโคเบียน)

คำจำกัดความของวัตถุทางคณิตศาสตร์รวมถึงวิธีการที่วัตถุทำงานภายใต้ผู้ประกอบการเช่นการเปลี่ยนแปลงของตัวแปร (เช่นดูคำนิยามที่เมตริกซ์ )

สรุปแล้ว MLE และ MAP ไม่ใช่สิ่งเดียวกันทั้งในเชิงปรัชญาและทางคณิตศาสตร์ นี่ไม่ใช่ความคิดเห็น

โดยส่วนตัวฉันเป็น "นักปฏิบัตินิยม" มากกว่า "ผู้ใช้บ่อย" หรือ "Bayesian" ดังนั้นฉันจึงไม่สามารถเรียกร้องให้พูดกับค่ายใด ๆ

ที่กล่าวว่าฉันคิดว่าความแตกต่างที่คุณพูดถึงอาจไม่มากนักเทียบกับแผนที่ แต่ระหว่างการประมาณจุดกับการประมาณหลัง PDFไฟล์ PDFในฐานะนักวิทยาศาสตร์ที่ทำงานในสาขาที่มีข้อมูลที่กระจัดกระจายและมีความไม่แน่นอนจำนวนมากฉันสามารถเห็นอกเห็นใจโดยไม่ต้องการสร้างความมั่นใจมากเกินไปกับผลลัพธ์ที่ "เดาดีที่สุด" ซึ่งอาจทำให้เข้าใจผิดทำให้เกิดความมั่นใจมากเกินไป

ความแตกต่างในทางปฏิบัติที่เกี่ยวข้องอยู่ระหว่างพาราเทียบกับที่ไม่ใช่พาราวิธี ดังนั้นสำหรับตัวอย่างเช่นผมคิดว่าทั้งสองกรองคาลมานและกรองอนุภาคจะได้รับการยอมรับว่าเป็นซ้ำคชกรรมการประเมิน แต่ข้อสมมติแบบเกาส์ของตัวกรองคาลมาน (วิธีการเชิงพารามิเตอร์) สามารถให้ผลลัพธ์ที่ทำให้เข้าใจผิดได้อย่างมากหากคนหลังไม่ใช่คนเดียว สำหรับฉันตัวอย่างวิศวกรรมเหล่านี้เน้นที่ความแตกต่างไม่ใช่ทั้งปรัชญาและคณิตศาสตร์ แต่แสดงออกมาในแง่ของผลการปฏิบัติ (เช่นรถของคุณจะชนอัตโนมัติหรือไม่) สำหรับผู้ที่ชื่นชอบ Bayesian ที่ฉันคุ้นเคยทัศนคติแบบวิศวกรรม "ดูสิ่งที่ใช้งานได้" นี้ดูเหมือนจะเด่นชัด ... ไม่แน่ใจว่าสิ่งนี้จริงหรือไม่

หลายคนที่อธิบายตนเองว่า "Bayesians" แต่ดูเหมือนว่าจะปฏิเสธโดยใช้การประเมินความเป็นไปได้สูงสุดภายใต้สถานการณ์ใด ๆ แม้ว่ามันจะเป็นกรณีพิเศษของวิธีการแบบเบส์ (ทางคณิตศาสตร์) เพราะมันเป็น "วิธีการประจำ"

คนดังกล่าวจะปฏิเสธ MLE เป็นวิธีการทั่วไปในการประเมินจุด โดยเฉพาะอย่างยิ่งในกรณีที่พวกเขามีเหตุผลที่จะใช้เครื่องแบบก่อนหน้านี้ & ต้องการเพิ่มค่าประมาณการด้านหลังให้สูงสุดพวกเขาจะไม่ถูกรบกวนจากการคำนวณด้วย MLE

เห็นได้ชัดว่า Bayesians ยังใช้การแจกแจงแบบ จำกัด / จำกัด เมื่อเปรียบเทียบกับผู้ใช้บ่อยแม้ว่าการแจกแจงแบบนั้นจะถูกต้องทางคณิตศาสตร์จากมุมมองแบบเบย์

บางทีในบางครั้งเพื่อทำให้การคำนวณง่ายขึ้น แต่ไม่ใช่จากหลักการใด ๆ

ฉันรู้สึกว่ามีคำจำกัดความที่แตกต่างกันอย่างน้อยสองคำของ Bayesian ที่ใช้กันโดยทั่วไป ครั้งแรกที่ฉันจะเรียกว่า "คณิตศาสตร์ Bayesian" ซึ่งครอบคลุมวิธีการทางสถิติทั้งหมดเนื่องจากมีพารามิเตอร์ที่ RVs คงที่และที่ไม่ RVs คงที่ จากนั้นก็มี "วัฒนธรรม Bayesian" ซึ่งปฏิเสธวิธีการบางอย่าง "คณิตศาสตร์ Bayesian" เพราะวิธีการเหล่านั้นเป็น "ประจำ" (เช่นออกจากความเกลียดชังส่วนบุคคลกับพารามิเตอร์บางครั้งถูกจำลองเป็นค่าคงที่หรือความถี่)

แน่นอนว่ามีความแตกต่างระหว่างวิธีการต่าง ๆ ในการอนุมานแบบเบย์ แต่ไม่ใช่สิ่งนี้ หากมีความรู้สึกว่า Bayesianism เป็นเรื่องทั่วไปมากกว่าก็เป็นความเต็มใจที่จะใช้แนวคิดของความน่าจะเป็นเพื่อความไม่แน่นอนที่ชัดเจนเกี่ยวกับค่าพารามิเตอร์และไม่ใช่เพียงแค่ความไม่แน่นอนของกระบวนการสร้างข้อมูลซึ่งเป็นเรื่องที่บ่อยครั้ง การอนุมานบ่อยครั้งไม่ได้เป็นกรณีพิเศษของการอนุมานแบบเบย์และไม่มีคำตอบหรือความคิดเห็นที่มีพื้นฐานทางคณิตศาสตร์สำหรับการถกเถียงแบบเบส์ vs การถกเถียงบ่อยครั้งหรือไม่?มีความหมายว่ามันเป็น หากในวิธีการแบบเบย์คุณต้องพิจารณาพารามิเตอร์ตัวแปรสุ่มคงที่คุณจะได้รับด้านหลังเหมือนกันไม่ว่าข้อมูลจะเป็นอะไร & เพื่อบอกว่ามันคงที่ แต่คุณไม่รู้ว่ามันต้องใช้ค่าอะไร น่าพูด วิธีการที่ใช้กันบ่อยนั้นใช้วิธีที่แตกต่างกันโดยสิ้นเชิง & ไม่เกี่ยวข้องกับการคำนวณการแจกแจงหลัง