Bayesians เคยโต้แย้งว่ามีกรณีที่วิธีการของพวกเขาสรุป / ทับซ้อนกับวิธีการที่ใช้บ่อยหรือไม่?

12

Bayesians เคยยืนยันว่าวิธีการของพวกเขาทำให้วิธีการทั่วไปเป็นปกติหรือไม่เพราะเราสามารถใช้นักบวชที่ไม่ให้ข้อมูลได้และดังนั้นจึงสามารถกู้คืนโครงสร้างแบบจำลองของนักสะสมทั่วไปได้หรือไม่?

ใครช่วยแนะนำฉันไปยังสถานที่ที่ฉันสามารถอ่านเกี่ยวกับเรื่องนี้ถ้ามันถูกใช้จริง?

แก้ไข: คำถามนี้อาจจะเป็นประโยคที่ไม่ตรงกับที่ฉันตั้งใจจะพูด คำถามคือ: "มีการอ้างอิงใด ๆ เกี่ยวกับการอภิปรายของกรณีที่วิธีการแบบเบย์และวิธีการที่พบบ่อยซ้อนทับกัน / ตัด / มีบางสิ่งที่เหมือนกันผ่านการใช้บางอย่างมาก่อนหรือไม่" ตัวอย่างหนึ่งจะใช้ที่ไม่เหมาะสมก่อนนี้ แต่ฉันค่อนข้างแน่ใจว่านี่เป็นเพียงส่วนปลายสุดของภูเขาน้ำแข็ง $p(\theta) = 1$

bayesian references frequentist

— singelton
แหล่งที่มา

2

ฉันจำได้ว่าข้อโต้แย้งนี้เกิดขึ้นในบทนำของ Bayesian Econometrics แต่ฉันไม่แน่ใจและมีการอ้างอิงที่ดีกว่า เพิ่มเติมฉันเชื่อว่ามันไม่ใช่แค่ทางเลือกก่อนหน้านี้ แต่ยังเชื่อมั่นในก่อน

— John

3

มีข้อโต้แย้งที่ดีที่ผู้ใช้ทั่วไปพูดถึงวิธีการของเบย์! สิ่งต่อไปนี้เพราะผู้ใช้บ่อยมีความสุขที่จะใช้นักบวชเมื่อมีการพิสูจน์ (ตามทฤษฎีหรือข้อมูล) แต่นอกเหนือจากวิธีการใช้งานที่ Bayesians จะไม่ได้สัมผัส :-)

— whuber

3

มันเป็นวิธีการที่แตกต่างอย่างสิ้นเชิงโดยเริ่มจากวิธีการตีความความน่าจะเป็น (ดูลิงค์เช่น ) นอกจากนี้ไม่มีที่ไม่ซ้ำกัน (แม้จะได้รับการยอมรับน้อยกว่า) ความหมายของ noninformative ก่อนเพียงเพราะไม่มีที่ไม่ซ้ำกัน (หรือได้รับการยอมรับ) ความหมายของข้อมูล แม้ว่าตัวประมาณจะมีปริมาณเท่ากันการตีความของตัวประมาณการแบบประจำและตัวประมาณแบบเบย์จะแตกต่างกัน ดังที่ฉันได้กล่าวถึงในความคิดเห็นก่อนหน้า "มันก็เหมือนกับการพูดว่าส้มพูดคุยแอปเปิ้ล"

1

@Procrastinator ฉันเห็นด้วยอย่างยิ่งว่าพวกเขาไม่ได้ตัดกันเสมอ ฉันกำลังมองหาข้อโต้แย้งในกรณีที่พวกเขาทำ ให้ฉันจัดกรอบคำถามใหม่: "มีการอ้างอิงใด ๆ เกี่ยวกับการอภิปรายที่สถิติแบบเบย์และสถิติบ่อยครั้งซ้อนทับกันในทางใดทางหนึ่งหรืออีกทางหนึ่งผ่านการใช้งานก่อนหน้า" ตัวอย่างหนึ่งที่จะใช้ก่อนที่ไม่เหมาะสม1 แต่นี่คือปลายภูเขาน้ำแข็งจริงๆฉันเชื่อ

p (θ) = 1

$p(\theta) = 1$

— singelton

1

@Procrastinator ใช่ขอบคุณ! นั่นคือประเภทของการสนทนาที่ฉันกำลังมองหา (แม้ว่าฉันเดาว่ามันยังคงเป็นส่วนหนึ่งของภูเขาน้ำแข็ง) ฉันแค่ต้องการหาหนังสือที่ทำได้อย่างละเอียดและฉันไม่สามารถหาหนังสือได้ ฉันจะดูต่อไป ขอบคุณอีกครั้ง. (หนังสือส่วนใหญ่เน้นที่วิธีการแบบประจำหรือแบบเบย์ แต่อย่าเปรียบเทียบทั้งสองแบบที่คุณทำ)

— singelton

11

ฉันได้เห็นข้อโต้แย้งสองข้อขั้นสูงที่การวิเคราะห์แบบเบย์เป็นลักษณะทั่วไปของการวิเคราะห์ที่ใช้บ่อย ทั้งสองเป็นคนที่พูดจาแก้มและให้ผู้คนรับรู้ถึงข้อสันนิษฐานเกี่ยวกับแบบจำลองการถดถอยโดยใช้นักบวชเป็นบริบท

ข้อโต้แย้งที่ 1: การวิเคราะห์เป็นประจำคือการวิเคราะห์แบบเบย์โดยไม่คำนึงถึงสิ่งที่ไม่เคยมีมาก่อนโดยมีศูนย์กลางที่ศูนย์ (ใช่มันไม่สำคัญว่าจะอยู่ตรงไหน สิ่งนี้นำเสนอทั้งบริบทที่ Bayesian อาจแยกผลลัพธ์ของการวิเคราะห์เป็นประจำอธิบายว่าทำไมคุณสามารถใช้เทคนิค "Bayesian" เช่น MCMC เพื่อแยกการประมาณการบ่อยในสถานการณ์ที่กล่าวว่าการลู่เข้าหาโอกาสสูงสุดนั้นยากและได้รับ ผู้คนจำได้ว่าเมื่อพวกเขาพูดว่า "ข้อมูลพูดเพื่อตัวเอง" และสิ่งที่พวกเขาพูดจริง ๆ แล้วก็คือคุณค่านั้นมีแนวโน้มเท่ากัน

อาร์กิวเมนต์ 2: คำศัพท์การถดถอยใด ๆ ที่คุณไม่ได้รวมไว้ในแบบจำลองนั้นได้รับการกำหนดให้อยู่กึ่งกลางก่อนหน้าของศูนย์โดยไม่มีความแปรปรวน หนึ่งนี้เป็นไม่มาก "การวิเคราะห์แบบเบย์เป็นลักษณะทั่วไป" มากที่สุดเท่าที่ "มีไพรเออร์มีทุกที่แม้จะอยู่ในรูปแบบของคุณ frequentist" อาร์กิวเมนต์

— Fomite
แหล่งที่มา

3

+1 อาร์กิวเมนต์ 2 น่าสนใจ สองความคิดเห็นเกี่ยวกับอาร์กิวเมนต์ 1: 1 ฉันจะบอกว่านักบวชแบนแทนที่จะเป็นคนรู้เรื่อง (คนหลังเป็นผู้เรียกชื่อผิดถ้าเคยมี) 2. ไม่จำเป็นต้องพูดคุยเกี่ยวกับนักบวชเพื่อกระตุ้นการใช้ MCMC ในการวิเคราะห์เป็นประจำ - ไม่มีอะไรที่ Bayesian โดยกำเนิดเกี่ยวกับเทคนิคเชิงตัวเลขนี้!

— MånsT

ขอบคุณ EpiGrad คุณมีการอ้างอิงใด ๆ ที่กล่าวถึงข้อโต้แย้งสองข้อที่คุณกล่าวถึงหรือไม่?

— singelton

1

+1 โอเคตราบใดที่ผู้คนตระหนักว่าแก้มเป็นเรื่องง่ายที่จะเข้าใจ แต่โปรดอย่าใช้มันอย่างจริงจัง!

— Michael R. Chernick

@ MånsT - ตกลงเกี่ยวกับ MCMC ไม่จำเป็นต้องมีเหตุผลสำหรับการใช้งาน แต่ฉันพบว่ามันมีอยู่ในใจของผู้คนเป็นสิ่งที่อยู่ในอาณาจักร Bayesian มากกว่าเทคนิคเชิงตัวเลขอย่างหมดจด นี่จะช่วยผลักพวกเขาออกไป

— Fomite

@bayesianOrFrequentist ไม่จริง ๆ ไม่

— Fomite

6

คำตอบสั้น ๆน่าจะเป็น "ใช่ - และคุณไม่จำเป็นต้องมีหน้าจอแบนมาก่อนเพื่อให้อาร์กิวเมนต์นี้หยุดนิ่ง"

ตัวอย่างเช่นการประมาณค่าสูงสุดของ Posteriori (MAP)เป็นการสรุปความเป็นไปได้สูงสุดที่รวมไว้ก่อนหน้านี้และมีวิธีการที่ใช้บ่อยซึ่งจะเทียบเท่ากับการวิเคราะห์เพื่อหาค่านี้ ผู้ถกเถียงกันบ่อยครั้ง relabels "ก่อน" เป็น "ข้อ จำกัด " หรือ "โทษ" ในหน้าที่ความน่าจะเป็นและได้รับคำตอบเดียวกัน ดังนั้นผู้ที่ใช้บ่อยและ Bayesians สามารถชี้ไปที่สิ่งเดียวกันกับการประมาณค่าพารามิเตอร์ที่ดีที่สุดแม้ว่าปรัชญาจะแตกต่างกัน ส่วนที่ 5 ของกระดาษที่ใช้บ่อยนี้เป็นตัวอย่างหนึ่งที่เทียบเท่า

คำตอบที่ยาวกว่านั้นคือ "ใช่ แต่มักจะมีแง่มุมอื่น ๆ ของการวิเคราะห์ที่แยกความแตกต่างของทั้งสองวิธีถึงกระนั้นแม้ความแตกต่างเหล่านี้ไม่จำเป็นต้องสวมชุดเหล็กในหลาย ๆ กรณี"

ตัวอย่างเช่นในบางครั้ง Bayesians ใช้การประมาณค่า MAP (โหมดหลัง) เมื่อสะดวกพวกเขามักเน้นค่าเฉลี่ยหลังแทน บนมืออื่น ๆ ที่หลังหมายถึงยังมีอะนาล็อก frequentist เรียกว่า "โดน" ประมาณการณ์ (จาก "บูตรวม") ที่สามารถแยกไม่ออกเกือบ (ดูPDF นี้ตัวอย่างของการโต้แย้งนี้) นั่นไม่ใช่ความแตกต่างที่ "ยาก" เช่นกัน

ในทางปฏิบัติสิ่งนี้หมายความว่าแม้เมื่อนักเล่นแร่แปรธาตุทำบางสิ่งบางอย่างที่ชาวเบย์จะพิจารณาอย่างผิดกฎหมายโดยสิ้นเชิง (หรือในทางกลับกัน) ก็มักจะมีวิธีการจากค่ายอื่น ๆ

ข้อยกเว้นหลักคือบางรุ่นยากที่จะปรับให้เข้ากับมุมมองของผู้ใช้บ่อย ๆ แต่นั่นเป็นปัญหาที่ใช้งานได้จริงมากกว่าปรัชญา

— David J. Harris
แหล่งที่มา

ขอบคุณเดวิด คำตอบของคุณมีประโยชน์ ฉันกำลังมองหาข้อมูลอ้างอิงที่กล่าวถึงประเด็นนี้ในความยาว ฉันต้องการดูว่าข้อโต้แย้งของ Bayesians เป็นเรื่องเกี่ยวกับนักบวชที่ไม่ให้ข้อมูลและวิธีที่พวกเขาสามารถลดให้เป็นแนวทางที่ใช้บ่อยได้ ฉันเข้าใจประเด็นทางเทคนิคอย่างสมบูรณ์แบบ (ตัวอย่างเช่นหากคุณเพิ่มโอกาสในการคูณด้วย 1 ... คุณจะได้รับโอกาสของคุณ :-)) แต่ฉันกำลังมองหาการสนทนาที่ดีกว่านี้

— singelton

1

ฉันพบว่าคนหนุ่มสาวจำนวนมากไม่ทราบประวัติหรือเข้าใจสาระสำคัญของกระบวนทัศน์แบบเบย์ หากต้องการเรียกมันว่าลักษณะทั่วไปของวิธีการที่พบบ่อยจริงๆผิดการเปรียบเทียบกระบวนทัศน์เหล่านี้ การแสดงความคิดเห็น Procrastinators และวางไว้ในวิธีที่แตกต่างกันเล็กน้อยฉันจะบอกว่านี่เป็นเหมือนการบอกว่าแอปเปิ้ลเป็นเพียงสีส้มขนาดใหญ่

— ไมเคิลอาร์ Chernick

@DavidJHarris ฉันไม่ชอบคำตอบของคุณ ในทางเทคนิคแล้วความสัมพันธ์ที่คุณชี้ไปนั้นถูกต้องตามกฎหมาย แต่การพูดว่า "ใช่" ในคำตอบสั้น ๆ นั้นให้ความรู้สึกที่ผิด ฉันไม่คิดว่าชาวเบย์ต้องการที่จะเรียกกระบวนทัศน์ของพวกเขาเกี่ยวกับสถิติทั่วไปของนักเสรีนิยม ข้อตกลงอย่างเต็มที่ Bayesian, Bayesian เชิงประจักษ์และอาจแยกกระบวนทัศน์ที่เกี่ยวข้องกับ Bayesian แต่ฉันคิดว่า Bayesians อาจคัดค้านการเรียกสาขาเหล่านี้ของกระบวนทัศน์ Bayesian

— Michael R. Chernick

2

@MichaelChernick จุดที่ถ่าย ฉันไม่ได้หมายความว่าสถิติและปรัชญาของ Bayesian ทั้งหมดมี analogues บ่อยครั้งและในทางกลับกันมีเพียงคนเดียวเท่านั้นที่มักจะสามารถหาวิธีที่จะทำงานที่เหมือนกันจากทั้งสองค่ายและวิธี Bayesian นั้นมีแนวโน้มที่จะ ความยืดหยุ่นของทั้งสอง บางทีฉันควรจะย้ำว่าแม้ว่าพารามิเตอร์ที่คุณได้รับจากโรงเรียนสองแห่งนั้นเหมือนกัน แต่พวกเขาก็ควรตีความต่างกันตามที่ Procrastinator ชี้ไปที่อื่น

— David J. Harris

@DavidJHarris ฉันเห็นด้วยกับทุกสิ่งที่คุณพูด แต่จะยกเว้นการใช้คำศัพท์ทั่วไป

— Michael R. Chernick

3

Edwin Jaynes เป็นหนึ่งในดีที่สุดที่เน้นการเชื่อมต่อระหว่าง Bayesian และอนุมานบ่อย ช่วงเวลาความมั่นใจในกระดาษของเขาเทียบกับช่วงเวลาแบบเบย์ (การค้นหาโดย Google แสดงขึ้น) เป็นการเปรียบเทียบที่ละเอียดมาก - และฉันคิดว่าเป็นงานที่ยุติธรรม

การประมาณพื้นที่ขนาดเล็กเป็นอีกพื้นที่หนึ่งที่คำตอบของ ML / REML / EB / HB นั้นใกล้เคียงกัน

— probabilityislogic
แหล่งที่มา

2

ความคิดเห็นเหล่านี้หลายคนคิดว่า "ผู้นิยมใช้บ่อย" หมายถึง "การประเมินโอกาสสูงสุด" บางคนมีคำจำกัดความที่แตกต่าง: "ผู้ใช้บ่อย" หมายถึงประเภทการวิเคราะห์คุณสมบัติการอนุมานระยะยาวของวิธีการอนุมานใด ๆ ไม่ว่าจะเป็นแบบเบส์หรือวิธีการของช่วงเวลาหรือโอกาสสูงสุดหรือสิ่งที่ไม่น่าจะเป็นไปได้ ข้อกำหนด (เช่น SVM) ฯลฯ

— เบรนแดน OConnor
แหล่งที่มา

1

ฉันต้องการได้ยินจาก Stephane หรือผู้เชี่ยวชาญ Bayesian คนอื่น ๆ ในเรื่องนี้ ฉันจะบอกว่าไม่เพราะมันเป็นวิธีการที่แตกต่างไม่ได้เป็นลักษณะทั่วไป ในบริบทอื่นนี้ได้รับการโต้เถียงที่นี่มาก่อน อย่าคิดว่าเพียงเพราะนักบวชแบนราบสร้างผลลัพธ์ที่ใกล้เคียงกับความเป็นไปได้สูงสุดที่วิธีการแบบเบย์ที่มีการแบนก่อนเป็นประจำ! ฉันคิดว่านั่นเป็นข้อสันนิษฐานที่ผิดพลาดซึ่งจะนำคุณไปสู่การคิดว่าการทำตามอำเภอใจก่อนหน้านี้คุณกำลังพูดคุยกับนักบวชคนอื่น ๆ ฉันไม่คิดอย่างนั้นและฉันค่อนข้างมั่นใจว่า Bayesian ส่วนใหญ่ก็ไม่ได้เป็นเช่นนั้น

ดังนั้นบางคนก็เถียงกัน แต่ฉันไม่คิดว่าพวกเขาควรจัดว่าเป็นเบย์

แม้ว่าสเตฟานได้ชี้ให้เห็นความยากลำบากในการจำแนกที่แข็งแกร่ง ดังนั้นการพูดอย่างเคร่งครัดถ้าคำนั้นเคยเป็นฉันคิดว่ามันอาจขึ้นอยู่กับวิธีที่คุณกำหนด Bayesian

— Michael R. Chernick
แหล่งที่มา

(+1) เป็นวิธีที่แตกต่างกันโดยสิ้นเชิง มันก็เหมือนกับการบอกว่าส้มพูดคุยแอปเปิ้ล

5

การกินส้มมากมายและไม่มีแอปเปิ้ลคิดอย่างนั้น

— อัลเฟรดเอ็ม

นี่เป็นความจริงแม้ว่าความเป็นไปได้สูงสุดคือหนึ่งในไม่กี่ขั้นตอนทั่วไปในการทำการอนุมานบ่อยๆ ดังนั้นจะมีการพูดคุยกันโดยทั่วไปเกี่ยวกับวิธีการที่ใช้บ่อย ฉันประหลาดใจที่การสุ่มตัวอย่างแบบสำรวจยังไม่ได้กล่าวถึงเช่น GREG

— ความน่าจะเป็นทาง