Bayesians คือใคร?


92

ในฐานะที่เป็นหนึ่งในความสนใจในสถิติที่แตกต่าง"บ่อย" และ "Bayesian"ในไม่ช้าก็กลายเป็นเรื่องธรรมดา (และผู้ที่ยังไม่ได้อ่านสัญญาณและเสียงของเนทซิลเวอร์ ? ในหลักสูตรการพูดคุยและการแนะนำมุมมองเป็นประจำอย่างท่วมท้น ( MLE , ค่า ) แต่มีแนวโน้มที่จะมีเวลาเพียงเล็กน้อยในการชื่นชมสูตร Bayes และสัมผัสกับแนวคิดของการกระจายก่อนหน้านี้p

น้ำเสียงที่ใช้เพื่อหารือเกี่ยวกับสถิติของ Bayesian แกว่งไปมาระหว่างการให้ความเคารพต่อการสนับสนุนแนวคิดและคำใบ้ของความสงสัยเกี่ยวกับช่องว่างระหว่างวัตถุประสงค์อันสูงส่งและความไม่ลงรอยกันในการเลือกการแจกแจงก่อนหน้า

ประโยคเช่น "ถ้าคุณเป็น Bayesian ฮาร์ดคอร์ ... " มาก

คำถามคือใครคือชาวเบย์ในปัจจุบัน? พวกเขาบางสถาบันการศึกษาที่เลือกที่คุณรู้ว่าถ้าคุณไปที่นั่นคุณจะกลายเป็นเบย์? ถ้าเป็นเช่นนั้นพวกเขาต้องการเป็นพิเศษหรือไม่? เราหมายถึงนักสถิติและนักคณิตศาสตร์ที่ได้รับการเคารพเพียงไม่กี่คนและหากเป็นเช่นนั้น

พวกมันมีอยู่จริงหรือเปล่าเช่น "Bayesians" บริสุทธิ์เหล่านี้หรือไม่? พวกเขาจะยอมรับฉลากอย่างมีความสุขหรือไม่? มันเป็นความแตกต่างที่ประจบเสมอ? พวกเขาเป็นนักคณิตศาสตร์ที่มีสไลด์แปลก ๆ ในการประชุมปราศจากค่าใด ๆและช่วงความเชื่อมั่นหรือไม่p

มีโพรงจำนวนเท่าใดที่เป็น "Bayesian" เราหมายถึงนักสถิติส่วนน้อยหรือไม่?

หรือ Bayesian-ism ปัจจุบันมีแอปพลิเคชันการเรียนรู้ของเครื่อง?

... หรือมากกว่านั้นคือสถิติแบบเบย์ไม่ได้เป็นสาขาวิชาสถิติมากนัก แต่เป็นขบวนการญาณวิทยาที่ครอบคลุมการคำนวณความน่าจะเป็นในปรัชญาของวิทยาศาสตร์? ในเรื่องนี้นักวิทยาศาสตร์ทุกคนจะเป็นแบบเบย์ในใจ ... แต่จะไม่มีสิ่งใดในฐานะนักสถิติแบบเบย์ที่บริสุทธิ์ซึ่งไม่สามารถผ่านไปได้กับเทคนิคที่ใช้บ่อย ๆ (หรือความขัดแย้ง)


18
ฉันก็อยากจะรู้เช่นกัน! ความรู้สึกของฉันคือ "Bayesians" มักจะเป็นคำที่ใช้โดยผู้ที่ไม่ชอบสถิติประเภทนั้น ฉันเป็นแฟนตัวยงของการวิเคราะห์ข้อมูลคชกรรม แต่ฉันไม่พิจารณาตัวเองเป็นแบบเบย์ในทางเดียวกันผมไม่พิจารณาตัวเองเป็นเมทริกซ์ algebraist
Rasmus Bååth

4
การแบ่งชัดเจนในบางวิธีจินตนาการ บางครั้งผู้คนก็ชอบที่จะเข้าใกล้พวกเขาและเรา ฉันรู้สึกว่าหลังจากนั้นไม่กี่ปีก็ไม่มีใครใส่ใจอีกต่อไป "ปรัชญา" ไม่ได้ขัดแย้งกัน ผู้ใช้บ่อยไม่มีสูตรเวทย์มนตร์สำหรับค้นหาตัวประมาณที่ดี แต่ถ้ามีตัวประมาณสองตัวพวกเขาอาจมีเกณฑ์ในการตัดสินใจว่าตัวประมาณตัวใดดีที่สุด (ถึงกระนั้นผู้ใช้บ่อยสองคนอาจไม่เห็นด้วยกันและใช้เกณฑ์ที่แตกต่างกัน แต่ฉันพูดนอกเรื่อง) ...
Aaron McDaid

1
... (ต่อ) ผู้ไม่ยอมใครง่ายๆบ่อยครั้งค้นหาระดับของตัวประมาณค่าที่จะเลือกหนึ่ง "ดีที่สุด" อาจจะตัดสินใจที่จะพิจารณาประเภทของตัวประมาณ Bayesian ทั้งหมด (เช่นนักบวช) และใช้ตัวประมาณ (ก่อน) ที่ดีที่สุดตามเกณฑ์ "วัตถุประสงค์" ของพวกเขา คนดังกล่าวเป็นประจำหรือไม่ (เพราะพวกเขาเลือกตัวประมาณค่าที่ดีที่สุด) หรือ Bayesian (เพราะพวกเขาพิจารณาตัวประมาณค่าแบบเบส์เป็นผู้สมัครเท่านั้น) หรือไม่ มีใครสนใจไหม? ฉันเดาว่าคนแบบนี้หลายคนเรียกตัวเองว่า Bayesian ถึงแม้ว่าพวกเขาอาจจะผิดในงานมอบหมาย
Aaron McDaid

3
สิ่งที่ควรทราบ - MLEs นั้นมีพื้นฐานมาจากวิธี likelihoodist และไม่บ่อยนัก
ลอเรนกูดวิน

5
@Count บางส่วนของวรรณกรรมที่ฉันคุ้นเคย (ในการสื่อสารความเสี่ยงและจิตวิทยาที่เกี่ยวข้อง - Kahneman, Slovic, Tersky, et al. ) แสดงให้เห็นว่าผู้คนไม่ได้ใช้กระบวนการที่ถูกต้องทางคณิตศาสตร์เพื่อเหตุผลเกี่ยวกับความน่าจะเป็น สำหรับบัญชียอดนิยมของเรื่องนี้โปรดดูการคิดอย่างรวดเร็วและช้าของ Kahneman ความหมายเชิงตรรกะของความคิดเห็นของคุณนั้นคือมนุษย์ไม่ใช่ "รูปแบบชีวิตที่ซับซ้อน"
whuber

คำตอบ:


58

ฉันจะตอบคำถามของคุณตามลำดับ:

คำถามคือใครคือชาวเบย์ในปัจจุบัน?

ใครก็ตามที่ทำการวิเคราะห์ข้อมูลแบบเบย์และระบุตนเองว่าเป็น "Bayesian" เช่นเดียวกับโปรแกรมเมอร์คือคนที่โปรแกรมและระบุตัวเองว่าเป็น "โปรแกรมเมอร์" ข้อแตกต่างเล็กน้อยคือเหตุผลทางประวัติศาสตร์Bayesianมีนัยยะเชิงอุดมการณ์เนื่องจากการถกเถียงกันบ่อยครั้งระหว่างผู้สนับสนุนการตีความ "บ่อยครั้ง" ของความน่าจะเป็นและผู้เสนอการตีความความน่าจะเป็น "Bayesian"

พวกเขามีสถาบันการศึกษาบางแห่งที่คุณรู้ว่าถ้าคุณไปที่นั่นคุณจะกลายเป็นเบย์หรือไม่?

ไม่เหมือนส่วนอื่น ๆ ของสถิติคุณแค่ต้องการหนังสือที่ดี (และอาจเป็นครูที่ดี)

ถ้าเป็นเช่นนั้นพวกเขาต้องการเป็นพิเศษหรือไม่?

การวิเคราะห์ข้อมูลแบบเบย์เป็นเครื่องมือที่มีประโยชน์มากเมื่อทำการสร้างแบบจำลองทางสถิติซึ่งฉันคิดว่าเป็นทักษะที่เป็นที่ต้องการอย่างมาก (แม้ว่า บริษัท อาจจะไม่ได้มองหา

เราหมายถึงนักสถิติและนักคณิตศาสตร์ที่ได้รับการเคารพเพียงไม่กี่คนและหากเป็นเช่นนั้น

มีนักสถิติที่เคารพนับถือหลายคนที่ฉันเชื่อว่าจะเรียกตัวเองว่าเป็นชาวเบย์แต่ก็ไม่ใช่พวกเบย์

พวกมันมีอยู่จริงหรือเปล่าเช่น "Bayesians" บริสุทธิ์เหล่านี้หรือไม่?

มันเหมือนกับการถามว่า "โปรแกรมเมอร์บริสุทธิ์เหล่านี้มีอยู่จริงไหม"? มีบทความที่น่าขบขันที่เรียกว่า46656 พันธุ์ของ Bayesiansและแน่นอนว่ามีข้อโต้แย้งที่ดีในหมู่ "Bayesians" เกี่ยวกับปัญหาพื้นฐานหลายประการ เช่นเดียวกับโปรแกรมเมอร์สามารถโต้เถียงข้อดีของเทคนิคการเขียนโปรแกรมที่แตกต่างกัน (BTW โปรแกรมโปรแกรมเมอร์ที่บริสุทธิ์ใน Haskell)

พวกเขาจะยอมรับฉลากอย่างมีความสุขหรือไม่?

บางคนทำบางคนทำไม่ได้ เมื่อฉันค้นพบการวิเคราะห์ข้อมูลแบบเบย์ฉันคิดว่ามันดีที่สุดตั้งแต่ขนมปังหั่นบาง ๆ (ฉันยังทำอยู่) และฉันดีใจที่เรียกตัวเองว่า "Bayesian" (อย่างน้อยก็จะทำให้คนที่มีค่า p ในแผนกของฉันระคายเคือง) ทุกวันนี้ฉันไม่ชอบคำนี้ฉันคิดว่ามันอาจทำให้คนแปลกหน้าเพราะมันทำให้การวิเคราะห์ข้อมูลแบบเบย์ดูเหมือนลัทธิบางประเภทซึ่งไม่ได้เป็นมากกว่าวิธีที่มีประโยชน์ที่จะมีในกล่องเครื่องมือสถิติของคุณ

มันเป็นความแตกต่างที่ประจบเสมอ?

Nope! เท่าที่ฉันรู้คำว่า "Bayesian" ถูกนำเสนอโดยนักสถิติที่มีชื่อเสียงชาวประมงเป็นคำที่เสื่อมเสีย ก่อนหน้านั้นมันถูกเรียกว่า "ความน่าจะเป็นกลับตัว" หรือ "ความน่าจะเป็น"

พวกเขาเป็นนักคณิตศาสตร์ที่มีสไลด์แปลก ๆ ในการประชุมปราศจากค่า p ใด ๆ และช่วงความเชื่อมั่นหรือไม่

มีการประชุมในสถิติแบบเบย์และฉันไม่คิดว่าพวกเขาจะรวมค่า p ไว้มากมาย ไม่ว่าคุณจะพบสไลด์ที่แปลกประหลาดจะขึ้นอยู่กับพื้นหลังของคุณ ...

มีโพรงจำนวนเท่าใดที่เป็น "Bayesian" เราหมายถึงนักสถิติส่วนน้อยหรือไม่?

ฉันยังคงคิดว่านักสถิติส่วนน้อยจัดการกับสถิติแบบเบย์ แต่ฉันก็คิดว่าสัดส่วนกำลังเพิ่มขึ้น

หรือ Bayesian-ism ปัจจุบันมีแอปพลิเคชันการเรียนรู้ของเครื่อง?

Nope แต่แบบจำลองแบบเบย์ถูกใช้อย่างมากในการเรียนรู้ของเครื่อง นี่คือหนังสือการเรียนรู้ของเครื่องที่ยอดเยี่ยมที่นำเสนอการเรียนรู้ของเครื่องจากมุมมองของ Bayesian / probibalistic: http://www.cs.ubc.ca/~murphyk/MLbook/

หวังว่าจะตอบคำถามส่วนใหญ่ :)

ปรับปรุง:

[C] คุณจะพิจารณาเพิ่มรายการของเทคนิคเฉพาะหรือสถานที่ที่แยกความแตกต่างทางสถิติแบบเบย์?

สิ่งที่แตกต่างสถิติแบบเบย์คือการใช้แบบจำลองคชกรรม :) ความนี่คือการหมุนของฉันในสิ่งที่รูปแบบเบส์คือ :

แบบจำลองแบบเบย์คือแบบจำลองทางสถิติที่คุณใช้ความน่าจะเป็นเพื่อแสดงถึงความไม่แน่นอนทั้งหมดภายในแบบจำลองทั้งความไม่แน่นอนเกี่ยวกับผลลัพธ์ แต่ยังรวมถึงความไม่แน่นอนเกี่ยวกับอินพุต (พารามิเตอร์อาคา) ไปยังแบบจำลอง สิ่งที่เป็นทฤษฎีบทก่อนหน้า / หลัง / Bayes ทั้งหมดตามมาในเรื่องนี้ แต่ในความคิดของฉันการใช้ความน่าจะเป็นสำหรับทุกสิ่งคือสิ่งที่ทำให้มันเป็นแบบเบย์ (และแน่นอนว่าคำที่ดีกว่า

ตอนนี้รุ่นเบส์อาจเป็นเรื่องยุ่งยากที่จะพอดีและมีโฮสต์ของเทคนิคการคำนวณที่แตกต่างกันที่ใช้ในการนี้ แต่เทคนิคเหล่านี้ไม่ใช่แบบเบย์ในตัวเอง หากต้องการตั้งชื่อเทคนิคการคำนวณบางอย่าง:

  • ห่วงโซ่มาร์คอฟ Monte Carlo
    • มหานครเฮสติ้งส์
    • ตัวอย่างกิ๊บส์
    • Hamiltonian Monte Carlo
  • Bayes แปรปรวน
  • การคำนวณแบบเบย์โดยประมาณ
  • ตัวกรองอนุภาค
  • การประมาณ Laplace
  • และอื่น ๆ ...

ใครคือนักสถิติชื่อดังที่แนะนำคำว่า 'Bayesian' ว่าเสื่อมเสีย?

มันควรจะเป็นโรนัลด์ฟิชเชอร์ บทความเมื่อใดการอนุมานแบบเบย์จึงกลายเป็น "Bayesian" ให้ประวัติศาสตร์ของคำว่า "Bayesian"


2
โอ้ว้าวฉันจำคุณได้จากโพสต์เกี่ยวกับความสูงของคนดังในบล็อกของ Andrew Gelman! ฉันรอคอยที่จะอ่าน "46656 วาไรตี้ของ Bayesians" ขอบคุณสำหรับคำตอบที่ดี!
Ellie Kesselman

2
ดีมาก! ฉันชอบที่คุณทิ้งคำว่า 'ลัทธิ' ฉันลังเลว่าเกรงว่าใครจะขุ่นเคือง คำถามของฉันบางคำถามแค่ตั้งใจให้พร้อม ... ในที่สุดฉันพยายามเรียนรู้เกี่ยวกับสถิติและฉันอยากรู้อยากเห็นที่จะเข้าใจการแบ่งขั้วจากภายใน
Antoni Parellada

1
ความคิดเห็น: มีหลายสิ่งหลายอย่างที่มีข้อความว่า "Bayesian" และผู้คนมักจะสับสน (และทำในคำถาม & คำตอบนี้!) รายการที่ไม่สมบูรณ์: สมมติฐานทางสมองของเบย์ (สมองกำลังทำสถิติแบบเบย์), ปรัชญาแบบเบย์ทางวิทยาศาสตร์, สถิติแบบเบย์, มุมมองความเป็นไปได้แบบเบย์, วิธีการคำนวณสำหรับการทำสถิติแบบเบส์เป็นต้นแน่นอนว่าสิ่งเหล่านี้เกี่ยวข้อง น่าจะเป็นและ Bayes. stats) แต่คุณไม่จำเป็นต้องซื้อมันทั้งหมด! เช่นผมคิดว่าสมองคชกรรมเป็นอย่างสูงที่สงสัย แต่โอบกอดสถิติคชกรรมเป็นประโยชน์และการปฏิบัติเทคนิค
Rasmus Bååth

1
โพสต์ที่ยอดเยี่ยม! อย่างไรก็ตามสิ่งหนึ่งที่ฉันจะไม่เห็นด้วยกับคำตอบของคุณคือ "พวกเขามีบางสถาบันการศึกษาที่คุณรู้ว่าถ้าคุณไปที่นั่นคุณจะกลายเป็นเบย์?" คำถาม. หากคุณไปที่แผนกสถิติของ Duke คุณจะกลายเป็น Bayesian
TrynnaDoStat

2
ชายถ้าฉันได้ upvote สำหรับทุกคำถามที่ฉันตอบที่นี่ฉันจะมี ... 12 upvotes :)
Rasmus Bååth

25

Bayesians เป็นคนที่นิยามความน่าจะเป็นในการแสดงตัวเลขของข้อเสนอบางอย่าง ผู้ที่พบบ่อยคือผู้ที่นิยามความน่าจะเป็นในการแสดงความถี่ในระยะยาว หากคุณมีความสุขกับคำจำกัดความเหล่านี้อย่างใดอย่างหนึ่งเท่านั้นคุณจะเป็นแบบเบย์หรือเป็นประจำ หากคุณมีความสุขกับทั้งสองและใช้คำนิยามที่เหมาะสมที่สุดสำหรับงานในมือคุณก็เป็นนักสถิติ! ; o) โดยทั่วไปแล้วมันจะเพิ่มความหมายของความน่าจะเป็นและฉันหวังว่านักสถิติที่ทำงานส่วนใหญ่จะสามารถเห็นประโยชน์และข้อเสียของทั้งสองวิธี

คำใบ้ของความสงสัยเกี่ยวกับช่องว่างระหว่างวัตถุประสงค์อันสูงส่งและความเด็ดขาดในการเลือกการแจกแจงก่อนหน้านี้หรือการใช้คณิตศาสตร์ในที่สุดบ่อยๆ

ความสงสัยยังไปในทิศทางอื่น บ่อยครั้งที่ถูกคิดค้นขึ้นโดยมีจุดประสงค์สูงส่งในการกำจัดความคิดส่วนตัวของความคิดที่มีอยู่เกี่ยวกับความน่าจะเป็นและสถิติ อย่างไรก็ตามส่วนตัวยังคงมี (ตัวอย่างเช่นในการกำหนดระดับที่เหมาะสมของความสำคัญในการทดสอบสมมติฐาน) แต่มันเป็นเพียงการไม่ได้ทำอย่างชัดเจนหรือมักจะเป็นเพียงละเว้น


1
ฉันไม่เข้าใจ คุณสามารถกำหนดความน่าจะเป็นแทนความถี่ในระยะยาว แต่เชื่อในสมมติฐานเฉพาะเมื่อ P (H | O) ของมันสูงและรู้ว่า P (O | H) (p-value) บอกคุณน้อย (ถ้าคุณอยู่ได้นานพอกับการวิปัสสนามากพอคุณสามารถนับความถี่ของการพูดถูกได้โดยตรง)
Aleksandr Dubinsky

2
ผู้ถี่ที่ไม่สามารถกำหนดค่าให้กับ P (H | O) ได้เนื่องจากความจริงของสมมติฐานเฉพาะไม่มีความถี่ในการใช้งานที่ยาวนานมันเป็นจริงหรือไม่ ดังนั้นเราสามารถแนบความน่าจะเป็นไปได้กับการทดลองบางอย่าง (อาจเป็นจริงได้) จากการทดลองที่เราสังเกตเห็นจริง ๆ หรือ "ปฏิเสธ H0" หรือ "ไม่สามารถปฏิเสธ H0" ที่ระดับนัยสำคัญพิเศษ โชคไม่ดีที่ทั้งสองแนวทางมีความเป็นไปได้สำหรับการตีความที่ผิดเนื่องจากสิ่งที่เราต้องการจากการทดสอบคือ P (H | O) ทั้งสองวิธีมีการใช้งาน แต่สิ่งสำคัญคือต้องเข้าใจข้อ จำกัด ของพวกเขา
Dikran Marsupial

มีสาขาวิชาคณิตศาสตร์อื่น ๆ ที่ผู้ปฏิบัติงานถือตัวประกันเป็นปรัชญาหรือไม่? ในทางปฏิบัติโดยทั่วไปคำถามเดียวกันจะเกิดขึ้นซ้ำแล้วซ้ำอีก เช่น "คนนี้ทำการฆาตกรรม" เอกลักษณ์ที่ไม่ซ้ำกันของผู้ถูกกล่าวหานั้นไม่เกี่ยวข้อง (เช่นเดียวกับที่เราเพิกเฉยต่อรายละเอียดทางกายภาพของมรณะ) เมื่อพิจารณาคดีฆาตกรรมหลายพันคดีที่เกิดขึ้นในแต่ละปี อะไรที่ไม่บ่อยนักเกี่ยวกับการตัดสินความผิดของใครบางคน การใช้ค่า p จะเป็นความอยุติธรรมที่ร้ายแรง
Aleksandr Dubinsky

21

ยกตัวอย่างเช่นAndrew Gelmanศาสตราจารย์ด้านสถิติและรัฐศาสตร์ที่มหาวิทยาลัยโคลัมเบียเป็น Bayesian ที่มีชื่อเสียง

ฉันสงสัยว่าคนในกลุ่ม ISBA ส่วนใหญ่อาจจะคิดว่าตนเองเป็นชาวเบย์ด้วยเช่นกัน

โดยทั่วไปหัวข้อการวิจัยต่อไปนี้มักจะสะท้อนให้เห็นถึงวิธีการแบบเบย์ หากคุณอ่านเอกสารเกี่ยวกับพวกเขามีแนวโน้มที่ผู้เขียนจะอธิบายตัวเองว่า "Bayesian"

  • Markov-Chain Monte Carlo
  • วิธีเบส์แบบแปรปรวน (ชื่อให้สิ่งนั้นออกไป)
  • การกรองอนุภาค
  • การเขียนโปรแกรมที่น่าจะเป็น

2
หมายเหตุเล็ก ๆ : การกรองอนุภาคไม่ได้มีไว้สำหรับ Bayesians เท่านั้น! ฉันทำงานภายใต้อาจารย์ที่ Berkeley ซึ่งเราใช้ตัวกรองอนุภาคสำหรับขั้นตอน E ของอัลกอริทึม MCEM แต่ใช่ตัวกรองอนุภาคมักถูกใช้โดย Bayesians
หน้าผา AB

1
หากคุณกำลังจะจ่ายราคาคอมพิวเตอร์ทำไมไม่ได้รับความสอดคล้องทางปรัชญา?
Arthur B.

8
แม้ว่า Gelman จะไม่ใช่ "hard core" เท่าที่ฉันสามารถบอกได้เขาเห็นสถิติของเบย์เป็นสิ่งที่พิสูจน์แล้วว่ามีคุณค่าและสามารถให้ความสนใจกับคุณสมบัติของขั้นตอนแบบเบย์ได้อย่างแน่นอน
A. Donda

5
ควรสังเกตว่า Markov-Chain Monte Carlo ไม่เกี่ยวข้องโดยตรงกับสถิติแบบเบย์ในขณะเดียวกันก็คือการเพิ่มประสิทธิภาพเชิงตัวเลขไม่เกี่ยวข้องโดยตรงกับการประมาณค่าความน่าจะเป็นสูงสุด ...
Rasmus Bååth

3
ฉันคิดว่ามันก็เป็นที่น่าสังเกตว่า Andrew Gelman ได้เขียนไว้ว่าเขาไม่คิดว่ามันจะมีความหมายอะไรเลยที่จะติดป้ายชื่อคนว่าเป็น "Bayesian" หรือ "ผู้เล่นบ่อย" แต่ค่อนข้างเทคนิคบางอย่างอาจมีข้อความว่า เขาคิดว่ามันเป็นการต่อต้านการแบ่งสถิติโดยพลการในค่ายหนึ่งหรืออีกอันหนึ่งเพราะทั้งสองวิธีมีจุดแข็งและจุดอ่อนต่างกันในบริบทที่แตกต่างกัน
Ryan Simmons

20

วันนี้พวกเราทุกคนเป็นชาวเบย์แต่มีโลกที่อยู่นอกเหนือค่ายสองแห่งนี้: ความน่าจะเป็นแบบอัลกอริทึม ฉันไม่แน่ใจว่าสิ่งที่อ้างอิงมาตรฐานในเรื่องนี้ แต่มีกระดาษที่สวยงามนี้โดย Kolmogorov เกี่ยวกับความซับซ้อนของอัลกอริทึม: AN Kolmogorov, สามแนวทางในการนิยามแนวคิดของ "ปริมาณข้อมูล" , Probl Peredachi Inf., 1965, เล่มที่ 1, ฉบับที่ 1, 3–11 ฉันแน่ใจว่ามีการแปลภาษาอังกฤษ

ในกระดาษนี้เขากำหนดปริมาณข้อมูลในสามวิธี: combinatorial, probabilistic และ (ใหม่) อัลกอริทึม Combinatorial แผนที่โดยตรงกับผู้ถี่ประจำ Probabilist ไม่ตรงกับ Bayesian แต่มันเข้ากันได้กับมัน

UPDATE: หากคุณสนใจในปรัชญาของความน่าจะเป็นแล้วฉันต้องการชี้ไปที่งานที่น่าสนใจมาก " ต้นกำเนิดและมรดกของ Grundbegriff ของ Kolmogorov"โดย Glenn Shafer และ Vladimir Vovk เราลืมทุกอย่างก่อน Kolmogorov และมีหลายสิ่งหลายอย่างเกิดขึ้นก่อนงานน้ำเชื้อของเขาในทางกลับกันเราไม่รู้เกี่ยวกับมุมมองทางปรัชญาของเขามากนักโดยทั่วไปคิดว่าเขาเป็น ยกตัวอย่างเช่นความจริงที่ว่าเขาอาศัยอยู่ในสหภาพโซเวียตในปี 1930 'ซึ่งมันค่อนข้างอันตรายในการเข้าสู่ปรัชญาจริง ๆ แล้วคุณอาจประสบปัญหาอัตถิภาวนิยมซึ่งนักวิทยาศาสตร์บางคนทำ (จบลงในคุก GULAG) ดังนั้น เขาถูกบังคับให้ต้องระบุโดยปริยายว่าเขาเป็นนักบวชบ่อย ๆ ฉันคิดว่าในความเป็นจริงเขาไม่ได้เป็นแค่นักคณิตศาสตร์ แต่เขาเป็นนักวิทยาศาสตร์และมีมุมมองที่ซับซ้อนเกี่ยวกับการประยุกต์ใช้ทฤษฎีความน่าจะเป็นกับความเป็นจริง

นอกจากนี้ยังมีบทความอื่นโดย Vovk เกี่ยวกับวิธีอัลกอริทึมของ Kolmogorov ในการสุ่ม: การมีส่วนร่วมของ Kolmogorov ต่อรากฐานของความน่าจะเป็น

Vovk ได้สร้างทฤษฎีเกมขึ้นมาเพื่อความน่าจะเป็น - น่าสนใจมาก

ปรับปรุง 2: นี่คือ Bayesian จริง ๆ แล้วศาสตราจารย์จากหนึ่งในมหาวิทยาลัยในวอชิงตันดีซี เขากำลังพยายามชี้ให้เห็นว่าเราควรเลือกตั้งนักการเมืองที่ปรับปรุงความเชื่อของพวกเขาจากประสบการณ์การสังเกตใหม่ ๆ ที่นี่เป็นความเชื่อหลังหลังจากประสบการณ์ใหม่ ; คือก่อนหน้า เขาพยายามอธิบายสิ่งนี้กับผู้เข้าร่วมฌ็อง / สจ็วต "Rally for Fear"B E P ( E | B )P(B|E)BEP(E|B)

ป้อนคำอธิบายรูปภาพที่นี่

อัปเดต 3:

ฉันยังต้องการที่จะชี้ให้เห็นบางสิ่งบางอย่างในงานดั้งเดิมของ Kolmogorov ที่ไม่เป็นที่รู้จักกันทั่วไปด้วยเหตุผลบางอย่าง (หรือลืมได้ง่าย) โดยผู้ปฏิบัติงาน เขามีส่วนเกี่ยวกับการเชื่อมโยงทฤษฎีกับความเป็นจริง โดยเฉพาะเขาตั้งเงื่อนไขสองประการสำหรับการใช้ทฤษฎี:

  • A. หากคุณทำการทดสอบซ้ำหลายครั้งความถี่ของการเกิดขึ้นจะแตกต่างกันเพียงเล็กน้อยจากความน่าจะเป็น
  • B. ถ้าความน่าจะเป็นน้อยมากหากคุณทำการทดสอบเพียงครั้งเดียวคุณสามารถมั่นใจได้อย่างแน่นอนว่าเหตุการณ์จะไม่เกิดขึ้น

มีการตีความที่แตกต่างกันของเงื่อนไขเหล่านี้ แต่คนส่วนใหญ่จะยอมรับว่าสิ่งเหล่านี้ไม่ใช่มุมมองของนักบริสุทธิ์ที่แท้จริง Kolmogorov ประกาศว่าเขาทำตามแนวทางของ von Mises ในระดับหนึ่ง แต่ดูเหมือนว่าเขาจะระบุว่าสิ่งต่าง ๆ ไม่ง่ายอย่างที่มันอาจปรากฏขึ้น ฉันมักจะคิดว่าเงื่อนไข B และไม่สามารถสรุปได้อย่างมีเสถียรภาพมันดูแตกต่างออกไปเล็กน้อยทุกครั้งที่ฉันคิดถึงมัน


2
การเชื่อมโยงหลายมิติแรกของคุณเป็นสิ่งที่คุณตั้งใจหรือไม่
Antoni Parellada

3
@ AntoniParellada มันตั้งใจจะเป็นเรื่องตลก :)
Aksakal

หัวของฉันหมดแล้ว ... และมันอาจจะเป็นเรื่องตลกเพราะธรรมชาติของการอภิปรายเชื่อมโยงหลายมิติ ... ขอโทษที่ฉันพลาด ...
Antoni Parellada

1
"แมคเคนถึงประธานาธิบดีจอร์เจีย:" วันนี้เราทุกคนเป็นจอร์เจีย "ฮ่าฮ่านี่เป็นเรื่องตลก
Deep North


17

Bayesian "hard core" ที่ฉันรู้จักมากที่สุดคือEdwin Jaynes ที่เสียชีวิตในปี 1998 ฉันคาดหวัง Bayesians "hard core" ต่อไปที่จะพบในหมู่นักเรียนของเขาโดยเฉพาะผู้เขียนร่วมหลังมรณกรรมของทฤษฎีความน่าจะเป็น: ตรรกะของวิทยาศาสตร์ Larry Bretthorst อื่น ๆ Bayesians ประวัติศาสตร์เด่น ได้แก่แฮโรลด์ฟรีย์และและลีโอนาร์โหด ในขณะที่ฉันไม่มีภาพรวมที่สมบูรณ์ของสนาม แต่ความประทับใจของฉันก็คือความนิยมในวิธีการแบบเบย์ล่าสุด (โดยเฉพาะอย่างยิ่งในการเรียนรู้ด้วยเครื่อง) ไม่ได้เกิดจากความเชื่อมั่นทางปรัชญาที่ลึกล้ำ แต่ในทางปฏิบัติ การใช้งาน ผมคิดว่าโดยทั่วไปสำหรับตำแหน่งนี้คือแอนดรู Gelman


มันฟังดูคล้ายความคิดที่โรแมนติก Norman Rockwell ของสถิติ?
Antoni Parellada

1
@AntoniParellada ผมมีความคิดว่าคุณหมายถึงว่าไม่มี ...
เอ Donda

2
Jaynes และ Jeffreys เป็นคนที่ฉันมีในใจด้วย เรียงความที่ดีคือ"เราจะยืนบนเอนโทรปีสูงสุดที่ไหน"
Neil G

2
อืมฉันมักจะอ่านเจย์เนสว่าเป็นคนที่ให้ความสำคัญกับเบย์มาก
Rasmus Bååth

8

ฉันไม่รู้ว่าพวก Bayesians คือใคร (แม้ว่าฉันคิดว่าฉันควรจะมีการแจกจ่ายก่อนหน้านี้) แต่ฉันรู้ว่าพวกเขาเป็นใคร

เพื่ออ้างถึงผู้มีชื่อเสียงตอนนี้จาก Bayesian, DV Lindley, "ไม่มีใครน้อย Bayesian กว่า Bayesian เชิงประจักษ์" ส่วนเชิงประจักษ์ Bayes วิธีเบส์: วิธีการทางสังคมและพฤติกรรมศาสตร์รุ่นที่สองโดยเจฟกิลล์ ความหมายฉันคิดว่าแม้แต่ "ผู้ถี่ถ้วน" คิดเกี่ยวกับแบบจำลองที่เหมาะสม (การเลือกรูปแบบตัวแบบในบางแง่มุมถือเป็นเรื่องก่อน) เมื่อเทียบกับการทดลองแบบเบส์ที่เชิงกลเกี่ยวกับทุกสิ่ง

ฉันคิดว่าในทางปฏิบัตินั้นไม่แตกต่างกันมากนักในผลลัพธ์ของการวิเคราะห์ทางสถิติที่ดำเนินการโดยระดับตำแหน่ง Bayesians และผู้ใช้บ่อย สิ่งที่น่ากลัวคือเมื่อคุณเห็นนักสถิติที่มีคุณภาพต่ำซึ่งพยายามทำตัวเองอย่างเหนียวแน่น (ไม่เคยสังเกตผู้หญิงคนหนึ่ง) หลังจากแบบอย่างอุดมการณ์ของเขาที่มีความบริสุทธิ์ทางอุดมการณ์ที่สมบูรณ์และการวิเคราะห์วิธีการอย่างที่เขาคิดว่าเป็นแบบอย่างของเขา คุณภาพของความคิดและการตัดสินแบบอย่างมี ซึ่งอาจส่งผลในการวิเคราะห์และคำแนะนำที่แย่มาก ฉันคิดว่าแกนแข็งพิเศษ แต่คุณภาพต่ำอุดมการณ์เป็นสิ่งที่พบได้ทั่วไปในหมู่ชาวเบย์มากกว่าผู้นิยมใช้บ่อย โดยเฉพาะอย่างยิ่งสิ่งนี้นำไปใช้ในการวิเคราะห์การตัดสินใจ


1
เป็นการดีที่จะชี้ให้เห็นถึงความเข้มงวดด้วยอารมณ์ขัน Ty
Antoni Parellada

6

ฉันอาจจะสายเกินไปสำหรับการสนทนานี้สำหรับทุกคนที่จะสังเกตเห็นนี้ แต่ฉันคิดว่ามันเป็นความอัปยศที่ไม่มีใครได้ชี้ให้เห็นข้อเท็จจริงที่ว่าความแตกต่างที่สำคัญที่สุดระหว่างวิธีการแบบเบย์และแบบผู้ใช้บ่อยคือการใช้วิธีการแบบเบส์ ที่เคารพหลักการความน่าจะเป็นในขณะที่ผู้ใช้บ่อย ๆ มักไม่ทำเช่นนั้น หลักการความน่าจะเป็นกล่าวว่าหลักฐานที่เกี่ยวข้องกับพารามิเตอร์แบบจำลองทางสถิติที่น่าสนใจซึ่งมีอยู่ในฟังก์ชันความน่าจะเป็นที่เกี่ยวข้องทั้งหมด

ผู้ที่สนใจเกี่ยวกับทฤษฎีหรือปรัชญาทางสถิติควรกังวลมากกว่าโดยการโต้แย้งเกี่ยวกับความถูกต้องของหลักการความน่าจะเป็นมากกว่าการโต้แย้งเกี่ยวกับความแตกต่างระหว่างความถี่และการตีความความเชื่อบางส่วนของความน่าจะเป็นและความน่าจะเป็น ในขณะที่มันเป็นไปได้สำหรับการตีความที่แตกต่างกันของความน่าจะเป็นอยู่ร่วมกันโดยไม่มีความขัดแย้งและสำหรับบางคนเลือกที่จะให้ก่อนโดยไม่ต้องให้คนอื่นทำเช่นนั้นถ้าหลักการความน่าจะเป็นจริงในแง่บวกหรือเชิงบรรทัดฐาน เพื่อเพิ่มประสิทธิภาพ การโจมตีบ่อยครั้งในหลักการความน่าจะเป็นที่ทำให้โกรธเพราะหลักการนั้นทำลายมุมมองทางสถิติโลก แต่ส่วนใหญ่การโจมตีเหล่านั้นพลาดเครื่องหมายของพวกเขา ( http://arxiv.org/abs/1507.08394)


4

คุณอาจเชื่อว่าคุณเป็นชาว Bayesian แต่คุณอาจผิด ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Bayesians ได้รับการกระจายความน่าจะเป็นของผลลัพธ์ที่น่าสนใจจากความเชื่อเดิม / ข้อมูลก่อน สำหรับชาวเบย์การกระจายตัวนี้ (และบทสรุป) เป็นสิ่งที่คนส่วนใหญ่สนใจเมื่อเทียบกับผลลัพธ์ "ผู้นิยมทั่วไป" ที่บอกคุณว่าโอกาสที่จะเห็นผลลัพธ์เป็นหรือสุดขั้วกว่าที่สังเกตได้จากสมมติฐานว่างเปล่า p-value) หรือการประมาณช่วงเวลาสำหรับพารามิเตอร์ที่น่าสนใจ 95% จะมีค่าที่แท้จริงถ้าคุณสามารถทำการสุ่มตัวอย่างซ้ำ ๆ (ช่วงความมั่นใจ)

การแจกแจงแบบเบย์ก่อนหน้านี้เป็นที่ถกเถียงกันเพราะพวกเขาเป็นคุณมาก่อน ไม่มี "ถูกต้อง" มาก่อน Bayesians ในทางปฏิบัติส่วนใหญ่มองหาหลักฐานภายนอกที่สามารถใช้สำหรับนักบวชแล้วลดราคาหรือปรับเปลี่ยนสิ่งนี้ขึ้นอยู่กับสิ่งที่คาดว่าจะ "สมเหตุสมผล" สำหรับกรณีเฉพาะ ตัวอย่างเช่นนักบวชที่สงสัยอาจมี "ก้อน" ของความน่าจะเป็นในกรณีที่ไม่มีค่า - "ข้อมูลจะต้องดีแค่ไหนที่จะทำให้ฉันเปลี่ยนใจ / เปลี่ยนการปฏิบัติในปัจจุบัน" ส่วนใหญ่จะดูความแข็งแกร่งของการอนุมานถึงนักบวชที่แตกต่างกัน

มีกลุ่ม Bayesians ที่มองหา "อ้างอิง" นักบวชที่อนุญาตให้พวกเขาสร้างการอนุมานที่ไม่ "ได้รับอิทธิพล" จากความเชื่อก่อนหน้านี้ดังนั้นพวกเขาจึงได้รับข้อความแสดงความน่าจะเป็น

นอกจากนี้ยังมีกลุ่ม "Hardcore Bayesians" ที่อาจสนับสนุนการไม่เลือกแบบจำลอง (ทุกรุ่นผิด) และผู้ที่อาจโต้แย้งว่าการวิเคราะห์เชิงสำรวจนั้นมีอิทธิพลต่อนักบวชของคุณและไม่ควรทำเช่นนั้น มีบางอย่างที่รุนแรงแม้ว่า ...

ในสาขาสถิติส่วนใหญ่คุณจะพบกับการวิเคราะห์และผู้ปฏิบัติงานของเบย์ เช่นเดียวกับคุณจะพบกับกลุ่มคนที่ไม่ชอบพารามิเตอร์ ...


2
ฉันคิดว่าฉันเข้าใจสถิติของเบย์ดีขึ้นหลังจากอ่านโพสต์ของคุณ ฉันสงสัยว่าคุณสามารถผูกคำถามจริงเพื่อสรุปคำตอบที่โดดเด่นได้หรือไม่ ... มันเป็นไปตามแนวของ Bayesians ที่เป็นกลุ่มคนที่มีชื่อเฉพาะหรือแผนกคณิตศาสตร์ที่รู้จักกันในเรื่องแนวทางของ Bayes สถิติอื่น ๆ
Antoni Parellada

1
มีบุคคลและแผนกวิชาการจำนวนมากที่ชื่นชอบสถิติแบบเบย์ทั้งในปัจจุบันและในอดีต เป็นการยากที่จะแยกออกเป็นส่วน ๆ หากคุณสนใจมากขึ้นแล้วผมขอแนะนำให้มองหาที่ ISBA bayesian.org
MikeKSmith

1
ชื่อที่ควรระวัง: Don Berry, Jim Berger, David Draper, Merlise Clyde, Mike West, David Spiegelhalter, Peter Thall ...
MikeKSmith

ใช่มีคนอื่นโพสต์ลิงก์และจริง ๆ แล้วฉันได้ดูรายการตามลำดับตัวอักษรเพื่อหารูปแบบ ... ฉันหาไม่เจอซึ่งไม่น่าแปลกใจเพราะฉันไม่ใช่นักสถิติ ฉันเดาว่าความคิดนี้จะท่วมท้นไปได้หรือไม่ Bayes เป็นความคิดอันบริสุทธิ์ที่ผู้คนชอบเรียกร้องการยึดมั่นหรือเป็นวิธีที่กำหนดไว้เป็นอย่างดีแบบวันต่อวันของการฝึกฝนสถิติประยุกต์ในทางที่ขัดแย้งกับ คุณฟังดูไม่เซ็กซี่เกินไปที่จะแนบชื่อคุณ แต่อาจเป็นประโยชน์ได้มากกว่านี้ใช่ไหม
Antoni Parellada

1
ในการตอบคำถามสุดท้ายของคุณมันเป็นทั้งสองอย่าง มันเป็นแนวทางเชิงปรัชญาอย่างแน่นอน มันเสริมวิธีการทางวิทยาศาสตร์ที่บอกว่าเราสังเกตว่าอะไรคือ (ข้อมูลก่อนหน้า) สมมติฐานการทดลองสังเคราะห์และอัปเดตความรู้ปัจจุบันของเราซึ่งจะกลายเป็นอนาคตของวันพรุ่งนี้ แต่มันก็เป็นวิธีการวิเคราะห์ทางสถิติที่สามารถนำไปใช้กับแต่ละกรณีได้
MikeKSmith

4

เพียงแค่ตอบคำถามสุดท้ายของคุณ (ดังนั้นฉันจึงไม่ได้รับรางวัลหลังจากนั้น!) เกี่ยวกับการเชื่อมโยงระหว่าง Bayesian / Frequentist Approach และตำแหน่งญาณวิทยาของคน ๆ หนึ่งผู้เขียนที่น่าสนใจที่สุดที่ฉันเคยทำคือ Deborah Mayo จุดเริ่มต้นที่ดีคือการแลกเปลี่ยนระหว่าง Mayo กับ Andrew Gelman ในปี 2010 (ซึ่งปรากฏว่าเป็น Bayesian นอกรีต) ภายหลังการตีพิมพ์เมโยการตอบสนองรายละเอียดเพื่อกระดาษ Gelman & Shalizi ที่นี่


2

ส่วนหนึ่งของ Bayesians ทั้งหมดคือ Bayesians ผู้ที่ใส่ใจที่จะส่งอีเมลเป็น บริษัท จดทะเบียนที่นี่


ฉันพบว่ามีอาจารย์สถิติสองคนที่ระบุตัวเองว่าเป็นชาวเบย์ นี่จะต้องเป็นรายการที่ดี
Aksakal

1
@ Aksakal ฉันคิดว่ามันสะท้อนให้เห็นถึงความจริงที่ว่าสถิติมาจากภูมิหลังที่หลากหลาย หากเกณฑ์คือ "คนที่ตีพิมพ์ในวารสารสถิติที่สำคัญ" จากนั้นนับชื่อเหล่านั้นหลายสิบนับไม่ว่าชื่อของแผนกที่พวกเขากำลังมาผมจำได้ว่าเป็นจำนวนมากเพียงแค่สแกนรายการ
Glen_b

@ Aksakal ฉันไม่เข้าใจจุดของคุณ มีอาจารย์สถิติ 2 (อาจ 3) ใน 5 คนแรกในรายการนั้น
jaradniemi

@jaradniemi ฉันจำอาจารย์สองคนของฉันที่เป็นคนเบย์อย่างเปิดเผยแล้วพบพวกเขาในรายการ นี่ทำให้ฉันคิดว่ารายการนั้นน่าจะเป็นตัวแทน
Aksakal

2

ฉันจะเรียก Bruno de Finetti และ LJ Savage Bayesians พวกเขาทำงานบนรากฐานของปรัชญา


10
ตั้งแต่ De Finetti (สังเกตการสะกดคำ) เสียชีวิตเมื่อ 30 ปีที่แล้วและ Savage 44 ปีที่แล้วพวกเขาแทบจะไม่ได้รับการยอมรับว่าเป็นการตอบว่า
whuber

@whuber ... มันฟังดู (จากภายนอก) เป็นความคิดที่ดีและสูงส่ง ... คล้ายกับการคิดว่าตัวเองเป็นฐานที่เป็นหลักฐานปรับปรุงมุมมองของโลกบนพื้นฐานของนักบวชและหลักฐานที่รวบรวมไว้อย่างต่อเนื่อง เบส์เป็นญาณวิทยา ... มากกว่ายึดมั่นอย่างเคร่งครัดชุด "แตกต่าง" เทคนิคทางสถิติ ....
อันโต Parellada

0

เพื่อทำความเข้าใจเกี่ยวกับการอภิปรายพื้นฐานระหว่างผู้ใช้บ่อยกับ Bayesians มันจะยากที่จะหาเสียงที่มีอำนาจมากกว่าแบรดลีย์อีฟรอน

หัวข้อนี้ได้รับรูปแบบที่เขาได้สัมผัสกับหลายครั้งในอาชีพของเขา แต่ส่วนตัวผมพบว่าหนึ่งในเอกสารเก่าของเขาที่เป็นประโยชน์: การถกเถียงในฐานรากของสถิติ (อันนี้ได้รับรางวัลความเป็นเลิศการชี้แจงเป็นพิเศษ)

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.