“ Bayesian เต็มที่” กับ“ Bayesian”

20

ฉันได้เรียนรู้เกี่ยวกับสถิติแบบเบย์และฉันมักจะอ่านบทความ

"เราใช้แนวทางแบบเบย์"

หรือสิ่งที่คล้ายกัน ฉันยังสังเกตเห็นน้อยกว่า:

"เราใช้แนวทางแบบเบย์อย่างเต็มที่ "

(ความสำคัญของฉัน) มีความแตกต่างระหว่างวิธีการเหล่านี้ในทางปฏิบัติหรือในทางทฤษฎีใด ๆ ? FWIW ฉันใช้แพ็คเกจMCMCglmmใน R ในกรณีที่เกี่ยวข้อง

bayesian

— โจคิง
แหล่งที่มา

6

ฉันไม่คิดว่า "เต็ม Bayesian" มีความหมายที่เข้มงวด

— Stéphane Laurent

4

@ สเตฟานฉันค่อนข้างมั่นใจว่า Bayesian อย่างเต็มที่นั้นเหมือนกับ Bayesian แต่คำคุณศัพท์ทั้งหมดถูกใช้เพื่อเน้นว่าไม่ใช่ Bayes เชิงประจักษ์

— Michael R. Chernick

1

@Michael นี้เหมาะสม แต่ฉันยังคงคิดว่าความหมายไม่ใช่สากลและดูเหมือนว่าจะได้รับการยืนยันโดยคำตอบที่แตกต่างกันหลายคำถาม ฉันจะไม่แปลกใจที่บางคนพูดว่า "Bayesian เต็มที่" เพื่อบอกว่าพวกเขาใช้ความคิดส่วนตัวมาก่อนและไม่ใช่คนที่ไม่เป็นทางการ อีกสถานการณ์ที่เป็นไปได้คือเมื่อผู้คนใช้ "การแจกแจงทำนายแบบเบส์บ่อยครั้ง" จากนั้นย้ายไปใช้วิธีเบย์แบบหมดจด

— Stéphane Laurent

@ สตีเฟนฉันยอมรับคำพิพากษาของคุณ ฉันคิดว่าคุณทำงานในสถิติแบบเบย์มากกว่าที่ฉันทำและอาจจะเคยได้ยินว่าผู้คนใช้คำนี้ในหลากหลายวิธี อย่างน้อยคำตอบของฉันคือพูดได้และเหมาะสมบางส่วน

— Michael R. Chernick

@MichaelChernick ใช่คำตอบของคุณเป็นตัวอย่างของวิธีการแบบหลอก - Bayesian เทียบกับวิธี Bayesian จริง แต่มีสถานการณ์อื่น ๆ เช่น

— Stéphane Laurent

19

คำศัพท์"Bayesian approach"นั้นไม่มีอะไรนอกจากวิธีที่จะบ่งบอกว่าคน ๆ หนึ่งย้ายจาก Bayesian แบบ "บางส่วน" ไปเป็นแบบ Bayesian ที่ "จริง" ขึ้นอยู่กับบริบท หรือเพื่อแยกความแตกต่างของวิธีการแบบ "หลอก - เบย์" จากวิธี "แบบเบส์" อย่างเคร่งครัด

ตัวอย่างเช่นผู้เขียนคนหนึ่งเขียนว่า: "ต่างจากนักเขียนคนอื่น ๆ ที่สนใจที่มักใช้วิธี Empirical Bayes สำหรับ RVM เราใช้วิธี Bayesian อย่างเต็มที่" เพราะแนวทางของ Bayesianนั้นเป็นแบบ "หลอก - Bayesian" มีวิธีการหลอกแบบเบย์อื่น ๆ เช่นการแจกแจงการพยากรณ์แบบเบส์บ่อยๆ (การแจกแจงที่มีควอไทล์จับคู่กับขอบเขตของการทำนายช่วงเวลาเป็นประจำ)

ในหน้านี้มีแพ็คเกจ R หลายอย่างสำหรับการอนุมานแบบเบย์ MCMCglmm ถูกนำเสนอเป็น "วิธีการแบบเบย์เต็ม" เพราะผู้ใช้ต้องเลือกการกระจายก่อนหน้าซึ่งตรงกันข้ามกับแพ็คเกจอื่น ๆ

ความหมายที่เป็นไปได้อีกอย่างหนึ่งของ"เต็ม Bayesian"คือเมื่อมีใครทำการอนุมาน Bayesian ที่ได้มาจากกรอบการตัดสินใจทฤษฎี Bayesian นั่นคือมาจากฟังก์ชั่นการสูญเสียเพราะทฤษฎีการตัดสินใจ Bayesian เป็นกรอบพื้นฐานที่มั่นคงสำหรับการอนุมาน Bayesian

— Stéphane Laurent
แหล่งที่มา

ขอบคุณสำหรับสิ่งนี้. ขอบคุณแพคเกจMCMCglmm"เต็ม Bayesian" ไม่มีส่วนเกี่ยวข้องกับการใช้ MCMC เพื่อให้ได้มาซึ่งการประเมินและมันจะยังคงเป็น Bayesian อย่างสมบูรณ์ถ้าฉันต้องระบุก่อนหน้านี้ซึ่งสามารถพบหลังวิเคราะห์ได้? ฉันขอโทษถ้าคำถามของฉันไม่สมเหตุสมผล - ฉันยังเป็นมือใหม่ แต่ฉันพยายามเรียนรู้!

— Joe King

1

MCMC เป็นเพียงเทคนิคที่มีประโยชน์สำหรับการจำลองการแจกแจงหลังในสถิติแบบเบย์ แต่มันไม่มีอะไรเกี่ยวข้องกับวิธีการแบบเบย์เอง

— Stéphane Laurent

13

ฉันคิดว่าคำศัพท์นี้ใช้เพื่อแยกความแตกต่างระหว่างแนวทางแบบเบย์และวิธีการทดลองแบบเบส์ Full Bayes ใช้ค่าที่ระบุก่อนหน้าในขณะที่ Bayes เชิงประจักษ์ช่วยให้สามารถประมาณค่าก่อนล่วงหน้าผ่านการใช้ข้อมูล

— Michael R. Chernick
แหล่งที่มา

ขอขอบคุณ ! ฉันเคยเห็น "empirical Bayes" ที่กล่าวถึงที่นี่และที่นั่น แต่มันไม่เคยถูกบดบังในสิ่งที่ฉันอ่านจนถึงจุดที่ฉันต้องคิดอย่างจริงจังเกี่ยวกับความหมายของมัน ฉันเพิ่งดูที่หน้าวิกิพีเดียซึ่งบอกว่ามันเป็นที่รู้จักกันว่า "ความเป็นไปได้สูงสุด" และ "การประมาณการรักษาแบบเบย์แบบเต็มรูปแบบของลำดับชั้น Bayes" อืมจริงๆแล้วฉันไม่เข้าใจสิ่งที่อยู่ในหน้านั้นมาก :(

— Joe King

@ JoeKing มีวิธีการทดลองที่น่าสนใจและมีความสำคัญมากมาย ความคิดกลับไปที่ Herbert Robbins ในช่วงปี 1960 ในปี 1970 Efron และ Morris แสดงให้เห็นว่าตัวประมาณค่า James-Stein ของค่าเฉลี่ยหลายตัวแปรและตัวประมาณค่าการหดตัวอื่น ๆ ที่คล้ายกันนั้นคือ Bayes เชิงประจักษ์ ในหนังสือเล่มใหม่ของเขาในการอนุมานขนาดใหญ่, แบรด Efron แสดงให้เห็นว่าวิธีการเชิงประจักษ์ Bayes สามารถนำมาใช้สำหรับปัญหาบางครั้งเรียกว่าเล็ก n ใหญ่ p เพราะสมมติฐานจำนวนมากอยู่ในพารามิเตอร์ที่มีการทดสอบด้วยขนาดตัวอย่างที่ค่อนข้างเล็ก (เช่น p ) สิ่งนี้เกิดขึ้นกับ microarrays

— Michael R. Chernick

1

ขอขอบคุณอีกครั้ง. ฉันต้องยอมรับว่าฉันไม่เข้าใจทุกสิ่งที่คุณเพิ่งเขียน แต่ฉันจะใช้มันเป็นจุดเริ่มต้นของฉันสำหรับการศึกษาต่อในเรื่องนี้

— Joe King

9

"Bayesian" หมายถึง "Bayesian" โดยแท้จริง

"Bayesian ทั้งหมด" ยังหมายถึง "Bayesian โดยประมาณ" แต่มีค่าประมาณน้อยกว่า

แก้ไข : ชี้แจง

พี (θ | ข้อมูล) α พี (ข้อมูล | θ) พี (θ) .

$p(\theta \mid \text{Data}) \propto p(\text{Data} \mid \theta)p(\theta) \>.$

θ

$\theta$

— Arek Paterek
แหล่งที่มา

ขอขอบคุณ. ฉันอ่านที่นี่ว่าMCMCglmmแพ็คเกจที่ฉันใช้คือเต็มเบส์ นั่นเป็นเพราะมันใช้ MCMC ร่วมกับพารามิเตอร์ก่อนหน้าใช่หรือไม่

— Joe King

@Arek ฉันไม่เชื่อจริงๆ ดังนั้นเมื่อฉันใช้คอนจูเกตมาตรฐานก่อนที่ฉันจะเป็น "มากกว่า" เบส์แบบเต็ม? และทำไมคุณถึงอ้างว่าการประเมินจุดนั้น "แม่นยำ" น้อยกว่าการจำลองหลัง?

— Stéphane Laurent

1

@ StéphaneLaurentฉันไม่อ้างว่าการประเมินจุดนั้นแม่นยำน้อยกว่าเสมอ ข้อคิดเห็นของคำตอบของฉันเมื่อวานนี้อยู่ที่ไหน

— Arek Paterek

1

@ArekPaterek คำตอบสั้น ๆ ของคุณดูเหมือนเป็นเรื่องตลกดังนั้นความคิดเห็นเหล่านั้นที่ไม่ตรงกับคำตอบที่คุณแก้ไขจะไม่นำไปใช้กับคำตอบที่แก้ไข ดังนั้นฉันเดาว่าผู้ดูแลอาจลบพวกเขาออก ยังคงเรียกอย่างเต็มที่โดยประมาณ Bayesian ประมาณงงงวย

— Michael R. Chernick

1

บางทีความคิดเห็นที่ไม่ถูกลบครั้งแรกของฉันอาจไม่ชัดเจน หากคำตอบของ Arek ถูกต้องแล้วเราจะเรียกสถานการณ์อย่างไรเมื่อเป็นไปได้ที่จะมีการแจกแจงด้านหลังที่แน่นอน (เช่นสถานการณ์ก่อนหน้านี้รวมกันอย่างง่าย)? วิธีเบส์แบบ "มากกว่า - เต็ม"

— Stéphane Laurent

8

ฉันจะใช้ "Bayesian อย่างเต็มที่" เพื่อหมายถึงว่าพารามิเตอร์ใด ๆ ของการสำรวจได้ถูกทำให้ด้อยลงจากการวิเคราะห์แทนที่จะปรับให้เหมาะสม (เช่นการประมาณ MAP) ยกตัวอย่างเช่นตัวแบบกระบวนการเกาส์ที่มีพารามิเตอร์มากเกินไปที่ปรับเพื่อเพิ่มความเป็นไปได้สูงสุดที่จะเป็นแบบเบย์ แต่เพียงบางส่วนเท่านั้นในขณะที่ถ้าพารามิเตอร์แบบไฮเปอร์ที่กำหนดฟังก์ชันความแปรปรวนร่วมถูกรวมเข้าด้วยกันโดยใช้ไฮเปอร์ก่อน .

— Dikran Marsupial
แหล่งที่มา

4

นี่ดูเหมือนจะเป็นคำตอบที่กว้างกว่าเล็กน้อย ปริมาณที่มากกว่านั้นถูกปรับให้แคบลงแทนที่จะปรับให้เหมาะสมที่สุด Empirical Bayes เป็นกรณีพิเศษ

— conjugateprior

ใช่มันเป็นเพียงส่วนขยายเล็กน้อยสำหรับคำตอบของมิคาเอล การเพิ่มประสิทธิภาพโดยพื้นฐานแล้วคือการยกเลิกแบบเบย์

— Dikran Marsupial

3

เป็นตัวอย่างในทางปฏิบัติ:

ฉันสร้างแบบจำลองแบบเบย์บางอย่างโดยใช้เส้นโค้ง ปัญหาที่พบบ่อยกับเส้นโค้งคือการเลือกปม ความเป็นไปได้ที่ได้รับความนิยมอย่างหนึ่งคือการใช้ Reverse Markov Jump ของมาร์คอฟโซ่มอนติคาร์โล (RJMCMC) ที่หนึ่งเสนอให้เพิ่มลบหรือย้ายปมในแต่ละรอบ ค่าสัมประสิทธิ์สำหรับเส้นโค้งนั้นคือค่าประมาณกำลังสองน้อยที่สุด

ฟรี Knot Splines

ในความเห็นของฉันนี่ทำให้ 'Bayesian บางส่วน' เท่านั้นเพราะสำหรับ 'Bayesian' อย่างเต็มตัวนักบวชจะต้องใส่ค่าสัมประสิทธิ์เหล่านี้ (และค่าสัมประสิทธิ์ใหม่ที่เสนอในแต่ละรอบการคำนวณซ้ำ) แต่จากนั้นการประมาณกำลังสองน้อยที่สุดไม่ได้สำหรับ RJMCMC แผนการและสิ่งต่าง ๆ กลายเป็นเรื่องยากมากขึ้น

— หุบเขาแคบ ๆ
แหล่งที่มา

(+1) ฉันไม่เข้าใจสถานการณ์ของคุณ แต่ดูเหมือนว่าจะเป็นวิธีการหลอกแบบเบย์

— Stéphane Laurent

1

ฉันจะเพิ่มลักษณะที่ไม่ได้กล่าวถึง วิธีการแบบเบย์อย่างเต็มที่ "เต็มที่" จะแพร่กระจายความไม่แน่นอนในปริมาณที่ไม่ทราบทั้งหมดผ่านทางทฤษฎีบทเบย์ ในทางกลับกัน Pseudo-Bayes วิธีการเช่น Bay Empirical ไม่ได้เผยแพร่ความไม่แน่นอนทั้งหมด ตัวอย่างเช่นเมื่อประเมินปริมาณการทำนายหลังวิธีการแบบเบย์เต็มรูปแบบจะใช้ความหนาแน่นหลังของพารามิเตอร์แบบจำลองที่ไม่รู้จักเพื่อให้ได้การแจกแจงการทำนายสำหรับพารามิเตอร์เป้าหมาย วิธี EB จะไม่อธิบายถึงความไม่แน่นอนในสิ่งที่ไม่ทราบทั้งหมด - ตัวอย่างเช่นพารามิเตอร์ไฮเปอร์บางตัวอาจถูกตั้งค่าเป็นค่าเฉพาะดังนั้นประเมินความไม่แน่นอนโดยรวมต่ำเกินไป

— user67724
แหล่งที่มา