เมื่อใดวิธีการแบบเบย์จึงเป็นที่นิยมสำหรับผู้นิยมใช้บ่อย

ฉันต้องการเรียนรู้เกี่ยวกับเทคนิคแบบเบย์ดังนั้นฉันจึงพยายามสอนตัวเองเล็กน้อย อย่างไรก็ตามฉันมีช่วงเวลาที่ยากลำบากในการดูเมื่อใช้เทคนิคแบบเบย์ที่เคยได้รับประโยชน์มากกว่าวิธีการแบบใช้บ่อย ตัวอย่างเช่น: ฉันเคยเห็นในงานวรรณกรรมมาบ้างเกี่ยวกับวิธีที่บางคนใช้นักบวชที่ให้ข้อมูลในขณะที่คนอื่นใช้วิธีที่ไม่ให้ข้อมูลมาก่อน แต่ถ้าคุณใช้แบบไม่ให้ข้อมูลมาก่อน (ซึ่งดูเหมือนว่าเป็นเรื่องธรรมดาจริง ๆ ?) และคุณพบว่าการแจกแจงแบบหลังนั้นคือการแจกแจงแบบเบต้า ... คุณจะไม่พอดีกับการแจกแจงแบบเบต้าในตอนแรกและเรียกว่า มันดี? ฉันไม่เห็นวิธีการสร้างการกระจายก่อนหน้านี้ที่บอกอะไรคุณไม่ได้ ... สามารถบอกอะไรคุณได้จริงเหรอ?

มันกลับกลายเป็นว่าวิธีการบางอย่างที่ฉันใช้ใน R ใช้วิธีผสมระหว่างแบบเบย์และแบบผู้ใช้ประจำ (ผู้เขียนยอมรับว่านี่ค่อนข้างไม่สอดคล้องกัน) และฉันไม่สามารถแยกแยะว่าส่วนใดเป็นแบบเบส์ นอกเหนือจากการกระจายตัวที่เหมาะสมฉันไม่สามารถเข้าใจวิธีที่คุณจะใช้วิธีการแบบเบย์ มี "การถดถอยแบบเบย์" หรือไม่? มันจะมีหน้าตาเป็นอย่างไร? ทั้งหมดที่ฉันจินตนาการได้คือการเดาว่ามีการแจกแจงพื้นฐานซ้ำแล้วซ้ำอีกในขณะที่นักคิดประจำคิดเกี่ยวกับข้อมูลบางอย่างมองมันเห็นการกระจายของปัวซองและเรียกใช้ GLM (นี่ไม่ใช่คำวิจารณ์ ... ฉันแค่ไม่เข้าใจจริงๆ!)

ดังนั้น .. บางทีตัวอย่างเบื้องต้นบางอย่างอาจช่วยได้? และถ้าคุณรู้ถึงการอ้างอิงที่ใช้ได้จริงสำหรับผู้เริ่มต้นตัวจริงเช่นฉันนั่นก็จะเป็นประโยชน์เช่นกัน!

นี่คือลิงค์บางส่วนที่คุณอาจสนใจเปรียบเทียบวิธีการแบบประจำและแบบเบย์:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • เก็บถาวรที่นี่: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/advantagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

โดยสรุปแล้ววิธีการที่ฉันเข้าใจมันเนื่องจากชุดข้อมูลเฉพาะผู้ที่เชื่อว่ามีการแจกแจงพื้นฐานที่แท้จริงซึ่งข้อมูลดังกล่าวถูกสร้างขึ้น การไร้ความสามารถในการรับพารามิเตอร์ที่แน่นอนคือฟังก์ชันของขนาดตัวอย่างที่ จำกัด ในทางตรงกันข้าม Bayesian คิดว่าเราเริ่มต้นด้วยการสันนิษฐานเกี่ยวกับพารามิเตอร์ (แม้ว่าจะไม่รู้) และใช้ข้อมูลเพื่อปรับแต่งความคิดเห็นเกี่ยวกับพารามิเตอร์เหล่านั้น ทั้งคู่พยายามพัฒนาแบบจำลองที่สามารถอธิบายการสังเกตและทำการทำนายได้ ความแตกต่างอยู่ในสมมติฐาน (ทั้งจริงและปรัชญา) ในฐานะที่เป็นสาระสำคัญไม่เข้มงวดคำสั่งหนึ่งสามารถพูดได้บ่อยครั้งเชื่อว่าพารามิเตอร์ได้รับการแก้ไขและข้อมูลที่เป็นแบบสุ่ม; Bayesian เชื่อว่าข้อมูลได้รับการแก้ไขและพารามิเตอร์เป็นแบบสุ่ม ไหนดีกว่าหรือดีกว่า เพื่อตอบว่าคุณต้องขุดและตระหนักเพียงสมมติฐานแต่ละข้อมีสิ่งใดบ้าง (เช่นพารามิเตอร์ปกติเชิงเส้นกำกับ?)

หนึ่งในแง่มุมที่น่าสนใจของความแตกต่างระหว่างสองวิธีคือมันยากมากที่จะมีการตีความอย่างเป็นทางการสำหรับปริมาณมากที่เราได้รับในโดเมนที่ใช้บ่อย ตัวอย่างหนึ่งคือความสำคัญที่เพิ่มมากขึ้นของวิธีการลงโทษ (การหดตัว) เมื่อมีใครได้รับการประเมินความเป็นไปได้สูงสุดที่ถูกลงโทษการประเมินจุดที่มีอคติและ "ช่วงความเชื่อมั่น" นั้นยากต่อการตีความ ในทางกลับกันการกระจายตัวหลังของ Bayesian สำหรับพารามิเตอร์ที่ถูกปรับไปทางศูนย์โดยใช้การแจกแจงก่อนหน้าซึ่งมีความเข้มข้นประมาณศูนย์จะมีการตีความมาตรฐานอย่างสมบูรณ์

ฉันกำลังขโมยขายส่งจากกลุ่มผู้ใช้สแตน Michael Betancourt ได้ให้การสนทนาที่ดีเกี่ยวกับการระบุตัวตนในการอนุมานแบบเบย์ซึ่งผมเชื่อว่าการร้องขอของคุณนั้นแตกต่างจากโรงเรียนสถิติสองแห่ง

ความแตกต่างแรกกับการวิเคราะห์แบบเบย์คือการปรากฏตัวของนักบวชซึ่งแม้จะอ่อนแอก็จะ จำกัด มวลหลังสำหรับพารามิเตอร์ทั้ง 4 เหล่านั้นไว้ในพื้นที่ จำกัด (ไม่เช่นนั้นคุณจะไม่ถูกต้องก่อน อย่างไรก็ตามเรื่องนี้คุณยังสามารถมีความสามารถในการระบุตัวตนที่ไม่สามารถระบุตัวตนได้ในแง่ที่ว่าคนหลังจะไม่มาบรรจบกันเป็นมวลจุดในขีด จำกัด ของข้อมูลที่ไม่มีที่สิ้นสุด ในความเป็นจริงอย่างมากอย่างไรก็ตามนั่นไม่สำคัญเพราะ (a) ขีด จำกัด ของข้อมูลที่ไม่สิ้นสุดนั้นไม่ได้เกิดขึ้นจริงและ (b) การอนุมานแบบเบย์ไม่ได้รายงานการประมาณจุด แต่เป็นการกระจายค่อนข้างมาก ในทางปฏิบัติการไม่สามารถระบุตัวตนได้นั้นจะส่งผลให้เกิดความสัมพันธ์อย่างมากระหว่างพารามิเตอร์ (อาจไม่ใช่แบบนูน) แต่การวิเคราะห์แบบเบย์ที่เหมาะสมจะระบุความสัมพันธ์เหล่านั้น แม้ว่าคุณจะรายงานระยะขอบพารามิเตอร์เดียวคุณก็ตาม

ตัวอย่างง่ายๆ: พิจารณาโมเดลที่มีพารามิเตอร์ $\mu_1$ และ $\mu_2$ ด้วยความเป็นไปได้ $\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$. ไม่ว่าคุณจะเก็บรวบรวมข้อมูลไปได้มากแค่ไหนโอกาสที่จะไม่ได้มาบรรจบกันที่จุดใดจุดหนึ่ง$\mu_1 + \mu_2 = 0$. ความแปรปรวนแบบมีเงื่อนไขของ$\mu_1$ และ $\mu_2$ ณ จุดใด ๆ บนบรรทัดนั้นจะมีขนาดเล็กมากแม้ว่าจะไม่สามารถระบุพารามิเตอร์ได้

นักบวชชาวเบย์ จำกัด การกระจายด้านหลังจากบรรทัดนั้นไปสู่การกระจายแบบยาวของซิการ์ ไม่ง่ายที่จะตัวอย่างจาก แต่อย่างน้อยกะทัดรัด การวิเคราะห์แบบเบย์ที่ดีจะสำรวจความสมบูรณ์ของซิการ์นั้นไม่ว่าจะเป็นการระบุความสัมพันธ์ระหว่าง$\mu_1$ และ $\mu_2$ หรือคืนค่าความแปรปรวนที่สอดคล้องกับประมาณการของซิการ์ยาวเข้าสู่ $\mu_1$ หรือ $\mu_2$ แกนซึ่งให้การสรุปความไม่แน่นอนในพารามิเตอร์ได้อย่างซื่อสัตย์มากกว่าความแปรปรวนแบบมีเงื่อนไข

ความแตกต่างที่สำคัญระหว่าง Bayesian และแนวทางแบบประจำคือความหมายของความน่าจะเป็นดังนั้นหากจำเป็นต้องปฏิบัติความน่าจะเป็นอย่างเข้มงวดในฐานะความถี่ระยะยาวแนวทางแบบผู้ใช้บ่อยนั้นสมเหตุสมผลถ้าไม่ใช่คุณควรใช้วิธีแบบเบย์ หากการตีความใด ๆ เป็นที่ยอมรับก็เป็นไปได้ว่าชาวเบย์

Another way of putting it, is if you want to know what inferences you can draw from a particular experiment, you probably want to be Bayesian; if you want to draw conclusions about some population of experiments (e.g. quality control) then frequentist methods are well suited.

Essentially, the important thing is to know what question you want answered, and choose the form of analysis that answers the question most directly.