บ่อยและนักบวช

Robby McKilliam พูดในความคิดเห็นในโพสต์นี้ :

ควรชี้ให้เห็นว่าจากมุมมองของผู้ใช้บ่อยไม่มีเหตุผลที่คุณไม่สามารถรวมความรู้ก่อนหน้านี้เข้ากับโมเดลได้ ในแง่นี้มุมมองที่ใช้บ่อยจะง่ายกว่าคุณมีเพียงรุ่นและข้อมูลบางส่วนเท่านั้น ไม่จำเป็นต้องแยกข้อมูลก่อนหน้าออกจากตัวแบบ

นอกจากนี้ที่นี่ @jbowman บอกว่าผู้ใช้บ่อยใช้การทำให้เป็นมาตรฐานโดยฟังก์ชั่นค่าใช้จ่าย / การลงโทษในขณะที่ชาวเบย์สามารถทำสิ่งนี้ได้ก่อน:

ผู้ใช้บ่อยตระหนักว่าการทำให้เป็นมาตรฐานนั้นดีและใช้กันอย่างแพร่หลายในทุกวันนี้และนักบวชแบบเบย์สามารถตีความได้อย่างง่ายดายว่าเป็นการทำให้เป็นระเบียบ

ดังนั้นคำถามของฉันคือผู้ใช้งานทั่วไปสามารถรวมรูปแบบของสิ่งที่ Bayesians ระบุว่าเป็นนักบวชได้หรือไม่? ยกตัวอย่างเช่นการทำให้เป็นมาตรฐานฟังก์ชั่นค่าใช้จ่าย / การลงโทษได้รวมเข้ากับแบบจำลองจริง ๆ หรือนี่คือวิธีการที่แท้จริงในการปรับแก้ปัญหา (รวมถึงทำให้เป็นเอกลักษณ์)

ด้วยความเคารพต่อความคิดเห็นของ Robby McKilliam: ฉันคิดว่าความยากลำบากของผู้ใช้บ่อยครั้งจะอยู่ที่คำจำกัดความของ "ความรู้ก่อนหน้า" ไม่มากนักกับความสามารถในการรวมความรู้เดิมในแบบจำลอง ตัวอย่างเช่นลองประเมินความน่าจะเป็นที่เหรียญที่ได้รับจะขึ้นมา ขอให้เราสมมติว่าความรู้เดิมของฉันคือโดยพื้นฐานแล้วการทดลองที่เหรียญนั้นถูกพลิก 10 ครั้งและเกิดขึ้นด้วย 5 หัวหรืออาจเป็นรูปแบบ "โรงงานทำเงิน 1 ล้านเหรียญและความแตกต่างของตามที่ ถูกกำหนดโดยการทดลองขนาดใหญ่คือβ ( a , b $p$$\beta(a,b)$"ทุกคนใช้ Bayes 'Rule เมื่อคุณมีข้อมูลก่อนหน้าของประเภทนี้ (กฎของ Bayes เพียงกำหนดความน่าจะเป็นแบบมีเงื่อนไขไม่ใช่สิ่งที่ Bayesian เท่านั้น) ดังนั้นในชีวิตจริงผู้ประจำและ Bayesian จะใช้วิธีการเดียวกันและ รวมข้อมูลลงในโมเดลผ่านกฎของเบย์ (Caveat: ยกเว้นขนาดตัวอย่างของคุณมีขนาดใหญ่พอที่คุณค่อนข้างแน่ใจว่าข้อมูลก่อนหน้านี้จะไม่ส่งผลต่อผลลัพธ์) อย่างไรก็ตามการตีความผลลัพธ์เป็นของ แน่นอนแตกต่างกัน

ความยากลำบากเกิดขึ้นโดยเฉพาะอย่างยิ่งจากมุมมองทางปรัชญาเนื่องจากความรู้กลายเป็นวัตถุประสงค์ / การทดลองน้อยลงและเป็นอัตวิสัยมากขึ้น เมื่อสิ่งนี้เกิดขึ้นบ่อยครั้งผู้ที่มีแนวโน้มว่าจะกลายเป็นคนที่มีแนวโน้มน้อยลงที่จะรวมข้อมูลนี้เข้ากับแบบจำลองทั้งหมดในขณะที่ Bayesian ยังคงมีกลไกที่เป็นทางการมากขึ้นหรือน้อยลงสำหรับการทำเช่นนั้น

ด้วยความเคารพกู: พิจารณาโอกาสและก่อนหน้า( θ ) ไม่มีอะไรที่จะป้องกันอย่างน้อยที่สุดก็ในทางเทคนิคผู้ใช้บ่อย ๆ จากการประเมินความเป็นไปได้สูงสุด "ปกติ" โดยlog p ( θ )ใน:$l(\theta;x)$$p(\theta)$$\log p(\theta)$

$\tilde{\theta} = \max_{\theta} \{\log l(\theta;x) + \log p(\theta) \}$

$p(\theta)$$\theta$$\tilde{\theta}$เท่ากับค่าสูงสุดหลัง posteriori (MAP) การประเมินจุดของ Bayesian โดยใช้ฟังก์ชันโอกาสเดียวกันและก่อนหน้า แน่นอนอีกครั้งการตีความของผู้ที่เกิดขึ้นบ่อยและการประมาณแบบเบย์จะแตกต่างกัน ชาวเบย์ยังไม่ได้ถูก จำกัด ให้ใช้การประมาณค่าจุด MAP ที่มีการเข้าถึงการแจกแจงหลังเต็มรูปแบบ - แต่จากนั้นผู้เข้าร่วมประจำไม่จำเป็นต้องเพิ่มโอกาสในการบันทึกเป็นประจำเช่นกันสามารถใช้การประมาณที่มีประสิทธิภาพ - ช่วงเวลาอื่น ๆ หากมี

อีกครั้งความยากลำบากเกิดขึ้นจากมุมมองทางปรัชญา เหตุใดจึงเลือกหนึ่งฟังก์ชั่นการทำให้เป็นมาตรฐาน ชาวเบย์สามารถเปลี่ยนมุมมองก่อนโดยการประเมินข้อมูลก่อนหน้านี้ ผู้ใช้บ่อยจะมีช่วงเวลาที่ยากขึ้น (ไม่สามารถ?) จัดชิดขอบตัวเลือกในพื้นที่เหล่านั้น แต่น่าจะทำเช่นนั้นส่วนใหญ่จะขึ้นอยู่กับคุณสมบัติของฟังก์ชั่นการทำให้เป็นปกติตามที่ใช้กับปัญหาประเภท การทำงาน / ประสบการณ์ของนักสถิติหลายคน OTOH, (ในทางปฏิบัติ) Bayesians ทำเช่นนั้นกับนักบวชด้วย - ถ้าฉันมี $ 100 สำหรับกระดาษทุกเล่มสำหรับนักบวชสำหรับความแปรปรวนที่ฉันได้อ่าน ...

"ความคิด" อื่น ๆ : ฉันข้ามประเด็นทั้งหมดของการเลือกฟังก์ชั่นความน่าจะเป็นไปได้โดยสมมติว่ามันไม่ได้รับผลกระทบจากมุมมองของผู้ใช้บ่อย / เบย์ ฉันแน่ใจว่าในกรณีส่วนใหญ่มันเป็น แต่ฉันสามารถจินตนาการได้ว่าในสถานการณ์ที่ผิดปกติมันจะเป็นเช่นสำหรับเหตุผลการคำนวณ

$\theta$$\theta$

สำหรับจุดประสงค์ในการตอบคำถามนี้มีประโยชน์ในการกำหนดความถี่เป็น "สนใจคุณสมบัติของการกระจายตัวตัวอย่างของฟังก์ชันของข้อมูล" ฟังก์ชั่นดังกล่าวอาจเป็นตัวประมาณค่าจุดค่าสถิติการทดสอบช่วงความมั่นใจผลการทดสอบของเนย์แมน - เพียร์สันหรือสิ่งอื่นใดที่คุณคิดได้ บ่อยครั้งไม่ได้ระบุวิธีการสร้างตัวประมาณค่า p-value ฯลฯ โดยทั่วไปแม้ว่าจะมีแนวทางบางอย่างเช่นใช้สถิติที่เพียงพอหากพวกเขามีให้ใช้ใช้สถิติที่สำคัญหากพวกเขามี ฯลฯ มุมมองข้อมูลก่อนไม่รวมอยู่ในรูปแบบต่อ seแต่จะรวมเข้าไปในข้อมูลการแมปฟังก์ชันกับผลลัพธ์ของฟังก์ชัน

"ดอกเบี้ย" ที่อ้างถึงข้างต้นอยู่ในคุณสมบัติที่ถือว่ามีความสำคัญสำหรับการอนุมานเช่นการขาดอคติความไม่แน่นอนความแปรปรวนหมายถึงข้อผิดพลาดกำลังสองหมายถึงข้อผิดพลาดสัมบูรณ์ความครอบคลุมแน่นอน (โดยเฉพาะอย่างยิ่งเมื่อเทียบกับจริง) อื่นที่มีความสำคัญชัดเจนหรือใช้งานง่ายสำหรับการเรียนรู้จากข้อมูล คุณสมบัติเหล่านี้สามารถประเมินได้ (โดยการจำลองถ้าไม่มีอะไรอื่น) ฟังก์ชั่นจะรวมข้อมูลก่อนหน้านี้หรือไม่

ศูนย์ความสนใจเฉพาะด้านเกี่ยวกับคุณสมบัติที่สามารถทราบได้ว่าไม่ว่าค่าพารามิเตอร์จริงที่อยู่ภายใต้กระบวนการสร้างข้อมูล ตัวอย่างเช่นในโมเดล iid ปกติที่มีความแปรปรวนที่ทราบแล้วค่าเฉลี่ยของข้อมูลนั้นไม่เอนเอียง ในทางตรงกันข้ามตัวประมาณการหดตัว (ค่าเฉลี่ยถ่วงน้ำหนักของค่าเฉลี่ยของข้อมูลและการคาดเดาก่อนหน้าสำหรับการแจกแจงค่าเฉลี่ย) มีข้อผิดพลาดกำลังสองต่ำกว่าค่าเฉลี่ยถ้าการกระจายค่าเฉลี่ยใกล้กับการคาดเดาก่อนหน้า สืบทอด "ความสอดคล้องเชิงเส้นกำกับจากค่าเฉลี่ยของข้อมูล

ดังนั้นฉันจะบอกว่าใครสามารถใส่ข้อมูลก่อนหน้าในวิธีการอนุมาน แต่มันไม่ได้เข้าไปในแบบจำลอง ภาพประกอบที่ดีมากของความคิดที่ฉันได้อธิบายไว้ในบริบทของช่วงความเชื่อมั่นสำหรับคุณสมบัติทางกายภาพที่ไม่จำเป็นต้องเป็นเชิงลบคือเฟลด์แมนและลูกพี่ลูกน้องวิธีการแบบครบวงจรสำหรับการวิเคราะห์ทางสถิติแบบดั้งเดิมของสัญญาณขนาดเล็ก