อะไรคือสิ่งที่ / นัยในสถิติบ่อย ๆ คืออะไร?


19

ฉันเคยได้ยินความคิดที่ว่าเจย์เนสอ้างว่าผู้ใช้บ่อยใช้งานด้วย "โดยปริยายมาก่อน"

นักบวชโดยนัยคืออะไรหรือ นี่หมายความว่าแบบจำลองผู้ใช้ประจำเป็นกรณีพิเศษทั้งหมดของแบบจำลอง Bayesian ที่รอการค้นพบหรือไม่?


ความหมายโดยนัยก่อนหน้านี้คือการแจกแจงที่ลดลงซึ่งทำให้มวลความน่าจะเป็นทั้งหมดที่ , พารามิเตอร์ที่ผู้ถี่ถ้วนประจำของ Bayesian พยายามประมาณการ θ
Dilip Sarwate

3
เท่าที่ฉันรู้ไม่มีรูปแบบประจำหรือเบย์มีเพียงรูปแบบและวิธีการที่แตกต่างกับพวกเขา
Andrey Kolyadin

3
@DilipSarwate: ฉันไม่เห็นด้วยกับคำสั่งนี้ การใช้มวล Dirac เป็นรุ่นก่อนไม่ก่อให้เกิดขั้นตอนที่พบบ่อย และกระบวนทัศน์แบบเบย์ไม่อนุญาตให้นักบวชที่มีพารามิเตอร์ที่ไม่รู้จักยกเว้นเมื่อตั้งค่าอื่นก่อนหน้าพารามิเตอร์เหล่านั้น
ซีอาน

2
มีอยู่เสมอก่อนไม่ว่าอะไรจะเกิดขึ้น น่าเสียดายที่กระบวนการทางสถิติทั้งหมดต้องใช้จุดเริ่มต้นเฉพาะกิจซึ่งทำให้กระบวนการนั้นเป็นไปโดยพลการ สิ่งที่ดีคือการได้รับข้อมูลที่เพียงพอและวิธีการที่ถูกต้องที่คุณจะได้รับใกล้กับปลายทางของคุณ สิ่งที่เลวร้ายคือระยะทางที่คุณจะจบลงที่ปลายทางนั้นขึ้นอยู่กับว่าคุณเริ่มจากที่ใดและมีข้อมูลเท่าใด
Cagdas Ozgenc

2
@Cagdas Ozgenc: ไม่มีข้อสันนิษฐานเสมอแต่ไม่จำเป็นต้องอยู่ในรูปของการแจกแจงก่อนหน้า
kjetil b halvorsen

คำตอบ:


17

ในทฤษฎีการตัดสินใจบ่อยครั้งมีผลการเรียนที่สมบูรณ์ที่ระบุขั้นตอนที่ยอมรับได้เป็นขั้นตอน Bayes หรือเป็นข้อ จำกัด ของขั้นตอน Bayes ตัวอย่างเช่นเงื่อนไขที่จำเป็นและเพียงพอของ Stein (Stein. 1955; Farrell, 1968b) ระบุว่าภายใต้สมมติฐานดังต่อไปนี้

  1. สุ่มตัวอย่างหนาแน่น(x|θ)อย่างต่อเนื่องในθและเคร่งครัดในเชิงบวกต่อΘ ; และ
  2. LEΘ
    Limδ+INFθEL(θ,δ)=+.

ตัวประมาณสามารถยอมรับได้ถ้ามีเฉพาะδ

  • ลำดับของชุดคอมแพ็คที่เพิ่มขึ้น ,Θ = n F n(Fn)Θ=nFn
  • ลำดับของมาตรการที่แน่นอนพร้อมการสนับสนุนและF n(πn)Fn
  • ลำดับของตัวประมาณค่า Bayes ที่เกี่ยวข้องกับเช่นนั้นπ n(δn)πn

    1. มีชุดกะทัดรัดเช่นนั้นINF n π n ( E 0 ) 1E0ΘINFnπn(E0)1
    2. ถ้ามีขนาดกะทัดรัดจีบn π n ( E ) < + EΘจีบnπn(E)<+
    3. LimnR(πn,δ)-R(πn)=0และ
    4. LimnR(θ,δn)=R(θ,δ)เดลต้า)

[คัดลอกมาจากหนังสือของฉัน, Bayesian Choice , Theorem 8.3.0, p.407]

ในความหมายที่ จำกัด นี้คุณสมบัติการยอมรับได้ของผู้สมัครจะได้รับภูมิหลังแบบเบย์ดังนั้นจึงมีการเชื่อมโยงโดยนัยก่อนหน้า (หรือลำดับดังกล่าว) กับผู้ประเมินที่ยอมรับได้แต่ละคน

Sidenote:ในความบังเอิญเศร้าชาร์ลส์สไตน์ถึงแก่กรรมเมื่อวันที่ 25 พฤศจิกายนในพาโลอัลโตแคลิฟอร์เนีย เขาคือ 96

มีความคล้ายกัน (ถ้ามีส่วนร่วมทางคณิตศาสตร์) ผลสำหรับค่าคงที่หรือการประมาณค่า equivariant คือคือว่าประมาณการ equivariant ที่ดีที่สุดคือประมาณเบส์สำหรับทุกกลุ่มสกรรมกริยาทำหน้าที่เกี่ยวกับแบบจำลองทางสถิติที่เกี่ยวข้องกับมาตรการ Haar ขวาเทพ บนโดยกลุ่มนี้และการสูญเสียที่ไม่เปลี่ยนแปลง ดูพิตแมน (1939), สไตน์ (1964) หรือ Zidek (1969) สำหรับรายละเอียดที่เกี่ยวข้อง นี้เป็นส่วนใหญ่มีแนวโน้มสิ่งที่เจย์นส์มีอยู่ในใจขณะที่เขาเป็นที่ถกเถียงกันบังคับเกี่ยวกับความละเอียดของความขัดแย้งชายขอบโดยหลักการไม่แปรเปลี่ยน Θπ* * * *Θ

นอกจากนี้ตามรายละเอียดในคำตอบทางแพ่งความคิดอีกครั้งของการมองโลกในแง่ดีที่สุดคือ minimaxity ยังเชื่อมต่อกับขั้นตอน Bayesian ในขั้นตอน minimax ที่ลดข้อผิดพลาดสูงสุด (เหนือพื้นที่พารามิเตอร์) มักจะเป็นขั้นตอน maximin ที่ทำให้เกิดข้อผิดพลาดน้อยที่สุด เหนือการแจกแจงก่อนหน้าทั้งหมด) ดังนั้นจึงเป็นขั้นตอน Bayes หรือข้อ จำกัด ของขั้นตอน Bayes

ถาม:มีอาหารเสริมที่ฉันสามารถใช้ในการถ่ายโอนสัญชาติญาณของเบย์ไปยังนางแบบที่ใช้บ่อยได้หรือไม่?

ครั้งแรกที่ฉันจะหลีกเลี่ยงการใช้คำว่า "แบบจำลองบ่อย" เนื่องจากมีรูปแบบการสุ่มตัวอย่าง(ข้อมูลคือการรับรู้ของสำหรับค่าพารามิเตอร์ )X f ( x | θ ) θ xX~(x|θ)θ95 95และขั้นตอนบ่อย ๆ(ตัวประเมินเป็นกลางที่ดีที่สุด ช่วงความมั่นใจแปรปรวน & tc.)ประการที่สองฉันไม่เห็นเหตุผลเชิงเหตุผลหรือเชิงทฤษฎีที่น่าสนใจสำหรับการพิจารณาวิธีการประจำเป็นแนวเขตหรือ จำกัด วิธีการเบย์ เหตุผลในการปฏิบัติตามขั้นตอนที่พบบ่อยคือเพื่อตอบสนองคุณสมบัติการเพิ่มประสิทธิภาพบางอย่างในพื้นที่การสุ่มตัวอย่างนั่นคือเมื่อทำซ้ำการสังเกต เหตุผลหลักสำหรับขั้นตอนแบบเบย์คือให้เหมาะสมที่สุด [ภายใต้เกณฑ์ที่เฉพาะเจาะจงหรือฟังก์ชันการสูญเสีย] ที่ได้รับการแจกแจงก่อนหน้านี้และการรับรู้หนึ่งครั้งจากแบบจำลองการสุ่มตัวอย่าง บางครั้งส่งผลให้เกิดความพึงพอใจขั้นตอนคุณสมบัติ frequentist บาง(คน % ภูมิภาคที่น่าเชื่อถือเป็น % เชื่อมั่นภูมิภาค)9595แต่นี้เป็นบังเอิญในการที่ optimality นี้ไม่ได้ถ่ายโอนไปยังขั้นตอนทั้งหมดที่เกี่ยวข้องกับรูปแบบเบส์


1
ขอบคุณมาก ๆ. ในฐานะที่เป็นสามเณรมีข้อเสนอที่แหลมคมฉันสามารถใช้ในการถ่ายโอนสัญชาตญาณแบบเบย์ไปยังแบบจำลองประจำหรือไม่? เช่น (GLM นี้คล้ายกับ x กับ y ก่อนหน้านี้หรือ Lasso นี้ก็เหมือน Bayesian xyz)
Bayesquest

1
นอกจากนี้คุณจะลองพิจารณาคำถามอื่น ๆ ของฉันที่นี่ได้ไหม : stats.stackexchange.com/questions/247850/ ฉันรู้ว่าคุณได้เสนอวิธีแก้ไขปัญหาความเปราะบางของ Bayesian ... แต่ฉันรู้สึกว่าวิธีการแก้ปัญหานั้นไม่แข็งแกร่ง หรือใช้งานง่ายสำหรับนักวิทยาศาสตร์สังคม
Bayesquest

1
สำหรับความคิดเห็นแรกนี่คือตัวอย่างของสิ่งที่ฉันพูดถึง: - โครงข่ายประสาท & GPs - stats.stackexchange.com/questions/71782/… - sumsar.net/blog/2015/04/ … - [Bayesian ที่ไม่ใช่พารามิเตอร์ (npB) pointof-view อนุญาตการตีความของป่าเป็นตัวอย่างจากหลังต้นไม้) ( arxiv.org/pdf/1502.02312.pdf )
Bayesquest

เราทำงานเกี่ยวกับการอนุมาน Bayesian โดยประมาณกับป่าสุ่มและพบว่าความแปรปรวนที่เกิดจากเครื่องมือนั้นค่อนข้างไม่เกี่ยวข้องกับคนหลังดั้งเดิม ของหลักสูตรนี้ไม่ได้หมายความว่ามันไม่อนุญาตให้มีการตีความแบบเบย์ แต่กระนั้น ...
ซีอาน

12

@ คำตอบของซีอานนั้นสมบูรณ์มากขึ้น แต่เนื่องจากคุณขอให้มีค่าใช้จ่ายเล็กน้อย (แนวคิดที่ฉันพูดถึงนั้นไม่เหมือนกับการตั้งค่าความสามารถในการยอมรับได้ด้านบน)

θθ^

ππ

ในแง่นี้คุณอาจพูดได้ว่า: ผู้ใช้บ่อย (A minimax-use) เป็นเหมือน Bayesian ที่เลือก (การประเมินจุดโดยยึดตาม) อย่างน้อยเป็นที่น่าพอใจมาก่อน

บางทีคุณอาจยืดออกเพื่อพูดว่า: นักถกเถียงเช่นนี้เป็นพวก Bayesian ที่อนุรักษ์นิยมไม่เลือกนักบวชที่เป็นอัตนัยหรือแม้แต่นักบวชที่ไร้ความรู้

ในที่สุดอย่างที่คนอื่น ๆ พูดมันเป็นการยืดเวลาให้กับนักเปรียบเทียบประจำและเบย์ในลักษณะนี้ การเป็นผู้ใช้บ่อยไม่ได้หมายความว่าคุณใช้ตัวประมาณค่าบางอย่าง หมายความว่าคุณถามคำถามเกี่ยวกับคุณสมบัติการสุ่มตัวอย่างของตัวประมาณของคุณในขณะที่คำถามเหล่านี้ไม่ใช่สิ่งที่สำคัญที่สุดของเบย์ (ดังนั้นใดคชกรรมที่หวังสำหรับคุณสมบัติของการสุ่มตัวอย่างที่ดีเช่น"Bayes สอบเทียบ"เป็นยัง frequentist.)
แม้ว่าคุณจะกำหนด frequentist เป็นหนึ่งที่มีประมาณมักจะมีที่ดีที่สุดคุณสมบัติการสุ่มตัวอย่างมีคุณสมบัติดังกล่าวจำนวนมากและคุณไม่สามารถเสมอ พบกันทั้งหมดในครั้งเดียว ดังนั้นจึงเป็นการยากที่จะพูดโดยทั่วไปเกี่ยวกับ "แบบจำลองผู้นิยมทั่วไปทุกคน"


3
ฉันคิดว่าการอนุมานก่อนสำหรับการวิเคราะห์เป็นประจำจะเหมือนกันบ้าง
Michael R. Chernick

4
บางครั้งมันอาจเป็นไปได้ คุณอาจนึกว่า MLE นั้นเป็นค่าประมาณของ MAP โดยใช้เครื่องแบบก่อนหน้า แต่ MLE ไม่ใช่เครื่องมือเดียวที่ผู้ใช้บ่อยใช้
แพ่งที่

1-α1-α
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.