มีตัวอย่างใดบ้างที่ช่วงเวลาที่น่าเชื่อถือของเบย์นั้นต่ำกว่าช่วงความเชื่อมั่นที่ใช้บ่อย

คำถามล่าสุดเกี่ยวกับความแตกต่างระหว่างความมั่นใจและช่วงเวลาที่น่าเชื่อถือทำให้ฉันเริ่มอ่านบทความของ Edwin Jaynes อีกครั้งในหัวข้อนั้น:

Jaynes, ET, 1976 `ช่วงเวลาความเชื่อมั่นกับช่วงเวลาแบบเบย์, 'ในรากฐานของทฤษฎีความน่าจะเป็น, การอนุมานเชิงสถิติและทฤษฎีทางสถิติเชิงวิทยาศาสตร์, WL Harper และ CA Hooker (บรรณาธิการ), D. Reidel, Dordrecht, p. 175; ( pdf )

ในนามธรรม Jaynes เขียน:

... เราแสดงวิธีแก้ปัญหาแบบเบย์และออร์โธด็อกซ์ถึงหกปัญหาทางสถิติทั่วไปที่เกี่ยวข้องกับช่วงความเชื่อมั่น (รวมถึงการทดสอบที่สำคัญตามเหตุผลเดียวกัน) ในทุกกรณีเราพบว่าสถานการณ์นั้นตรงกันข้ามกันเช่นวิธีการแบบเบย์นั้นง่ายต่อการใช้และให้ผลลัพธ์ที่เหมือนกันหรือดีกว่า อันที่จริงผลลัพธ์ออร์โธดอกซ์เป็นที่น่าพอใจก็ต่อเมื่อพวกเขาเห็นด้วยอย่างใกล้ชิดกับผลลัพธ์ของเบย์ ยังไม่มีตัวอย่างที่ตรงกันข้าม

(เน้นที่เหมือง)

กระดาษถูกตีพิมพ์ในปี 1976 ดังนั้นสิ่งที่อาจจะย้ายไป คำถามของฉันคือมีตัวอย่างที่ช่วงความเชื่อมั่นบ่อยกว่าช่วงที่เชื่อถือได้แบบเบย์อย่างชัดเจน (ตามความท้าทายโดยนัยโดย Jaynes)

ตัวอย่างที่ใช้สมมติฐานที่ไม่ถูกต้องก่อนหน้านั้นไม่สามารถยอมรับได้เนื่องจากพวกเขาไม่ได้พูดอะไรเกี่ยวกับความสอดคล้องภายในของวิธีการต่าง ๆ

ฉันพูดก่อนหน้านี้ว่าฉันจะตอบคำถามดังนั้นนี่ไป ...

เจย์เนสรู้สึกซุกซนเล็กน้อยในรายงานของเขาว่าช่วงความมั่นใจบ่อยครั้งไม่ได้ถูกกำหนดเป็นช่วงเวลาที่เราอาจคาดหวังว่าคุณค่าที่แท้จริงของสถิติจะอยู่กับความน่าจะเป็นสูง (ที่ระบุ) ดังนั้นจึงไม่น่าแปลกใจเลยว่าความขัดแย้ง เกิดขึ้นหากพวกเขาถูกตีความราวกับว่าพวกเขา ปัญหาคือสิ่งนี้มักจะเป็นวิธีที่ใช้ช่วงความเชื่อมั่นในการปฏิบัติเนื่องจากช่วงเวลามีแนวโน้มสูงที่จะมีค่าจริง (จากสิ่งที่เราสามารถอนุมานจากตัวอย่างข้อมูลของเรา) คือสิ่งที่เราต้องการบ่อยครั้ง

ประเด็นสำคัญสำหรับฉันคือเมื่อคำถามถูกวางมันเป็นการดีที่สุดที่จะมีคำตอบโดยตรงกับคำถามนั้น การมีช่วงเวลาที่น่าเชื่อถือของเบย์นั้นแย่กว่าช่วงความเชื่อมั่นที่พบบ่อยหรือไม่ หากคำถามที่ถามคือ:

(a) "ให้ช่วงเวลาที่ค่าที่แท้จริงของสถิติอยู่กับความน่าจะเป็น p" จากนั้นดูเหมือนว่านักประจำไม่สามารถตอบคำถามนั้นได้โดยตรง (และนี่เป็นการแนะนำปัญหาที่เจย์นพูดถึงในบทความของเขา) แต่ Bayesian can ซึ่งเป็นเหตุผลว่าทำไมช่วงเวลาที่น่าเชื่อถือของ Bayesian นั้นเหนือกว่าช่วงความเชื่อมั่นที่พบบ่อยในตัวอย่างที่ Jaynes ให้ไว้ แต่นี่เป็นเพียงเพราะมันเป็น "คำถามที่ไม่ถูกต้อง" สำหรับผู้ใช้บ่อย

(b) "ให้ช่วงเวลาหนึ่งกับฉันซึ่งการทดลองซ้ำหลายครั้งมูลค่าที่แท้จริงของสถิติจะอยู่ในช่วง * 100% ของช่วงเวลาดังกล่าว" จากนั้นคำตอบที่พบบ่อยคือสิ่งที่คุณต้องการ ชาวเบย์อาจให้คำตอบโดยตรงกับคำถามนี้ (แม้ว่าอาจไม่ใช่เพียงช่วงเวลาที่น่าเชื่อถือเท่านั้น) ความเห็นของ Whuber เกี่ยวกับคำถามนี้แสดงให้เห็นว่าเป็นจริง

ดังนั้นโดยพื้นฐานแล้วมันเป็นเรื่องของการระบุคำถามอย่างถูกต้องและแทรกซึมเข้าไปในคำตอบอย่างถูกต้อง หากคุณต้องการถามคำถาม (a) ให้ใช้ช่วงเวลาที่น่าเชื่อถือแบบเบย์หากคุณต้องการถามคำถาม (b) ให้ใช้ช่วงความมั่นใจเป็นประจำ

นี่เป็นตัวอย่าง "เนื้อออก" ในหนังสือที่เขียนโดย Larry Wasserman สถิติทั้งหมดในหน้า 216 ( 12.8 จุดแข็งและจุดอ่อนของการอนุมานแบบเบย์ ) โดยทั่วไปฉันจะให้สิ่งที่ Wasserman ไม่ได้อยู่ในหนังสือของเขา 1) คำอธิบายสำหรับสิ่งที่เกิดขึ้นจริงมากกว่าที่จะทิ้งสาย; 2) คำตอบสำหรับคำถามที่พบบ่อยซึ่ง Wasserman สะดวกไม่ให้; และ 3) การสาธิตที่ความมั่นใจเทียบเท่าคำนวณโดยใช้ข้อมูลเดียวกันที่ได้รับความเดือดร้อนจากปัญหาเดียวกัน

ในตัวอย่างนี้เขาระบุสถานการณ์ต่อไปนี้

1. การสังเกต, X, ด้วยการแจกแจงตัวอย่าง: $(X|\theta)\sim N(\theta,1)$
2. กระจายก่อน (จริง ๆ แล้วเขาใช้ทั่วไปτ 2สำหรับแปรปรวน แต่แผนภาพของเขามีความเชี่ยวชาญในการτ 2 = 1 )$(\theta)\sim N(0,1)$$\tau^2$$\tau^2=1$

จากนั้นเขาก็จะแสดงให้เห็นว่าการใช้ช่วงเวลาที่เชื่อถือได้ของเบย์ 95% ในการตั้งค่านี้ในที่สุดก็มีการรายงานข่าวเป็นประจำ 0% เมื่อมูลค่าที่แท้จริงของกลายเป็นขนาดใหญ่โดยพลการ ตัวอย่างเช่นเขาให้กราฟของความครอบคลุม (p218) และตรวจสอบด้วยตาเมื่อค่าจริงของθคือ 3 ความครอบคลุมประมาณ 35% จากนั้นเขาก็พูดต่อไปว่า:$\theta$$\theta$

... เราควรสรุปอะไรทั้งหมดนี้? สิ่งสำคัญคือต้องเข้าใจว่าวิธีการแบบประจำและแบบเบย์กำลังตอบคำถามต่าง ๆ ในการรวมความเชื่อก่อนหน้าเข้ากับข้อมูลอย่างมีหลักการใช้การอนุมานแบบเบย์ ในการสร้างโพรซีเดอร์ที่รับประกันประสิทธิภาพการทำงานระยะยาวเช่นช่วงความมั่นใจให้ใช้วิธีการที่ใช้บ่อย (p217)

และจากนั้นก็เดินหน้าต่อไปโดยไม่มีการตัดคำอธิบายใด ๆว่าทำไมวิธีการแบบเบย์จึงทำงานได้ไม่ดีนัก นอกจากนี้เขาไม่ได้ให้คำตอบจากวิธีการที่ใช้บ่อยเพียงคำสั่งแปรงกว้างเกี่ยวกับ "ระยะยาว" - กลยุทธ์ทางการเมืองแบบคลาสสิก (เน้นความแข็งแรงของคุณ + จุดอ่อนอื่น ๆ

ผมจะแสดงให้เห็นว่าปัญหาที่เกิดขึ้นตามที่ระบุไว้ ได้สูตรในแง่ frequentist / ดั้งเดิมและจากนั้นแสดงให้เห็นว่าผลที่ได้ใช้ช่วงความเชื่อมั่นให้ได้อย่างแม่นยำคำตอบเช่นเดียวกับเบส์หนึ่ง ดังนั้นข้อบกพร่องใด ๆ ใน Bayesian (จริงหรือรับรู้) ไม่ได้รับการแก้ไขโดยใช้ช่วงความเชื่อมั่น$\tau=1$

เอาละไปเลย คำถามแรกที่ผมถามคือสิ่งที่รัฐของความรู้อธิบายโดยก่อน ? หากหนึ่งก็คือ "โง่เขลา" เกี่ยวกับθแล้ววิธีการที่เหมาะสมในการแสดงนี้คือP ( θ ) α 1 ตอนนี้สมมติว่าเราไม่รู้และเราสังเกตY ~ N ( θ , 1 )เป็นอิสระจากX สิ่งหลังของเราสำหรับθจะเป็นอย่างไร$\theta\sim N(0,1)$$\theta$$p(\theta)\propto 1$$Y\sim N(\theta,1)$$X$$\theta$

ดังนั้น ) ซึ่งหมายความว่าการกระจายก่อนกำหนดใน Wassermans ตัวอย่างเช่นจะเทียบเท่ากับการที่มีการตั้งข้อสังเกตสำเนา IID ของXเท่ากับ0 วิธีการ frequentist ไม่สามารถจัดการกับก่อน แต่ก็สามารถจะคิดว่าเป็นที่ได้ทำ 2 ข้อสังเกตจากการกระจายการสุ่มตัวอย่างหนึ่งเท่ากับ0และหนึ่งเท่ากับX ปัญหาทั้งสองนี้มีความเท่าเทียมกันอย่างแท้จริงและเราสามารถให้คำตอบสำหรับคำถามที่พบบ่อยได้$(\theta|Y)\sim N(Y,1)$$X$$0$$0$$X$

เพราะเราจะจัดการกับการแจกแจงแบบปกติที่มีความแปรปรวนรู้จักความหมายเป็นสถิติที่เพียงพอสำหรับการสร้างความเชื่อมั่นสำหรับθค่าเฉลี่ยเท่ากับ¯ x = 0 + $\theta$และมีการแจกแจงตัวอย่าง$\overline{x}=\frac{0+X}{2}=\frac{X}{2}$

ดังนั้นจะได้รับ CI โดย:$(1-\alpha)\text{%}$

แต่ใช้ผลของตัวอย่าง 12.8 สำหรับ Wasserman เขาแสดงให้เห็นว่าหลังช่วงเวลาที่น่าเชื่อถือสำหรับθจะได้รับโดย:$(1-\alpha)\text{%}$$\theta$

2

โดยที่ 2 ดังนั้นการเสียบค่าที่τ2=1จะให้c=$c=\frac{\tau^{2}}{1+\tau^{2}}$$\tau^{2}=1$และช่วงเวลาที่น่าเชื่อถือกลายเป็น:$c=\frac{1}{2}$

ซึ่งเหมือนกับช่วงความมั่นใจ! ดังนั้นข้อบกพร่องใด ๆ ในการรายงานข่าวที่แสดงโดยวิธี Bayesian จะไม่ได้รับการแก้ไขโดยใช้ช่วงความมั่นใจบ่อย! [หากผู้ถกเถียงเลือกที่จะเพิกเฉยก่อนหน้านั้นเพื่อเป็นการเปรียบเทียบที่ยุติธรรม Bayesian ก็ควรเพิกเฉยต่อเรื่องนี้มาก่อนและใช้ความไม่รู้ก่อนและช่วงเวลาทั้งสองจะยังคงเท่ากัน - ทั้งX ± Z α / 2 ) ]$p(\theta)\propto 1$$X \pm Z_{\alpha/2})$

แล้วมันเกิดอะไรขึ้นที่นี่? ปัญหานั้นเป็นหนึ่งในความไม่มั่นคงของการกระจายตัวตัวอย่างแบบปกติ เพราะปัญหาที่เกิดขึ้นจะเทียบเท่ากับการมีอยู่แล้วสังเกตสำเนา IID, 0 หากคุณสังเกตเห็น0นี่จะไม่เกิดขึ้นอย่างแน่นอนหากค่าจริงคือθ = 4 (ความน่าจะเป็นที่X ≤ 0เมื่อθ = 4คือ 0.000032) นี้อธิบายว่าทำไมความคุ้มครองที่ไม่ดีเพื่อให้มีขนาดใหญ่ "คุณค่าที่แท้จริง" เพราะพวกเขาได้อย่างมีประสิทธิภาพทำให้การสังเกตโดยนัยที่มีอยู่ในก่อนค่าผิดปกติ$X=0$$0$$\theta=4$$X\leq 0$$\theta=4$. ในความเป็นจริงคุณสามารถแสดงให้เห็นว่าตัวอย่างนี้โดยทั่วไปเทียบเท่ากับการแสดงว่าค่าเฉลี่ยเลขคณิตมีฟังก์ชันอิทธิพลที่ไม่ จำกัด

ลักษณะทั่วไป ตอนนี้บางคนอาจพูดว่า "แต่คุณพิจารณาเพียงซึ่งอาจเป็นกรณีพิเศษ" สิ่งนี้ไม่เป็นความจริง: ค่าใด ๆ ของτ 2 = $\tau=1$ (N=0,1,2,3,…)สามารถตีความได้ว่าเป็นการสังเกตการณ์สำเนาNiid ของXซึ่งเท่ากับ0ทั้งหมดนอกเหนือจากXของคำถาม ช่วงความเชื่อมั่นจะมีเหมือนกัน "เลวร้าย" ครอบคลุมคุณสมบัติสำหรับขนาดใหญ่θ แต่นี้จะกลายเป็นไม่น่ามากขึ้นถ้าคุณเก็บค่าสังเกตของ0(และไม่มีบุคคลใดที่มีเหตุผลจะยังคงกังวลเกี่ยวกับขนาดใหญ่θเมื่อคุณให้เห็น0)$\tau^2=\frac{1}{N}$ $(N=0,1,2,3,\dots)$$N$$X$$0$$X$$\theta$$0$$\theta$$0$

Keith Winstein

แก้ไข: เพื่อชี้แจงคำตอบนี้อธิบายตัวอย่างที่ให้ไว้ใน Keith Winstein Answer on the King กับเกมสถิติโหดร้าย ชาวเบย์และผู้ตอบคำถามประจำใช้ทั้งข้อมูลที่เหมือนกันซึ่งเป็นการเพิกเฉยข้อมูลจำนวนเหรียญที่ยุติธรรมและไม่เป็นธรรมเมื่อสร้างช่วงเวลา หากข้อมูลนี้ไม่ได้ถูกละเว้นผู้ใช้ควรใช้โอกาสเบต้า - ทวินามแบบรวมเป็นตัวกระจายตัวอย่างในการสร้างช่วงความเชื่อมั่นซึ่งในกรณีนี้ช่วงความเชื่อมั่นแบบ Clopper-Pearson ไม่เหมาะสมและจำเป็นต้องแก้ไข การปรับที่คล้ายกันควรเกิดขึ้นในโซลูชัน Bayesian

แก้ไข: ฉันยังชี้แจงการใช้งานครั้งแรกของ Clopper Pearson Interval

แก้ไข: อนิจจาอัลฟาของฉันเป็นวิธีที่ผิดรอบและช่วงเวลาที่ลูกแพร์ของฉันเสื้อคลุมไม่ถูกต้อง คำขอโทษที่อ่อนน้อมถ่อมตนของฉันต่อ @whuber ผู้ซึ่งชี้ให้เห็นอย่างถูกต้อง แต่ในขั้นต้นฉันไม่เห็นด้วยและไม่สนใจ

CI ใช้วิธี Clopper Pearson เป็นวิธีที่ดีมาก

หากคุณได้รับการสังเกตเพียงครั้งเดียวก็สามารถประเมินค่า Clopper Pearson Interval ได้ สมมติว่าเหรียญขึ้นมาเป็น "ความสำเร็จ" (หัว) คุณต้องเลือกเช่นนั้น$\theta$

เมื่อน่าจะเป็นเหล่านี้เป็นพีอาร์( B ฉัน( 1 , θ ) ≥ 1 ) = θและP R ( B ฉัน( 1 , θ ) ≤ 1 ) = 1ดังนั้น Clopper เพียร์สัน CI หมายความว่าθ ≥ $X=1$$Pr(Bi(1,\theta)\geq 1)=\theta$$Pr(Bi(1,\theta)\leq 1)=1$ (นิด ๆ และเป็นจริงเสมอ1≥$\theta\geq\frac{\alpha}{2}$ ) เมื่อX=1 เมื่อX=0ความน่าจะเป็นเหล่านี้คือPr(Bi(1,θ)≥0)=1และPr(Bi(1,θ)≤0)=1-θดังนั้น Clopper Pearson CI จึงมีความหมายว่า1-θ≥$1\geq\frac{\alpha}{2}$$X=1$$X=0$$Pr(Bi(1,\theta)\geq 0)=1$$Pr(Bi(1,\theta)\leq 0)=1-\theta$หรือθ≤1-$1-\theta \geq\frac{\alpha}{2}$เมื่อX=0 ดังนั้นสำหรับ 95% CI เราได้รับ[0.025,1]เมื่อX=1และ[0,0.975]เมื่อX=0$\theta\leq 1-\frac{\alpha}{2}$$X=0$$[0.025,1]$$X=1$$[0,0.975]$$X=0$

ดังนั้นผู้ที่ใช้ Clopper Pearson Confidence Interval จะไม่ถูกตัดหัวเลย เมื่อสังเกตช่วงเวลามันเป็นพื้นที่พารามิเตอร์ทั้งหมด แต่ช่วงเวลา CP ทำเช่นนี้โดยให้ความคุ้มครอง 100% กับช่วงเวลา 95% ที่คาดคะเน! โดยพื้นฐานแล้วผู้ที่ใช้บ่อย ๆ "กลโกง" โดยให้ช่วงความมั่นใจ 95% ครอบคลุมมากกว่าที่เขา / เธอถูกขอให้ให้ (แม้ว่าใครจะไม่โกงในสถานการณ์เช่นนี้หรือไม่ถ้าเป็นฉันฉันจะให้ทั้งหมด [0, 1] ช่วงเวลา) หากพระราชาถามหา95% CI ที่แน่นอนวิธีการนี้บ่อยครั้งจะล้มเหลวโดยไม่คำนึงถึงสิ่งที่เกิดขึ้นจริง (อาจเป็นวิธีที่ดีกว่าอยู่แล้ว)

สิ่งที่เกี่ยวกับช่วงเวลาที่เบย์ (โดยเฉพาะช่วงหลังสุด (HPD) Bayesian ช่วง)

เนื่องจากเรารู้ว่านิรนัยที่ทั้งหัวและก้อยสามารถเกิดขึ้นได้ชุดก่อนจึงเป็นตัวเลือกที่สมเหตุสมผล นี้จะช่วยให้การกระจายหลังของ ) ตอนนี้สิ่งที่เราต้องทำตอนนี้คือการสร้างช่วงเวลาที่มีความน่าจะเป็นหลัง 95% คล้ายกับ clopper เพียร์สัน CI, การกระจายเบต้า Cummulative คือการวิเคราะห์ที่นี่ยังเพื่อให้พีอาร์( θ ≥ θ อี | x = 1 ) = 1 $(\theta|X)\sim Beta(1+X,2-X)$และ P R ( θ ≤ θ อี | x = 0 ) = 1 - ( 1 - θ E ) 2การตั้งค่าเหล่านี้เพื่อให้ 0.95 θ E = $Pr(\theta \geq \theta^{e} | x=1) = 1-(\theta^{e})^{2}$$Pr(\theta \leq \theta^{e} | x=0) = 1-(1-\theta^{e})^{2}$เมื่อX=1และθ E =1-$\theta^{e}=\sqrt{0.05}\approx 0.224$$X=1$เมื่อX=0 ดังนั้นสองช่วงเวลาที่น่าเชื่อถือคือ(0,0.776)เมื่อX=0และ(0.224,1)เมื่อX=$\theta^{e}= 1-\sqrt{0.05}\approx 0.776$$X=0$$(0,0.776)$$X=0$$(0.224,1)$$X=1$

ดังนั้น Bayesian จะถูกตัดหัวสำหรับช่วง HPD ที่น่าเชื่อถือของเขาในกรณีที่เขาได้รับเหรียญที่ไม่ดีและเหรียญที่ไม่ดีจะเกิดขึ้นซึ่งจะเกิดขึ้นเมื่อมีโอกาส0$\frac{1}{10^{12}+1}\times\frac{1}{10}\approx 0$

การสังเกตครั้งแรกช่วง Bayesian นั้นเล็กกว่าช่วงความมั่นใจ อีกสิ่งหนึ่งคือ Bayesian จะใกล้เคียงกับความครอบคลุมจริงตามที่ระบุไว้ 95% มากกว่าผู้ใช้บ่อย ในความเป็นจริง Bayesian นั้นใกล้เคียงกับความคุ้มครอง 95% มากพอ ๆ กับที่จะได้รับจากปัญหานี้ และตรงกันข้ามกับคำแถลงของ Keith หากเลือกเหรียญที่ไม่ดี 10 Bayesians จาก 100 โดยเฉลี่ยจะสูญเสียหัวของพวกเขา (ไม่ใช่ทั้งหมดเพราะเหรียญที่ไม่ดีจะต้องขึ้นหัวในช่วงเวลาที่ไม่มี ) $0.1$

ที่น่าสนใจถ้าใช้ CP-interval สำหรับการสังเกต 1 ครั้งซ้ำ ๆ (ดังนั้นเราจึงมี N ช่วงเวลาดังกล่าวตามการสังเกต 1 ครั้ง) และสัดส่วนที่แท้จริงคืออะไรระหว่างถึง0.975ดังนั้นการครอบคลุม 95% CI จะเป็น 100 เสมอ % และไม่ใช่ 95%! ชัดเจนขึ้นอยู่กับมูลค่าที่แท้จริงของพารามิเตอร์! ดังนั้นนี่คืออย่างน้อยหนึ่งกรณีที่การใช้ช่วงความเชื่อมั่นซ้ำ ๆ ไม่ได้นำไปสู่ระดับความมั่นใจที่ต้องการ$0.025$$0.975$

การพูดของแท้ช่วงความเชื่อมั่น 95% แล้วโดยมีความหมายว่าควรจะมีบางกรณี (เช่นอย่างน้อยหนึ่ง) ของช่วงสังเกตซึ่งไม่ได้มีมูลค่าที่แท้จริงของพารามิเตอร์ มิฉะนั้นจะปรับแท็ก 95% ให้เหมาะสมได้อย่างไร มันจะไม่ถูกต้องหรือไม่ถูกต้องที่จะเรียกมันว่าช่วง 90%, 50%, 20% หรือแม้กระทั่ง 0%?

ฉันไม่เห็นว่าการระบุเพียง "จริง ๆ แล้วหมายถึง 95% หรือมากกว่า" โดยไม่มีข้อ จำกัด ฟรีเป็นที่น่าพอใจ นี่เป็นเพราะวิธีการแก้ปัญหาทางคณิตศาสตร์ที่เห็นได้ชัดคือพื้นที่พารามิเตอร์ทั้งหมดและปัญหาเล็กน้อย สมมติว่าฉันต้องการ CI 50%? ถ้ามัน จำกัด ขอบเขตเชิงลบเท็จเท่านั้นพื้นที่พารามิเตอร์ทั้งหมดคือ CI ที่ถูกต้องโดยใช้เกณฑ์นี้เท่านั้น

บางทีเกณฑ์ที่ดีกว่าคือ (และนี่คือสิ่งที่ฉันเชื่อว่าเป็นนัยในคำจำกัดความของ Kieth) "ใกล้ถึง 95% ที่สุดเท่าที่จะเป็นไปได้โดยไม่ต่ำกว่า 95%" The Bayesian Interval จะมีความคุ้มครองใกล้เคียงกับ 95% มากกว่าผู้ใช้บ่อย (แม้ว่าจะไม่มากนัก) และจะไม่อยู่ภายใต้การคุ้มครอง 95% (ความคุ้มครองเมื่อX = 0 , และ100 × 10 12 + $\text{100%}$$X=0$ความคุ้มครองเมื่อX=1)$100\times\frac{10^{12}+\frac{9}{10}}{10^{12}+1}\text{%} > \text{95%}$$X=1$

ในการปิด, มันดูค่อนข้างแปลกที่จะถามหาช่วงเวลาของความไม่แน่นอน, แล้วประเมินช่วงเวลานั้นโดยการใช้ค่าจริงที่เราไม่แน่ใจ การเปรียบเทียบ "ธรรม" สำหรับทั้งความเชื่อมั่นและช่วงเวลาที่มีความน่าเชื่อถือให้ฉันดูเหมือนว่าความจริงของคำสั่งของความไม่แน่นอนที่ได้รับกับช่วงเวลา

ปัญหาเริ่มต้นด้วยประโยคของคุณ:

ตัวอย่างที่ใช้สมมติฐานที่ไม่ถูกต้องก่อนหน้านั้นไม่สามารถยอมรับได้เนื่องจากพวกเขาไม่ได้พูดอะไรเกี่ยวกับความสอดคล้องภายในของวิธีการต่าง ๆ

ใช่แล้วคุณรู้ได้อย่างไรว่าสิ่งที่คุณทำก่อนหน้านี้ถูกต้อง?

ใช้กรณีของการอนุมานแบบเบย์ในสายวิวัฒนาการ ความน่าจะเป็นของการเปลี่ยนแปลงอย่างน้อยหนึ่งครั้งเกี่ยวข้องกับเวลาวิวัฒนาการ (ความยาวสาขา t) โดยสูตร

เมื่อคุณเป็นอัตราของการทดแทน

ตอนนี้คุณต้องการสร้างแบบจำลองของวิวัฒนาการขึ้นอยู่กับการเปรียบเทียบลำดับดีเอ็นเอ ในสาระสำคัญคุณพยายามประเมินต้นไม้ที่คุณพยายามจำลองปริมาณการเปลี่ยนแปลงระหว่างลำดับ DNA ใกล้เคียงที่สุด P ด้านบนเป็นโอกาสของการเปลี่ยนแปลงอย่างน้อยหนึ่งครั้งในสาขาที่กำหนด แบบจำลองวิวัฒนาการอธิบายถึงโอกาสในการเปลี่ยนแปลงระหว่างนิวคลีโอไทด์สองอันใด ๆ และจากแบบจำลองวิวัฒนาการเหล่านี้ฟังก์ชันการประมาณค่าจะได้มาโดยมี p เป็นพารามิเตอร์หรือด้วย t เป็นพารามิเตอร์

คุณไม่มีความรู้ที่เหมาะสมและคุณเลือกแบนก่อนสำหรับ p นี่เป็นการบอกเป็นนัยถึงการลดลงแบบทวีคูณก่อนหน้าสำหรับ t (มันจะกลายเป็นปัญหามากขึ้นถ้าคุณต้องการตั้งค่าแฟลตก่อนหน้า t โดยนัยก่อนหน้านี้ขึ้นอยู่กับ p ที่คุณตัดช่วงของ t)

ในทางทฤษฎีแล้ว t สามารถเป็นอนันต์ได้ แต่เมื่อคุณอนุญาตให้มีช่วงอนันต์พื้นที่ภายใต้ฟังก์ชันความหนาแน่นของมันจะเท่ากับอินฟินิตี้เช่นกันดังนั้นคุณต้องกำหนดจุดตัดของจุดก่อนหน้า ตอนนี้เมื่อคุณเลือกจุดตัดขนาดใหญ่พอมันก็ไม่ยากที่จะพิสูจน์ว่าปลายทั้งสองของช่วงเวลาที่น่าเชื่อถือเพิ่มขึ้นและ ณ จุดหนึ่งค่าจริงไม่ได้อยู่ในช่วงเวลาที่น่าเชื่อถืออีกต่อไป หากคุณไม่มีความคิดที่ดีมากเกี่ยวกับวิธีการก่อนหน้านี้ไม่รับประกันว่าจะเท่ากับหรือเหนือกว่าวิธีอื่น ๆ

ref: Joseph Felsenstein: การอนุมาน Phylogenies, บทที่ 18

ในบันทึกด้านข้างฉันรู้สึกเบื่อที่ทะเลาะกับ Bayesian / Frequentist มันเป็นทั้งกรอบงานที่แตกต่างกันและไม่มีความจริงแบบสัมบูรณ์ ตัวอย่างคลาสสิกวิธีโปรแบบเบย์มาจากการคำนวณความน่าจะเป็นแบบคงที่และไม่มีผู้ใดบ่อยครั้งที่จะโต้แย้งพวกเขา การโต้แย้งแบบคลาสสิกกับวิธีการแบบเบย์มีส่วนเกี่ยวข้องกับการเลือกโดยพลการของสิ่งก่อน และนักบวชที่มีเหตุผลก็เป็นไปได้อย่างแน่นอน

ทั้งหมดนี้นำไปสู่การใช้วิธีการอย่างถูกต้องในเวลาที่เหมาะสม ฉันเห็นข้อโต้แย้ง / การเปรียบเทียบน้อยมากซึ่งทั้งสองวิธีใช้อย่างถูกต้อง สมมติฐานของวิธีการใด ๆ ที่ underrated มากและมักจะถูกมองข้าม

แก้ไข: เพื่อชี้แจงปัญหาอยู่ในความจริงที่ว่าการประเมินตาม p แตกต่างจากการประมาณการตาม t ในกรอบ Bayesian เมื่อทำงานกับ priin uninformative (ซึ่งในหลายกรณีวิธีแก้ปัญหาที่เป็นไปได้เท่านั้น) สิ่งนี้ไม่เป็นความจริงในกรอบงาน ML สำหรับการอนุมานเชิงวิวัฒนาการ มันไม่ได้เป็นเรื่องของความผิดพลาดมาก่อนมันมีอยู่ในวิธีการ

ช่วงความเชื่อมั่นของผู้ใช้บ่อยจะ จำกัด อัตราของผลบวกปลอม (ข้อผิดพลาดประเภท I) และรับประกันความครอบคลุมของพวกเขาจะถูก จำกัด ไว้ด้านล่างด้วยพารามิเตอร์ความมั่นใจแม้ในกรณีที่เลวร้ายที่สุด ช่วงเวลาความน่าเชื่อถือแบบเบส์ไม่ได้

ดังนั้นหากสิ่งที่คุณใส่ใจนั้นเป็นผลบวกที่ผิดพลาดและคุณจำเป็นต้องผูกมัดพวกเขาช่วงความเชื่อมั่นคือวิธีการที่คุณต้องการใช้

ตัวอย่างเช่นสมมติว่าคุณมีราชาผู้ชั่วร้ายที่มีศาล 100 คนและผู้พิทักษ์และเขาต้องการเล่นเกมทางสถิติที่โหดร้ายกับพวกเขา กษัตริย์มีเหรียญยุติธรรมหนึ่งล้านล้านเหรียญและเหรียญที่ไม่ยุติธรรมหนึ่งใบซึ่งมีความเป็นไปได้ 10% เขาจะเล่นเกมต่อไปนี้ ก่อนอื่นเขาจะวาดเหรียญอย่างสม่ำเสมอโดยการสุ่มจากกระเป๋า

จากนั้นเหรียญจะถูกส่งผ่านไปที่ห้อง 100 คนและแต่ละคนจะถูกบังคับให้ทำการทดลองกับมันแบบส่วนตัวและจากนั้นแต่ละคนจะระบุช่วงเวลาที่ไม่แน่นอน 95% สำหรับสิ่งที่พวกเขาคิดว่าน่าจะเป็นหัวของเหรียญ

ทุกคนที่ให้ช่วงเวลาที่แสดงถึงการบวกเท็จ - เช่นช่วงเวลาที่ไม่ครอบคลุมค่าที่แท้จริงของความน่าจะเป็นหัว - จะถูกตัดหัว

ถ้าเราต้องการแสดง / a หลัง / ฟังก์ชั่นการกระจายความน่าจะเป็นของน้ำหนักเหรียญแน่นอนว่าช่วงเวลาความน่าเชื่อถือคือสิ่งที่ทำ คำตอบจะเป็นช่วงเวลา [0.5, 0.5] โดยไม่คำนึงถึงผลลัพธ์ แม้ว่าคุณจะพลิกศูนย์เป็นศูนย์หรือหนึ่งหัวคุณจะยังคงพูดว่า [0.5, 0.5] เพราะมันมีความเป็นไปได้มากกว่าที่กษัตริย์ดึงเหรียญที่ยุติธรรมและคุณมีเวลา 1/1024 วันที่ได้รับสิบหัวติดต่อกัน กว่าที่กษัตริย์ดึงเหรียญที่ไม่ยุติธรรม

ดังนั้นนี่ไม่ใช่ความคิดที่ดีสำหรับผู้กำหนดและผู้ใช้! เพราะเมื่อดึงเหรียญที่ไม่เป็นธรรมออกทั้งห้อง (ทั้ง 100 คน) จะผิดและพวกเขาทั้งหมดจะถูกตัดหัว

ในโลกนี้ที่สิ่งที่สำคัญที่สุดคือผลบวกปลอมสิ่งที่เราต้องการคือการรับประกันแบบสัมบูรณ์ว่าอัตราของผลบวกปลอมจะน้อยกว่า 5% ไม่ว่าจะวาดเหรียญอะไรก็ตาม จากนั้นเราจำเป็นต้องใช้ช่วงความมั่นใจเช่น Blyth-Still-Casella หรือ Clopper-Pearson ที่ทำงานและให้ความคุ้มครองอย่างน้อย 95%โดยไม่คำนึงถึงมูลค่าที่แท้จริงของพารามิเตอร์แม้ในกรณีที่เลวร้ายที่สุด หากทุกคนใช้วิธีนี้แทนไม่ว่าจะมีการดึงเหรียญออกมาในตอนท้ายของวันเราสามารถรับประกันได้ว่าจำนวนคนผิดที่คาดหวังจะไม่เกินห้า

ดังนั้นประเด็นก็คือ: หากเกณฑ์ของคุณต้องการขอบเขตบวกเท็จ (หรือเทียบเท่ารับประกันความครอบคลุม) คุณต้องไปด้วยช่วงความมั่นใจ นั่นคือสิ่งที่พวกเขาทำ ช่วงเวลาความน่าเชื่อถืออาจเป็นวิธีที่ใช้งานง่ายกว่าในการแสดงความไม่แน่นอนพวกเขาอาจทำงานได้ค่อนข้างดีจากการวิเคราะห์แบบประจำ

(แน่นอนว่าถ้าคุณใส่ใจในแง่ลบที่ผิดคุณจะต้องมีวิธีที่รับประกันในเรื่องเหล่านั้นด้วย ... )

มีตัวอย่างที่ช่วงความเชื่อมั่นของผู้ใช้งานประจำชัดเจนเหนือกว่าช่วงเวลาที่น่าเชื่อถือแบบเบย์ (ตามการท้าทายของเจย์เนส)

$\theta$$10$$\theta$$1$$\theta$

เบอร์นาร์โดเสนอ "การอ้างอิงก่อนหน้า" เพื่อใช้เป็นมาตรฐานสำหรับการสื่อสารทางวิทยาศาสตร์ [และแม้แต่ "ช่วงเวลาที่น่าเชื่อถืออ้างอิง" ( เบอร์นาร์โด - ภูมิภาคที่น่าเชื่อถือตามวัตถุประสงค์ )] สมมติว่านี่คือ "วิธี" แบบเบย์ตอนนี้คำถามคือ: เมื่อช่วงเวลาใดจะเหนือกว่าอีกช่วงหนึ่ง? คุณสมบัติประจำของช่วงเวลาแบบเบย์นั้นไม่ได้ดีที่สุดเสมอไป แต่ไม่มีคุณสมบัติแบบเบย์ของ "ช่วงเวลา" ประจำ "
(โดยวิธีคือ" ช่วงเวลา "เป็นประจำคืออะไร)