ข้อผิดพลาดโดยประมาณของช่วงความมั่นใจสำหรับค่าเฉลี่ยเมื่อ

Let $\{X_i\}_{i=1}^n$จะเป็นครอบครัวของตัวแปรสุ่ม IID สละค่าใน$[0,1]$มีค่าเฉลี่ย$\mu$และแปรปรวน$\sigma^2$ 2 ช่วงความเชื่อมั่นที่ง่ายสำหรับค่าเฉลี่ยโดยใช้$\sigma$เมื่อใดก็ตามที่เป็นที่รู้จักกันจะได้รับจาก

$$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$$

นอกจากนี้เนื่องจาก$\frac{\bar X- \mu}{\sigma/\sqrt{n}}$ถูกกระจายแบบ asymptotically เป็นตัวแปรสุ่มมาตรฐานแบบปกติการแจกแจงแบบปกติบางครั้งใช้เพื่อ "สร้าง" ช่วงความมั่นใจโดยประมาณ

---

ในหลายทางเลือกสอบสถิติคำตอบที่ผมได้มีการใช้ประมาณแทนนี้$(1)$เมื่อใดก็ตามที่$n \geq 30$ 30 ฉันมักจะรู้สึกไม่สบายใจกับสิ่งนี้มาก (เกินกว่าที่คุณจะจินตนาการได้) เนื่องจากข้อผิดพลาดการประมาณนั้นไม่ได้ถูกคำนวณปริมาณ

---

• ใช้ประมาณปกติมากกว่าทำไม$(1)$ ?

• ฉันไม่ต้องการใช้กฎกับคนตาบอดอีกเลย มีการอ้างอิงที่ดีที่สามารถสนับสนุนฉันในการปฏิเสธที่จะทำเช่นนั้นและให้ทางเลือกที่เหมาะสมหรือไม่? ( ( 1 )เป็นตัวอย่างของสิ่งที่ฉันพิจารณาทางเลือกที่เหมาะสม)$n \geq 30$$(1)$

ที่นี่ในขณะที่และE [ | X | 3 ]ไม่เป็นที่รู้จักพวกมันถูกล้อมรอบได้ง่าย$\sigma$$E[ |X|^3]$

โปรดทราบว่าคำถามของฉันเป็นคำขออ้างอิงโดยเฉพาะอย่างยิ่งเกี่ยวกับความเชื่อมั่นและดังนั้นจึงแตกต่างจากความแตกต่างจากคำถามที่ได้รับการแนะนำให้เป็นที่ซ้ำกันบางส่วนที่นี่และที่นี่ มันไม่มีคำตอบ

เหตุใดจึงต้องใช้การประมาณปกติ

มันง่ายเหมือนการบอกว่าควรใช้ข้อมูลมากกว่าน้อยกว่า สมการ (1) ใช้ทฤษฎีบทเซฟของ หมายเหตุวิธีที่มันไม่ใช้ข้อมูลใด ๆ เกี่ยวกับรูปร่างของการกระจายของคุณนั่นคือมันใช้งานได้กับการกระจายที่มีความแปรปรวนที่กำหนด ดังนั้นหากคุณใช้ข้อมูลบางอย่างเกี่ยวกับรูปร่างการกระจายของคุณคุณจะต้องได้รับการประมาณที่ดีขึ้น หากคุณรู้ว่าการกระจายตัวของคุณคือเกาส์เซียนด้วยการใช้ความรู้นี้คุณจะได้รับการประมาณการที่ดี

เนื่องจากคุณใช้ทฤษฎีบทขีด จำกัด กลางอยู่แล้วทำไมไม่ใช้การประมาณแบบเกาส์ของขอบเขต? พวกเขากำลังจะดีขึ้นจริง ๆ แล้วเข้มงวดมากขึ้น (หรือคมชัดขึ้น) เพราะการประมาณการเหล่านี้ขึ้นอยู่กับความรู้เกี่ยวกับรูปร่างซึ่งเป็นข้อมูลเพิ่มเติม

กฎของหัวแม่มือ 30 เป็นตำนานซึ่งเป็นประโยชน์จากอคติยืนยัน มันเพิ่งถูกคัดลอกจากหนังสือเล่มหนึ่งไปยังอีกเล่มหนึ่ง เมื่อฉันพบการอ้างอิงแนะนำกฎนี้ในกระดาษในปี 1950 มันไม่ได้เป็นหลักฐานที่มั่นคงอย่างที่ฉันจำได้ มันเป็นการศึกษาเชิงประจักษ์ โดยพื้นฐานแล้วเหตุผลเดียวที่ใช้เพราะเป็นงานประเภทนั้น คุณไม่เห็นว่าละเมิดบ่อยนัก

ปรับปรุงค้นหากระดาษโดย Zachary R. Smith และ Craig S. Wells " ทฤษฎีบทขีด จำกัด กลางและขนาดตัวอย่าง " พวกเขานำเสนอการศึกษาเชิงประจักษ์ของการลู่เข้าสู่ CLT สำหรับการแจกแจงแบบต่าง ๆ แน่นอนว่าเลขเวทย์ 30 นั้นใช้ไม่ได้ในหลายกรณี

ปัญหาเกี่ยวกับการใช้ความไม่เท่าเทียมกันของ Chebyshev เพื่อให้ได้ช่วงเวลาสำหรับค่าที่แท้จริงคือมันให้ขอบเขตที่ต่ำกว่าสำหรับความน่าจะเป็นซึ่งบางครั้งยิ่งไปกว่านั้นเล็กน้อยหรือเพื่อที่จะไม่น่ารำคาญ ช่วงความเชื่อมั่น เรามี

$$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$$

$$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$$

เราเห็นว่าขึ้นอยู่กับขนาดตัวอย่างถ้าเราลด "มากเกินไป" เราจะได้คำตอบเล็กน้อย "ความน่าจะเป็นมากกว่าศูนย์"$\varepsilon$

นอกเหนือจากนั้นสิ่งที่เราได้รับจากวิธีการนี้เป็นข้อสรุปของรูปแบบ "" ความน่าจะเป็นของตกอยู่ใน[ ˉ X ± ε ]คือเท่ากับหรือมากกว่า ..."$\mu$$[\bar X \pm \varepsilon]$

แต่สมมติว่าเราดีอยู่กับเรื่องนี้และแสดงว่าความน่าจะเป็นขั้นต่ำที่เรามีความสะดวกสบาย ดังนั้นเราต้องการ$p_{min}$

$$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$$

ด้วยขนาดตัวอย่างขนาดเล็กและความน่าจะเป็นขั้นต่ำที่ต้องการสูงสิ่งนี้อาจทำให้ช่วงความมั่นใจกว้างเป็นที่น่าพอใจ เช่นสำหรับและn = 100เราจะได้รับε ≈ 0.316ซึ่งตัวอย่างสำหรับตัวแปรรับการรักษาโดย OP ที่มีขอบเขตใน[ 0 , 1 ]ดูเหมือนจะใหญ่เกินไปที่จะเป็นประโยชน์$p_{min} =0.9$$n=100$$\varepsilon \approx .316$$[0,1]$

แต่วิธีการนั้นถูกต้องและไม่มีการแจกจ่ายดังนั้นอาจมีบางครั้งที่มันมีประโยชน์

บางคนอาจต้องการตรวจสอบความไม่เท่าเทียมกันของ Vysochanskij – Petunin ที่ กล่าวถึงในคำตอบอื่นซึ่งถือเป็นการแจกแจง unimodal อย่างต่อเนื่องและปรับแต่งความไม่เท่าเทียมของ Chebyshev

คำตอบสั้น ๆ ก็คือว่ามันสามารถไปได้สวยไม่ดี แต่ถ้าหนึ่งหรือทั้งสองหางของการกระจายการสุ่มตัวอย่างที่เป็นจริงไขมัน

รหัส R นี้สร้างชุดตัวแปรแกมม่าจำนวน 30 ชุดและใช้ค่าเฉลี่ย มันสามารถใช้เพื่อให้เข้าใจว่าการกระจายตัวตัวอย่างของค่าเฉลี่ยนั้นเป็นอย่างไร หากประมาณปกติทำงานตามที่ต้องการผลที่ควรจะเป็นประมาณตามปกติที่มีค่าเฉลี่ยที่ 1 1/(30 * shape)และความแปรปรวน

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

เมื่อshapeเป็น 1.0 การแจกแจงแกมม่าจะเป็นการแจกแจงแบบเอ็กซ์โพเนนเชียลซึ่งค่อนข้างไม่ธรรมดา อย่างไรก็ตามชิ้นส่วนที่ไม่ใช่แบบเกาส์นั้นโดยเฉลี่ยแล้วการประมาณแบบเกาส์ก็ไม่ได้แย่มาก:

เห็นได้ชัดว่ามีอคติและควรหลีกเลี่ยงเมื่อเป็นไปได้ แต่โดยสุจริตแล้วระดับความลำเอียงนั้นคงไม่ใช่ปัญหาใหญ่ที่สุดที่ต้องเผชิญกับการศึกษาทั่วไป

ที่กล่าวว่าสิ่งต่าง ๆ จะเลวร้ายลงมาก ด้วยf(0.01)ฮิสโตแกรมมีลักษณะดังนี้:

บันทึกการแปลง 30 จุดข้อมูลตัวอย่างก่อนค่าเฉลี่ยช่วยมากแม้ว่า:

โดยทั่วไปการแจกแจงแบบมีหางยาว (หนึ่งหรือทั้งสองด้านของการแจกแจง) จะต้องใช้ตัวอย่างมากที่สุดก่อนที่การประมาณแบบเกาส์จะเริ่มเชื่อถือได้ มีแม้กระทั่งกรณีพยาธิวิทยาที่จะไม่มีข้อมูลเพียงพอสำหรับการประมาณแบบเกาส์ในการทำงาน แต่คุณอาจจะมีปัญหาที่ร้ายแรงกว่าในกรณีนั้น (เนื่องจากการกระจายตัวตัวอย่างไม่มีค่าเฉลี่ยหรือความแปรปรวนที่เริ่มต้นดี ด้วย)

ปัญหากับช่วงความเชื่อมั่นของ Chebyshev

ตามที่กล่าวไว้โดย Carlo เรามี . นี้ต่อไปนี้จากVar(X)≤μ(1-μ) ดังนั้นช่วงความเชื่อมั่นμจะได้รับจาก P(| ˉ X -μ|≥ε)≤$\sigma^2 \le \frac{1}{4}$$\text{Var}(X) \le \mu(1-\mu)$$\mu$ ปัญหาคือความไม่เท่าเทียมกันในแง่หนึ่งค่อนข้างจะหลวมเมื่อnมีขนาดใหญ่ การปรับปรุงจะถูกกำหนดโดยขอบเขตของ Hoeffding และแสดงไว้ด้านล่าง อย่างไรก็ตามเราสามารถแสดงให้เห็นว่ามันแย่แค่ไหนที่สามารถใช้ทฤษฎีบท Berry-Esseen ที่Yves ชี้ให้เห็น ให้Xiมีความแปรปรวน

$$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$$ $n$$X_i$กรณีที่เป็นไปได้ที่เลวร้ายที่สุด ทฤษฎีบทหมายความว่า P(| ˉ X -μ|≥$\tfrac{1}{4}$ ที่SFคือฟังก์ชันการเอาชีวิตรอดของการแจกแจงแบบปกติมาตรฐาน โดยเฉพาะอย่างยิ่งกับε=16เราได้รับSF(16)≈e-58(อ้างอิงจาก Scipy) ดังนั้นโดยพื้นฐานแล้ว P(|ˉX-μ|≥$P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$$\text{SF}$$\varepsilon = 16$$\text{SF}(16) \approx e^{-58}$ ในขณะที่ความไม่เท่าเทียมกัน Chebyshev หมายถึง P ( | ˉ X - μ | ≥ $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$$ $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$$ $(*)$

---

การเปรียบเทียบความยาวของช่วงความมั่นใจ

$(1-\alpha)$$\ell_Z(\alpha, n)$$\ell_C(\alpha, n)$$\sigma = \tfrac{1}{2}$$\ell_C(\alpha, n)$ เป็นค่าคงที่ที่ใหญ่กว่า $\ell_Z(\alpha, n)$เป็นอิสระจาก $n$. แม่นยำสำหรับทุกคน$n$,

$$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$$ ที่ไหน $\text{ISF}$เป็นฟังก์ชันการอยู่รอดแบบผกผันของการแจกแจงแบบปกติมาตรฐาน ฉันพล็อตต่ำกว่าค่าคงที่การคูณ

$\hskip 1in$

โดยเฉพาะอย่างยิ่ง $95\%$ ช่วงความมั่นใจในระดับที่ได้รับโดยใช้อสมการ Chebyshev เป็นเรื่องเกี่ยวกับ $2.3$ ครั้งใหญ่กว่าช่วงความเชื่อมั่นระดับเดียวกันที่ได้รับโดยใช้การประมาณปกติ

---

ใช้ขอบเขตของ Hoeffding

ขอบเขตของ Hoeffding ให้

$$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$$ ดังนั้น $(1-\alpha)$ระดับความเชื่อมั่นระดับ $\mu$ คือ $$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$$ of length $\ell_H (\alpha, n) = 2\varepsilon$. I plot below the lengths of the different confidence intervals (Chebyshev inequality: $\ell_C$; normal approximation ($\sigma = 1/2$): $\ell_Z$; Hoeffding's inequality: $\ell_H$) for $\alpha = 0.05$.

$\hskip 0.5in$

let's start with the number 30: it's, as anyone will say, a rule of thumb. but how can we find a number that fits better to our data? It's actually mostly a matter of skewness: even the strangest distribution will fast converge to normal if they are simmetric and continuous, skewed data will be much slower. I remember learning that a binomial distribution can be properly approximated to normal when its variance is greater than 9; for this example it's to be considered that discrete distribution also have the problem that they need great numbers to simulate continuity, but think to this: a simmetric binomial distribution will reach that variance with n = 36, if p = 0.1 instead, n must go up to 100 (variabile trasformation, however, would help a lot)!

หากคุณต้องการใช้ความแปรปรวนแทนปล่อยการประมาณแบบเกาส์เซียนพิจารณาความไม่เท่าเทียมกันของ Vysochanskij – Petunin กับ Chebichev มันต้องการการสันนิษฐานของการกระจายค่าเฉลี่ยที่ไม่แน่นอน แต่นี่เป็นสิ่งที่ปลอดภัยมากที่มีขนาดตัวอย่างใด ๆ มากกว่า 2