การกระจายแบบไม่ระบุตัวอย่างความแปรปรวนของตัวอย่างที่ไม่ปกติ

นี่เป็นการแก้ไขปัญหาทั่วไปที่เกิดจาก คำถามนี้ หลังจากได้รับการแจกแจงเชิงซีมโทติคของความแปรปรวนตัวอย่างเราสามารถใช้วิธีเดลต้าเพื่อให้ได้การแจกแจงที่สอดคล้องกันสำหรับค่าเบี่ยงเบนมาตรฐาน

ขอตัวอย่างขนาดของตัวแปรสุ่มแบบไม่ปกติของ iid , มีค่าเฉลี่ยและความแปรปรวน 2 ตั้งค่าเฉลี่ยตัวอย่างและความแปรปรวนตัวอย่างเป็น $n$ $\{X_i\},\;\; i=1,...,n$ $\mu$ $\sigma^2$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{x})^{2}

$\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2$

เรารู้ว่า

E (s^{2}) = σ^{2}, Var (s^{2}) = \frac{1}{n} (μ_{4} - \frac{n - 3}{n - 1} σ^{4})

$E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right)$

โดยที่และเรา จำกัด ความสนใจของเราในการแจกแจงว่าช่วงเวลาใดที่จำเป็นต้องมีอยู่และมีขอบเขต จำกัด มีอยู่จริงและมีขอบเขต จำกัด $\mu_4 = E(X_i -\mu)^4$

มันถืออย่างนั้นหรือเปล่า

\sqrt{n} (s^{2} - σ^{2}) \to_{d} N (0, μ_{4} - σ^{4}) ?

$\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?$

— Alecos Papadopoulos
แหล่งที่มา

หึ ฉันเพิ่งโพสต์ในหัวข้ออื่นไม่ทราบว่าคุณโพสต์นี้ มีหลายสิ่งที่จะพบได้ใน CLT ที่ใช้กับความแปรปรวน (เช่นp3-4 ที่นี่เป็นต้น) คำตอบที่ดี btw

— Glen_b -Reinstate Monica

ขอบคุณ ใช่ฉันพบสิ่งนี้แล้ว แต่พวกเขาพลาดกรณี @whuber ชี้ให้เห็น พวกเขายังให้ตัวอย่างของ Bernoulli กับทั่วไป! (ฐานของหน้า 4) ฉันกำลังขยายคำตอบของฉันเพื่อครอบคลุมกรณีด้วย

p

$p$

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos

ใช่ฉันเห็นว่าพวกเขาคิดว่าเบอร์นูลี่ยังไม่ได้พิจารณากรณีพิเศษนั้น ฉันคิดว่าการกล่าวถึงความแตกต่างสำหรับ Bernoulli ที่ปรับขนาด (กรณี prob. dichotomous ที่เท่ากัน) เป็นหนึ่งในเหตุผลหนึ่ง มันสามารถค้นหาได้

— Glen_b -Reinstate Monica

คำตอบ:

สำหรับการพึ่งพาขั้นตอนด้านที่เกิดขึ้นเมื่อเราพิจารณาความแปรปรวนตัวอย่างเราเขียน

(n - 1) s^{2} = \sum_{i = 1}^{n} ((X_{i} - μ) - (\bar{x} - μ))^{2}

$(n-1)s^2 = \sum_{i=1}^n\Big((X_i-\mu) -(\bar x-\mu)\Big)^2$

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 \sum_{i = 1}^{n} ((X_{i} - μ) (\bar{x} - μ)) + \sum_{i = 1}^{n} (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2-2\sum_{i=1}^n\Big((X_i-\mu)(\bar x-\mu)\Big)+\sum_{i=1}^n\Big(\bar x-\mu\Big)^2$

และหลังจากการจัดการเล็กน้อย

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - n (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2 - n\Big(\bar x-\mu\Big)^2$

ดังนั้น

\sqrt{n} (s^{2} - σ^{2}) = \frac{\sqrt{n}}{n - 1} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} σ^{2} - \frac{\sqrt{n}}{n - 1} n (\bar{x} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \sigma^2- \frac {\sqrt n}{n-1}n\Big(\bar x-\mu\Big)^2$

จัดการกับ

\sqrt{n} (s^{2} - σ^{2}) = \frac{\sqrt{n}}{n - 1} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} \frac{n - 1}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{n \sqrt{n}}{n - 1} \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} \frac{n - 1}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$=\frac {n\sqrt n}{n-1}\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{n}{n - 1} [\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})] + \frac{\sqrt{n}}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$=\frac {n}{n-1}\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right] + \frac {\sqrt n}{n-1}\sigma^2 -\frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

คำว่าจะกลายเป็นเอกภาพ asymptotically คำเป็น determinsitic และไปที่ศูนย์เป็น\ $n/(n-1)$ $\frac {\sqrt n}{n-1}\sigma^2$ $n \rightarrow \infty$

เรายังมีใหญ่) องค์ประกอบแรกมาบรรจบกันในการจัดจำหน่ายเป็นปกติที่สองมาบรรจบกันในความน่าจะเป็นศูนย์ จากนั้นตามทฤษฎีของ Slutsky ผลิตภัณฑ์จะมาบรรจบกันเป็นศูนย์ $\sqrt n\Big(\bar x-\mu\Big)^2 = \left[\sqrt n\Big(\bar x-\mu\Big)\right]\cdot \Big(\bar x-\mu\Big)$

\sqrt{n} (\bar{x} - μ)^{2} \overset{p}{\to} 0

$\sqrt n\Big(\bar x-\mu\Big)^2\xrightarrow{p} 0$

เราถูกทิ้งให้อยู่กับเทอม

[\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})]

$\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right]$

ได้รับการแจ้งเตือนจากตัวอย่างร้ายแรงที่เสนอโดย @whuber ในความคิดเห็นต่อคำตอบนี้เราต้องการทำให้แน่ใจว่าไม่คงที่ Whuber ชี้ให้เห็นว่าหากเป็น Bernoulliปริมาณนี้จะคงที่ ดังนั้นไม่รวมตัวแปรที่เกิดขึ้น (อาจเป็นคู่อื่น ๆ , ไม่ใช่แค่ไบนารี ) สำหรับส่วนที่เหลือที่เรามี $(X_i-\mu)^2$ $X_i$ $(1/2)$ $0/1$

E (X_{i} - μ)^{2} = σ^{2}, Var [(X_{i} - μ)^{2}] = μ_{4} - σ^{4}

$\mathrm{E}\Big(X_i-\mu\Big)^2 = \sigma^2,\;\; \operatorname {Var}\left[\Big(X_i-\mu\Big)^2\right] = \mu_4 - \sigma^4$

และดังนั้นคำที่อยู่ภายใต้การตรวจสอบจึงเป็นเรื่องปกติของทฤษฎีการ จำกัด กลางแบบคลาสสิกและ

\sqrt{n} (s^{2} - σ^{2}) \overset{d}{\to} N (0, μ_{4} - σ^{4})

$\sqrt n(s^2 - \sigma^2) \xrightarrow{d} N\left(0,\mu_4 - \sigma^4\right)$

หมายเหตุ: ผลลัพธ์ข้างต้นของการเรียนการสอนยังมีการแจกตัวอย่างปกติ - แต่ในกรณีนี้เรายังมีผลการกระจายตัวอย่างไค - สแควร์ จำกัด

— Alecos Papadopoulos
แหล่งที่มา

+1 ไม่มีเหตุผลที่จะตรวจสอบการกระจายตัวของโดมิโนทั่วไปเพราะมันเป็นรุ่นมาตราส่วนและที่ตั้งทั้งหมดของ Bernoulli: การวิเคราะห์ความพอเพียงของเบอร์นูลลี แบบจำลองของฉัน (ออกให้มีขนาดตัวอย่าง ) ยืนยันผลลัพธ์

10^{1000}

$10^{1000}$

χ_{1}^{2}

$\chi^2_1$

— whuber

@whuber ขอบคุณสำหรับการตรวจสอบ คุณถูกต้องแน่นอนเกี่ยวกับ Benroulli ที่เป็นแม่ของพวกเขาทั้งหมด

— Alecos Papadopoulos

คุณมีคำตอบโดยละเอียดสำหรับคำถามของคุณแล้ว แต่ให้ฉันเสนออีกคำถามหนึ่งเพื่อตอบคำถาม อันที่จริงหลักฐานที่สั้นกว่านั้นเป็นไปได้ตามความจริงที่ว่า

S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S^2 = \frac{1}{n-1} \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

ไม่ได้ขึ้นอยู่กับพูด Asymptotically มันไม่สำคัญว่าเราจะเปลี่ยนปัจจัยเป็นซึ่งฉันจะทำเพื่อความสะดวกหรือไม่ เรานั้นมี $E(X) = \xi$ $\frac{1}{n-1}$ $\frac{1}{n}$

\sqrt{n} (S^{2} - σ^{2}) = \sqrt{n} [\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - {\bar{X}}^{2} - σ^{2}]

$\sqrt{n} \left(S^2 - \sigma^2 \right) = \sqrt{n} \left[ \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 - \sigma^2 \right]$

และตอนนี้เราสันนิษฐานว่าไม่มีการสูญเสียความเป็นสากลที่และเราสังเกตเห็นว่า $\xi = 0$

\sqrt{n} {\bar{X}}^{2} = \frac{1}{\sqrt{n}} {(\sqrt{n} \bar{X})}^{2}

$\sqrt{n} \bar{X}^2 = \frac{1}{\sqrt{n}} \left( \sqrt{n} \bar{X} \right)^2$

มีขีด จำกัด น่าจะเป็นศูนย์ตั้งแต่ระยะที่สองเป็นที่สิ้นสุดในความน่าจะเป็น (โดย CLT และทฤษฎีบทแผนที่ต่อเนื่อง) คือมันเป็น(1) ผลที่ได้จากซีมโทติคนั้นมาจากทฤษฎีบทของ Slutzky และ CLT ตั้งแต่นั้นมา $O_p(1)$

\sqrt{n} [\frac{1}{n} \sum X_{i}^{2} - σ^{2}] \overset{D}{\to} N (0, τ^{2})

$\sqrt{n} \left[ \frac{1}{n} \sum X_i^2 - \sigma^2 \right] \xrightarrow{D} \mathcal{N} \left(0, \tau^2 \right)$

โดยที่ 2 และนั่นจะทำมัน $\tau^2 = Var \left\{ X^2\right\} = \mathbb{E} \left(X^4 \right) - \left( \mathbb{E} \left(X^2\right) \right)^2$

— JohnK
แหล่งที่มา

นี่คือประหยัดมากขึ้นอย่างแน่นอน แต่โปรดพิจารณาวิธีการที่น่ากลัวคือสมมติฐาน ตัวอย่างเช่นมันไม่รวมกรณีของตัวอย่าง Bernoulli ( ) และเมื่อฉันพูดถึงตอนท้ายของคำตอบของฉันสำหรับตัวอย่างเช่นผลลัพธ์ asymptotic นี้ไม่ได้เก็บไว้

E (X) = 0

$E(X) =0$

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos

@AlcosPapadopoulos แน่นอน แต่ข้อมูลสามารถอยู่กึ่งกลางใช่มั้ย? ฉันหมายถึงและเราสามารถทำงานกับตัวแปรเหล่านี้ได้ สำหรับกรณีของเบอร์นูลลีมีอะไรบ้างที่ห้ามไม่ให้เราทำเช่นนั้น?

\sum_{i = 1}^{n} {(X_{i} - μ - (\bar{X} - μ))}^{2} = \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$\sum_{i=1}^n \left(X_i - \mu - ( \bar{X}-\mu) \right)^2 = \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

— JohnK

@AlcosPapadopoulos โอ้ใช่ฉันเห็นปัญหา

— JohnK

ฉันเขียนชิ้นเล็ก ๆ ในเรื่องนี้ฉันคิดว่าถึงเวลาที่จะต้องอัพโหลดมันในบล็อกของฉัน ฉันจะแจ้งให้คุณทราบในกรณีที่คุณสนใจที่จะอ่าน การกระจายของความแปรปรวนตัวอย่างแบบซีมโทติคในกรณีนี้น่าสนใจและการกระจายแบบซีโมติคของค่าเบี่ยงเบนมาตรฐานตัวอย่างมากยิ่งขึ้น ผลลัพธ์เหล่านี้มีไว้สำหรับตัวแปรสุ่ม dichotomousใด ๆ

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos

คำถามโง่ ๆ แต่เราจะสรุปได้อย่างไรว่าเป็นสิ่งที่ช่วยเสริมได้ถ้าไม่ปกติ? หรือเป็นเสมอที่เสริม (wrt หมายถึง parametrization ฉันเดา) แต่เป็นอิสระจากค่าเฉลี่ยตัวอย่างเมื่อค่าเฉลี่ยตัวอย่างคือสถิติที่สมบูรณ์เพียงพอ (เช่นกระจายปกติ) โดยทฤษฎีบทของบาซู?

S^{2}

$S^2$

X_{i}

$X_i$

S^{2}

$S^2$

— Chill2Macht

คำตอบที่ยอดเยี่ยมโดยAlecosและJohnKได้รับผลลัพธ์ที่คุณตามมาแล้ว แต่ฉันต้องการที่จะบันทึกอย่างอื่นเกี่ยวกับการกระจายตัวเชิงซีโมติคของความแปรปรวนตัวอย่าง

มันเป็นเรื่องธรรมดาที่จะเห็นผลลัพธ์แบบอะซิมโทติกแสดงโดยใช้การแจกแจงแบบปกติและสิ่งนี้มีประโยชน์สำหรับการระบุทฤษฎีบท อย่างไรก็ตามในทางปฏิบัติการพูดวัตถุประสงค์ของการแจกแจงเชิงเส้นกำกับสำหรับสถิติตัวอย่างก็คือมันช่วยให้คุณได้รับการแจกแจงโดยประมาณเมื่อมีขนาดใหญ่ มีตัวเลือกมากมายที่คุณสามารถทำได้สำหรับการประมาณตัวอย่างขนาดใหญ่ของคุณเนื่องจากการแจกแจงจำนวนมากมีรูปแบบซีมโทติคเหมือนกัน ในกรณีของความแปรปรวนตัวอย่างมันเป็นมุมมองของฉันที่การแจกแจงแบบประมาณที่ยอดเยี่ยมสำหรับขนาดใหญ่นั้นได้มาจาก: $n$ $n$

\frac{S_{n}^{2}}{σ^{2}} \sim \frac{Chi-Sq (df = D F_{n})}{D F_{n}},

$\frac{S_n^2}{\sigma^2} \sim \frac{\text{Chi-Sq}(\text{df} = DF_n)}{DF_n},$

โดยที่และคือพารามิเตอร์ kurtosis การแจกแจงนี้เท่ากับ asymptotically เทียบเท่ากับการประมาณปกติที่ได้มาจากทฤษฎีบท (การแจกแจงแบบไคสแควร์มาบรรจบกันเป็นปกติในขณะที่องศาของอิสรภาพมีแนวโน้มที่จะไม่มีสิ้นสุด) แม้จะมีความเท่าเทียมกัน แต่การประมาณนี้มีคุณสมบัติอื่น ๆ อีกมากมายที่คุณต้องการให้การกระจายแบบประมาณของคุณมี: $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2) = 2n / ( \kappa - (n-3)/(n-1))$ $\kappa = \mu_4 / \sigma^4$

แตกต่างจากการประมาณปกติที่ได้โดยตรงจากทฤษฎีบทการแจกแจงนี้มีการสนับสนุนที่ถูกต้องสำหรับสถิติที่น่าสนใจ ความแปรปรวนตัวอย่างเป็นแบบไม่เป็นลบและการกระจายนี้มีการสนับสนุนที่ไม่เป็นลบ
ในกรณีที่โดยปกติค่าพื้นฐานจะถูกกระจายการประมาณนี้เป็นการกระจายตัวตัวอย่างที่แน่นอน (ในกรณีนี้เรามีซึ่งให้ซึ่งเป็นรูปแบบมาตรฐานที่ใช้ในข้อความส่วนใหญ่) ดังนั้นจึงถือว่าผลลัพธ์ที่แน่นอนในกรณีพิเศษที่สำคัญในขณะที่ยังคงเป็นการประมาณที่เหมาะสมใน กรณีทั่วไปมากขึ้น $\kappa = 3$ $DF_n = n-1$

การได้มาของผลลัพธ์ข้างต้น:ผลลัพธ์การกระจายโดยประมาณสำหรับค่าเฉลี่ยตัวอย่างและความแปรปรวนถูกกล่าวถึงที่ความยาวในO'Neill (2014)และบทความนี้ให้ผลการทดลองหลายอย่างรวมถึงการแจกแจงการประมาณปัจจุบัน

ที่มานี้เริ่มต้นจากผลการ จำกัด ในคำถาม:

\sqrt{n} (S_{n}^{2} - σ^{2}) \sim N (0, σ^{4} (κ - 1)) .

$\sqrt{n} (S_n^2 - \sigma^2) \sim \text{N}(0, \sigma^4 (\kappa - 1)).$

จัดเรียงผลลัพธ์ใหม่นี้เราได้รับการประมาณ:

\frac{S_{n}^{2}}{σ^{2}} \sim N (1, \frac{κ - 1}{n}) .

$\frac{S_n^2}{\sigma^2} \sim \text{N} \Big( 1, \frac{\kappa - 1}{n} \Big).$

เนื่องจากการแจกแจงแบบไคสแควร์เป็นเรื่องปกติเชิงเส้นกำกับเนื่องจากเรามี: $DF \rightarrow \infty$

\frac{Chi-Sq (D F)}{D F} \to \frac{1}{D F} N (D F, 2 D F) = N (1, \frac{2}{D F}) .

$\frac{\text{Chi-Sq}(DF)}{DF} \rightarrow \frac{1}{DF} \text{N} ( DF, 2DF ) = \text{N} \Big( 1, \frac{2}{DF} \Big).$

การ (ซึ่งให้สูตรข้างต้น) ให้ซึ่งทำให้แน่ใจว่าการกระจายไคสแควร์เป็นแบบอะซีสโตพทีที เทียบเท่ากับการประมาณปกติจากทฤษฎีบทที่ จำกัด $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2)$ $DF_n \rightarrow 2n / (\kappa - 1)$

— Reinstate Monica
แหล่งที่มา

คำถามที่น่าสนใจเชิงประจักษ์ประการหนึ่งคือสิ่งที่ผลลัพธ์เชิงซีมโทติคสองอย่างนี้ทำงานได้ดีขึ้นในกรณีตัวอย่างที่ จำกัด ภายใต้การแจกแจงข้อมูลพื้นฐานต่างๆ

— lzstat

ใช่ฉันคิดว่าน่าจะเป็นการศึกษาแบบจำลองที่น่าสนใจมาก เนื่องจากสูตรปัจจุบันตั้งอยู่บนพื้นฐานของการแก้ไขความแตกต่างของกลุ่มตัวอย่างฉันจึงคาดหวังว่าผลลัพธ์ปัจจุบันจะทำงานได้ดีที่สุดเมื่อคุณมีการแจกแจงต้นแบบที่มีพารามิเตอร์ kurtosis ที่อยู่ไกลจาก mesokurtic (เช่นเมื่อ kurtosis - การแก้ไขสำคัญที่สุด) เนื่องจากความจำเป็นต้องประเมินจากตัวอย่างจึงเป็นคำถามเปิดว่าเมื่อใดจะมีการปรับปรุงประสิทธิภาพโดยรวมอย่างมาก

— Reinstate Monica