อยู่ที่ไหน

36

ทฤษฎีบทกลาง จำกัด แบบง่ายมาก ซึ่งก็คือ Lindeberg – Lévy CLT ฉันไม่เข้าใจว่าทำไมมีทางด้านซ้ายมือ และ Lyapunov CLT บอกว่า แต่ทำไม ไม่ใช่ ? ทุกคนจะบอกฉันว่าเป็นปัจจัยเหล่านี้เช่นและ ? เราจะรับพวกเขาในทฤษฎีบทได้อย่างไร

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}}

$\frac{1}{s_n}$

central-limit-theorem intuition

— หมูบิน
แหล่งที่มา

3

นี่คือคำอธิบายที่stats.stackexchange.com/questions/3734 คำตอบนั้นยาวเพราะถามว่า "ปรีชา" มันสรุปว่า "การประมาณอย่างง่าย ๆ นี้แม้ว่าจะแสดงให้เห็นว่า de Moivre ในขั้นต้นอาจสงสัยว่ามีการ จำกัด การกระจายทั่วไปว่าลอการิทึมของมันนั้นเป็นฟังก์ชันกำลังสองและสเกลปัจจัยที่เหมาะสมต้องเป็นสัดส่วนกับ ... . "

s_{n}

$s_n$

\sqrt{n}

$\sqrt{n}$

— whuber

1

โดยสังหรณ์ใจถ้าทั้งหมดดังนั้นและบรรทัดที่ 2 ต่อจากบรรทัดที่ 1: หารด้วย (แน่นอนว่าสภาพ Lyapunov รวมกัน ทั้งหมดเป็นคำถามอื่น)

σ_{i} = σ

$\sigma_i=\sigma$

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ)}{\frac{s_{n}}{\sqrt{n}}} = \frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ $\sigma_i$

— Sextus Empiricus

33

เป็นคำถามที่ดี (+1) !!

คุณจะจำไว้ว่าสำหรับตัวแปรสุ่มอิสระและ ,และ(X) ดังนั้นความแปรปรวนของคือและความแปรปรวนของเป็น n $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ $\sum_{i=1}^n \sigma^2 = n\sigma^2$ $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

นี้มีไว้สำหรับความแปรปรวน ในการสร้างมาตรฐานตัวแปรสุ่มคุณหารด้วยค่าเบี่ยงเบนมาตรฐาน อย่างที่คุณทราบค่าที่คาดหวังของคือดังนั้นตัวแปร $\bar{X}$ $\mu$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a R (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ ได้คาดว่าค่า 0 และ 1 แปรปรวนดังนั้นถ้ามันมีแนวโน้มไปสู่การเสียนก็จะต้องมีมาตรฐานแบบเกาส์1) สูตรของคุณในสมการแรกนั้นเทียบเท่ากัน โดยการคูณด้านซ้ายมือโดยคุณตั้งค่าความแปรปรวนไป 2

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

เกี่ยวกับประเด็นที่สองของคุณฉันเชื่อว่าสมการที่แสดงด้านบนแสดงให้เห็นว่าคุณต้องหารด้วยไม่ใช่เพื่อสร้างมาตรฐานของสมการอธิบายว่าทำไมคุณใช้ (ตัวประมาณของและไม่{s_n} $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

นอกจากนี้: @whuber แสดงให้เห็นเพื่อหารือเกี่ยวกับเหตุผลของการปรับขนาดโดย{n} เขาทำที่นั่นแต่เพราะคำตอบนั้นยาวมากฉันจะพยายามจับแก่นแท้ของการโต้เถียงของเขา (ซึ่งเป็นการสร้างความคิดของเดอโมเอฟร์ขึ้นมาใหม่) $\sqrt{n}$

หากคุณเพิ่มจำนวนมากของ +1 และ -1 คุณสามารถประมาณความน่าจะเป็นที่ผลรวมจะเป็นโดยการนับเบื้องต้น บันทึกการนี้น่าจะเป็นสัดส่วนกับ n ดังนั้นถ้าเราต้องการความเป็นไปได้ดังกล่าวข้างต้นจะมาบรรจบกันที่จะคงเป็นไปขนาดใหญ่เราต้องใช้ปัจจัย normalizing ใน{n}) $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

การใช้เครื่องมือทางคณิตศาสตร์ที่ทันสมัย (post de Moivre) คุณสามารถดูการประมาณดังกล่าวข้างต้นโดยสังเกตว่าความน่าจะเป็นที่ต้องการคือ

P (J) = \frac{(\binom{n}{n / 2 + J})}{2^{n}} = \frac{n!}{2^{n} (n / 2 + J)! (n / 2 - J)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

ซึ่งเราประมาณโดยสูตรของสเตอร์ลิง

P (J) \approx \frac{n^{n} {อี}^{n / 2 + J} {อี}^{n / 2 - J}}{2^{n} {อี}^{n} (n / 2 + J)^{n / 2 + J} (n / 2 - J)^{n / 2 - J}} = {(\frac{1}{1 + 2 J / n})}^{n + J} {(\frac{1}{1 - 2 J / n})}^{n - J} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

เข้าสู่ระบบ (P (J)) = - (n + J) เข้าสู่ระบบ (1 + 2 J / n) - (n - J) เข้าสู่ระบบ (1 - 2 J / n) ~ - 2 J (n + J) / n + 2 J (n - J) / n α - J^{2} / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
แหล่งที่มา

โปรดดูความคิดเห็นของฉันต่อคำตอบก่อนหน้าโดย Michael C. และผู้ชาย

— whuber

ดูเหมือนว่าสมการแรก (LL CLT) s / b ? มันทำให้ฉันงงเหมือนกันดูเหมือนจะแปรปรวน

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

— B_Miner

หากคุณเปรียบเทียบค่า Gaussian ด้วยค่าเฉลี่ยและความแปรปรวน (ไม่ใช่ค่าเบี่ยงเบนมาตรฐาน) ฉันเชื่อว่าสูตรของ OP นั้นถูกต้อง

— gui11aume

1

อ๊ะ .. ได้รับถ้าเราคูณโดยเราได้สิ่งที่ OP (ยกเลิก) แสดง: คือBigg) แต่เรารู้ว่า VAR (aX) = a ^ 2Var (X) ซึ่งในกรณีนี้ a =และ Var (X) คือ 1 ดังนั้นการแจกแจงคือ .

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Gui, ถ้าไม่สายเกินไป, ฉันต้องการตรวจสอบให้แน่ใจว่าฉันถูกต้องแล้ว หากเราถือว่าและเราคูณด้วยค่าคงที่ ( ) ค่าที่คาดหวังของปริมาณนี้ (เช่น ) ซึ่งเป็นศูนย์ยังคงเป็นศูนย์เช่น E [aX] = a * E [X] => * 0 = 0 ถูกต้องหรือไม่

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

— B_Miner

8

มีทฤษฎีที่ดีว่าการแจกแจงแบบใดที่สามารถ จำกัด การกระจายของผลรวมของตัวแปรสุ่มได้ ทรัพยากรที่ดีคือหนังสือต่อไปนี้โดย Petrov ซึ่งฉันมีความสุขเป็นการส่วนตัว

ปรากฎว่าถ้าคุณกำลังตรวจสอบข้อ จำกัด ของประเภทนี้ โดยที่เป็นตัวแปรสุ่มอิสระการกระจายของข้อ จำกัด คือ การแจกแจงบางอย่างเท่านั้น

\frac{1}{a_{n}} Σ_{ผม = 1}^{n} X_{n} - ข_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

ในตอนนั้นมีคณิตศาสตร์จำนวนมากที่หลั่งไหลไปสู่ทฤษฎีบทหลายอย่างซึ่งอธิบายลักษณะของสิ่งที่เกิดขึ้นอย่างสมบูรณ์ หนึ่งในทฤษฎีบทนี้เกิดจาก Feller:

ทฤษฎีบทให้เป็นลำดับของตัวแปรสุ่มอิสระเป็นฟังก์ชันการแจกแจงของและ เป็นลำดับของค่าคงที่บวก ในลำดับที่ $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq n} P (| X_{k} | \geq ε a_{n}) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

และ

sup_{x} | P (a_{n}^{- 1} \sum_{k = 1}^{n} X_{k} < x) - Φ (x) | \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

มีความจำเป็นและเพียงพอ

Σ_{k = 1}^{n} \int_{| x | \geq ε a_{n}} d V_{k} (x) \to 0 สำหรับทุกคงที่ ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a_{n}^{- 2} Σ_{k = 1}^{n} (\int_{| x | < a_{n}} x^{2} d V_{k} (x) - {(\int_{| x | < a_{n}} x d V_{k} (x))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

และ

a_{n}^{- 1} Σ_{k = 1}^{n} \int_{| x | < a_{n}} x d V_{k} (x) \to 0

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

ทฤษฎีนี้ทำให้คุณเข้าใจว่าควรมีลักษณะอย่างไร $a_n$

ทฤษฎีทั่วไปในหนังสือเล่มนี้ถูกสร้างขึ้นในลักษณะดังกล่าวว่า norming คงถูก จำกัด ในทางใด ๆ แต่ทฤษฎีบทสุดท้ายที่ให้ที่จำเป็นและเพียงพอเงื่อนไขไม่ได้ออกจากห้องใด ๆ สำหรับ norming คงที่อื่นที่ไม่ใช่{n} $\sqrt{n}$

— mpiktas
แหล่งที่มา

4

sแสดงถึงค่าเบี่ยงเบนมาตรฐานตัวอย่างสำหรับค่าเฉลี่ยตัวอย่าง sคือความแปรปรวนตัวอย่างสำหรับค่าเฉลี่ยตัวอย่างและมันเท่ากับ S / n โดยที่ Sเป็นค่าประมาณตัวอย่างของความแปรปรวนประชากร เนื่องจาก s = S / √nที่อธิบายถึงวิธีที่√nปรากฏในสูตรแรก โปรดทราบว่าจะมีσในตัวหารหากมีการ จำกัด $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1) แต่ขีด จำกัด ถูกกำหนดเป็น N (0, σ ) เนื่องจาก Sเป็นการประมาณที่สอดคล้องกันของσมันถูกใช้ในสมการที่สองเพื่อนำσออกจากขีด จำกัด $^2$ $_n$

— Michael Chernick
แหล่งที่มา

ส่วนคำถามอื่น ๆ (พื้นฐานและสำคัญกว่า): ทำไมและไม่ใช่การกระจายตัวแบบอื่น

s_{n}

$s_n$

— whuber

@whuber นั่นอาจเป็นการสนทนา แต่มันไม่ได้เป็นส่วนหนึ่งของคำถาม OP ต้องการทราบว่าเหตุใด sและ√nจึงปรากฏในสูตรสำหรับ CLT แน่นอนว่า Sอยู่ที่นั่นเพราะสอดคล้องกับσและในรูปแบบของ CLT σนั้นจะถูกลบออก

_{n}

$_n$

_{n}

$_n$

— Michael Chernick

1

สำหรับฉันมันไม่ชัดเจนเลยว่ามีอยู่เพราะมันเป็น "ความสอดคล้องสำหรับ " ทำไมจะไม่บอกเป็นนัยเช่นกันว่าควรใช้เพื่อทำให้สถิติมีค่ามากที่สุด (ซึ่งจะไม่ทำงาน) ฉันขาดอะไรที่เรียบง่ายและชัดเจนในตัวเองไปแล้วหรือเปล่า? และเพื่อที่จะสะท้อน OP ทำไมไม่ใช้หลังจากทั้งหมดนั่นสอดคล้องกับ !

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{σ}

$\sqrt{\sigma}$

— whuber

ทฤษฎีตามที่ระบุไว้มีการลู่เข้าสู่ N (0,1) ดังนั้นเพื่อให้บรรลุว่าคุณต้องรู้ use และใช้มันหรือใช้การประเมินที่สอดคล้องกันซึ่งทำงานโดยทฤษฎีบทของ Slutsky ที่ฉันคิด ฉันไม่ชัดเจนหรือ

— Michael Chernick

ฉันไม่คิดว่าคุณไม่ชัดเจน ฉันแค่คิดว่าจุดสำคัญอาจหายไป ที่สุดสำหรับการแจกแจงจำนวนมากเราสามารถได้รับการแจกแจงปกติที่ จำกัด โดยใช้ IQR แทน - แต่แล้วผลลัพธ์นั้นไม่เป็นระเบียบ (SD ของการกระจายที่ จำกัด นั้นขึ้นอยู่กับการกระจายที่เราเริ่มต้นด้วย) ฉันแค่แนะนำว่าสิ่งนี้สมควรที่จะถูกเรียกออกมาและอธิบาย จะไม่เป็นที่ชัดเจนกับคนที่ไม่มีสัญชาตญาณที่พัฒนาโดย 40 ปีของการสร้างมาตรฐานการแจกแจงทั้งหมดที่พวกเขาพบ!

s_{n}

$s_n$

— whuber

2

โดยสังหรณ์ใจถ้าสำหรับเราควรคาดหวังว่าเท่ากับคร่าวๆ ; ดูเหมือนว่าจะมีความคาดหวังที่สมเหตุสมผล แต่ฉันไม่คิดว่ามันจำเป็นโดยทั่วไป เหตุผลสำหรับในนิพจน์แรกคือความแปรปรวนของไปที่เช่นและดังนั้นกำลังขยายความแปรปรวนเพื่อให้นิพจน์มีความแปรปรวนเท่ากับ 2 ในนิพจน์ที่สองคำว่าถูกกำหนดให้เป็น $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ $\sqrt n$ $\bar X_n - \mu$ $0$ $\frac 1 n$ $\sqrt n$ $\sigma^2$ $s_n$ $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ ในขณะที่ความแปรปรวนของตัวเศษเพิ่มขึ้นเช่นดังนั้นเราจึงมีความแปรปรวนของนิพจน์ทั้งหมดเป็นค่าคงที่ (ในกรณีนี้) $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

โดยพื้นฐานแล้วเรารู้ว่ามีบางสิ่งที่ "น่าสนใจ" กำลังเกิดขึ้นกับการกระจายของแต่ถ้าเราไม่จัดกึ่งกลางและปรับขนาดอย่างเหมาะสมเราจะไม่สามารถมองเห็นได้ ฉันเคยได้ยินสิ่งนี้อธิบายบางครั้งว่าจำเป็นต้องปรับกล้องจุลทรรศน์ ถ้าเราไม่ระเบิด (เช่น)โดยจากนั้นเราก็มีการกระจายโดยกฎหมายที่อ่อนแอ ผลลัพธ์ที่น่าสนใจคือเป็นสิทธิ์ของตัวเอง แต่ไม่ได้ให้ข้อมูลเท่า CLT หากเราขยายปัจจัยซึ่งครอบงำโดยเรายังคงได้รับในขณะที่ปัจจัยซึ่งปกครอง $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ $\sqrt n$ ให้\ ปรากฎว่าเป็นเพียงการขยายที่ถูกต้องเพื่อให้สามารถมองเห็นสิ่งที่เกิดขึ้นในกรณีนี้ (หมายเหตุ: การบรรจบทั้งหมดที่นี่เป็นการแจกแจงมีอีกระดับของการขยายที่น่าสนใจสำหรับการลู่เข้าที่แน่นอน กฎหมายของลอการิทึมซ้ำแล้วซ้ำอีก) $a_n(\bar X_n - \mu) \to \infty$ $\sqrt n$

— ผู้ชาย
แหล่งที่มา

4

คำถามพื้นฐานที่ควรให้ความสำคัญเป็นอันดับแรกคือสาเหตุที่ใช้ SD เพื่อวัดการกระจายตัว ทำไมไม่วินาทีกลางสำหรับค่าอื่น ๆ ของ ? หรือทำไมไม่ IQR หรือญาติของมัน? เมื่อตอบแล้วคุณสมบัติที่เรียบง่ายของความแปรปรวนร่วมจะให้การพึ่งพา (เนื่องจาก @ Gui11aume ได้อธิบายเมื่อเร็ว ๆ นี้)

k^{th}

$k^\text{th}$

k

$k$

\sqrt{n}

$\sqrt{n}$

— whuber

1

@ เมื่อฉันเห็นด้วยซึ่งเป็นเหตุผลว่าทำไมฉันจึงนำเสนอนี้เป็นแบบแก้ปัญหา ฉันไม่แน่ใจว่ามันจะเป็นคำอธิบายง่ายๆ แต่ฉันก็ชอบที่จะได้ยิน สำหรับฉันฉันไม่แน่ใจว่าฉันมีเหตุผลที่เรียบง่ายและสามารถอธิบายได้ในอดีต "เนื่องจากคำว่าสแควร์เป็นคำศัพท์ที่เกี่ยวข้องในการขยายตัวของลักษณะฟังก์ชั่นเทย์เลอร์เมื่อคุณลบค่าเฉลี่ยออก"

— ผู้ชาย