มีตัวอย่างใดบ้างที่ทฤษฎีบทขีด จำกัด กลางไม่ถือ?

32

Wikipedia พูดว่า -

ในทฤษฎีความน่าจะเป็นทฤษฎีขีด จำกัด กลาง (CLT) กำหนดว่าในสถานการณ์ส่วนใหญ่เมื่อมีการเพิ่มตัวแปรสุ่มแบบอิสระผลรวมปกติที่ถูกต้องของพวกมันมีแนวโน้มไปสู่การแจกแจงแบบปกติ (อย่างไม่เป็นทางการว่า กระจายตามปกติ ...

เมื่อมีข้อความว่า "ในสถานการณ์ส่วนใหญ่" ทฤษฎีบทขีด จำกัด กลางในสถานการณ์ใดไม่ทำงาน

— Ryan McCauley
แหล่งที่มา

33

เพื่อให้เข้าใจสิ่งนี้คุณต้องระบุเวอร์ชันของ Central Limit Theorem ก่อน นี่คือคำสั่ง "ทั่วไป" ของทฤษฎีบทขีด จำกัด กลาง:

Lindeberg – Lévy CLT สมมติว่าเป็นลำดับของตัวแปรสุ่ม IID กับและ<\ ให้{n}} จากนั้นเมื่อ เข้าใกล้อนันต์ตัวแปรสุ่มมาบรรจบกันในการแจกแจงแบบปกติเช่น ${X_1, X_2, \dots}$ $E[X_i] = \mu$ $Var[X_i] = \sigma^2 < \infty$ $S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$ $n$ $\sqrt{n}(S_n − \mu)$ $N(0,\sigma^2)$

$\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2}) .$ ${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$

ดังนั้นสิ่งนี้แตกต่างจากคำอธิบายอย่างไม่เป็นทางการและช่องว่างคืออะไร มีความแตกต่างหลายประการระหว่างคำอธิบายที่ไม่เป็นทางการของคุณกับคำอธิบายนี้ซึ่งบางคำอธิบายไว้ในคำตอบอื่น แต่ไม่สมบูรณ์ ดังนั้นเราสามารถเปลี่ยนให้เป็นสามคำถามที่เฉพาะเจาะจง:

จะเกิดอะไรขึ้นถ้าตัวแปรนั้นไม่ได้ถูกกระจายแบบเดียวกัน?
ถ้าตัวแปรมีความแปรปรวนอนันต์หรือค่าเฉลี่ยอนันต์ล่ะ?
อิสรภาพสำคัญแค่ไหน?

ถ่ายทีละอัน

ไม่ได้กระจายอย่างเหมือนกันผลลัพธ์ทั่วไปที่ดีที่สุดคือทฤษฎีบทขีด จำกัด กลางของ Lindeberg และ Lyaponov โดยทั่วไปตราบใดที่ค่าเบี่ยงเบนมาตรฐานไม่เพิ่มขึ้นอย่างดุเดือดคุณสามารถดึงทฤษฎีบทขีด จำกัด กลางที่เหมาะสมออกมาได้

Lyapunov CLT. [5] สมมติว่าเป็นลำดับของตัวแปรสุ่มอิสระแต่ละตัวมีค่าที่คาดหวังอย่างแน่นอนและผลต่าง กำหนด: ${X_1, X_2, \dots}$ $\mu_i$ $\sigma^2$ $s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

ถ้าสำหรับเงื่อนไขของ Lyapunov พอใจแล้วผลรวมของ ลู่เข้าสู่การแจกแจงเป็นตัวแปรสุ่มมาตรฐานแบบปกติเมื่อ n ไปที่อนันต์: $\delta > 0$ $\lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0$ $X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

ความแปรปรวนอนันต์ ทฤษฎีบทคล้ายกับทฤษฎีบทขีด จำกัด กลางมีอยู่สำหรับตัวแปรที่มีความแปรปรวนแบบไม่สิ้นสุด หลักหางของการกระจายความน่าจะเป็นที่จะต้องมีการ asymptoticสำหรับ<2 ในกรณีนี้สเกลที่เหมาะสมจะถูกรวมเข้ากับการแจกแจงที่เสถียรของอัลฟ่า - อัลฟ่า $|x|^{-\alpha-1}$ $0 < \alpha < 2$

ความสำคัญของการประกาศอิสรภาพมีแตกต่างกันมากทฤษฎีบทขีด จำกัด กลางสำหรับลำดับที่ไม่เป็นอิสระจากการเป็นx_iพวกมันล้วนมีบริบทสูง แบทแมนชี้ให้เห็นว่ามีหนึ่งสำหรับ Martingales คำถามนี้เป็นประเด็นการวิจัยต่อเนื่องที่มีความหลากหลายแตกต่างกันไปขึ้นอยู่กับบริบทเฉพาะของความสนใจ คำถามใน Math Exchange นี้เป็นอีกโพสต์ที่เกี่ยวข้องกับคำถามนี้ $X_i$

— จอห์น
แหล่งที่มา

2

ฉันลบ Stray ">" ออกจากสูตรที่ฉันคิดว่าได้พุ่งเข้ามาเนื่องจากระบบการอ้าง - อย่าลังเลที่จะย้อนกลับการแก้ไขของฉันหากเป็นไปโดยเจตนา!

— Silverfish

อาร์เรย์สามเหลี่ยม CLT น่าจะเป็นตัวแทน CLT มากกว่าที่ระบุไว้ ส่วนที่ไม่เป็นอิสระนั้น CLT ของ martingale เป็นกรณีที่ใช้กันทั่วไปอย่างสมเหตุสมผล

— แบทแมน

@ แบทแมนตัวอย่างของ CLT อาร์เรย์รูปสามเหลี่ยมคืออะไร อย่าลังเลที่จะแก้ไขคำตอบของฉันเพื่อเพิ่ม ฉันไม่คุ้นเคยกับสิ่งนั้น

— จอห์น

บางอย่างเช่นวินาที 4.2.3 ในpersonal.psu.edu/drh20/asymp/lectures/p93to100.pdf

— แบทแมน

1

"ตราบใดที่ค่าเบี่ยงเบนมาตรฐานไม่ขยายจนเกินไป" หรือลดขนาดลง (เช่น:

σ_{i}^{2} = σ_{i - 1}^{2} / 2

$\sigma_i^2 = \sigma_{i-1}^2/2$

— 2/2

21

แม้ว่าฉันค่อนข้างแน่ใจว่าได้รับคำตอบมาก่อนแล้ว แต่นี่เป็นอีกคำตอบหนึ่ง:

มีทฤษฎีบทขีด จำกัด กลางหลายรุ่นโดยทั่วไปเป็นฟังก์ชันที่มีความหนาแน่นของความน่าจะเป็นโดยพลการผลรวมของตัวแปรจะกระจายตามปกติโดยมีค่าเฉลี่ยเท่ากับผลรวมของค่าเฉลี่ยและความแปรปรวนเป็นผลรวม ของผลต่างแต่ละรายการ

ข้อ จำกัด ที่สำคัญและเกี่ยวข้องมากที่สุดคือค่าเฉลี่ยและความแปรปรวนของไฟล์ PDF ที่กำหนดต้องมีอยู่และจะต้องมีขอบเขต จำกัด

ดังนั้นเพียงแค่ใช้ไฟล์ PDF ใด ๆ ที่ไม่มีค่าเฉลี่ยหรือความแปรปรวน - และทฤษฎีบทขีด จำกัด กลางจะไม่ถืออีกต่อไป ดังนั้นลองแจกแจง Lorentzian เป็นตัวอย่าง

— เด็กน่าเอ็นดู
แหล่งที่มา

+1 หรือรับการแจกแจงที่มีความแปรปรวนแบบไม่สิ้นสุดเช่นการกระจายการเดินแบบสุ่ม

— Alexis

2

@Alexis - สมมติว่าคุณกำลังมองหาการเดินสุ่มที่จุด จำกัด ในเวลาฉันจะคิดว่ามันจะมีความแปรปรวนแน่นอนเป็นผลรวมของ iid แต่ละขั้นตอนที่มีความแปรปรวนแน่นอน

n

$n$

— Henry

1

@Henry: ไม่ฉันไม่ได้คาดหวังในเวลา แต่ความแปรปรวนของการกระจายของการเดินสุ่มที่เป็นไปได้ทั้งหมดที่มีความยาวไม่ จำกัด

— Alexis

1

@Alexis หากแต่ละขั้นตอนของการเดินแบบสุ่มคือหรือ iid ด้วยความน่าจะเป็นที่เท่ากันและตำแหน่งคือดังนั้นทฤษฎีการ จำกัด ศูนย์กลางหมายถึงอย่างถูกต้องว่าเป็นคุณมีการแจกแจงบรรจบกันในการแจกจ่ายให้กับ

X_{i}

$X_i$

+ 1

$+1$

- 1

$-1$

Y_{n} = \sum_{1}^{n} X_{i}

$Y_n =\sum_1^n X_i$

n \to \infty

$n \to \infty$

\sqrt{n} (\frac{1}{n} Y_{n}) = \frac{Y_{n}}{\sqrt{n}}

$\sqrt{n}\left(\frac1n Y_n\right) = \frac{Y_n}{\sqrt{n}}$

N (0, 1)

$\mathcal N(0,1)$

— เฮนรี่

1

@Alexis ไม่สำคัญสำหรับ CLT เนื่องจากการแจกจ่ายแต่ละรายการยังคงมีความแปรปรวนแน่นอน

— Cubic

15

ไม่ CLT ถือครองเสมอเมื่อมีการสันนิษฐาน คุณสมบัติเช่น "ในสถานการณ์ส่วนใหญ่" เป็นการอ้างอิงอย่างไม่เป็นทางการกับเงื่อนไขภายใต้ CLT ที่ควรนำมาใช้

ยกตัวอย่างเช่นการรวมกันเชิงเส้นของตัวแปรอิสระจากการกระจาย Cauchy จะไม่เพิ่มขึ้นถึงตัวแปรกระจายปกติ หนึ่งในเหตุผลคือความแปรปรวนไม่ได้กำหนดไว้สำหรับการแจกแจงโคชีในขณะที่ CLT วางเงื่อนไขบางประการเกี่ยวกับความแปรปรวนเช่นว่าจะต้องมีขอบเขตแน่นอน ข้อสรุปที่น่าสนใจคือตั้งแต่ CLT มอนติคาร์โลได้รับแรงบันดาลใจจาก CLT คุณจะต้องระมัดระวังกับการจำลองของมอนติคาร์โลเมื่อต้องรับมือกับการแจกแจงแบบไขมันเช่น Cauchy

โปรดทราบว่ามีCLT เวอร์ชันทั่วไป มันใช้งานได้สำหรับความแปรปรวนไม่สิ้นสุดหรือไม่ได้กำหนดเช่นการแจกแจง Cauchy ซึ่งแตกต่างจากการกระจายพฤติกรรมที่ดีจำนวนผลรวมปกติของจำนวน Cauchy ยังคง Cauchy มันไม่ได้มาบรรจบกันที่ Gaussian

อย่างไรก็ตามไม่เพียงแค่เกาส์เซียนเท่านั้น แต่ยังมีดิสทริบิวชันอื่น ๆ อีกมากมายที่มีรูประฆัง PDF เช่นนักเรียน นั่นเป็นเหตุผลที่คำอธิบายที่คุณยกมานั้นค่อนข้างเสรีและไม่แน่นอน

— Aksakal
แหล่งที่มา

7

นี่คือตัวอย่างของคำตอบน่าเอ็นดูของกราฟของ 1e5 ดึงออกมาจากการปรับขนาด (โดย ) หมายถึงตัวอย่างของ t-กระจายกับสององศาอิสระดังกล่าวที่แปรปรวนไม่อยู่ $\sqrt{n}$

ถ้าใช้ CLT ฮิสโตแกรมสำหรับที่มีขนาดใหญ่เท่ากับควรมีความคล้ายคลึงกับความหนาแน่นของการแจกแจงแบบปกติมาตรฐาน (ซึ่งเช่นมีความหนาแน่นที่จุดสูงสุด) ซึ่งเห็นได้ชัดว่าไม่ $n$ $n=1000$ $1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

— คริสโตฟฮันค์
แหล่งที่มา

3

t

$t$

3

$3$

0.4

$0.4$

\frac{1}{\sqrt{6 π}} \approx 0.23

$\frac1{\sqrt{6\pi}}\approx 0.23$

1

$1$

นั่นคือประเด็นที่ดีใครคนหนึ่งอาจทำให้ค่าเฉลี่ยโดยsd(x)การหาอะไรบางอย่างซึ่งถ้า CLT ทำงานได้ผลโดยทฤษฎีบทของ Slutzky ไปที่ตัวแปร N (0,1) ฉันต้องการให้ตัวอย่างง่าย แต่คุณก็ใช่

— Christoph Hanck

6

กรณีง่ายๆที่ CLT ไม่สามารถถือสำหรับเหตุผลในทางปฏิบัติมากคือเมื่อลำดับของตัวแปรสุ่มใกล้ขีด จำกัด ของความน่าจะเป็นของมันอย่างเคร่งครัดจากด้านข้างหนึ่ง สิ่งนี้เกิดขึ้นได้เช่นในตัวประมาณค่าที่ประมาณบางสิ่งที่อยู่บนขอบเขต

$\theta$ $U(0,\theta)$ $\theta$ $\theta$ $\theta$

ตัวประมาณค่าที่ถูกต้องมีการกระจาย จำกัด - แต่ไม่ใช่ของ "CLT หลากหลาย"

— Alecos Papadopoulos
แหล่งที่มา

3

คุณสามารถหาวิธีแก้ไขปัญหาได้อย่างรวดเร็วที่นี่

ข้อยกเว้นสำหรับทฤษฎีบทกลาง จำกัด เกิดขึ้น

เมื่อมีหลายค่าสูงสุดความสูงเดียวกันและ
ตำแหน่งที่อนุพันธ์อันดับสองหายไปสูงสุด

มีข้อยกเว้นอื่น ๆ ที่ระบุไว้ในคำตอบของ @cherub

คำถามเดียวกันได้ถูกถามในmath.stackexchangeแล้ว คุณสามารถตรวจสอบคำตอบที่นั่น

— Ferdi
แหล่งที่มา

5

โดย "maxima" คุณหมายถึงโหมดต่างๆหรือไม่ การเป็น bimodal นั้นไม่เกี่ยวข้องกับความล้มเหลวในการตอบสนองต่อ CLT

— สะสม

M (z) = \sum_{n = - \infty}^{\infty} P (X = n) z^{n}

$M(z)=\sum_{n=-\infty}^\infty P(X=n)z^n$

@AlexR คำตอบนั้นไม่สมเหตุสมผลเลยโดยไม่ต้องอ่านผ่านลิงก์และยังห่างไกลจากความชัดเจนแม้กระทั่งกับลิงก์ ฉันโน้มตัวลงสู่การ downvoting ยิ่งแย่กว่าคำตอบของลิงค์เท่านั้น

— สะสม