ในบริบทที่แตกต่างกันเราเรียกใช้ทฤษฎีขีด จำกัด กลางเพื่อพิสูจน์ว่าวิธีการทางสถิติใดก็ตามที่เราต้องการนำมาใช้ (เช่นประมาณการแจกแจงทวินามโดยการแจกแจงแบบปกติ) ฉันเข้าใจรายละเอียดทางเทคนิคว่าทำไมทฤษฎีบทถึงเป็นจริง แต่ตอนนี้เพิ่งเกิดขึ้นกับฉันที่ฉันไม่เข้าใจสัญชาตญาณเบื้องหลังทฤษฎีขีด จำกัด กลาง

ดังนั้นสัญชาตญาณที่อยู่เบื้องหลังทฤษฎีบทขีด จำกัด กลางคืออะไร?

คำอธิบายของคนธรรมดาจะเหมาะ หากต้องการรายละเอียดทางเทคนิคโปรดสันนิษฐานว่าฉันเข้าใจแนวคิดของ pdf, cdf, ตัวแปรสุ่ม ฯลฯ แต่ไม่มีความรู้เกี่ยวกับแนวคิดคอนเวอร์เจนซ์ฟังก์ชั่นลักษณะหรือสิ่งใดที่เกี่ยวข้องกับทฤษฎีการวัด

ฉันขอโทษล่วงหน้าสำหรับความยาวของโพสต์นี้: มันเป็นความกังวลใจบางอย่างที่ฉันปล่อยให้มันออกมาในที่สาธารณะเพราะต้องใช้เวลาและความสนใจในการอ่านผ่านและไม่ต้องสงสัยเลยว่ามีข้อผิดพลาดเกี่ยวกับการพิมพ์ แต่ที่นี่มีไว้สำหรับผู้ที่สนใจในหัวข้อที่น่าสนใจที่เสนอโดยหวังว่าจะช่วยให้คุณระบุหนึ่งหรือหลายส่วนของ CLT เพื่ออธิบายรายละเอียดเพิ่มเติมในการตอบสนองของคุณเอง

---

ความพยายามส่วนใหญ่ใน "การอธิบาย" CLT เป็นภาพประกอบหรือเพียงการกล่าวซ้ำซึ่งยืนยันว่าเป็นจริง คำอธิบายที่ถูกต้องและถูกต้องจริง ๆ จะต้องอธิบายสิ่งต่าง ๆ มากมาย

ก่อนที่จะดูเพิ่มเติมให้ชัดเจนเกี่ยวกับสิ่งที่ CLT พูด อย่างที่คุณรู้มีรุ่นที่แตกต่างกันไปในรุ่นทั่วไป บริบททั่วไปคือลำดับของตัวแปรสุ่มซึ่งเป็นฟังก์ชันบางชนิดในพื้นที่ความน่าจะเป็นทั่วไป สำหรับคำอธิบายที่ใช้งานง่ายที่เก็บอย่างจริงจังฉันคิดว่ามันเป็นประโยชน์ที่จะคิดว่าช่องว่างน่าจะเป็นกล่องที่มีวัตถุที่แตกต่าง ไม่สำคัญว่าวัตถุพวกนั้นคืออะไร แต่ฉันจะเรียกพวกเขาว่า "ตั๋ว" เราสร้าง "การสังเกต" หนึ่งกล่องโดยการผสมตั๋วให้ละเอียดและวาดออกมาหนึ่งกล่อง ตั๋วนั้นถือเป็นการสังเกตการณ์ หลังจากบันทึกเพื่อการวิเคราะห์ในภายหลังเราจะคืนตั๋วไปยังกล่องเพื่อให้เนื้อหาไม่เปลี่ยนแปลง "ตัวแปรสุ่ม" โดยทั่วไปคือตัวเลขที่เขียนในแต่ละตั๋ว

ในปี 1733 Abraham de Moivreพิจารณากรณีของกล่องเดียวที่ตัวเลขในตั๋วเป็นเพียงศูนย์และคน ("การทดลอง Bernoulli") กับบางส่วนของตัวเลขในปัจจุบัน เขาคิดทำร่างกายอิสระสังเกตยอมลำดับของค่าซึ่งทั้งหมดเป็นศูนย์หรือหนึ่ง ผลรวมของค่าเหล่านั้นเป็นแบบสุ่มเพราะเงื่อนไขในจำนวนเงินที่มี ดังนั้นหากเราสามารถทำซ้ำขั้นตอนนี้ได้หลายครั้งผลรวมต่างๆ (จำนวนเต็มตั้งแต่ถึง ) จะปรากฏขึ้นพร้อมความถี่ต่าง ๆ - สัดส่วนของผลรวม (ดูฮิสโทแกรมด้านล่าง)x 1 , x 2 , … , x n y n = x 1 + x 2 + … + x n 0 $n$$x_1, x_2, \ldots, x_n$$y_n = x_1 + x_2 + \ldots + x_n$$0$$n$

ทีนี้ใคร ๆ ก็คาดหวัง - และมันก็เป็นความจริง - สำหรับค่ามากที่ของความถี่ทั้งหมดจะค่อนข้างเล็ก ถ้าเราจะให้เป็นตัวหนา (หรือโง่) เป็นความพยายามที่จะ "เอาขีด จำกัด" หรือ "ให้ไป " เราจะสรุปได้อย่างถูกต้องว่าความถี่ทั้งหมดลดลงเหลือ0แต่ถ้าเราวาดฮิสโตแกรมของความถี่โดยไม่สนใจว่าแกนของมันมีป้ายกำกับเราจะเห็นว่าฮิสโทแกรมของขนาดใหญ่ทั้งหมดเริ่มเหมือนกัน: ในบางกรณีฮิสโทแกรมเหล่านี้เข้าใกล้ขีด จำกัดแม้ว่าความถี่ พวกเขาทั้งหมดไปที่ศูนย์n ∞ 0 $n$$n$$\infty$$0$$n$

ฮิสโทแกรมเหล่านี้แสดงผลลัพธ์ของการทำซ้ำขั้นตอนการรับหลายครั้ง คือ "จำนวนการทดลอง" ในชื่อเรื่อง$y_n$$n$

ความเข้าใจที่นี่คือการวาดกราฟแรกและป้ายแกนในภายหลัง ด้วยขนาดใหญ่ฮิสโตแกรมจะครอบคลุมช่วงของค่าขนาดใหญ่ที่อยู่กึ่งกลางรอบ (บนแกนนอน) และช่วงเวลาเล็ก ๆ ของค่าที่หายไป (บนแกนตั้ง) เนื่องจากความถี่แต่ละตัวมีขนาดค่อนข้างเล็ก การทำให้เส้นโค้งนี้เหมาะสมกับพื้นที่การพล็อตจึงจำเป็นต้องมีทั้งการเลื่อนและการลดขนาดของฮิสโตแกรม คำอธิบายทางคณิตศาสตร์ของสิ่งนี้คือสำหรับแต่ละเราสามารถเลือกค่ากลาง (ไม่จำเป็นต้องไม่ซ้ำกัน!) เพื่อจัดตำแหน่งฮิสโตแกรมและค่าสเกลบางค่าn / 2 n m n s n y n z n = ( y n - m n ) / s $n$$n/2$$n$$m_n$$s_n$(ไม่จำเป็นต้องไม่ซ้ำกัน!) เพื่อให้พอดีกับแกน ซึ่งสามารถทำได้โดยการเปลี่ยนทางคณิตศาสตร์เพื่อs_n$y_n$$z_n = (y_n - m_n) / s_n$

โปรดจำไว้ว่าฮิสโตแกรมแสดงความถี่โดยพื้นที่ระหว่างมันกับแกนนอน ความมั่นคงในที่สุด histograms เหล่านี้สำหรับค่ามากดังนั้นจึงควรที่ระบุไว้ในแง่ของพื้นที่ $n$ ดังนั้นเลือกช่วงเวลาใด ๆ ของค่าที่คุณชอบพูดจากถึงและเมื่อเพิ่มขึ้นติดตามพื้นที่ของส่วนของฮิสโตแกรมของที่ครอบคลุมช่วงเวลาในแนวนอน CLT ยืนยันหลาย ๆ สิ่ง:b > a n z n ( a , b $a$$b \gt a$$n$$z_n$$(a, b]$

1. ไม่ว่าและคืออะไร$a$$b$ถ้าเราเลือกลำดับและอย่างเหมาะสม (ในวิธีที่ไม่ขึ้นกับหรือเลย) พื้นที่นี้ใกล้ถึงขีด จำกัด เมื่อมีขนาดใหญ่s n a b $m_n$$s_n$$a$$b$$n$

2. ลำดับและสามารถเลือกได้ในลักษณะที่ขึ้นอยู่กับค่าเฉลี่ยของค่าในกล่องและการวัดการแพร่กระจายของค่าเหล่านั้น - แต่ไม่มีอะไรอื่น - โดยไม่คำนึงถึงสิ่งที่อยู่ในกล่อง ขีด จำกัด จะเท่ากันเสมอ (คุณสมบัติความเป็นสากลนี้น่าทึ่งมาก)s n$m_n$$s_n$$n$

3. โดยเฉพาะพื้นที่ จำกัด นั้นคือพื้นที่ใต้เส้นโค้งระหว่างและ : นี่คือสูตรของฮิสโทแกรม จำกัด สากล a$y = \exp(-z^2/2) / \sqrt{2 \pi}$$a$$b$

   การวางนัยทั่วไปครั้งแรกของ CLT เพิ่ม

4. เมื่อกล่องสามารถมีตัวเลขได้นอกเหนือจากศูนย์และจำนวนนั้นข้อสรุปเดียวกันทั้งหมดถือ (โดยมีสัดส่วนของตัวเลขที่มีขนาดใหญ่มากหรือเล็กในกล่องไม่ใช่ "ยอดเยี่ยม" เป็นเกณฑ์ที่มีคำสั่งเชิงปริมาณที่แม่นยำและเรียบง่าย) .

   การวางนัยทั่วไปครั้งต่อไปและอาจเป็นสิ่งที่น่าตื่นตาตื่นใจที่สุดแทนที่ตั๋วแบบกล่องเดี่ยวนี้ด้วยกล่องแบบเรียงลำดับแบบยาวที่สั่งแบบไม่ จำกัด พร้อมตั๋ว แต่ละกล่องสามารถมีตัวเลขที่แตกต่างกันในตั๋วในสัดส่วนที่แตกต่างกัน การสังเกตทำโดยการดึงตั๋วจากกล่องแรกมาจากกล่องที่สองเป็นต้นx $x_1$$x_2$

5. ข้อสรุปเดียวกันถือไว้โดยเนื้อหาของกล่องคือ "ไม่แตกต่างกันมาก" (มีหลายอย่างแม่นยำ แต่แตกต่างกันการกำหนดลักษณะเชิงปริมาณของสิ่งที่ "ไม่แตกต่างกันเกินไป" มีความหมาย; พวกเขาอนุญาตให้ละติจูดที่น่าอัศจรรย์)

อย่างน้อยห้าคำยืนยันนี้ต้องอธิบายอย่างน้อย ยังมีอีก. แง่มุมที่น่าสนใจหลายประการของการตั้งค่านั้นมีความหมายโดยนัยในข้อความทั้งหมด ตัวอย่างเช่น,

• สิ่งที่พิเศษเกี่ยวกับผลรวมคืออะไร? ทำไมเราไม่มีทฤษฎี จำกัด ศูนย์กลางสำหรับการรวมกันทางคณิตศาสตร์อื่น ๆ ของตัวเลขเช่นผลิตภัณฑ์หรือค่าสูงสุด? (มันจะเปิดออกที่เราทำ แต่พวกเขาจะไม่ได้ค่อนข้างทั่วไปจึงไม่ทำพวกเขามักจะมีโอกาสได้ทำความสะอาดข้อสรุปง่าย ๆ จนกว่าพวกเขาจะสามารถลดลงไป CLT.) ลำดับของและไม่ได้ที่ไม่ซ้ำกัน แต่พวกเขาเกือบจะไม่ซ้ำกัน ในแง่ที่ว่าในที่สุดพวกเขาต้องประมาณความคาดหวังของผลรวมของตั๋วและค่าเบี่ยงเบนมาตรฐานของผลรวมตามลำดับ (ซึ่งในสองข้อความแรกของ CLT เท่ากับคูณค่าเบี่ยงเบนมาตรฐานของ กล่อง). s n n $m_n$$s_n$$n$$\sqrt{n}$

  ค่าเบี่ยงเบนมาตรฐานคือการวัดส่วนหนึ่งของการแพร่กระจายของค่า แต่มันไม่ได้หมายความว่ามีเพียงสิ่งเดียวเท่านั้นที่เป็น "ธรรมชาติ" ที่สุดในอดีตหรือในหลาย ๆ แอปพลิเคชัน (คนจำนวนมากจะเลือกสิ่งที่ต้องการค่าเบี่ยงเบนสัมบูรณ์แบบมัธยฐานจากค่ามัธยฐานเป็นต้น)

• เหตุใด SD จึงปรากฏในวิธีที่จำเป็นเช่นนี้?

• ลองพิจารณาสูตรของฮิสโตแกรมที่ จำกัด : ใครจะคิดว่ามันจะอยู่ในรูปแบบนี้? มันบอกว่าลอการิทึมของความหนาแน่นของความน่าจะเป็นเป็นฟังก์ชันกำลังสอง ทำไม? มีคำอธิบายที่ใช้งานง่ายหรือชัดเจนและน่าสนใจสำหรับเรื่องนี้หรือไม่?

---

ฉันขอสารภาพว่าฉันไม่สามารถบรรลุเป้าหมายสูงสุดในการจัดหาคำตอบที่ง่ายพอที่จะตอบสนองความท้าทายและความเรียบง่ายของศรีคานต์ได้ แต่ฉันได้ร่างภาพพื้นหลังนี้ด้วยความหวังว่าคนอื่น ๆ อาจได้รับแรงบันดาลใจ ผมคิดว่าการสาธิตที่ดีที่สุดจะต้องพึ่งพาการวิเคราะห์เบื้องต้นของวิธีการที่ค่าระหว่างและสามารถเกิดขึ้นได้ในการจัดตั้งรวมx_n กลับไปที่รุ่น CLT กล่องเดียวกรณีของการกระจายแบบสมมาตรนั้นง่ายต่อการจัดการ: ค่ามัธยฐานเท่ากับค่าเฉลี่ยดังนั้นจึงมีโอกาส 50% ที่จะน้อยกว่าค่าเฉลี่ยของกล่องและโอกาส 50% ที่β n = b s n + m n x 1 + x 2 + … + x n x ฉันx ฉัน$\alpha_n = a s_n + m_n$$\beta_n = b s_n + m_n$$x_1 + x_2 + \ldots + x_n$$x_i$$x_i$จะมากกว่าค่าเฉลี่ย ยิ่งกว่านั้นเมื่อมีขนาดใหญ่พอค่าเบี่ยงเบนในเชิงบวกจากค่าเฉลี่ยควรชดเชยความเบี่ยงเบนเชิงลบในค่าเฉลี่ย (สิ่งนี้ต้องมีเหตุผลอย่างระมัดระวังไม่ใช่แค่โบกมือ) ดังนั้นเราควรจะต้องกังวลเกี่ยวกับการนับจำนวนการเบี่ยงเบนเชิงบวกและเชิงลบและมีความกังวลรองเกี่ยวกับขนาดของมัน$n$ (ในทุกสิ่งที่ฉันเขียนที่นี่อาจเป็นประโยชน์มากที่สุดในการให้สัญชาตญาณว่าเหตุใด CLT จึงใช้งานได้จริง ๆ แล้วสมมติฐานทางเทคนิคที่จำเป็นในการทำให้ภาพรวมของ CLT เป็นจริงนั้น การเบี่ยงเบนขนาดใหญ่ที่หายากจะทำให้เสียสมดุลมากพอที่จะป้องกันไม่ให้ฮิสโตแกรมที่ จำกัด เกิดขึ้น)

นี่แสดงให้เห็นว่าในระดับหนึ่งแล้วทำไมการวางนัยทั่วไปครั้งแรกของ CLT จึงไม่ได้เปิดเผยอะไรเลยที่ไม่ได้อยู่ในเวอร์ชันทดลองต้นฉบับของ Bernoulli ของ Moivre

ณ จุดนี้ดูเหมือนว่าไม่มีอะไร แต่ทำคณิตศาสตร์เล็กน้อย: เราต้องนับจำนวนวิธีที่ชัดเจนซึ่งจำนวนการเบี่ยงเบนเชิงบวกจากค่าเฉลี่ยอาจแตกต่างจากจำนวนการเบี่ยงเบนเชิงลบโดยค่าที่กำหนดไว้ล่วงหน้าที่เห็นได้ชัดเป็นหนึ่งในn แต่เนื่องจากข้อผิดพลาดเล็กน้อยที่หายไปจะหายไปภายในขีด จำกัด เราจึงไม่ต้องนับอย่างแม่นยำ เราเพียงต้องการประมาณค่า ด้วยเหตุนี้จึงพอเพียงที่จะรู้ว่าk - n , - n + 2 , … , n - 2 , $k$$k$$-n, -n+2, \ldots, n-2, n$

$$\text{The number of ways to obtain } k \text{ positive and } n-k \text{ negative values out of } n$$

$$\text{equals } \frac{n-k+1}{k}$$

$$\text{times the number of ways to get } k-1 \text{ positive and } n-k+1 \text { negative values.}$$

(นั่นเป็นผลเบื้องต้นอย่างสมบูรณ์แบบดังนั้นฉันจะไม่รำคาญที่จะเขียนข้ออ้าง) ตอนนี้เราประมาณขายส่ง ความถี่สูงสุดเกิดขึ้นเมื่อใกล้เคียงกับมากที่สุดเท่าที่จะเป็นไปได้เช่นกัน ลองเขียน 2 จากนั้นสัมพันธ์กับความถี่สูงสุดความถี่ของส่วนเบี่ยงเบนบวก ( ) ถูกประเมินโดยผลิตภัณฑ์n / 2 m = n / 2 m + j + 1 j ≥ $k$$n/2$$m = n/2$$m+j+1$$j \ge 0$

$$\frac{m+1}{m+1} \frac{m}{m+2} \cdots \frac{m-j+1}{m+j+1}$$

$$=\frac{1 - 1/(m+1)}{1 + 1/(m+1)} \frac{1-2/(m+1)}{1+2/(m+1)} \cdots \frac{1-j/(m+1)}{1+j/(m+1)}.$$

135 ปีก่อนที่เดอโมไอร์จะเขียน John Napier ได้ประดิษฐ์ลอการิทึมเพื่อทำให้การคูณง่ายขึ้นดังนั้นเราจึงใช้ประโยชน์จากสิ่งนี้ การใช้การประมาณ

$$\log\left(\frac{1-x}{1+x}\right) \sim -2x,$$

เราพบว่าบันทึกของความถี่สัมพัทธ์นั้นประมาณ

$$-2/(m+1) - 4/(m+1) - \cdots - 2j/(m+1) = -\frac{j(j+1)}{m+1} \sim -\frac{j^2}{m}.$$

เนื่องจากข้อผิดพลาดที่สะสมเป็นสัดส่วนกับนี้ควรจะทำงานที่จัดไว้ให้ดีเป็นญาติขนาดเล็กเพื่อ 3 ซึ่งครอบคลุมช่วงของค่ามากกว่าที่ต้องการ (มันเพียงพอสำหรับการประมาณเพื่อทำงานกับเฉพาะในคำสั่งของซึ่ง asymptotically น้อยกว่ามากj 4 m 3 j j $j^4/m^3$$j^4$$m^3$$j$$j$ม. 3 /$\sqrt{m}$$m^{3/4}$

---

เห็นได้ชัดว่าการวิเคราะห์ประเภทนี้มากขึ้นควรนำเสนอเหตุผลในการยืนยันอื่น ๆ ใน CLT แต่ฉันหมดเวลาพื้นที่และพลังงานและฉันอาจสูญเสีย 90% ของผู้ที่เริ่มอ่านบทความนี้ นี้ประมาณเรียบง่าย แต่แสดงให้เห็นว่าเดอ Moivre อาจเดิมได้สงสัยว่ามีการกระจายการ จำกัด สากลว่าลอการิทึมของการเป็นฟังก์ชันกำลังสองและขนาดที่เหมาะสมปัจจัยต้องเป็นสัดส่วนกับ (เพราะ )$s_n$$\sqrt{n}$$j^2/m = 2 j^2 / n = 2 (j/\sqrt{n})^2$ เป็นการยากที่จะจินตนาการว่าความสัมพันธ์เชิงปริมาณที่สำคัญนี้สามารถอธิบายได้โดยไม่ต้องใช้ข้อมูลทางคณิตศาสตร์และการใช้เหตุผลบางอย่าง อะไรที่น้อยกว่าจะทำให้รูปร่างที่แม่นยำของเส้นโค้งที่ จำกัด เป็นปริศนาที่สมบูรณ์

แอนิเมชั่นที่อร่อยที่สุดที่ฉันรู้: http://www.ms.uky.edu/~mai/java/stat/GaltonMachine.html

คำที่ง่ายที่สุดที่ฉันได้อ่าน: http://elonen.iki.fi/articles/centrallimit/index.en.html

หากคุณรวมผลลัพธ์ของการโยนสิบครั้งเหล่านี้สิ่งที่คุณได้รับมีแนวโน้มที่จะใกล้เคียงกับ 30-40 มากกว่าสูงสุด 60 (ทั้งหก) หรือในทางกลับกัน Minumum, 10 (ทั้งหมด)

เหตุผลสำหรับสิ่งนี้คือคุณสามารถรับค่ากลางได้หลายวิธีมากกว่าสุดขั้ว ตัวอย่าง: เมื่อโยนลูกเต๋าสองลูก: 1 + 6 = 2 + 5 = 3 + 4 = 7 แต่มีเพียง 1 + 1 = 2 และเพียง 6 + 6 = 12

นั่นคือ: แม้ว่าคุณจะได้รับหนึ่งในหกหมายเลขที่มีโอกาสเท่ากันในการขว้างหนึ่งตาย แต่ความสุดขั้วนั้นมีโอกาสน้อยกว่าค่ากลางในผลรวมของลูกเต๋าหลายลูก

สัญชาตญาณเป็นสิ่งที่ยุ่งยาก มันยิ่งซับซ้อนกว่าด้วยทฤษฎีในมือของเราที่ผูกติดอยู่ด้านหลังของเรา

CLT นั้นเกี่ยวกับผลรวมของการรบกวนเล็ก ๆ น้อย ๆ ที่เป็นอิสระ "ผลรวม" ในแง่ของค่าเฉลี่ยตัวอย่าง "จิ๋ว" ในแง่ของความแปรปรวนอัน จำกัด (ของประชากร) และ "การรบกวน" ในแง่ของการบวก / ลบรอบค่ากลาง (ประชากร)

สำหรับฉันอุปกรณ์ที่ดึงดูดความสนใจมากที่สุดคือสัญชาตญาณคือ quincunx หรือ 'Galton box' ดู Wikipedia (สำหรับ 'bean machine'?) ความคิดคือการกลิ้งลูกบอลเล็ก ๆ ตัวเล็ก ๆ ลงไปที่หน้ากระดานที่ประดับด้วยตาข่าย ของหมุดที่เว้นระยะเท่ากัน เมื่อถึงทางลูกบอลจะเบี่ยงไปทางซ้ายและขวา (... สุ่มโดยอิสระ) และรวบรวมที่ด้านล่าง เมื่อเวลาผ่านไปเราจะเห็นเนินดินรูประฆังสวยอยู่ตรงหน้า

CLT พูดในสิ่งเดียวกัน มันเป็นคำอธิบายทางคณิตศาสตร์ของปรากฏการณ์นี้ (ที่แม่นยำยิ่งขึ้น quincunx เป็นหลักฐานทางกายภาพสำหรับการประมาณแบบปกติกับการแจกแจงทวินาม) CLT พูดอย่างหลวม ๆ บอกว่าตราบใดที่ประชากรของเราไม่ได้ทำงานผิดปกติมากเกินไป (นั่นคือถ้าหางของ PDF นั้นบางพอแล้ว) จากนั้นค่าเฉลี่ยตัวอย่าง (ปรับขนาดอย่างเหมาะสม) จะทำงานเหมือนลูกบอลเล็ก ๆ quincunx: บางครั้งมันก็ตกไปทางซ้ายบางครั้งมันก็ตกไปทางขวา แต่ส่วนใหญ่แล้วมันจะตกลงไปทางตรงกลางในรูประฆังที่สวยงาม

พระบาทสมเด็จพระเจ้าอยู่หัวของ CLT (สำหรับฉัน) คือรูปทรงของประชากรพื้นฐานไม่เกี่ยวข้อง รูปร่างมีบทบาทตราบเท่าที่มันมอบหมายระยะเวลาที่เราต้องรอ (ในแง่ของขนาดตัวอย่าง)

$$S = X_1 + X_2 + \ldots + X_n$$

มี CLT หลายเวอร์ชันบางรุ่นแข็งแกร่งกว่ารุ่นอื่นบางรุ่นมีเงื่อนไขที่ผ่อนคลายเช่นการพึ่งพาในระดับปานกลางระหว่างข้อกำหนดและ / หรือการแจกแจงที่ไม่เหมือนกันสำหรับข้อกำหนด ในที่ง่ายต่อการพิสูจน์รุ่น CLT หลักฐานมักจะขึ้นอยู่กับฟังก์ชั่นช่วงเวลา (หรือ Laplace-Stieltjes เปลี่ยนหรืออื่น ๆ ที่เหมาะสมเปลี่ยนของความหนาแน่น) ของผลรวมSการเขียนสิ่งนี้เป็นการขยายตัวของเทย์เลอร์และการรักษาเฉพาะคำศัพท์ที่โดดเด่นที่สุดทำให้คุณมีฟังก์ชันสร้างช่วงเวลาของการแจกแจงแบบปกติ ดังนั้นสำหรับฉันเป็นการส่วนตัวบรรทัดฐานคือสิ่งที่ตามมาจากสมการจำนวนมากและฉันไม่สามารถให้สัญชาตญาณอะไรได้มากกว่านั้น$S$

ควรสังเกตว่าการกระจายตัวของผลรวมไม่ปกติถูกแจกจ่ายจริง ๆและ CLT ไม่ได้อ้างว่ามันจะเป็นเช่นนั้น ถ้าเป็นจำนวน จำกัด ยังคงมีระยะห่างจากการแจกแจงแบบปกติและถ้าทั้งค่าเฉลี่ยและความแปรปรวนก็ไม่มีที่สิ้นสุดเช่นกัน ในกรณีหลังคุณสามารถหาค่าเฉลี่ยของผลรวมอนันต์ แต่จากนั้นคุณจะได้จำนวนที่กำหนดโดยไม่มีการแปรปรวนใด ๆ เลยซึ่งแทบจะไม่มีป้ายกำกับว่า "กระจายทั่วไป"$n$$n=\infty$

นี่อาจเป็นปัญหากับการใช้งานจริงของ CLT โดยปกติหากคุณสนใจกระจายใกล้กับศูนย์กลาง CLT ทำงานได้ดี อย่างไรก็ตามการลู่เข้าสู่ภาวะปกตินั้นไม่เหมือนกันทุกที่และยิ่งคุณอยู่ห่างจากศูนย์กลางมากเท่าไรคุณก็ยิ่งต้องการคำศัพท์ที่เหมาะสมมากขึ้นเท่านั้น$S/n$

ด้วย "ความศักดิ์สิทธิ์" ทั้งหมดของทฤษฎีขีด จำกัด กลางในสถิติข้อ จำกัด ของมันมักถูกมองข้ามได้ง่ายเกินไป ด้านล่างฉันให้สองสไลด์จากหลักสูตรของฉันทำให้จุดที่ CLT ล้มเหลวอย่างมากในส่วนท้ายในกรณีที่ใช้งานได้จริง น่าเสียดายที่ผู้คนจำนวนมากใช้ CLT เป็นพิเศษในการประมาณความน่าจะเป็นแบบหางหรืออย่างอื่น

คำตอบนี้หวังที่จะให้ความหมายที่เข้าใจง่ายของทฤษฎีบทขีด จำกัด กลางโดยใช้เทคนิคแคลคูลัสอย่างง่าย (เทย์เลอร์ส่วนขยายของลำดับ 3) นี่คือโครงร่าง:

1. สิ่งที่ CLT พูด
2. หลักฐานที่ใช้งานง่ายของ CLT โดยใช้แคลคูลัสอย่างง่าย
3. ทำไมการกระจายปกติ?

เราจะพูดถึงการแจกแจงแบบปกติตอนท้ายสุด เพราะความจริงที่ว่าการแจกแจงแบบปกติในที่สุดก็เกิดขึ้นไม่ได้มีสัญชาตญาณมากนัก

1. ทฤษฎีบทขีด จำกัด กลางพูดว่าอะไร? CLT หลายรุ่น

มีรุ่น euivalent หลายรุ่นของ CLT คำสั่งในตำราเรียนของ CLT กล่าวว่าสำหรับจริงและลำดับของตัวแปรสุ่มอิสระใด ๆด้วยค่าศูนย์และค่าความแปรปรวน 1, เพื่อให้เข้าใจถึงสิ่งที่เป็นสากลและใช้งานง่ายเกี่ยวกับ CLT ขอให้ลืมข้อ จำกัด สักครู่ ข้อความข้างต้นบอกว่าถ้า และเป็นสองลำดับของตัวแปรสุ่มอิสระแต่ละตัวมีค่าศูนย์และค่าแปรปรวน 1 แล้ว $x$$X_1,\cdots,X_n$

$$P\left(\frac{X_1+\cdots+X_n}{\sqrt n} \le x\right) \to_{n\to+\infty} \int_{-\infty}^x \frac{e^{-t^2/2}}{\sqrt{2\pi}} dt.$$ $X_1.,\ldots,X_n$$Z_1,\ldots,Z_n$ $$E \left[ f\left(\tfrac{X_1+\cdots+X_n}{\sqrt n}\right) \right] - E \left[ f\left(\tfrac{Z_1+\cdots+Z_n}{\sqrt n}\right) \right] \to_{n\to+\infty} 0$$ สำหรับตัวบ่งชี้ฟังก์ชันของรูปแบบสำหรับการแก้ไขจริง , จอแสดงผลก่อนหน้านี้แสดงถึงความจริงที่ว่าขีด จำกัด นั้นเหมือนกันไม่ว่าจะมีการแจกแจงโดยเฉพาะของและโดยมีเงื่อนไขว่าตัวแปรสุ่มมีความเป็นอิสระด้วยค่าเฉลี่ยศูนย์ความแปรปรวนอย่างใดอย่างหนึ่ง$f$$x$ $$\begin{equation} f(t) = \begin{cases} 1 \text{ if } t < x \\ 0 \text{ if } t\ge x.\end{cases} \end{equation}$$ $X_1,\ldots,X_n$$Z_1,\ldots,Z_n$

CLT เวอร์ชันอื่นบางเวอร์ชันระบุถึงคลาสของฟังก์ชัน Lipschtiz ที่ล้อมรอบด้วย 1; บางรุ่นอื่น ๆ ของ CLT กล่าวถึงระดับของการทำงานที่ราบรื่นกับอนุพันธ์ขอบเขตของการสั่งซื้อkพิจารณาสองลำดับและข้างต้นและสำหรับบางฟังก์ชั่นผลลัพธ์การคอนเวอร์เจนซ์ (CONV)$k$$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$$f$

$$E \left[ f\left(\tfrac{X_1+\cdots+X_n}{\sqrt n}\right) \right] - E \left[ f\left(\tfrac{Z_1+\cdots+Z_n}{\sqrt n}\right) \right] \to_{n\to+\infty} 0 \tag{CONV}$$

มันเป็นไปได้ที่จะสร้างความเท่าเทียมกัน ("ถ้าเพียง แต่ถ้า") ระหว่างคำสั่งต่อไปนี้:

1. (CONV) ข้างต้นถือสำหรับทุกฟังก์ชั่นตัวบ่งชี้ของรูปแบบสำหรับและสำหรับบางจริงคงx$f$$f(t)=1$$t < x$$f(t)=0$$t\ge x$$x$
2. (CONV) ถือหุ้นทุกฟังก์ชั่น Lipschitz boundedR$f:R\to R$
3. (CONV) สำหรับทุกฟังก์ชั่นที่ราบรื่น (เช่น ) พร้อมการรองรับที่กะทัดรัด$C^{\infty}$
4. (CONV) เก็บไว้สำหรับทุกฟังก์ชั่นสามครั้งอย่างต่อเนื่อง differentiable กับ1$f$$\sup_{x\in R} |f'''(x)| \le 1$

คะแนนทั้งสี่ด้านบนบอกว่าการบรรจบกันนั้นมีไว้สำหรับฟังก์ชั่นใหญ่ ๆ เราสามารถอ่านผู้อ่านถึงบทที่ 7 หน้า 77 ของหนังสือเดวิดพอลลาร์ดคู่มือผู้ใช้ในการวัดความน่าจะเป็นเชิงทฤษฎีซึ่งคำตอบนี้ได้รับแรงบันดาลใจอย่างสูง

สมมติฐานของเราสำหรับคำตอบที่เหลืออยู่นี้ ...

เราจะสมมติว่าสำหรับค่าคงที่ซึ่งตรงกับจุดที่ 4 ด้านบน นอกจากนี้เรายังจะสมมติว่าตัวแปรสุ่มมีขอบเขต จำกัด ช่วงเวลาที่สาม:และ มี จำกัด$\sup_{x\in R} |f'''(x)| \le C$$C>0$$E[|X_i|^3]$$E[|Z_i|^3]$

2. ค่าของเป็นสากล: ไม่ขึ้นอยู่กับการกระจายของ$E\left[ f\left( \tfrac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_1,...,X_n$

ขอให้เราแสดงให้เห็นว่าปริมาณนี้เป็นสากล (มากถึงข้อผิดพลาดเล็ก ๆ ) ในแง่ที่ว่ามันไม่ได้ขึ้นอยู่กับการรวบรวมตัวแปรสุ่มแบบอิสระที่มีให้ ใช้และสองลำดับของตัวแปรสุ่มอิสระโดยแต่ละค่าเฉลี่ย 0 และความแปรปรวน 1 และช่วงเวลาที่สามที่แน่นอน$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$

แนวคิดคือการแทนที่ด้วยในปริมาณหนึ่งและควบคุมความแตกต่างด้วยแคลคูลัสพื้นฐาน (ฉันเชื่อว่าเป็นเพราะ Lindeberg) โดยการขยายตัวของเทย์เลอร์หากและดังนั้น โดยที่และ$X_i$$Z_i$$W = Z_1+\cdots+Z_{n-1}$$h(x)=f(x/\sqrt n)$

$$\begin{align} h(Z_1+\cdots+Z_{n-1}+X_n) &= h(W) + X_n h'(W) + \frac{X_n^2 h''(W)}{2} + \frac{X_n^3/h'''(M_n)}{6} \\ h(Z_1+\cdots+Z_{n-1}+Z_n) &= h(W) + Z_n h'(W) + \frac{Z_n^2 h''(W)}{2} + \frac{Z_n^3 h'''(M_n')}{6} \\ \end{align}$$ $M_n$$M_n'$เป็นจุดกึ่งกลางที่กำหนดโดยทฤษฎีบทค่าเฉลี่ย การรับความคาดหวังของทั้งสองบรรทัดคำสั่ง zeroth เหมือนกันเงื่อนไขการสั่งซื้อครั้งแรกมีค่าเท่ากันเพราะโดยความเป็นอิสระของและ ,และคล้ายกันสำหรับบรรทัดที่สอง คำสั่งที่สองนั้นเหมือนกันโดยอิสระ คำเดียวที่เหลืออยู่คือคำสั่งที่สามและโดยความคาดหวังความแตกต่างระหว่างสองบรรทัดนั้นมากที่สุด นี่เป็นขอบเขตบนอนุพันธ์ที่สามของ''' ตัวส่วนปรากฏขึ้นเนื่องจาก$X_n$$W$$E[X_n h'(W)]= E[X_n] E[h'(W)] =0$

$$\frac{(C/6)E[ |X_n|^3 + |Z_n|^3 ]}{(\sqrt n)^3}.$$ $C$$f'''$$(\sqrt{n})^3$$h'''(t) = f'''(t/\sqrt n)/(\sqrt n)^3$ 3 โดยความเป็นอิสระการมีส่วนร่วมของในผลรวมนั้นไม่มีความหมายเพราะสามารถแทนที่ด้วยโดยไม่เกิดข้อผิดพลาดที่ใหญ่กว่าจอแสดงผลด้านบน!$X_n$$Z_n$

ตอนนี้เรายังคงคำแนะนำเพื่อแทนที่โดย{n-1} ถ้าดังนั้น โดยความเป็นอิสระของและและโดยความเป็นอิสระของและ$X_{n-1}$$Z_{n-1}$$\tilde W= Z_1+Z_2+\cdots+Z_{n-2} + X_n$

$$\begin{align} h(Z_1+\cdots+Z_{n-2}+X_{n-1}+X_n) &= h(\tilde W) + X_{n-1} h'(\tilde W) + \frac{X_{n-1}^2 h''(\tilde W)}{2} + \frac{X_{n-1}^3/h'''(\tilde M_n)}{6}\\ h(Z_1+\cdots+Z_{n-2}+Z_{n-1}+X_n) &= h(\tilde W) + Z_{n-1} h'(\tilde W) + \frac{Z_{n-1}^2 h''(\tilde W)}{2} + \frac{Z_{n-1}^3/h'''(\tilde M_n)}{6}. \end{align}$$ $Z_{n-1}$$\tilde W$$X_{n-1}$$\tilde W$ศูนย์อีกครั้ง, เงื่อนไขการสั่งซื้อครั้งแรกและครั้งที่สองมีค่าเท่ากันในทั้งคู่ ความแตกต่างของความคาดหวังระหว่างสองบรรทัดนั้นมากที่สุด เราให้ทำซ้ำจนกว่าเราจะแทนที่ทั้งหมด 's กับ ' s โดยการเพิ่มข้อผิดพลาดที่ทำในแต่ละขั้นตอนเราได้รับ ตาม

$$\frac{(C/6)E[ |X_{n-1}|^3 + |Z_{n-1}|^3 ]}{(\sqrt n)^3}.$$ $Z_i$$X_i$$n$ $$\Big| E\left[ f\left( \tfrac{X_1+\cdots+X_n}{\sqrt n} \right) \right]-E\left[ f\left( \tfrac{Z_1+\cdots+Z_n}{\sqrt n} \right) \right] \Big| \le n \frac{(C/6)\max_{i=1,\ldots,n} E[ |X_i|^3 + |Z_i|^3 ]}{(\sqrt n)^3}.$$ $n$เพิ่มขึ้นทางด้านขวามือจะมีขนาดเล็กตามอำเภอใจถ้าช่วงเวลาที่สามหรือตัวแปรสุ่มมี จำกัด (สมมติว่าเป็นกรณี) ซึ่งหมายความว่าการคาดการณ์ทางด้านซ้ายกลายเป็นพลใกล้ ๆ กันไม่ว่าหากการกระจายของอยู่ไกลจากที่Z_1โดยเป็นอิสระมีส่วนร่วมของแต่ละในผลรวมเป็นความหมายเพราะมันจะถูกแทนที่ด้วยโดยไม่เกิดข้อผิดพลาดที่มีขนาดใหญ่กว่า3) และแทนที่ทั้งหมด 's โดย ' s ไม่เปลี่ยนแปลงปริมาณมากกว่าn)$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$$X_i$$Z_i$$O(1/(\sqrt n)^3)$$X_i$$Z_i$$O(1/\sqrt n)$

ความคาดหวังเป็นสากลจึงไม่ขึ้นอยู่กับการกระจายของX_1ในทางตรงกันข้ามความเป็นอิสระและมีความสำคัญสูงสุดสำหรับขอบเขตด้านบน$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_1,\ldots,X_n$$E[X_i]=E[Z_i]=0,E[Z_i^2]=E[X_i^2]=1$

3. ทำไมการกระจายปกติ?

เราได้เห็นแล้วว่าความคาดหวังจะเหมือนกันไม่ว่าการกระจายของจะเป็นเท่าข้อผิดพลาดเล็ก ๆ ของการสั่งซื้อn)$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_i$$O(1/\sqrt n)$

แต่สำหรับการใช้งานมันจะมีประโยชน์ในการคำนวณปริมาณ นอกจากนี้ยังจะเป็นประโยชน์ที่จะได้รับการแสดงออกที่เรียบง่ายสำหรับปริมาณนี้ขวา]$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$

เนื่องจากปริมาณนี้เท่ากันสำหรับคอลเลกชันใด ๆเราสามารถเลือกหนึ่งคอลเล็กชันที่เจาะจงเช่นการแจกจ่ายง่ายต่อการคำนวณหรือจดจำได้ง่าย$X_1,\ldots,X_n$$(X_1+\cdots+X_n)/\sqrt n$

สำหรับการแจกแจงปกติมันเกิดขึ้นว่าปริมาณนี้กลายเป็นเรื่องง่ายมาก แน่นอนถ้าคือ iidดังนั้นมีการกระจายและมันก็ไม่ได้ขึ้นอยู่กับ ! ดังนั้นถ้าดังนั้น และด้วยเหตุผลข้างต้นสำหรับคอลเลกชันของตัวแปรสุ่มอิสระกับจากนั้น$N(0,1)$$Z_1,\ldots,Z_n$$N(0,1)$$\frac{Z_1+\cdots+Z_n}{\sqrt n}$$N(0,1)$$n$$Z\sim N(0,1)$X1

$$E\left[ f\left( \frac{Z_1+\cdots+Z_n}{\sqrt n} \right) \right] = E[ f(Z)],$$ $X_1,\ldots,X_n$$E[X_i]=0,E[X_i^2]=1$

$$\left| E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right] -E[f(Z) \right| \le \frac{\sup_{x\in R} |f'''(x)| \max_{i=1,\ldots,n} E[|X_i|^3 + |Z|^3]}{6\sqrt n}.$$

ฉันยอมแพ้กับความพยายามที่จะเกิดขึ้นกับรุ่นที่ใช้งานง่ายและมากับการจำลองบางอย่าง ฉันมีสิ่งหนึ่งที่แสดงการจำลองของ Quincunx และบางอย่างที่ทำสิ่งต่าง ๆ เช่นแสดงให้เห็นว่าการแจกแจงเวลาตอบสนองดิบที่เบ้จะกลายเป็นเรื่องปกติถ้าคุณรวบรวม RT ต่อวิชามากพอ ฉันคิดว่าพวกเขาช่วย แต่พวกเขากำลังใหม่ในชั้นเรียนของฉันในปีนี้และฉันยังไม่ได้ให้คะแนนการทดสอบครั้งแรก

สิ่งหนึ่งที่ฉันคิดว่าดีคือความสามารถในการแสดงกฎหมายจำนวนมากเช่นกัน ฉันสามารถแสดงให้เห็นว่าสิ่งต่าง ๆ มีขนาดตัวอย่างขนาดเล็กอย่างไรจากนั้นแสดงให้เห็นว่าพวกมันมีความเสถียรกับขนาดใหญ่เพียงใด ฉันทำการสาธิตจำนวนมากอื่น ๆ เช่นกัน ฉันสามารถแสดงการโต้ตอบใน Quincunx ระหว่างจำนวนของกระบวนการสุ่มและจำนวนตัวอย่าง

(ปรากฎว่าไม่สามารถใช้ชอล์คหรือกระดานไวท์บอร์ดในชั้นเรียนของฉันได้อาจเป็นพร)

เมื่อคุณเพิ่มฮิสโตแกรมจำนวนมากของการแจกแจงแบบสุ่มเข้าด้วยกันคุณจะต้องรักษารูปร่างการแจกแจงแบบปกติเพราะฮิสโทแกรมแต่ละอันนั้นมีรูปร่างนั้นอยู่แล้วหรือคุณได้รูปร่างนั้นมาเนื่องจากความผันผวนในฮิสโทแกรมแต่ละรายการนั้น จำนวนฮิสโตแกรม ฮิสโตแกรมของการแจกแจงแบบสุ่มของตัวแปรหนึ่งมีการแจกแจงแบบประมาณโดยวิธีที่ผู้คนเริ่มเรียกการแจกแจงแบบปกติเพราะมันเป็นเรื่องธรรมดามาก

นี่ไม่ใช่เรื่องราวทั้งหมด แต่ฉันคิดว่ามันเป็นสัญชาตญาณตามที่ได้รับ