ทำไมการเพิ่มขนาดตัวอย่างจึงทำให้ความแปรปรวน (การสุ่มตัวอย่าง) ต่ำลง?

ภาพใหญ่:

ฉันพยายามที่จะเข้าใจว่าการเพิ่มขนาดตัวอย่างเพิ่มพลังของการทดสอบอย่างไร สไลด์อาจารย์ของฉันอธิบายสิ่งนี้ด้วยภาพของการแจกแจงปกติ 2 อันหนึ่งอันสำหรับสมมติฐานว่างและอีกอันสำหรับสมมุติฐานทางเลือกและเกณฑ์การตัดสินใจคระหว่างพวกเขา พวกเขายืนยันว่าการเพิ่มขนาดตัวอย่างจะลดความแปรปรวนและทำให้เกิดความรุนแรงสูงขึ้นลดพื้นที่ที่ใช้ร่วมกันภายใต้ส่วนโค้งและความน่าจะเป็นของข้อผิดพลาดประเภท II

ภาพเล็ก:

ฉันไม่เข้าใจว่าขนาดตัวอย่างที่ใหญ่กว่าจะลดความแปรปรวนได้อย่างไร
ฉันสมมติว่าคุณคำนวณความแปรปรวนตัวอย่างและใช้มันเป็นพารามิเตอร์ในการแจกแจงแบบปกติ

ฉันเหนื่อย:

• googlingแต่คำตอบที่ยอมรับมากที่สุดมี 0 upvotes หรือเป็นเพียงตัวอย่าง
• การคิด : ตามกฎของตัวเลขขนาดใหญ่ทุกค่าในที่สุดควรทำให้มีเสถียรภาพรอบค่าที่เป็นไปได้ตามการแจกแจงปกติที่เราสมมติ และความแปรปรวนจึงควรมาบรรจบกับความแปรปรวนของการกระจายตัวปกติที่เราสมมุติ แต่ความแปรปรวนของการแจกแจงแบบปกตินั้นคืออะไรและมันคือค่าต่ำสุดนั่นคือเราจะแน่ใจได้ว่าความแปรปรวนตัวอย่างของเราลดลงหรือไม่

ค่าเบี่ยงเบนมาตรฐานของค่าเฉลี่ยมีขนาดเล็กกว่าค่าเบี่ยงเบนมาตรฐานของการสังเกตการณ์บุคคล [ที่นี่ฉันจะถือว่าการสังเกตแบบกระจายอย่างอิสระเหมือนกันกับความแปรปรวนประชากร จำกัด สิ่งที่คล้ายกันอาจกล่าวได้ถ้าคุณผ่อนคลายสองเงื่อนไขแรก]

มันเป็นผลมาจากความจริงง่ายๆที่ค่าเบี่ยงเบนมาตรฐานของผลรวมของตัวแปรสุ่มสองตัวนั้นเล็กกว่าผลรวมของความเบี่ยงเบนมาตรฐาน (มันจะเท่ากันเมื่อตัวแปรสองตัวนั้นมีความสัมพันธ์กันอย่างสมบูรณ์)

ในความเป็นจริงเมื่อคุณจัดการกับตัวแปรสุ่มที่ไม่เกี่ยวข้องเราสามารถพูดอะไรที่เฉพาะเจาะจงมากขึ้น: ความแปรปรวนของผลรวมของความแปรปรวนคือผลรวมของความแปรปรวน

ซึ่งหมายความว่ามีการอิสระ (หรือแม้กระทั่งเพียง uncorrelated) variates ที่มีการกระจายเดียวกันแปรปรวนของค่าเฉลี่ยคือความแปรปรวนของแต่ละคนแบ่งตามขนาดของกลุ่มตัวอย่าง$n$

ตามลําดับกับอิสระ (หรือเพียงแค่ uncorrelated) แปรผันกับการแจกแจงแบบเดียวกันค่าเบี่ยงเบนมาตรฐานของค่าเฉลี่ยคือค่าเบี่ยงเบนมาตรฐานของบุคคลที่หารด้วยรากที่สองของขนาดตัวอย่าง:$n$

$\sigma_{\bar{X}}=\sigma/\sqrt{n}${n}

ดังนั้นเมื่อคุณเพิ่มข้อมูลมากขึ้นคุณจะได้รับการประมาณค่าเฉลี่ยที่แม่นยำมากขึ้นของค่าเฉลี่ยของกลุ่ม ผลที่คล้ายกันนำไปใช้ในปัญหาการถดถอย

เนื่องจากเราสามารถประมาณค่าเฉลี่ยได้แม่นยำมากขึ้นโดยการเพิ่มขนาดตัวอย่างเราจึงสามารถแยกแยะวิธีที่อยู่ใกล้กันได้ง่ายขึ้น - แม้ว่าการกระจายจะซ้อนทับกันค่อนข้างน้อยโดยใช้ขนาดตัวอย่างขนาดใหญ่เรายังสามารถประมาณค่าได้ ประชากรมีความหมายเพียงพอที่จะบอกได้ว่าพวกมันไม่เหมือนกัน

ความแปรปรวนที่หดตัวเมื่อเพิ่มขึ้น N คือความแปรปรวนของค่าเฉลี่ยตัวอย่างมักแสดงเป็นข้อผิดพลาดมาตรฐาน หรือในคำอื่น ๆ ความแน่นอนของค่าเฉลี่ยตัวอย่างเพิ่มขึ้น

ลองนึกภาพคุณทำการทดลองที่คุณรวบรวมผู้ชาย 3 คนและผู้หญิง 3 คนและวัดความสูงของพวกเขา คุณแน่ใจหรือไม่ว่าค่าเฉลี่ยความสูงของแต่ละกลุ่มเป็นค่าเฉลี่ยที่แท้จริงของประชากรที่แยกต่างหากของชายและหญิง ฉันควรคิดว่าคุณคงไม่มั่นใจอย่างแน่นอน คุณสามารถรวบรวมตัวอย่างใหม่ได้อย่างง่ายดาย 3 และหาวิธีการใหม่หลายนิ้วจากครั้งแรก การทดลองซ้ำหลายครั้งเช่นนี้อาจส่งผลให้ผู้หญิงมีความสูงมากกว่าผู้ชายเพราะค่าเฉลี่ยจะแตกต่างกันมาก ด้วยค่า N ต่ำคุณจะไม่มั่นใจในค่าเฉลี่ยมากจากตัวอย่างและมันแตกต่างกันมากในกลุ่มตัวอย่าง

ทีนี้ลองนึกภาพการสังเกต 10,000 ครั้งในแต่ละกลุ่ม มันจะค่อนข้างยากที่จะหาตัวอย่างใหม่ 10,000 ที่มีวิธีการที่แตกต่างกันมาก พวกเขาจะแปรปรวนน้อยลงและคุณจะมั่นใจในความแม่นยำของพวกเขามากขึ้น

หากคุณสามารถยอมรับแนวความคิดนี้เราสามารถแทรกลงในการคำนวณสถิติของคุณเป็นข้อผิดพลาดมาตรฐาน ในขณะที่คุณสามารถดูได้จากสมการมันก็เป็นประมาณค่าพารามิเตอร์ (ที่ควรจะเป็นที่ถูกต้องมากขึ้นตามการเพิ่มขึ้นของ n) หารด้วยค่าที่มักจะเพิ่มขึ้นกับ n,n ข้อผิดพลาดมาตรฐานนั้นแสดงถึงความแปรปรวนของวิธีการหรือผลกระทบในการคำนวณของคุณ ยิ่งมีขนาดเล็กเท่าใดการทดสอบทางสถิติของคุณก็จะยิ่งมีประสิทธิภาพมากขึ้น$\sigma$$\sqrt n$

นี่คือการจำลองแบบเล็กน้อยใน R เพื่อแสดงความสัมพันธ์ระหว่างข้อผิดพลาดมาตรฐานและค่าเบี่ยงเบนมาตรฐานของวิธีการทำซ้ำหลาย ๆ ครั้งของการทดลองเริ่มต้น ในกรณีนี้เราจะเริ่มต้นด้วยค่าเฉลี่ยประชากร 100 และส่วนเบี่ยงเบนมาตรฐาน 15

mu <- 100
s <- 50
n <- 5
nsim <- 10000 # number of simulations
# theoretical standard error
s / sqrt(n)
# simulation of experiment and the standard deviations of their means
y <- replicate( nsim, mean( rnorm(n, mu, s) ) )
sd(y)

สังเกตว่าค่าเบี่ยงเบนมาตรฐานขั้นสุดท้ายใกล้กับข้อผิดพลาดมาตรฐานทางทฤษฎีอย่างไร โดยการเล่นกับตัวแปร n ที่นี่คุณสามารถเห็นการวัดความแปรปรวนจะเล็กลงเมื่อเพิ่ม n

[นอกเหนือจากนั้นความโด่งในกราฟก็ไม่ได้เปลี่ยนไปจริง ๆ (สมมติว่าพวกมันเป็นการแจกแจงแบบปกติ) การลดความแปรปรวนไม่ได้เปลี่ยนความหนา แต่การกระจายจะดูแคบลง วิธีเดียวที่จะตรวจสอบการเปลี่ยนแปลงของคอลอสโทลิสด้วยสายตาคือการกระจายในระดับเดียวกัน]

หากคุณต้องการที่จะรู้ว่าน้ำหนักเฉลี่ยของพลเมืองอเมริกันคืออะไรในกรณีที่เหมาะสมที่สุดคุณควรขอให้พลเมืองทุกคนก้าวขึ้นไปบนเครื่องชั่งและรวบรวมข้อมูล คุณจะได้รับคำตอบที่แน่นอน นี่เป็นเรื่องยากมากดังนั้นบางทีคุณอาจจะได้พลเมืองสักสองสามคนที่จะก้าวไปตามขนาดคำนวณค่าเฉลี่ยและเข้าใจว่าค่าเฉลี่ยของประชากรคืออะไร ที่คุณจะคาดหวังว่าค่าเฉลี่ยของกลุ่มตัวอย่างจะตรงเท่ากับค่าเฉลี่ยของประชากร? ฉันหวังว่าไม่

ทีนี้คุณจะเห็นด้วยไหมว่าถ้าคุณมีผู้คนมากขึ้นเรื่อย ๆ ในบางจุดเราจะเข้าใกล้ค่าเฉลี่ยประชากรมากขึ้น? เราควรใช่มั้ย ในท้ายที่สุดคนส่วนใหญ่ที่เราจะได้รับคือประชากรทั้งหมดและค่าเฉลี่ยคือสิ่งที่เรากำลังมองหา นี่คือสัญชาตญาณ

นี่เป็นการทดสอบความคิดในอุดมคติ ในความเป็นจริงมีภาวะแทรกซ้อน ฉันจะให้คุณสองคน

• ลองนึกภาพว่าข้อมูลที่มาจากCauchy กระจาย คุณสามารถเพิ่มตัวอย่างได้ไม่ จำกัด แต่ความแปรปรวนจะไม่ลดลง การกระจายตัวนี้ไม่มีความแปรปรวนของประชากร ในความเป็นจริงการพูดอย่างเคร่งครัดไม่มีตัวอย่างหมายความว่าอย่างใดอย่างหนึ่ง มันเป็นเรื่องน่าเศร้า น่าแปลกที่การกระจายตัวนี้ค่อนข้างจริงมันปรากฏขึ้นที่นี่และที่นั่นในฟิสิกส์
• ลองนึกภาพว่าคุณตัดสินใจที่จะดำเนินการกำหนดน้ำหนักเฉลี่ยของพลเมืองอเมริกัน ดังนั้นคุณใช้ขนาดของคุณและไปจากบ้านไปที่บ้าน จะใช้เวลาหลายปี เมื่อคุณรวบรวมการสังเกตนับล้านครั้งพลเมืองบางคนในชุดข้อมูลของคุณจะเปลี่ยนน้ำหนักมากบางคนเสียชีวิตเป็นต้นประเด็นคือการเพิ่มขนาดตัวอย่างในกรณีนี้ไม่ได้ช่วยคุณ

ฉันเชื่อว่ากฎจำนวนมากอธิบายว่าทำไมความแปรปรวน (ข้อผิดพลาดมาตรฐาน) ลดลงเมื่อขนาดตัวอย่างเพิ่มขึ้น บทความของ Wikipedia เกี่ยวกับเรื่องนี้กล่าวว่า:

ตามกฎหมายแล้วค่าเฉลี่ยของผลลัพธ์ที่ได้จากการทดลองจำนวนมากควรจะใกล้เคียงกับค่าที่คาดหวังและจะมีแนวโน้มที่จะเข้าใกล้มากขึ้นเมื่อทำการทดลองมากขึ้น

ในแง่ของทฤษฎีขีด จำกัด กลาง:

เมื่อวาดตัวอย่างสุ่มเพียงครั้งเดียวตัวอย่างที่ใหญ่กว่าคือค่าเฉลี่ยตัวอย่างที่ใกล้เคียงกับค่าเฉลี่ยประชากรมากขึ้น (ในเครื่องหมายคำพูดด้านบนให้นึกถึง "จำนวนการทดลอง" เป็น "ขนาดตัวอย่าง" ดังนั้นแต่ละ "การทดลอง" คือการสังเกต ) ดังนั้นเมื่อวาดตัวอย่างสุ่มจำนวนอนันต์ความแปรปรวนของการแจกแจงตัวอย่างจะน้อยลงเมื่อขนาดตัวอย่างใหญ่ขึ้น

กล่าวอีกนัยหนึ่งรูปร่างระฆังจะแคบลงเมื่อแต่ละตัวอย่างมีขนาดใหญ่แทนที่จะเล็กเพราะในวิธีนั้นค่าเฉลี่ยตัวอย่างแต่ละตัวอย่างจะอยู่ใกล้กับศูนย์กลางของระฆัง

เมื่อขนาดตัวอย่างเพิ่มขึ้นความแปรปรวนของตัวอย่าง (ความแปรปรวนระหว่างการสังเกต) จะเพิ่มขึ้น แต่ความแปรปรวนของค่าเฉลี่ยตัวอย่าง (ข้อผิดพลาดมาตรฐาน) จะลดลงและด้วยเหตุนี้ความแม่นยำจึงเพิ่มขึ้น