ทำไมการทดสอบเพื่อความเป็นปกติจะปฏิเสธสมมติฐานว่าง?

การทดสอบ Kolgomorov-Smirnov การทดสอบ Shapiro ฯลฯ ทั้งหมดล้วน แต่ปฏิเสธสมมติฐานที่ว่าการแจกแจงเป็นเรื่องปกติ แต่เมื่อฉันพล็อตควอนไทล์ปกติและฮิสโตแกรมข้อมูลก็เป็นปกติอย่างชัดเจน อาจเป็นเพราะพลังของการทดสอบสูงหรือไม่

ขนาดตัวอย่างประมาณ 650 ดังนั้นอย่างน้อยหนึ่งในการทดสอบเหล่านี้จึงไม่สามารถปฏิเสธสมมติฐานว่างได้?

ผล:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

การทดสอบตามปกติคือเสียเวลาและตัวอย่างของคุณอธิบายว่าทำไม ด้วยตัวอย่างขนาดเล็กการทดสอบ normality มีพลังงานต่ำดังนั้นการตัดสินใจเกี่ยวกับแบบจำลองทางสถิติที่จะใช้จำเป็นต้องอิงตามความรู้เบื้องต้น ในกรณีเหล่านี้ความล้มเหลวในการปฏิเสธค่า Null ไม่ได้พิสูจน์ว่า Null เป็นจริงโดยประมาณในระดับประชากร

เมื่อคุณมีตัวอย่างจำนวนมากการทดสอบภาวะปกติจะมีประสิทธิภาพมาก แต่พวกเขาจะไม่บอกอะไรที่คุณไม่ทราบ ไม่มีจำนวนที่แท้จริงคือว่าการกระจายตามปกติ การกระจายตัวแบบปกติเป็นเพียงนามธรรมทางคณิตศาสตร์ที่สามารถประมาณค่าได้ดีพอในหลายกรณี หลักฐานที่ง่ายที่สุดของเรื่องนี้ก็คือไม่มีปริมาณจริง (ที่ไม่มีอย่างน้อยที่ฉันสามารถคิด) ที่อาจใช้เวลาใดจำนวนจริงเป็นความคุ้มค่า ตัวอย่างเช่นมีเพียงโมเลกุลจำนวนมากในจักรวาล มีเงินจำนวนมากในการจัดหาเงิน ความเร็วของแสงมี จำกัด คอมพิวเตอร์สามารถจัดเก็บตัวเลขที่มีขนาด จำกัด เท่านั้นดังนั้นแม้ว่าบางสิ่งบางอย่างจะได้รับการสนับสนุนจากจำนวนจริงทั้งหมดคุณจะไม่สามารถวัดได้

ประเด็นก็คือคุณรู้แล้วว่าข้อมูลของคุณไม่ได้กระจายตามปกติอย่างแน่นอนแต่การทดสอบปกติจะไม่บอกคุณเกี่ยวกับความผิดปกติของข้อมูล พวกเขาไม่ได้ให้คำแนะนำอย่างเด็ดขาดว่าข้อมูลของคุณจะถูกกระจายไปตามปกติโดยประมาณว่าวิธีการอนุมานเชิงสถิติที่สมมติว่าปกติจะให้คำตอบที่ถูกต้อง กระแทกแดกดันการทดสอบทั่วไป (เช่น T-test และ ANOVA) ที่ถือว่าปกติจะมีความทนทานต่อการไม่ปกติในขนาดตัวอย่างขนาดใหญ่

นี่ไม่ได้ทำให้ฉันแปลกใจ --- ด้วยขนาดตัวอย่างที่ใหญ่พอการทดสอบที่ดีใด ๆ ควรปฏิเสธสมมติฐานว่างถ้าการแจกแจงการสร้างข้อมูลนั้นเป็นเรื่องปกติอย่างแท้จริง

ด้วยการทดสอบสมมติฐานเรามักจะสนใจในการค้นหาการทดสอบ "ที่มีประสิทธิภาพ" ซึ่งเป็นการทดสอบที่สามารถค้นหาการเบี่ยงเบนเล็กน้อยจากสมมติฐานว่างได้โดยมีข้อมูลน้อยที่สุดเท่าที่จะทำได้

ลองใช้การทดสอบด้วยขนาดย่อย 20, 50, 100, 200 และดูว่าขนาดการทดสอบเริ่มปฏิเสธ มันง่ายที่จะดูว่าฮิสโตแกรมนั้นสมมาตรและเป็นรูประฆังหรือไม่ แต่หางของการแจกแจงนั้นยากต่อการประเมินด้วยตา อาจมีข้อมูลผิดปกติในข้อมูลที่ทำให้การทดสอบปฏิเสธหรือไม่ หากมีให้ดูว่าเกิดอะไรขึ้นเมื่อคุณตัดออก

สาเหตุที่เป็นไปได้คือข้อมูลของคุณไม่ปกติเล็กน้อยและขนาดตัวอย่างของคุณใหญ่พอที่จะเปิดเผยสิ่งนี้

หากการแจกแจงเป็นเรื่องปกติจริง ๆ แล้วมันก็ควรจะผ่านการทดสอบเหล่านี้ดังเช่นในตัวอย่าง R ต่อไปนี้ที่ผ่านการทดสอบอย่างใดอย่างหนึ่ง

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

คุณอาจต้องการที่จะทำ qqplot และถ้ามันใกล้พอที่จะเป็นเส้นตรงคุณอาจตัดสินใจที่จะปฏิบัติต่อมันให้ใกล้เคียงกับมาตรฐานเพื่อจุดประสงค์ของคุณ มันค่อนข้างจะขึ้นอยู่กับว่าจุดประสงค์เหล่านั้นคืออะไร

ให้ฉันไม่เห็นด้วยกับคำตอบจาก dsimcha: "การทดสอบตามปกติคือเสียเวลาและตัวอย่างของคุณแสดงให้เห็นว่าทำไม" การทดสอบตามปกติไม่เคยเสียเวลาคุณสามารถเรียนรู้จากข้อมูลของคุณได้เสมอ นอกจากนี้ยังมีเงื่อนไขบางอย่างที่คุณต้องทดสอบก่อนที่จะทำการวิเคราะห์บางอย่าง (เช่น ANOVA, การถดถอย, ฯลฯ ) ตัวอย่างขนาดใหญ่สัมพัทธ์จะดีกว่าที่จะทดสอบด้วยพล็อต (QQplot, ฮิสโตแกรม) ในกรณีเช่นนี้การสร้างภาพข้อมูลให้มากขึ้นเกี่ยวกับพฤติกรรมหลายรูปแบบและอื่น ๆ

การวิเคราะห์ความแปรปรวนและการถดถอยนั้นมีความทนทานต่อความไม่ปกติเมื่อจัดการกับกลุ่มตัวอย่างที่มีขนาดใหญ่ แต่ข้อมูลประเภทหลักที่ทำให้เกิดปัญหาคือตัวอย่างข้อมูลต่อเนื่องหลายรูปแบบ

ด้วยขนาดตัวอย่างที่เล็กการทดสอบ Kolgomorov-Smirnov จึงเป็นตัวเลือกที่ดีที่สุดเนื่องจากความไวของมัน

ฉันจะไม่เห็นด้วยเล็กน้อยกับคำตอบอื่น ๆ ที่โพสต์จนถึงตอนนี้: การทดสอบเพื่อความเป็นบรรทัดฐานนี้มีพลังน้อยมากแม้ว่าจะมีขนาดตัวอย่างค่อนข้างใหญ่อย่างน้อยก็สำหรับความเบี่ยงเบนบางประเภท

นี่คือตัวอย่างรวดเร็ว ฉันสร้างส่วนผสมของสองบรรทัดฐานซึ่งหมายความว่าจะถูกคั่นด้วย sd ทั้งหมด

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

พิจารณาว่ามันจะ "ตรวจจับ" การเบี่ยงเบนจากค่าปกติ 5% ของเวลาแม้ว่าจะเป็นเรื่องปกติจริง ๆ นั่นก็ไม่ได้น่าประทับใจมาก

นี่เป็นอีกตัวอย่าง: ฉันเพิ่มเสียงที่เหมือนกันทั่วทั้งขนาดความเบี่ยงเบนมาตรฐานสองช่วง อันนี้ค่อนข้างไม่ธรรมดาอย่างเห็นได้ชัด

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

อีกครั้งพลังงานต่ำมากสำหรับการออกเดินทางครั้งใหญ่จากปกติ

คุณแน่ใจหรือไม่ว่าคุณอ่าน qqplot ถูกต้อง? คุณช่วยอัพโหลดมันได้ไหมเพื่อเราจะได้เห็นมัน?

แก้ไขในทางกลับกันการถดถอยมีความแข็งแกร่งพอที่จะไม่เป็นไปตามปกติดังนั้นฉันจึงเห็นด้วยว่าการตรวจสอบด้วยภาพน่าจะเพียงพอสำหรับวัตถุประสงค์ส่วนใหญ่