มันมีความหมายหรือไม่ที่จะทดสอบความเป็นมาตรฐานด้วยขนาดตัวอย่างที่เล็กมาก (เช่น n = 6)?

ฉันมีขนาดตัวอย่างเป็น 6 ในกรณีเช่นนี้มันสมเหตุสมผลไหมที่จะทดสอบความเป็นมาตรฐานโดยใช้การทดสอบ Kolmogorov-Smirnov ฉันใช้ SPSS ฉันมีขนาดตัวอย่างเล็กมากเพราะต้องใช้เวลาพอสมควร ถ้ามันไม่สมเหตุสมผลจำนวนตัวอย่างที่น้อยที่สุดที่สมเหตุสมผลในการทดสอบคือเท่าใด

หมายเหตุ: ฉันได้ทำการทดสอบบางอย่างที่เกี่ยวข้องกับซอร์สโค้ด ตัวอย่างคือเวลาที่ใช้ในการเข้ารหัสในซอฟต์แวร์เวอร์ชัน (เวอร์ชัน A) ที่ จริงแล้วฉันมีขนาดตัวอย่างอีก 6 ตัวซึ่งเป็นเวลาที่ใช้ในการเข้ารหัสในซอฟต์แวร์เวอร์ชันอื่น(เวอร์ชัน B)

ฉันต้องการทำการทดสอบสมมติฐานโดยใช้หนึ่งตัวอย่าง t-testเพื่อทดสอบว่าเวลาที่ใช้ในรหัสรุ่น A นั้นแตกต่างจากเวลาที่ใช้ในรหัสรุ่น B หรือไม่ (นี่คือ H1 ของฉัน) เงื่อนไขเบื้องต้นของ t-test หนึ่งตัวอย่างคือข้อมูลที่จะทดสอบต้องมีการแจกแจงแบบปกติ นั่นคือเหตุผลที่ฉันต้องทดสอบความเป็นปกติ

ใช่.

การทดสอบสมมติฐานทั้งหมดมีคุณสมบัติเด่นสองประการได้แก่ขนาด (หรือ "ระดับนัยสำคัญ") จำนวนหนึ่งที่เกี่ยวข้องโดยตรงกับความเชื่อมั่นและอัตราการบวกเท็จที่คาดหวังและพลังของพวกเขาซึ่งแสดงถึงโอกาสเชิงลบที่ผิดพลาด เมื่อขนาดตัวอย่างเล็กและคุณยังคงยืนยันในขนาดเล็ก (ความมั่นใจสูง) พลังจะแย่ลง ซึ่งหมายความว่าการทดสอบตัวอย่างขนาดเล็กมักจะไม่สามารถตรวจพบความแตกต่างเล็กน้อยหรือปานกลาง แต่พวกเขายังคงมีความหมาย

การทดสอบ KS ประเมินว่าตัวอย่างนั้นมาจากการแจกแจงแบบปกติหรือไม่ ตัวอย่างของค่าหกค่าจะต้องดูไม่ธรรมดาอย่างแน่นอนเพื่อล้มเหลวในการทดสอบนี้ แต่ถ้าเป็นเช่นนั้นคุณสามารถตีความการปฏิเสธค่าว่างนี้ได้เหมือนที่คุณตีความด้วยขนาดตัวอย่างที่สูงขึ้น ในทางกลับกันหากการทดสอบล้มเหลวในการปฏิเสธสมมติฐานว่างที่บอกคุณเพียงเล็กน้อยเนื่องจากอัตราการลบสูงผิด โดยเฉพาะอย่างยิ่งมันค่อนข้างเสี่ยงที่จะทำหน้าที่เสมือนการกระจายตัวเป็นปกติ

อีกสิ่งหนึ่งที่ต้องระวังคือซอฟต์แวร์บางตัวใช้การประมาณค่าเพื่อคำนวณค่า p จากสถิติทดสอบ บ่อยครั้งที่การประมาณเหล่านี้ทำงานได้ดีสำหรับตัวอย่างขนาดใหญ่ แต่ทำงานได้ไม่ดีสำหรับขนาดตัวอย่างที่เล็กมาก ในกรณีนี้คุณไม่สามารถเชื่อถือได้ว่าค่า p ได้รับการคำนวณอย่างถูกต้องซึ่งหมายความว่าคุณไม่สามารถแน่ใจได้ว่าขนาดการทดสอบที่ต้องการได้รับการบรรลุแล้ว โปรดดูเอกสารประกอบซอฟต์แวร์ของคุณ

คำแนะนำ:การทดสอบ KS นั้นมีประสิทธิภาพน้อยกว่าในการทดสอบความเป็นมาตรฐานมากกว่าการทดสอบอื่น ๆ ที่สร้างขึ้นเพื่อจุดประสงค์นี้โดยเฉพาะ ที่ดีที่สุดของพวกเขาน่าจะเป็นShapiro-Wilkทดสอบ แต่คนอื่น ๆ ที่ใช้กันทั่วไปและเกือบจะเป็นที่มีประสิทธิภาพเป็นชาปิโร-แฟรงและแอนเดอ-ดาร์ลิ่ง

พล็อตนี้แสดงการกระจายตัวของสถิติทดสอบ Kolmogorov-Smirnov ในตัวอย่าง 10,000 ตัวอย่างจากหกรูปแบบการแจกแจงแบบปกติ:

จากตัวอย่างเพิ่มเติม 100,000 ตัวอย่างเปอร์เซนต์ไทล์ 95 บน (ซึ่งประมาณค่าวิกฤตสำหรับสถิตินี้สำหรับการทดสอบขนาด ) คือ 0.520 ตัวอย่างของตัวอย่างที่ผ่านการทดสอบนี้คือชุดข้อมูล$\alpha=5\%$

0.000, 0.001, 0.002, 1.000, 1.001, 1000000

สถิติการทดสอบคือ 0.5 (ซึ่งน้อยกว่าค่าวิกฤต) ตัวอย่างดังกล่าวจะถูกปฏิเสธโดยใช้การทดสอบปกติอื่น ๆ

ในฐานะที่ @whuber ถามในความคิดเห็นการตรวจสอบสำหรับเด็ดขาดของฉันไม่มี แก้ไข: ด้วยการทดสอบ shapiro เนื่องจากการทดสอบ ks หนึ่งตัวอย่างถูกนำไปใช้อย่างผิด ๆ Whuber ถูกต้อง: สำหรับการใช้การทดสอบ Kolmogorov-Smirnov อย่างถูกต้องคุณต้องระบุพารามิเตอร์การกระจายและไม่แยกข้อมูลออกจากข้อมูล อย่างไรก็ตามนี่คือสิ่งที่ทำในแพ็คเกจทางสถิติเช่น SPSS สำหรับการทดสอบ KS-one ตัวอย่าง

คุณพยายามพูดบางอย่างเกี่ยวกับการกระจายและคุณต้องการตรวจสอบว่าคุณสามารถใช้การทดสอบ t ดังนั้นการทดสอบนี้ทำขึ้นเพื่อยืนยันว่าข้อมูลไม่ได้ออกจากภาวะปกติอย่างมีนัยสำคัญเพียงพอที่จะทำให้สมมติฐานพื้นฐานของการวิเคราะห์ไม่ถูกต้อง ดังนั้นคุณไม่สนใจข้อผิดพลาดประเภท I แต่อยู่ในข้อผิดพลาด type II

ตอนนี้ต้องกำหนด "แตกต่างกันอย่างมีนัยสำคัญ" เพื่อให้สามารถคำนวณขั้นต่ำ n สำหรับพลังงานที่ยอมรับได้ (พูด 0.8) ด้วยการแจกแจงนั่นไม่ใช่เรื่องง่ายที่จะนิยาม ดังนั้นฉันไม่ได้ตอบคำถามเพราะฉันไม่สามารถให้คำตอบที่สมเหตุสมผลได้นอกจากกฏของหัวแม่มือที่ฉันใช้: n> 15 และ n <50 ขึ้นอยู่กับอะไร โดยทั่วไปแล้วความรู้สึกนั้นไม่สามารถป้องกันตัวเลือกนั้นนอกเหนือจากประสบการณ์

แต่ฉันรู้ว่ามีเพียง 6 ค่าประเภท II ข้อผิดพลาดของคุณถูกผูกไว้เกือบ 1 ทำให้พลังงานของคุณใกล้กับ 0 ด้วยการสังเกต 6 การทดสอบ Shapiro ไม่สามารถแยกความแตกต่างระหว่างการกระจายปกติปัวซองเครื่องแบบหรือแม้กระทั่งการชี้แจง ด้วยข้อผิดพลาดประเภท II เกือบ 1 ผลการทดสอบของคุณจะไม่มีความหมาย

เพื่อแสดงให้เห็นถึงการทดสอบเชิงบรรทัดฐานด้วยการทดสอบ shapiro:

shapiro.test(rnorm(6)) # test a the normal distribution
shapiro.test(rpois(6,4)) # test a poisson distribution
shapiro.test(runif(6,1,10)) # test a uniform distribution
shapiro.test(rexp(6,2)) # test a exponential distribution
shapiro.test(rlnorm(6)) # test a log-normal distribution

เฉพาะที่ประมาณครึ่งหนึ่งของค่าน้อยกว่า 0.05 เป็นค่าสุดท้าย ซึ่งเป็นกรณีที่รุนแรงที่สุด

หากคุณต้องการทราบว่า n ขั้นต่ำที่ให้พลังที่คุณชอบด้วยการทดสอบชาปิโรคืออะไรคุณสามารถจำลองสถานการณ์เช่นนี้ได้:

results <- sapply(5:50,function(i){
  p.value <- replicate(100,{
    y <- rexp(i,2)
    shapiro.test(y)$p.value
  })
  pow <- sum(p.value < 0.05)/100
  c(i,pow)
})

ซึ่งให้การวิเคราะห์พลังงานแบบนี้:

จากการที่ฉันสรุปว่าคุณต้องมีค่าต่ำสุดประมาณ 20 ค่าเพื่อแยกความแตกต่างจากการแจกแจงแบบปกติใน 80% ของคดี

พล็อตรหัส:

plot(lowess(results[2,]~results[1,],f=1/6),type="l",col="red",
    main="Power simulation for exponential distribution",
    xlab="n",
    ylab="power"
)

คำถามที่ถูกวางไว้ที่นี่มีความเข้าใจผิดว่าทำไมต้องทำการตรวจสอบ Normality สำหรับขนาดตัวอย่างที่ 6 นี่คือวัตถุประสงค์หลักคือ "เพื่อทดสอบว่าเวลาที่ใช้ในรุ่นรหัส A แตกต่างจากเวลาที่ใช้ในรหัสรุ่น B หรือไม่ ( นี่คือ H1 ของฉัน)” เมื่อใช้คำว่า "แตกต่าง" จะเป็นการทดสอบแบบหางเดียวหรือไม่? อย่างไรก็ตามการทดสอบ Normality เป็นขั้นตอนที่สอง ขั้นตอนแรกคือการตรวจสอบความเพียงพอของพลังงานที่กำหนดไว้ล่วงหน้า (1-β) ของการทดสอบสำหรับขนาดตัวอย่างที่กำหนดเมื่อพลังงานไม่ดีมากแล้วการทดสอบสภาพปกติจะใช้อะไร? การตรวจสภาพปกติจะช่วยเราในการตัดสินใจว่าจะไปทดสอบแบบพาราเมตริกหรือแบบไม่อิงพารามิเตอร์? หากขนาดตัวอย่างของคุณไม่มีพลังงานเพียงพอทำไมเราจึงควรคิดถึงการทดสอบเรื่อง Normality?