การทดสอบตามปกติคือ 'ไร้ประโยชน์เป็นหลัก' หรือไม่?

อดีตเพื่อนร่วมงานเคยโต้เถียงกับฉันดังนี้:

เรามักจะใช้การทดสอบเชิงบรรทัดฐานกับผลลัพธ์ของกระบวนการที่ภายใต้ค่า null จะสร้างตัวแปรสุ่มที่เป็น แบบอะซีพโทติกหรือใกล้เคียงปกติ ในยุคของหน่วยความจำราคาถูก, ข้อมูลขนาดใหญ่และการประมวลผลได้อย่างรวดเร็วการทดสอบภาวะปกติควร เสมอปฏิเสธ null ของการกระจายปกติสำหรับขนาดใหญ่ ( แต่ไม่ใหญ่เมามัน) ตัวอย่าง ดังนั้นจึงควรใช้การทดสอบเชิงบรรทัดฐานในทางที่ผิดสำหรับตัวอย่างเล็ก ๆ น้อย ๆ เท่านั้นเมื่อพวกมันมีพลังงานต่ำและควบคุมอัตราการพิมพ์ที่น้อยลง

นี่เป็นอาร์กิวเมนต์ที่ถูกต้องหรือไม่? นี่เป็นข้อโต้แย้งที่รู้จักกันดีหรือไม่? มีการทดสอบที่รู้จักกันดีสำหรับสมมติฐานว่าง 'fuzzier' มากกว่าปกติหรือไม่?

มันไม่ได้เป็นข้อโต้แย้ง มันเป็นความจริง (ที่ระบุไว้เล็กน้อย) ว่าการทดสอบภาวะปกติอย่างเป็นทางการมักจะปฏิเสธในตัวอย่างขนาดใหญ่ที่เราทำงานด้วยในวันนี้ มันง่ายมากที่จะพิสูจน์ว่าเมื่อ n มีขนาดใหญ่แม้แต่การเบี่ยงเบนที่เล็กที่สุดจากภาวะปกติที่สมบูรณ์แบบจะนำไปสู่ผลลัพธ์ที่สำคัญ และเนื่องจากชุดข้อมูลทุกชุดมีระดับความสุ่มไม่มีชุดข้อมูลเดียวจะเป็นตัวอย่างที่กระจายแบบปกติอย่างสมบูรณ์แบบ แต่ในสถิติที่ใช้คำถามไม่ได้ว่าข้อมูล / ส่วนที่เหลือ ... เป็นปกติอย่างสมบูรณ์ แต่ปกติพอสำหรับสมมติฐานที่จะถือ

ขอยกตัวอย่างที่มีการทดสอบ Shapiro-Wilk โค้ดด้านล่างนี้สร้างชุดการแจกแจงที่เข้าใกล้ความปกติ แต่ไม่ปกติอย่างสมบูรณ์ ต่อไปเราจะทดสอบshapiro.testว่าตัวอย่างจากการแจกแจงแบบเกือบปกติเหล่านี้เบี่ยงเบนจากค่าปกติหรือไม่ ใน R:

x <- replicate(100, { # generates 100 different tests on each distribution
                     c(shapiro.test(rnorm(10)+c(1,0,2,0,1))$p.value,   #$
                       shapiro.test(rnorm(100)+c(1,0,2,0,1))$p.value,  #$
                       shapiro.test(rnorm(1000)+c(1,0,2,0,1))$p.value, #$
                       shapiro.test(rnorm(5000)+c(1,0,2,0,1))$p.value) #$
                    } # rnorm gives a random draw from the normal distribution
               )
rownames(x) <- c("n10","n100","n1000","n5000")

rowMeans(x<0.05) # the proportion of significant deviations
  n10  n100 n1000 n5000 
 0.04  0.04  0.20  0.87 

บรรทัดสุดท้ายตรวจสอบว่าส่วนใดของแบบจำลองสำหรับทุกขนาดตัวอย่างเบี่ยงเบนอย่างมีนัยสำคัญจากปกติ ดังนั้นใน 87% ของกรณีตัวอย่างของการสังเกต 5,000 ครั้งเบี่ยงเบนไปจากความเป็นมาตรฐานตาม Shapiro-Wilks แต่ถ้าคุณเห็นแปลง qq คุณจะไม่มีทางตัดสินใจว่าจะเบี่ยงเบนไปจากความปกติ ด้านล่างคุณจะเห็นตัวอย่างของ qq-plots สำหรับตัวอย่างสุ่มหนึ่งชุด

ด้วยค่า p

  n10  n100 n1000 n5000 
0.760 0.681 0.164 0.007 

เมื่อคิดถึงว่าการทดสอบภาวะปกตินั้นไม่มีประโยชน์หรือไม่สิ่งแรกคือต้องคิดว่ามันควรจะมีประโยชน์หรือไม่ หลายคน (ดี ... อย่างน้อยนักวิทยาศาสตร์หลายคน) เข้าใจผิดคำถามที่คำตอบการทดสอบปกติ

คำถามทดสอบคำตอบทั่วไป: มีหลักฐานที่น่าเชื่อถือเกี่ยวกับการเบี่ยงเบนใด ๆ จากอุดมคติของเกาส์เซียนหรือไม่? ด้วยชุดข้อมูลจริงขนาดใหญ่พอสมควรคำตอบคือใช่เกือบทุกครั้ง

คำถามที่นักวิทยาศาสตร์มักคาดหวังว่าการทดสอบปกติจะตอบคำถาม: ข้อมูลเบี่ยงเบนจากอุดมคติของเกาส์เซียนในการใช้แบบ "ห้าม" ของการทดสอบที่ถือว่าการกระจายแบบเกาส์หรือไม่? นักวิทยาศาสตร์มักต้องการให้การทดสอบแบบปกติเป็นผู้ตัดสินว่าจะยกเลิกการทดสอบแบบเดิม (ANOVA และอื่น ๆ ) และวิเคราะห์การแปลงข้อมูลหรือใช้การทดสอบแบบไม่อิงพารามิเตอร์หรือการทดสอบซ้ำหรือวิธีบูตสแตรปแทน สำหรับจุดประสงค์นี้การทดสอบภาวะปกติไม่ได้มีประโยชน์มาก

ฉันคิดว่าการทดสอบเกณฑ์ปกติอาจมีประโยชน์ในฐานะเพื่อนร่วมในการตรวจสอบเชิงกราฟิก พวกเขาต้องใช้อย่างถูกวิธี ในความคิดของฉันนี่หมายความว่าไม่ควรใช้การทดสอบยอดนิยมหลายอย่างเช่น Shapiro-Wilk, Anderson-Darling และ Jarque-Bera

ก่อนที่ฉันจะอธิบายมุมมองของฉันให้ฉันพูดเล็กน้อย:

• ในกระดาษล่าสุดที่น่าสนใจ Rochon และคณะ ศึกษาผลกระทบของการทดสอบชาปิโร - วิลก์ต่อการทดสอบสองตัวอย่าง ขั้นตอนสองขั้นตอนของการทดสอบความเป็นมาตรฐานก่อนดำเนินการเช่นการทดสอบ t ไม่มีปัญหา จากนั้นอีกครั้งทั้งสองขั้นตอนของการตรวจสอบความปกติของกราฟิกก่อนดำเนินการทดสอบ t ความแตกต่างคือผลกระทบของสิ่งหลังนั้นยากกว่ามากในการตรวจสอบ (เนื่องจากจะต้องมีนักสถิติเพื่อตรวจสอบความเป็นบรรทัดฐานทางกราฟิกครั้งหรือมากกว่านั้น ... )$100,000$
• มันมีประโยชน์ในการหาปริมาณที่ไม่เป็นมาตรฐานเช่นโดยการคำนวณความเบ้ตัวอย่างแม้ว่าคุณจะไม่ต้องการทำการทดสอบอย่างเป็นทางการก็ตาม
• กฎเกณฑ์หลายตัวแปรอาจเป็นเรื่องยากที่จะประเมินกราฟและการลู่เข้าสู่การแจกแจงแบบแอมโมติกติกอาจช้าสำหรับสถิติหลายตัวแปร การทดสอบความเป็นมาตรฐานจึงมีประโยชน์มากกว่าในการตั้งค่าหลายตัวแปร
• การทดสอบภาวะปกติอาจจะเป็นประโยชน์อย่างยิ่งสำหรับผู้ปฏิบัติงานที่ใช้สถิติเป็นชุดของวิธีการดำกล่อง เมื่อปฏิเสธภาวะปกติผู้ประกอบวิชาชีพควรตื่นตระหนกและแทนที่จะดำเนินการขั้นตอนมาตรฐานตามข้อสันนิษฐานทั่วไปพิจารณาใช้ขั้นตอนที่ไม่ใช่พารามิเตอร์ใช้การแปลงหรือให้คำปรึกษากับนักสถิติที่มีประสบการณ์มากกว่า
• ตามที่คนอื่นชี้ให้เห็นถ้ามีขนาดใหญ่พอ CLT มักจะช่วยให้วันนั้น อย่างไรก็ตามสิ่งที่ "ใหญ่พอ" แตกต่างกันสำหรับคลาสที่แตกต่างกันของการแจกแจง$n$

(ในคำจำกัดความของฉัน) การทดสอบความเป็นไปได้นั้นจะมุ่งไปที่คลาสของทางเลือกถ้ามันอ่อนไหวต่อทางเลือกจากคลาสนั้น แต่ไม่ไวต่อทางเลือกจากคลาสอื่น ตัวอย่างทั่วไปคือการทดสอบที่มุ่งตรงไปยังทางเลือกที่เอียงหรือผิดเพี้ยน ตัวอย่างที่ง่ายที่สุดใช้ตัวอย่างความเบ้และความโด่งเป็นตัวอย่างของสถิติทดสอบ

การทดสอบกำกับการแสดงของภาวะมี arguably มักจะดีกว่าที่จะทดสอบรถโดยสาร (เช่นการทดสอบ Shapiro-Wilk และ Jarque-Bera) ตั้งแต่มันเป็นเรื่องธรรมดาที่มีเพียงบางชนิดที่ไม่ปกติมีความกังวลสำหรับขั้นตอนการอนุมานโดยเฉพาะอย่างยิ่ง

ลองพิจารณาการทดสอบ t ของนักเรียนเป็นตัวอย่าง สมมติว่าเรามีตัวอย่าง iid จากการแจกแจงที่มีความเบ้และ (เกิน) kurtosisถ้าเป็นสมมาตรเกี่ยวกับค่าเฉลี่ยของ 0 ทั้งและเป็น 0 สำหรับการแจกแจงแบบปกติ$\gamma=\frac{E(X-\mu)^3}{\sigma^3}$$\kappa=\frac{E(X-\mu)^4}{\sigma^4}-3.$$X$$\gamma=0$$\gamma$$\kappa$

ภายใต้สมมติฐานปกติเราได้รับการขยาย asymptoticสำหรับ cdf ของสถิติการทดสอบ : $T_n$

โดยที่คือ cdf และคือ pdf ของการแจกแจงแบบปกติมาตรฐาน$\Phi(\cdot)$$\phi(\cdot)$

$\gamma$ปรากฏขึ้นเป็นครั้งแรกในระยะขณะที่ปรากฏในระยะ asymptoticประสิทธิภาพการทำงานของมากขึ้นความไวต่อการเบี่ยงเบนไปจากปกติในรูปแบบของเบ้กว่าในรูปแบบของความโด่ง$n^{-1/2}$$\kappa$$n^{-1}$ T n$T_n$

มันสามารถตรวจสอบได้โดยใช้แบบจำลองที่เป็นจริงสำหรับขนาดเล็กเช่นกัน ดังนั้นนักศึกษา t-test มีความไวต่อเบ้ แต่ค่อนข้างแข็งแกร่งกับหางหนักและมันก็มีเหตุผลที่จะใช้สำหรับการทดสอบภาวะปกติที่เป็นผู้กำกับที่มีต่อทางเลือกเอียงก่อนที่จะใช้ t-test$n$

ตามกฎของหัวแม่มือ ( ไม่ใช่กฎแห่งธรรมชาติ) การอนุมานเกี่ยวกับวิธีการนั้นมีความอ่อนไหวต่อความเบ้และการอนุมานเกี่ยวกับความแปรปรวนนั้นมีความอ่อนไหวต่อ kurtosis

การใช้การทดสอบโดยตรงเพื่อหาบรรทัดฐานมีประโยชน์ในการรับพลังงานที่สูงกว่าทางเลือก '' อันตราย '' และพลังงานที่ต่ำกว่ากับทางเลือกที่ 'อันตราย' 'น้อยกว่าซึ่งหมายความว่าเรามีโอกาสน้อยที่จะปฏิเสธกฎเกณฑ์เนื่องจากการเบี่ยงเบนจากปกติ ไม่ส่งผลกระทบต่อประสิทธิภาพการทำงานของขั้นตอนอนุมานของเรา ปริมาณที่ไม่ได้อยู่ในเกณฑ์ปกตินั้นจะถูกวัดในลักษณะที่เกี่ยวข้องกับปัญหา นี่ไม่ใช่การทำกราฟิกที่ง่ายเสมอไป

เมื่อมีขนาดใหญ่ขึ้นความเบ้และความโด่งเป็นสิ่งที่มีความสำคัญน้อยลงและการทดสอบโดยตรงนั้นมีแนวโน้มที่จะตรวจสอบว่าปริมาณเหล่านี้เบี่ยงเบนจาก 0 แม้เพียงเล็กน้อย ในกรณีเช่นนี้ดูเหมือนว่าสมเหตุสมผลทดสอบว่าหรือ (ดูที่คำแรกของการขยายตัวด้านบน)มากกว่าว่า 0 นี้จะดูแลบางส่วนของปัญหาที่เราเผชิญเป็นอย่างอื่นขนาดใหญ่ได้รับ$n$$|\gamma|\leq 1$

การทดสอบภาวะปกติ IMHO ไม่มีประโยชน์อย่างแน่นอนด้วยเหตุผลดังต่อไปนี้:

1. ในกลุ่มตัวอย่างขนาดเล็กมีโอกาสดีที่การกระจายตัวที่แท้จริงของประชากรนั้นไม่ได้เป็นเรื่องปกติ แต่การทดสอบภาวะปกตินั้นไม่มีประสิทธิภาพในการรับมัน

2. ในกลุ่มตัวอย่างขนาดใหญ่สิ่งต่าง ๆ เช่น T-test และ ANOVA นั้นค่อนข้างทนทานต่อสภาวะที่ไม่ปกติ

3. ความคิดทั้งหมดของประชากรที่กระจายตัวตามปกติเป็นเพียงการประมาณทางคณิตศาสตร์ที่สะดวก โดยทั่วไปปริมาณที่ไม่เกี่ยวข้องกับสถิติอาจมีการแจกแจงด้วยการสนับสนุนของจำนวนจริงทั้งหมด ตัวอย่างเช่นคนไม่สามารถมีความสูงติดลบได้ บางสิ่งไม่สามารถมีมวลติดลบหรือมีมวลมากกว่าที่มีอยู่ในจักรวาล ดังนั้นมันปลอดภัยที่จะบอกว่าไม่มีอะไรจะตรงกระจายตามปกติในโลกจริง

ฉันคิดว่าการทดสอบเบื้องต้นเพื่อความเป็นไปได้ (ซึ่งรวมถึงการประเมินแบบไม่เป็นทางการโดยใช้กราฟิก) คิดถึงประเด็น

1. ผู้ใช้วิธีการนี้จะสันนิษฐานว่าการประเมินภาวะปกติมีผลใช้กำลังใกล้ 1.0
2. การทดสอบแบบไม่อิงพารามิเตอร์เช่น Wilcoxon, Spearman และ Kruskal-Wallis มีประสิทธิภาพ 0.95 ถ้ามีกฎเกณฑ์
3. ในมุมมองของ 2. หนึ่งสามารถระบุล่วงหน้าการใช้การทดสอบ nonparametric ถ้าใครแม้ได้รับความเป็นไปได้ว่าข้อมูลอาจไม่เกิดขึ้นจากการกระจายปกติ
4. แบบจำลองความน่าจะเป็นแบบสะสมตามปกติ (ตัวแบบอัตราต่อรองแบบสัดส่วนเป็นสมาชิกของคลาสนี้) ทำการทดสอบแบบไม่มีพารามิเตอร์มาตรฐาน รุ่นลำดับจะสมบูรณ์เปลี่ยนแปลงคงที่ที่เกี่ยวกับ , มีประสิทธิภาพที่มีประสิทธิภาพและช่วยให้การประมาณ quantiles และค่าเฉลี่ยของY$Y$$Y$

ก่อนที่จะถามว่าการทดสอบหรือการตรวจสอบอย่างหยาบ ๆ สำหรับความเป็นมาตรฐานนั้นมีประโยชน์หรือไม่คุณต้องตอบคำถามที่อยู่เบื้องหลังคำถาม: "ทำไมคุณถึงถาม"

ตัวอย่างเช่นหากคุณต้องการจำกัดความมั่นใจเฉพาะค่าเฉลี่ยของชุดข้อมูลการออกจากภาวะปกติอาจมีความสำคัญหรือไม่ขึ้นอยู่กับว่าคุณมีข้อมูลมากน้อยเพียงใดและมีขนาดใหญ่เพียงใด อย่างไรก็ตามการออกจากภาวะปกตินั้นมีความสำคัญหากคุณต้องการคาดการณ์ว่ามูลค่าที่สูงที่สุดจะเป็นอย่างไรในการสำรวจในอนาคตหรือในประชากรที่คุณได้เก็บตัวอย่างไว้

ให้ฉันเพิ่มสิ่งเล็ก ๆ น้อยหนึ่ง:
ทำการทดสอบตามปกติโดยไม่คำนึงถึงข้อผิดพลาดของอัลฟาเพื่อเพิ่มความน่าจะเป็นโดยรวมของคุณในการดำเนินการข้อผิดพลาดอัลฟา

คุณจะไม่มีวันลืมว่าการทดสอบเพิ่มเติมแต่ละครั้งจะทำได้ตราบใดที่คุณไม่ได้ควบคุมการสะสมอัลฟ่า - ข้อผิดพลาด ดังนั้นอีกเหตุผลที่ดีในการยกเลิกการทดสอบตามปกติ

คำตอบที่นี่ได้ระบุประเด็นสำคัญหลายประการแล้ว ในการสรุปอย่างรวดเร็ว:

• ไม่มีการทดสอบที่สอดคล้องกันซึ่งสามารถตัดสินได้ว่าชุดของข้อมูลเป็นไปตามการกระจายอย่างแท้จริงหรือไม่
• การทดสอบไม่ได้ใช้แทนการตรวจสอบข้อมูลและแบบจำลองด้วยสายตาเพื่อระบุการใช้ประโยชน์สูงการสังเกตที่มีอิทธิพลสูงและการแสดงความคิดเห็นเกี่ยวกับผลกระทบที่มีต่อโมเดล
• ข้อสันนิษฐานสำหรับกิจวัตรการถดถอยหลายครั้งมักจะผิดพลาดเนื่องจากต้องมีการแจกจ่าย "ข้อมูล" [เศษส่วนเหลือ] และตีความโดยนักสถิติมือใหม่ซึ่งต้องการให้นักวิเคราะห์ประเมินอย่างเป็นทางการก่อนที่จะทำการวิเคราะห์

ฉันกำลังเพิ่มคำตอบก่อนเพื่ออ้างถึงหนึ่งในบทความส่วนตัวของฉันเข้าถึงบ่อยที่สุดและอ่านสถิติ: " ความสำคัญของการสันนิษฐาน Normality ในชุดข้อมูลสาธารณสุขขนาดใหญ่ " โดย Lumley et อัล มันคุ้มค่าที่จะอ่านทั้งหมด สถานะสรุป:

t-test และการถดถอยเชิงเส้นอย่างน้อยกำลังสองไม่จำเป็นต้องมีสมมติฐานของการแจกแจงแบบปกติในตัวอย่างที่มีขนาดใหญ่เพียงพอ การศึกษาแบบจำลองก่อนหน้าแสดงให้เห็นว่า "มีขนาดใหญ่พอ" มักจะต่ำกว่า 100 และแม้สำหรับข้อมูลค่าใช้จ่ายทางการแพทย์ที่ไม่ธรรมดามากของเราก็น้อยกว่า 500 ซึ่งหมายความว่าในการวิจัยด้านสาธารณสุขที่ตัวอย่างมักมีขนาดใหญ่กว่า - การทดสอบและโมเดลเชิงเส้นเป็นเครื่องมือเริ่มต้นที่มีประโยชน์สำหรับการวิเคราะห์ความแตกต่างและแนวโน้มในข้อมูลหลายประเภทไม่ใช่เฉพาะกับการแจกแจงแบบปกติ การทดสอบทางสถิติอย่างเป็นทางการสำหรับ Normality ไม่เป็นที่น่าพอใจอย่างยิ่งเนื่องจากจะมีพลังงานต่ำในตัวอย่างขนาดเล็กที่การกระจายมีความสำคัญและใช้พลังงานสูงเฉพาะในตัวอย่างขนาดใหญ่ที่การกระจายไม่สำคัญ

ในขณะที่มีการเข้าใจคุณสมบัติตัวอย่างขนาดใหญ่ของการถดถอยเชิงเส้นเป็นอย่างดี แต่ก็มีงานวิจัยเพียงเล็กน้อยเกี่ยวกับขนาดของกลุ่มตัวอย่างที่จำเป็นสำหรับการสันนิษฐานทั่วไปว่าไม่มีความสำคัญ โดยเฉพาะอย่างยิ่งมันไม่ชัดเจนว่าขนาดตัวอย่างที่จำเป็นขึ้นอยู่กับจำนวนของตัวทำนายในโมเดล

การมุ่งเน้นที่การแจกแจงแบบปกติสามารถเบี่ยงเบนความสนใจไปจากสมมติฐานที่แท้จริงของวิธีการเหล่านี้ การถดถอยเชิงเส้นถือว่าความแปรปรวนของตัวแปรผลลัพธ์อยู่ที่ประมาณคงที่ แต่ข้อ จำกัด หลักของทั้งสองวิธีคือพวกเขาคิดว่ามันเพียงพอที่จะตรวจสอบการเปลี่ยนแปลงในความหมายของตัวแปรผลลัพธ์ หากการสรุปอื่น ๆ ของการแจกแจงมีความน่าสนใจมากขึ้นการทดสอบ t และการถดถอยเชิงเส้นอาจไม่เหมาะสม

เพื่อสรุป: โดยทั่วไปความปกติจะไม่คุ้มค่ากับการอภิปรายหรือความสนใจที่ได้รับในทางตรงกันข้ามกับความสำคัญของการตอบคำถามทางวิทยาศาสตร์โดยเฉพาะ ถ้าความปรารถนาที่จะสรุปความแตกต่างของข้อมูลหมายถึง t-test และ ANOVA หรือการถดถอยเชิงเส้นนั้นมีเหตุผลที่สมเหตุสมผล การทดสอบที่ใช้แบบจำลองเหล่านี้ยังคงอยู่ในระดับอัลฟาที่ถูกต้องแม้ว่าจะไม่ตรงตามสมมติฐานการกระจายแม้ว่าพลังงานอาจได้รับผลกระทบในทางลบ

เหตุผลที่ทำไมการแจกแจงแบบปกติอาจได้รับความสนใจที่พวกเขาทำอาจเป็นเพราะเหตุผลดั้งเดิมซึ่งการทดสอบที่แน่นอนบนพื้นฐานของการแจกแจงแบบ F สำหรับ ANOVAs และ Student-T- การแจกแจงสำหรับ T-test สามารถรับได้ ความจริงก็คือในบรรดาความก้าวหน้าทางวิทยาศาสตร์สมัยใหม่เรามักจะจัดการกับชุดข้อมูลขนาดใหญ่กว่าที่รวบรวมไว้ก่อนหน้านี้ หากมีความจริงที่เกี่ยวข้องกับชุดข้อมูลขนาดเล็กเหตุผลที่ข้อมูลเหล่านั้นถูกกระจายตามปกติไม่สามารถมาจากข้อมูลเหล่านั้นเอง: มีพลังงานไม่เพียงพอ การสังเกตการวิจัยการทำซ้ำหรือแม้แต่ชีววิทยาหรือวิทยาศาสตร์ของกระบวนการวัดอื่น ๆ ในความคิดของฉันเป็นวิธีการที่มีเหตุผลมากขึ้นในการพูดคุยเกี่ยวกับแบบจำลองความน่าจะเป็นไปได้ที่เป็นไปตามข้อมูลที่สังเกตได้

ด้วยเหตุนี้การเลือกการทดสอบตามตำแหน่งจึงเป็นทางเลือกที่พลาดจุดทั้งหมด อย่างไรก็ตามฉันจะยอมรับว่าการใช้ตัวประมาณค่าความแปรปรวนที่แข็งแกร่งเช่น jackknife หรือ bootstrap เสนอทางเลือกการคำนวณที่สำคัญที่อนุญาตให้ทำการทดสอบภายใต้การละเมิดข้อกำหนดคุณลักษณะของแบบจำลองที่สำคัญกว่าเช่นความเป็นอิสระหรือการแจกจ่ายข้อผิดพลาดเหล่านั้น

ฉันเคยคิดว่าการทดสอบภาวะปกติไม่มีประโยชน์อย่างสมบูรณ์

อย่างไรก็ตามตอนนี้ฉันให้คำปรึกษากับนักวิจัยคนอื่น ๆ บ่อยครั้งที่การได้รับตัวอย่างมีราคาแพงมากดังนั้นพวกเขาจึงต้องการอนุมานด้วย n = 8

ในกรณีเช่นนี้เป็นการยากที่จะค้นหานัยสำคัญทางสถิติด้วยการทดสอบแบบไม่อิงพารามิเตอร์ แต่การทดสอบด้วย n = 8 นั้นอ่อนไหวต่อการเบี่ยงเบนจากภาวะปกติ ดังนั้นสิ่งที่เราได้คือเราสามารถพูดว่า "ดีมีเงื่อนไขบนสมมติฐานของภาวะปกติเราพบความแตกต่างอย่างมีนัยสำคัญทางสถิติ" (ไม่ต้องกังวลพวกนี้มักจะเป็นการศึกษานำร่อง ... )

จากนั้นเราต้องการวิธีการประเมินสมมติฐาน ฉันครึ่งทางในค่ายที่ดูแปลงเป็นวิธีที่ดีกว่าที่จะไป แต่ความจริงจะบอกว่าอาจมีความขัดแย้งมากมายเกี่ยวกับเรื่องนี้ซึ่งอาจเป็นปัญหาได้มากหากคนที่ไม่เห็นด้วยกับคุณคือ ผู้ตรวจทานต้นฉบับของคุณ

ในหลาย ๆ วิธีฉันยังคงคิดว่ามีข้อบกพร่องมากมายในการทดสอบบรรทัดฐาน: ตัวอย่างเช่นเราควรคิดถึงข้อผิดพลาดประเภท II มากกว่าประเภท I แต่มีความต้องการสำหรับพวกเขา

สำหรับสิ่งที่คุ้มค่าฉันเคยพัฒนาตัวอย่างรวดเร็วสำหรับการแจกแจงแบบปกติที่ถูกตัดทอนและการทดสอบ normality (KS) มีประโยชน์มากในการแก้ไขข้อบกพร่องของฟังก์ชัน ตัวอย่างนี้ผ่านการทดสอบด้วยขนาดตัวอย่างขนาดใหญ่ แต่ที่น่าสนใจ ziggurat sampler ของ GSL ไม่น่าสนใจ

อาร์กิวเมนต์ที่คุณให้ไว้เป็นความเห็น ฉันคิดว่าความสำคัญของการทดสอบตามปกติคือเพื่อให้แน่ใจว่าข้อมูลไม่หลุดพ้นจากปกติ บางครั้งฉันใช้มันเพื่อตัดสินใจระหว่างการใช้พารามิเตอร์เปรียบเทียบกับการทดสอบแบบไม่มีพารามิเตอร์สำหรับกระบวนการอนุมานของฉัน ฉันคิดว่าการทดสอบจะมีประโยชน์ในกลุ่มตัวอย่างขนาดกลางและขนาดใหญ่ (เมื่อทฤษฎีบทขีด จำกัด กลางไม่ได้เข้ามาเล่น) ฉันมักจะใช้การทดสอบแบบ Wilk-Shapiro หรือ Anderson-Darling แต่การรัน SAS ฉันทำให้พวกเขาทั้งหมดและพวกเขาก็เห็นด้วยค่อนข้างดี ในบันทึกอื่นฉันคิดว่าขั้นตอนกราฟิกเช่นแผนการ QQ ทำงานได้ดีเท่า ๆ กัน ข้อดีของการทดสอบอย่างเป็นทางการคือมันมีวัตถุประสงค์ ในตัวอย่างเล็ก ๆ มันเป็นความจริงที่ความดีของการทดสอบแบบพอดีไม่มีอำนาจและทำให้เข้าใจได้ง่ายเพราะตัวอย่างเล็ก ๆ จากการแจกแจงแบบปกติอาจดูค่อนข้างไม่ปกติและนั่นเป็นสาเหตุของการทดสอบ นอกจากนี้ยังมีความเบ้สูงและความโด่งที่แตกต่างจากการแจกแจงแบบปกติจำนวนมากที่ไม่ได้เห็นได้ง่ายในตัวอย่างเล็ก ๆ

ฉันคิดว่าวิธีการเอนโทรปีที่มากที่สุดอาจมีประโยชน์ที่นี่ เราสามารถกำหนดการแจกแจงแบบปกติเพราะเราเชื่อว่าข้อมูลคือ "การแจกแจงแบบปกติ" (อะไรก็ตามที่มีความหมาย) หรือเพราะเราคาดหวังว่าจะเห็นการเบี่ยงเบนของขนาดเท่ากัน นอกจากนี้เนื่องจากการแจกแจงแบบปกติมีเพียงสองสถิติที่เพียงพอจึงไม่มีความสำคัญต่อการเปลี่ยนแปลงของข้อมูลที่ไม่เปลี่ยนแปลงปริมาณเหล่านี้ ดังนั้นในแง่หนึ่งคุณสามารถนึกถึงการแจกแจงแบบปกติว่าเป็น "ค่าเฉลี่ย" ในการแจกแจงที่เป็นไปได้ทั้งหมดในช่วงเวลาที่หนึ่งและสองที่เหมือนกัน นี่เป็นเหตุผลข้อหนึ่งว่าทำไมสี่เหลี่ยมจัตุรัสน้อยควรทำงานได้ดี

ฉันจะไม่พูดว่ามันไร้ประโยชน์ แต่ขึ้นอยู่กับแอปพลิเคชันจริงๆ หมายเหตุคุณไม่เคยรู้เลยว่าการกระจายข้อมูลมาจากไหนและสิ่งที่คุณมีก็คือชุดของการรับรู้เล็ก ๆ ค่าเฉลี่ยตัวอย่างของคุณ จำกัด ตัวอย่างเสมอ แต่ค่าเฉลี่ยอาจไม่ได้กำหนดหรือไม่ จำกัด สำหรับฟังก์ชันความหนาแน่นของความน่าจะเป็นบางประเภท ให้เราพิจารณาการแจกแจงแบบเสถียรสามประเภท ได้แก่ การแจกแจงแบบปกติการแจกแจงแบบแบ่งและการกระจายแบบโคชี ตัวอย่างส่วนใหญ่ของคุณไม่มีการสังเกตที่หาง (เช่นอยู่ห่างจากค่าเฉลี่ยตัวอย่าง) ดังนั้นสังเกตุก็ยากที่จะแยกความแตกต่างระหว่างทั้งสามดังนั้น Cauchy (มีค่าเฉลี่ยไม่ได้กำหนด) และ Levy (มีค่าเฉลี่ยอนันต์) สามารถหลอกลวงได้อย่างง่ายดายเป็นการกระจายปกติ

ฉันคิดว่าคำถาม 2 ข้อแรกได้รับการตอบอย่างถี่ถ้วน แต่ฉันไม่คิดว่าคำถาม 3 จะได้รับการแก้ไข การทดสอบจำนวนมากเปรียบเทียบการกระจายเชิงประจักษ์กับการแจกแจงแบบตั้งสมมติฐานที่รู้จัก ค่าวิกฤตสำหรับการทดสอบ Kolmogorov-Smirnov ขึ้นอยู่กับ F ที่ระบุไว้อย่างสมบูรณ์ สามารถแก้ไขเพื่อทดสอบกับการแจกแจงแบบพารามิเตอร์ด้วยพารามิเตอร์ที่ประมาณไว้ ดังนั้นหาก fuzzier หมายถึงการประมาณค่าพารามิเตอร์มากกว่าสองพารามิเตอร์คำตอบของคำถามคือใช่ การทดสอบเหล่านี้สามารถนำไปใช้กับตระกูลพารามิเตอร์ 3 ตัวหรือมากกว่า การทดสอบบางอย่างได้รับการออกแบบให้มีพลังงานที่ดีขึ้นเมื่อทดสอบกับตระกูลการแจกแจงแบบเฉพาะ ตัวอย่างเช่นเมื่อทดสอบภาวะปกติการทดสอบ Anderson-Darling หรือการทดสอบ Shapiro-Wilk มีพลังมากกว่า KS หรือไคสแควร์เมื่อการแจกแจงแบบไม่มีสมมติฐานเป็นเรื่องปกติ

การทดสอบว่า "บางสิ่ง" สำคัญต่อการวิเคราะห์นั้นสนับสนุนค่า p สูงหรือไม่ฉันคิดผิดปกติ อย่างที่คนอื่น ๆ ชี้ให้เห็นสำหรับชุดข้อมูลขนาดใหญ่ค่า p ต่ำกว่า 0.05 จะมั่นใจได้ ดังนั้นการทดสอบเป็นหลัก "รางวัล" สำหรับชุดข้อมูลขนาดเล็กและเลือนและ "รางวัล" สำหรับการขาดหลักฐาน สิ่งที่ชอบแปลง qq มีประโยชน์มากกว่า ความปรารถนาสำหรับตัวเลขที่ยากต่อการตัดสินใจในสิ่งนี้เช่นเคย (ใช่ / ไม่ใช่ปกติ / ไม่ปกติ) คิดถึงว่าการสร้างแบบจำลองนั้นเป็นเพียงบางส่วนของศิลปะและสนับสนุนการตั้งสมมติฐานอย่างไร

การทดสอบบรรทัดฐานที่ดีอย่างหนึ่งที่ฉันไม่คิดว่ามีการพูดถึงคือการพิจารณาว่าการใช้คะแนน z นั้นใช้ได้หรือไม่ สมมติว่าคุณเลือกตัวอย่างแบบสุ่มจากประชากรและคุณต้องการหาความน่าจะเป็นในการเลือกบุคคลสุ่มจากประชากรและรับค่า 80 หรือสูงกว่า สิ่งนี้สามารถทำได้ก็ต่อเมื่อการแจกแจงเป็นเรื่องปกติเนื่องจากการใช้คะแนน z สมมุติว่าการกระจายตัวของประชากรเป็นเรื่องปกติ

แต่ฉันเดาว่าฉันก็สามารถเห็นสิ่งนี้ได้เช่นกัน ...