อะไรคือความแตกต่างระหว่างการทดสอบตามปกติของชาปิโร - วิลค์กับการทดสอบภาวะปกติของ Kolmogorov-Smirnov?

อะไรคือความแตกต่างระหว่างการทดสอบตามปกติของชาปิโร - วิลค์กับการทดสอบภาวะปกติของ Kolmogorov-Smirnov? ผลลัพธ์จากทั้งสองวิธีนี้จะแตกต่างกันเมื่อใด

— russellpierce
แหล่งที่มา

คำตอบ:

คุณไม่สามารถเปรียบเทียบทั้งสองได้จริง ๆ เนื่องจาก Kolmogorov-Smirnov มีไว้สำหรับการแจกแจงที่ระบุอย่างสมบูรณ์ (ดังนั้นหากคุณกำลังทดสอบภาวะปกติคุณต้องระบุค่าเฉลี่ยและความแปรปรวนโดยไม่สามารถประมาณค่าได้จากข้อมูล *) ขณะที่ ชาปิโร่วิลก์นั้นเป็นเรื่องปกติโดยมีค่าเฉลี่ยและความแปรปรวนที่ไม่ระบุรายละเอียด

* คุณไม่สามารถสร้างมาตรฐานโดยใช้พารามิเตอร์ที่ประมาณไว้และทดสอบมาตรฐานปกติ นั่นคือสิ่งเดียวกัน

วิธีหนึ่งในการเปรียบเทียบคือการเสริม Shapiro-Wilk ด้วยการทดสอบสำหรับค่าเฉลี่ยและความแปรปรวนที่ระบุในแบบปกติ (รวมการทดสอบในบางลักษณะ) หรือโดยการปรับตาราง KS สำหรับการประมาณค่าพารามิเตอร์ (แต่ก็ไม่มีการกระจายอีกต่อไป) -ฟรี).

มีการทดสอบดังกล่าว (เทียบเท่า Kolmogorov-Smirnov พร้อมพารามิเตอร์ประมาณ) - การทดสอบ Lilliefors รุ่นทดสอบปกติสามารถเปรียบเทียบได้อย่างถูกต้องกับ Shapiro-Wilk (และโดยทั่วไปจะมีพลังงานต่ำกว่า) การแข่งขันที่มากขึ้นคือการทดสอบ Anderson-Darling (ซึ่งจะต้องปรับเพื่อการประมาณค่าพารามิเตอร์สำหรับการเปรียบเทียบให้ถูกต้อง)

สำหรับสิ่งที่พวกเขาทดสอบ - การทดสอบ KS (และ Lilliefors) ดูความแตกต่างที่ใหญ่ที่สุดระหว่าง CDF เชิงประจักษ์และการกระจายที่ระบุในขณะที่ Shapiro Wilk เปรียบเทียบความแปรปรวนสองแบบได้อย่างมีประสิทธิภาพ Shapiro-Francia ที่เกี่ยวข้องอย่างใกล้ชิดถือได้ว่าเป็นฟังก์ชั่นโมโนโทนิกของสหสัมพันธ์กำลังสองในพล็อต QQ หากฉันจำได้ถูกต้อง Shapiro-Wilk ยังคำนึงถึงความแปรปรวนร่วมระหว่างสถิติการสั่งซื้อด้วย

$t_{30}$ $n>60$

[ควรจำไว้ว่ามีการทดสอบอีกมากมายสำหรับความเป็นมาตรฐานที่มีให้มากกว่านี้]

— Glen_b -Reinstate Monica
แหล่งที่มา

นี่เป็นคำตอบที่น่าสนใจ แต่ฉันมีปัญหาเล็กน้อยในการทำความเข้าใจกับการฝึกฝน บางทีสิ่งเหล่านี้อาจเป็นคำถามที่แตกต่างกัน แต่สิ่งที่เป็นผลมาจากการเพิกเฉยต่อการประมาณค่าพารามิเตอร์ในการทดสอบ KS? สิ่งนี้หมายความว่าการทดสอบ Lillefors มีพลังงานน้อยกว่าการทดสอบ KS ที่ดำเนินการอย่างไม่ถูกต้องหรือไม่ซึ่งข้อมูลจาก pareters ได้รับการประเมินหรือไม่?

— russellpierce

@rpierce - ผลกระทบหลักของการรักษาพารามิเตอร์โดยประมาณที่รู้จักกันคือการลดระดับนัยสำคัญที่เกิดขึ้นจริงอย่างมาก (และด้วยเหตุนี้กราฟพลังงาน) จากสิ่งที่ควรจะเป็นถ้าคุณคำนึงถึงมัน (ตาม Lilliefors) นั่นคือ Lilliefors เป็น 'ถูกต้อง' สำหรับการประมาณค่าพารามิเตอร์และมีพลังที่ดีกว่า KS อย่างมาก ในทางกลับกัน Lilliefors มีพลังที่แย่กว่าการทดสอบ Shapiro-Wilk มาก กล่าวโดยย่อคือ KS ไม่ใช่การทดสอบที่ทรงพลังเป็นพิเศษและเราทำให้แย่ลงโดยไม่สนใจว่าเรากำลังทำการประมาณค่าพารามิเตอร์

— Glen_b -Reinstate Monica

... โปรดจำไว้เมื่อเราพูดว่า 'พลังที่ดีกว่า' และ 'พลังที่แย่กว่า' ซึ่งโดยทั่วไปเราหมายถึงพลังต่อต้านสิ่งที่คนทั่วไปมองว่าเป็นทางเลือกที่น่าสนใจ

— Glen_b -Reinstate Monica

ฉันเห็นเส้นโค้งพลังงานฉันไม่เคยคิดเลยว่าการลดหรือเพิ่มระดับความหมายนั้นจะหมายถึงอะไร ยังไงก็เถอะฉันก็บิดและคิดว่าคุณกำลังพูดว่าอำนาจ 'ดีกว่า' หมายถึงการมีเส้นโค้งพลังงานที่มันควรจะเป็น นั่นอาจเป็นเพราะเรากำลังโกงและได้รับอำนาจที่ไม่สมจริงในแคนซัสเพราะเราส่งพารามิเตอร์ที่ควรได้รับการลงโทษมาประเมิน (เพราะนั่นคือสิ่งที่ฉันเคยเป็นผลมาจากการที่ไม่ยอมรับว่าพารามิเตอร์มาจากการประมาณ) .

— russellpierce

ไม่แน่ใจว่าฉันพลาดความเห็นเหล่านี้มาก่อน แต่ใช่แล้วค่า p ที่คำนวณได้จากการใช้การทดสอบ KS พร้อมพารามิเตอร์โดยประมาณราวกับว่าพวกเขารู้จัก / ระบุจะมีแนวโน้มที่จะสูงเกินไป ลองใช้ใน R: hist(replicate(1000,ks.test(scale(rnorm(x)),pnorm)$p.value))- ถ้าค่า p เป็นตามที่ควรจะเป็นนั่นก็จะดูสม่ำเสมอ!

— Glen_b -Reinstate Monica

กล่าวโดยย่อการทดสอบ Shapiro-Wilk เป็นการทดสอบเฉพาะสำหรับความเป็นมาตรฐานในขณะที่วิธีการที่ใช้โดยการทดสอบ Kolmogorov-Smirnovนั้นเป็นเรื่องทั่วไปมากกว่า แต่มีประสิทธิภาพน้อยกว่า สถิติทั้งสองมีค่าปกติเป็นโมฆะและสร้างสถิติทดสอบตามตัวอย่าง แต่วิธีการที่พวกเขาทำนั้นแตกต่างจากกันในวิธีที่ทำให้พวกเขามีความไวต่อคุณลักษณะของการแจกแจงแบบปกติมากขึ้นหรือน้อยลง

วิธีคำนวณว่า W (สถิติการทดสอบสำหรับ Shapiro-Wilk) นั้นมีความเกี่ยวข้องเพียงเล็กน้อยแต่ในทางแนวคิดแล้วมันเกี่ยวข้องกับการจัดเรียงค่าตัวอย่างตามขนาดและการวัดที่เหมาะสมกับค่าเฉลี่ยความแปรปรวนและความแปรปรวนร่วม การเปรียบเทียบหลายแบบกับกฎเกณฑ์อย่างที่ฉันเข้าใจให้การทดสอบมากกว่าพลังการทดสอบ Kolmogorov-Smirnov ซึ่งเป็นวิธีหนึ่งที่พวกเขาอาจแตกต่างกัน

ในทางตรงกันข้ามการทดสอบ Kolmogorov-Smirnov สำหรับภาวะปกตินั้นได้มาจากวิธีการทั่วไปสำหรับการประเมินความดีของความพอดีโดยการเปรียบเทียบการแจกแจงสะสมที่คาดหวังกับการแจกแจงสะสมเชิงประจักษ์:

ข้อความแสดงแทน

เช่นนี้มันมีความไวที่กึ่งกลางของการกระจายไม่ใช่หาง อย่างไรก็ตามการทดสอบ KS เป็นการรวมกันในแง่ที่ว่ามีแนวโน้มที่จะไม่มีที่สิ้นสุดการทดสอบมาบรรจบกับคำตอบที่น่าจะเป็นในความเป็นจริง (ฉันเชื่อว่าทฤษฎีบทของ Glivenko-Cantelliนำไปใช้ที่นี่ แต่บางคนอาจแก้ไขฉันได้) นี่เป็นอีกสองวิธีที่การทดสอบทั้งสองนี้อาจแตกต่างกันในการประเมินความเป็นมาตรฐาน

— John L. Taylor
แหล่งที่มา

นอกจากนี้ ... การทดสอบของ Shapiro-Wilk มักจะใช้เมื่อประเมินการออกเดินทางจากภาวะปกติในกลุ่มตัวอย่างขนาดเล็ก คำตอบที่ดีจอห์น! ขอบคุณ

— aL3xa

+1, หมายเหตุอีกสองเรื่องเกี่ยวกับแคนซัส: สามารถใช้ทดสอบการกระจายตัวหลัก ๆ ได้ (ในขณะที่ SW ใช้สำหรับค่านิยมทั่วไปเท่านั้น ) และพลังงานที่ลดลงอาจเป็นสิ่งที่ดีสำหรับตัวอย่างขนาดใหญ่

— gung - Reinstate Monica

พลังงานต่ำเป็นสิ่งที่ดีได้อย่างไร ตราบใดที่ Type I ยังคงเหมือนเดิมไม่ได้ใช้พลังงานที่สูงกว่าดีกว่าเสมอไป? นอกจากนี้โดยทั่วไปแล้ว KS ไม่ได้ทรงพลังน้อยกว่า แต่อาจเป็นโรคฉี่หนู? ตัวอย่างเช่น KS มีประสิทธิภาพมากขึ้นสำหรับการเอียงโดยไม่เพิ่มความคลาดเคลื่อนของข้อผิดพลาด Type 1

— จอห์น

Kolmogorov-Smirnov ใช้สำหรับการแจกแจงแบบระบุอย่างครบถ้วน Shapiro Wilk ไม่ได้เป็น พวกเขาไม่สามารถเทียบ ... เพราะทันทีที่คุณทำการปรับเปลี่ยนที่จำเป็นในการทำให้พวกเขาเปรียบคุณไม่ได้หนึ่งหรือทดสอบอื่น ๆ

— Glen_b -Reinstate Monica

พบการศึกษาแบบจำลองนี้ในกรณีที่เพิ่มสิ่งที่มีประโยชน์ในรายละเอียด ข้อสรุปทั่วไปเช่นเดียวกับข้างต้น: การทดสอบ Shapiro-Wilk มีความไวมากขึ้น ukm.my/jsm/pdf_files/SM-PDF-40-6-2011/15%20NorAishah.pdf

— Nick Stauner