ซึ่งเชื่อว่า: ทดสอบ Kolmogorov-Smirnov หรือพล็อต QQ?


16

ฉันพยายามที่จะตรวจสอบว่าชุดข้อมูลของฉันของข้อมูลอย่างต่อเนื่องเป็นไปตามการกระจายแกมม่าที่มีพารามิเตอร์รูปร่าง 1.7 และอัตรา= 0.000063==

ปัญหาคือเมื่อฉันใช้ R เพื่อสร้างพล็อต QQ ของชุดข้อมูลของฉันกับแกมมาทฤษฎีการกระจาย (1.7 0.000063) ผมได้รับการพล็อตที่แสดงให้เห็นว่าข้อมูลเชิงประจักษ์ ๆ เห็นด้วยกับการกระจายรังสีแกมมาที่ สิ่งเดียวกันนี้เกิดขึ้นกับพล็อต ECDFx

แต่เมื่อฉันเรียกใช้การทดสอบ Kolmogorov-Smirnov มันทำให้ฉันมีขนาดเล็กเกินสมควร -value ของ\%< 1 %p<1%

ฉันควรเลือกที่จะเชื่อ เอาต์พุตกราฟิกหรือผลลัพธ์จากการทดสอบ KS หรือไม่

พล็อต QQplot และ ECDF


คุณสามารถจัดทำแผนการกระจายความหนาแน่นที่คุณได้รับหรือไม่?
เกา

13
การทดสอบและพล็อตการวินิจฉัยไม่สอดคล้องกัน การกระจายนั้นคล้ายกับทฤษฎีตามที่ QQ plot แสดง ขนาดตัวอย่างมีขนาดใหญ่พอที่คุณจะรับได้แม้จะมีความแตกต่างเล็กน้อยจากทฤษฎี
Glen_b -Reinstate Monica

คำตอบ:


18

ฉันไม่เห็นความรู้สึกใด ๆ ที่ไม่ใช่ "เชื่อ" พล็อต QQ (หากคุณผลิตออกมาอย่างเหมาะสม); มันเป็นเพียงการนำเสนอแบบกราฟิกของความเป็นจริงของข้อมูลของคุณซึ่งรวมอยู่กับการแจกแจงแบบกำหนดเงื่อนไข เห็นได้ชัดว่ามันไม่ใช่การจับคู่ที่สมบูรณ์แบบ แต่ถ้ามันดีพอสำหรับจุดประสงค์ของคุณนั่นอาจเป็นจุดจบของเรื่องราวมากหรือน้อย คุณอาจต้องการที่จะตรวจสอบคำถามที่เกี่ยวข้องนี้: การทดสอบภาวะปกติ 'ไร้ประโยชน์เป็นหลัก' หรือไม่?

p -value จากการทดสอบ KS เป็นพื้นบอกคุณว่าขนาดของกลุ่มตัวอย่างของคุณมีขนาดใหญ่พอที่จะให้หลักฐานที่แข็งแกร่งกับสมมติฐานที่ว่าข้อมูลของคุณอยู่ตรงกระจายเช่นเดียวกับการกระจายการอ้างอิงของคุณ (ผมถือว่าคุณอ้างอิงกระจายแกมมาคุณ อาจต้องการตรวจสอบอีกครั้งว่าคุณทำ) นั่นดูเหมือนจะชัดเจนพอจากพล็อต QQ ด้วย (เช่นมีรูปแบบการเบี่ยงเบนเล็ก ๆ แต่ดูเหมือนว่าเป็นระบบ) ดังนั้นฉันไม่คิดว่าจะมีข้อมูลที่ขัดแย้งใด ๆ ที่นี่

ไม่ว่าข้อมูลของคุณจะแตกต่างจากการแจกจ่ายแกมม่าสำหรับจุดประสงค์ของคุณหรือไม่เป็นคำถามอื่น การทดสอบ KS เพียงอย่างเดียวไม่สามารถตอบคำถามให้คุณได้ (เนื่องจากผลลัพธ์จะขึ้นอยู่กับขนาดตัวอย่างของคุณด้วยเหตุผลอื่น ๆ ) แต่พล็อต QQ อาจช่วยคุณตัดสินใจได้ คุณอาจต้องการค้นหาทางเลือกที่มีประสิทธิภาพสำหรับการวิเคราะห์อื่น ๆ ที่คุณวางแผนที่จะเรียกใช้และหากคุณจริงจังกับการคำนึงถึงความอ่อนไหวของการวิเคราะห์ที่ตามมาใด ๆ ต่อการเบี่ยงเบนจากการแจกแจงแกมม่า .


15

สิ่งที่คุณสามารถทำได้คือสร้างตัวอย่างจำนวนมากจากการกระจายเชิงทฤษฎีของคุณ ซึ่งจะทำให้คุณทราบถึงความแปรปรวนที่คุณสามารถคาดหวังได้จากการสุ่มตัวอย่าง

คุณสามารถขยายแนวคิดนั้นเพื่อสร้างซองจดหมายโดยรอบบรรทัดตามทฤษฎีโดยใช้ตัวอย่างจากหน้า 86-89 ของ:

Venables, WN และ Ripley, BD 2002 สถิติสมัยใหม่ประยุกต์กับ S. New York: Springer

นี่จะเป็นซองจดหมายที่ใช้งานง่าย คุณสามารถขยายแนวคิดนั้นยิ่งขึ้นเพื่อสร้างซองจดหมายโดยรวมโดยใช้แนวคิดจากหน้า 151-154 ของ:

Davison, AC และ Hinkley, DV 1997 วิธีการ Bootstrap และการใช้งาน Cambridge: สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์

อย่างไรก็ตามสำหรับการสำรวจพื้นฐานฉันคิดว่าเพียงแค่วางแผนตัวอย่างอ้างอิงสองสามอันในพื้นหลังของ QQ-plot ของคุณจะมากเกินพอ


ความคิดที่ดี! เตือนให้ฉันยกเลิกการลงคะแนนใน 11 ชั่วโมง (หมดคะแนนโหวตของฉันทั้งหมดเป็นการ์ตูน ) ... ฉันชอบที่จะทำให้ ECDF เป็นส่วนหนึ่งในการเพิ่มคุณค่าให้กับแผนการนั้น
Nick Stauner

1
นอกจากนี้ยังมีการดูที่แพคเกจ CRAN sfsmisc ซึ่งมีฟังก์ชั่น ecdf.ksCI ดึงวงความเชื่อมั่นในพล็อต ecdf ความคิดเดียวกันนี้สามารถใช้
วาดวง

2

การทดสอบ KS ถือว่าพารามิเตอร์เฉพาะของการกระจายของคุณ มันทดสอบสมมติฐาน "ข้อมูลถูกแจกจ่ายตามการแจกแจงแบบนี้โดยเฉพาะ" คุณอาจระบุพารามิเตอร์เหล่านี้บางแห่ง หากไม่ใช่อาจมีการใช้ค่าเริ่มต้นที่ไม่ตรงกันบางอย่าง โปรดทราบว่าการทดสอบ KS จะกลายเป็นแบบอนุรักษ์นิยมหากมีการเสียบค่าพารามิเตอร์ที่ประมาณเข้ากับสมมติฐาน

อย่างไรก็ตามการทดสอบความดีที่สุดของความพอดีนั้นใช้ผิดวิธี หากการทดสอบ KS จะไม่แสดงความสำคัญนี่ไม่ได้หมายความว่าแบบจำลองที่คุณต้องการพิสูจน์นั้นเหมาะสม นั่นคือสิ่งที่ @Nick Stauner พูดถึงขนาดตัวอย่างที่เล็กเกินไป ปัญหานี้คล้ายกับการทดสอบสมมติฐานจุดและการทดสอบความเท่าเทียม

ดังนั้นในที่สุด: พิจารณาเฉพาะ QQ-แปลง


-1

QQ Plot เป็นเทคนิคการวิเคราะห์ข้อมูลเชิงสำรวจและควรได้รับการปฏิบัติเช่นนี้ดังนั้นจึงเป็นแผนการ EDA อื่น ๆ ทั้งหมด มีไว้เพื่อให้ข้อมูลเชิงลึกเบื้องต้นเกี่ยวกับข้อมูลในมือ คุณไม่ควรตัดสินใจหรือหยุดการวิเคราะห์ตามแผนการ EDA เช่น QQ plot มันเป็นคำแนะนำที่ผิดที่จะต้องพิจารณาเฉพาะ QQ แปลง คุณควรไปด้วยเทคนิคเชิงปริมาณเช่นการทดสอบ KS สมมติว่าคุณมีพล็อต QQ อีกชุดสำหรับชุดข้อมูลที่คล้ายกันคุณจะเปรียบเทียบทั้งสองโดยไม่มีเครื่องมือเชิงปริมาณได้อย่างไร ขั้นตอนต่อไปสำหรับคุณหลังจากการทดสอบ EDA และ KS คือการหาสาเหตุที่การทดสอบ KS ให้ค่า p ต่ำ (ในกรณีของคุณอาจเป็นเพราะข้อผิดพลาดบางอย่าง)

เทคนิค EDA ไม่ได้มีไว้เพื่อใช้เป็นเครื่องมือในการตัดสินใจ ในความเป็นจริงฉันจะบอกว่าแม้สถิติเชิงอนุมานจะเป็นเพียงการสำรวจเท่านั้น พวกเขาให้คำแนะนำแก่คุณเกี่ยวกับทิศทางที่การวิเคราะห์ทางสถิติของคุณควรดำเนินการต่อไป ตัวอย่างเช่นการทดสอบแบบ t บนตัวอย่างจะให้ระดับความเชื่อมั่นแก่คุณเท่านั้นที่กลุ่มตัวอย่างอาจ (หรืออาจไม่) เป็นของประชากรคุณอาจดำเนินการต่อไปโดยพิจารณาจากข้อมูลเชิงลึกนั้นเกี่ยวกับการกระจายข้อมูลของคุณและอะไร เป็นพารามิเตอร์ของมันเป็นต้นอันที่จริงเมื่อบางรัฐยังใช้เทคนิคในการเป็นส่วนหนึ่งของห้องสมุดการเรียนรู้ของเครื่องก็มีการสำรวจในธรรมชาติด้วย !!! ฉันหวังว่าพวกเขาหมายถึงมันในแง่นี้ ... !

เพื่อสรุปการตัดสินใจทางสถิติบนพื้นฐานของพล็อตหรือเทคนิคการสร้างภาพข้อมูลทำให้การเยาะเย้ยความก้าวหน้าทางวิทยาศาสตร์ทางสถิติ หากคุณถามฉันคุณควรใช้พล็อตเหล่านี้เป็นเครื่องมือในการสื่อสารข้อสรุปสุดท้ายจากการวิเคราะห์เชิงสถิติเชิงปริมาณของคุณ


สิ่งนี้ห้ามไม่ให้ฉันทำอะไรบางอย่างที่ฉันทำบ่อย ๆ และพิจารณาอย่างสมเหตุสมผลตัดสินใจตามแผนการสำรวจและหยุดก่อนการทดสอบที่มีนัยสำคัญยิ่งกว่า ไม่มีการใส่ร้าย นี่เป็นความคิดเห็นที่ซ้ำซากและดื้อดึงที่ไม่ได้เพิ่มสิ่งใด ๆ ที่เป็นประโยชน์ต่อยอดเยี่ยมที่มีอยู่และคำตอบที่เหมาะสมยิ่งขึ้น เป็นเรื่องง่ายมากที่จะเปรียบเทียบแปลง QQ ...
Nick Cox

ฉันยังไม่ได้อ่านคำตอบอื่น ๆ แต่ถ้าพวกเขาสนับสนุนวิธีการเชิงปริมาณฉันก็สบายดี สำหรับคำถามที่ถามฉันได้รับคำตอบแล้ว แต่ฉันอยากรู้อยากเห็นมันไม่ต้องใช้เวลามากในการทำแบบทดสอบเชิงปริมาณ (เพียงไม่กี่นาทีในการทำแบบทดสอบ KS) กับแพ็คเกจที่มีในขณะนี้เช่น R ดังนั้นทำไมทุกคนจะหยุดที่แผนการ EDA หลังจากตรวจสอบความถูกต้องของผลการทดสอบ KS ของ R ด้วยการบูตสแตรปแล้วฉันสังเกตเห็นในหลาย ๆ ที่ซึ่งถูกกล่าวถึงว่าไม่เหมาะที่จะใช้ ฯลฯ .. เป็นเพราะสงสัยทั่วไปเกี่ยวกับวิธีการทางสถิติแบบดั้งเดิมหรือไม่ นี่คือเหตุผลที่อยู่เบื้องหลังความเห็นที่แข็งแกร่งของฉัน .. ไม่รุกรานใด ๆ
Murugesan Narayanaswamy

คุณควรอ่านคำตอบอื่น ๆ ก่อนโพสต์ ความหมายของการโพสต์คือคุณมีสิ่งที่แตกต่าง (เช่นเดียวกับการป้องกัน) ที่จะพูด ความคิดเห็นของคุณทำให้งงในความหมายที่ QQ แปลงไม่ใช่ "วิธีเชิงปริมาณ" พล็อต QQ แสดงในหลักการข้อมูลเชิงปริมาณทั้งหมดที่เกี่ยวข้องในการประเมินความเหมาะสมของการกระจาย ในทางตรงกันข้ามการทดสอบอย่าง Kolmogorov-Smirnov ให้การลดลงหนึ่งมิติและให้ความช่วยเหลือเล็กน้อยเกี่ยวกับสิ่งที่ต้องทำต่อไป
Nick Cox

พล็อต QQ เปรียบเทียบการกระจายเชิงทฤษฎีกับข้อมูลการทดสอบที่ได้รับและให้การแสดงภาพ แต่การทดสอบ KS ทำสิ่งเดียวกันด้วยวิธีการที่เข้มงวดมากขึ้นโดยใช้แนวคิดทางสถิติและให้ค่าความน่าจะเป็นในที่สุด คุณไม่สามารถเปรียบเทียบแปลง QQ สองแปลงได้ แต่คุณจะได้รับผลต่างเชิงปริมาณเมื่อคุณใช้การทดสอบ KS มันเป็นชื่อที่ผิดที่ KS ทดสอบค่า p ไม่ถูกต้อง เป็นความผิดที่ไม่สามารถใช้ชุดข้อมูลเชิงประจักษ์เพื่อแยกพารามิเตอร์การกระจายได้ ฉันทำการ bootstrapping เป็นการส่วนตัวและตรวจสอบด้วยค่า p กับตารางทั้งสองและคำนวณการกระจาย kolomogrov ด้วยตนเอง
Murugesan Narayanaswamy

ความคิดเห็นของคุณมีเงามวยมากมายใครจะเถียงกันว่าคุณไม่สามารถใช้ข้อมูลเชิงประจักษ์ในการประมาณค่าพารามิเตอร์ได้อย่างไร นั่นคือสิ่งที่เราทุกคนควรเห็นด้วยกำลังทำที่นี่ คุณจะต้องยกโทษให้ฉันเพราะไม่ต้องการสนทนา ฉันยืนตามปฏิกิริยาตอบสนองของคุณ
Nick Cox
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.