การทดสอบข้อมูลที่สร้างแบบสุ่มกับการกระจายที่ต้องการ

ฉันได้เขียนโปรแกรมที่สร้างข้อมูลแบบสุ่ม หากโปรแกรมทำงานอย่างถูกต้องข้อมูลนั้นควรเป็นไปตามการแจกแจงความน่าจะเป็นที่ทราบ ฉันต้องการรันโปรแกรมทำการคำนวณผลและคิดค่า p

ก่อนใครบอกว่า: ฉันเข้าใจว่าการทดสอบสมมติฐานไม่สามารถตรวจพบเมื่อโปรแกรมทำงานอย่างถูกต้อง สามารถตรวจพบได้เมื่อทำงานไม่ถูกต้องในวิธีเฉพาะ (และถึงตอนนั้นการทดสอบ "ควร" ล้มเหลว X% ของเวลาขึ้นอยู่กับระดับความสำคัญที่คุณเลือก ... )

ดังนั้นฉันพยายามทำความเข้าใจว่าเครื่องมือใดที่เหมาะสม โดยเฉพาะอย่างยิ่ง:

• ฉันสามารถสร้างข้อมูลสุ่มได้มากเท่าที่ต้องการ สิ่งที่ฉันต้องทำก็คือปล่อยให้โปรแกรมทำงานนานพอ ดังนั้นฉันจึงไม่ จำกัด ขนาดตัวอย่างเฉพาะใด ๆ

• ฉันสนใจในเทคนิคที่สร้างค่า p ดังนั้นการจ้องมองที่กราฟและพูดว่า "ใช่ที่ดูเหมือนเชิงเส้นเชิงเส้น" ไม่ใช่ตัวเลือกที่น่าสนใจ เว้นแต่จะมีวิธีการใส่ตัวเลขจำนวนมากลงใน "ความไร้ประโยชน์" ของกราฟ ;-)

สิ่งที่ฉันรู้จนถึงตอนนี้:

• ฉันได้เห็นสามประเภทหลักของการทดสอบที่กล่าวถึงซึ่งดูเหมือนว่าพวกเขาจะสามารถใช้งานได้: [เพียร์สัน] การทดสอบไคสแควร์, การทดสอบ Kolmogorov-Smirnov และการทดสอบ Anderson-Darling

• ปรากฏว่าการทดสอบไคสแควร์เป็นที่เหมาะสมสำหรับต่อเนื่องกระจายในขณะที่อีกสองคนที่มีความเหมาะสมมากขึ้นสำหรับการอย่างต่อเนื่องกระจาย (?)

• แหล่งข้อมูลหลายแห่งระบุว่าการทดสอบโฆษณานั้น "ดีกว่า" กว่าการทดสอบ KS แต่ไม่สามารถระบุรายละเอียดเพิ่มเติมได้

ในที่สุดการทดสอบทั้งหมดเหล่านี้น่าจะตรวจพบ "วิธีที่แตกต่าง" ของการเบี่ยงเบนจากการแจกแจงโมฆะที่ระบุ แต่ฉันไม่รู้จริง ๆ ว่าความแตกต่างยังเป็นอย่างไร ... โดยสรุปฉันกำลังมองหาคำอธิบายทั่วไปที่ใช้กับการทดสอบแต่ละประเภทได้ดีที่สุดและปัญหาที่ตรวจพบได้ดีที่สุด

นี่คือคำอธิบายทั่วไปเกี่ยวกับวิธีการทำงานของ 3 วิธีที่กล่าวถึง

วิธี Chi-Squared ทำงานโดยเปรียบเทียบจำนวนการสังเกตในถังขยะกับจำนวนที่คาดว่าจะอยู่ในถังขยะตามการกระจาย สำหรับการกระจายแบบไม่ต่อเนื่องถังขยะมักจะมีความเป็นไปได้โดยสิ้นเชิงหรือการรวมกันของสิ่งเหล่านั้น สำหรับการกระจายอย่างต่อเนื่องคุณสามารถเลือกจุดตัดเพื่อสร้างถังขยะ ฟังก์ชั่นมากมายที่ใช้สิ่งนี้จะสร้างถังขยะโดยอัตโนมัติ แต่คุณควรจะสร้างถังขยะของคุณเองถ้าคุณต้องการเปรียบเทียบในพื้นที่เฉพาะ ข้อเสียของวิธีนี้คือความแตกต่างระหว่างการแจกแจงเชิงทฤษฎีและข้อมูลเชิงประจักษ์ที่ยังคงใส่ค่าในถังขยะเดียวกันจะไม่ถูกตรวจพบตัวอย่างจะปัดเศษหากในทางทฤษฎีตัวเลขระหว่าง 2 ถึง 3 ควรกระจายไปทั่วช่วง (เราคาดว่าจะเห็นค่าเช่น 2.34296)

สถิติการทดสอบ KS คือระยะทางสูงสุดระหว่าง 2 ฟังก์ชันการแจกแจงสะสมที่ถูกเปรียบเทียบ (มักเป็นทฤษฎีและเชิงประจักษ์) หากการแจกแจงความน่าจะเป็น 2 มีเพียงจุดตัด 1 จุดดังนั้น 1 ลบระยะทางสูงสุดคือพื้นที่ของการทับซ้อนระหว่างการแจกแจงความน่าจะเป็น 2 (สิ่งนี้จะช่วยให้บางคนมองเห็นสิ่งที่กำลังวัด) นึกถึงการพล็อตบนพล็อตเดียวกันกับฟังก์ชั่นการแจกแจงเชิงทฤษฎีและ EDF จากนั้นวัดระยะห่างระหว่าง 2 "ส่วนโค้ง" ความแตกต่างที่ใหญ่ที่สุดคือสถิติการทดสอบและเปรียบเทียบกับการกระจายของค่าสำหรับกรณีนี้ ความแตกต่างนี้คือรูปร่างของการแจกแจงหรือการกระจาย 1 การขยับหรือยืดเมื่อเทียบกับการกระจายอื่น ๆ$\frac1n$

การทดสอบแอนเดอร์สัน - ดาร์ลิ่งยังใช้ความแตกต่างระหว่างเส้นโค้ง CDF เช่นการทดสอบ KS แต่แทนที่จะใช้ความแตกต่างสูงสุดมันใช้ฟังก์ชั่นของพื้นที่ทั้งหมดระหว่าง 2 เส้นโค้ง (จริง ๆ แล้วมันยกกำลังสองให้แตกต่างกัน มีอิทธิพลมากขึ้นแล้วรวมเข้ากับโดเมนของการแจกแจง) สิ่งนี้ให้น้ำหนักมากกว่าค่าผิดปกติกว่า KS และยังให้น้ำหนักมากกว่าถ้ามีความแตกต่างเล็ก ๆ น้อย ๆ หลายประการ (เทียบกับ 1 ความแตกต่างใหญ่ที่ KS จะเน้น) สิ่งนี้อาจสิ้นสุดการทดสอบเพื่อเอาชนะความแตกต่างที่คุณจะพิจารณาว่าไม่สำคัญ (การปัดเศษแบบไม่รุนแรงเป็นต้น) เช่นเดียวกับการทดสอบของ KS นี่ถือว่าคุณไม่ได้ประมาณค่าพารามิเตอร์จากข้อมูล

นี่คือกราฟเพื่อแสดงแนวคิดทั่วไปของ 2 ตัวสุดท้าย:

ตามรหัส R นี้:

set.seed(1)
tmp <- rnorm(25)
edf <- approxfun( sort(tmp), (0:24)/25, method='constant', 
    yleft=0, yright=1, f=1 )

par(mfrow=c(3,1), mar=c(4,4,0,0)+.1)
curve( edf, from=-3, to=3, n=1000, col='green' )
curve( pnorm, from=-3, to=3, col='blue', add=TRUE)

tmp.x <- seq(-3, 3, length=1000)
ediff <- function(x) pnorm(x) - edf(x)
m.x <- tmp.x[ which.max( abs( ediff(tmp.x) ) ) ]
ediff( m.x )  # KS stat
segments( m.x, edf(m.x), m.x, pnorm(m.x), col='red' )  # KS stat

curve( ediff, from=-3, to=3, n=1000 )
abline(h=0, col='lightgrey')    

ediff2 <- function(x) (pnorm(x) - edf(x))^2/( pnorm(x)*(1-pnorm(x)) )*dnorm(x)
curve( ediff2, from=-3, to=3, n=1000 )
abline(h=0)

กราฟด้านบนแสดง EDF ของตัวอย่างจากมาตรฐานปกติเปรียบเทียบกับ CDF ของมาตรฐานปกติด้วยเส้นที่แสดงสถิติ KS กราฟกลางจะแสดงความแตกต่างใน 2 เส้นโค้ง (คุณสามารถดูได้ว่าเกิดสถิติ KS) ด้านล่างคือความแตกต่างยกกำลังสองน้ำหนักทดสอบโฆษณาขึ้นอยู่กับพื้นที่ใต้เส้นโค้งนี้ (สมมติว่าฉันได้ทุกอย่างถูกต้อง)

การทดสอบอื่น ๆ ดูที่สหสัมพันธ์ใน qqplot ดูที่ความชันใน qqplot เปรียบเทียบค่าเฉลี่ย, var และสถิติอื่น ๆ ตามช่วงเวลา

+1 สำหรับการเขียนคำถามที่ชัดเจนและละเอียด ฉันหวังว่าคำตอบของฉันจะไม่หงุดหงิดเกินไป ฉันเชื่อว่าการทดสอบสมมติฐานไม่ใช่วิธีการที่เหมาะสมในกรณีของคุณ การทดสอบสมมติฐานอย่างมีนัยสำคัญเป็นสิ่งที่เหมาะสมที่จะทำอย่างไรเมื่อคำตอบอาจจะใช่หรือไม่, แต่คุณไม่ทราบว่า (น่าเสียดายที่มันไม่ได้บอกคุณจริงๆ แต่นี่เป็นปัญหาอื่น) ในกรณีของคุณฉันรวบรวมคุณต้องการทราบว่าอัลกอริทึมของคุณดีหรือไม่ อย่างไรก็ตามเป็นที่รู้จักกัน (อย่างแน่นอน) ว่าไม่มีโปรแกรมคอมพิวเตอร์ใดที่สามารถสร้างข้อมูลแบบสุ่มอย่างแท้จริงจากการแจกแจงความน่าจะเป็นใด ๆ นี่เป็นความจริงประการแรกเนื่องจากคอมพิวเตอร์ทุกเครื่องเป็นเครื่องสถานะ จำกัดและทำให้สามารถผลิตตัวเลขหลอกเทียมเท่านั้น. นอกจากนี้ (การตั้งค่าการขาดแบบแผนที่แท้จริงกัน) เป็นไปไม่ได้ที่ค่าที่สร้างขึ้นจะเป็นไปตามการกระจายอย่างต่อเนื่อง มีหลายวิธีที่จะเข้าใจสิ่งนี้ แต่บางทีสิ่งที่ง่ายที่สุดคือจะมี 'ช่องว่าง' ในบรรทัดตัวเลขซึ่งไม่เป็นความจริงของตัวแปรสุ่มแบบต่อเนื่อง ยิ่งไปกว่านั้นช่องว่างเหล่านี้ไม่ได้กว้างเท่ากันอย่างสมบูรณ์หรือเว้นระยะเท่ากันอย่างสมบูรณ์ ในบรรดานักวิทยาศาสตร์คอมพิวเตอร์ที่ทำงานเกี่ยวกับการสร้างตัวเลขหลอกเทียมชื่อของเกมคือการปรับปรุงอัลกอริธึมที่ทำให้ช่องว่างมีขนาดเล็กมากยิ่งขึ้นด้วยระยะเวลาที่ยาวนานขึ้น ข้อเท็จจริงเหล่านี้พิสูจน์ว่าการทดสอบสมมติฐานเป็นวิธีการที่ไม่ถูกต้องในการพิจารณาว่าอัลกอริทึมของคุณติดตาม "การกระจายความน่าจะเป็นที่เฉพาะเจาะจงหรือไม่" เพราะมันไม่ใช่ (ขออภัย.)

กรอบงานที่เหมาะสมยิ่งขึ้นคือการพิจารณาว่าข้อมูลของคุณใกล้กับการกระจายเชิงทฤษฎีมากน้อยเพียงใด สำหรับเรื่องนี้ฉันจะแนะนำให้ทบทวนแปลงโดยเฉพาะqq-plotsและpp-plots$1-\beta$$r=1$

ในบันทึกอื่น ๆ เกี่ยวกับการประเมินคุณภาพของอัลกอริทึมของคุณคุณอาจต้องการเวลาที่สัมพันธ์กับ pRNG มาตรฐานอื่น ๆ

หวังว่านี่จะช่วยได้

ฉันยังไม่ได้อ่านคำตอบทั้งหมด แต่ฉันเห็นว่ามันค่อนข้างละเอียดและแม่นยำ ใช้ความเสี่ยงที่ฉันทำซ้ำสิ่งที่ฝังอยู่ในคำตอบยาว ๆ ฉันแค่อยากจะบอกว่า v = การทดสอบไคสแควร์สามารถใช้สำหรับข้อมูลต่อเนื่อง มันอาจไม่ใช่การทดสอบที่ดีที่สุดและเหมือนกับการทดสอบหลายอย่างที่ต้องอาศัยทฤษฎีแบบอะซิมโทติคและอาจไม่แม่นยำในตัวอย่างขนาดเล็กที่มีเซลล์หร็อมแหร็ม แอนเดอร์สันดาร์ลิ่งมีประสิทธิภาพในการทดสอบความเป็นมาตรฐานมากกว่าการทดสอบ KS แต่แคนซัสอาจดีกว่าสำหรับการแจกแจงแบบต่อเนื่องอื่น ๆ Lillefors มีการทดสอบที่ออกแบบมาสำหรับการแจกแจงแบบเลขชี้กำลัง