การวัดความดีพอดีในโมเดลที่รวมการแจกแจงสองแบบ


9

ฉันมีข้อมูลที่มีจุดสูงสุดสองเท่าที่ฉันพยายามทำแบบจำลองและมีการทับซ้อนกันระหว่างจุดสูงสุดที่ฉันไม่สามารถปฏิบัติกับพวกเขาได้อย่างอิสระ ฮิสโตแกรมของข้อมูลอาจมีลักษณะดังนี้:

ข้อความแสดงแทน

ฉันได้สร้างแบบจำลองสองแบบสำหรับสิ่งนี้: แบบหนึ่งใช้การแจกแจงแบบปัวซงสองแบบส่วนอีกแบบใช้การแจกแจงแบบทวินามลบสองตัว วิธีที่เหมาะสมในการบอกว่าแบบจำลองใดที่เหมาะสมกับข้อมูลมากขึ้น

ความคิดเริ่มต้นของฉันคือฉันสามารถใช้การทดสอบ Kolmogorov-Smirnov เพื่อเปรียบเทียบแต่ละแบบจำลองกับข้อมูลจากนั้นทำการทดสอบอัตราส่วนความน่าจะเป็นเพื่อดูว่าแบบทดสอบมีความเหมาะสมดีกว่าหรือไม่ มันสมเหตุสมผลหรือไม่ ถ้าเป็นเช่นนั้นฉันไม่แน่ใจว่าจะทำการทดสอบอัตราส่วนความน่าจะเป็นอย่างไร ไคสแควร์เหมาะสมหรือไม่และฉันมีอิสระในระดับใด?

หากช่วยได้รหัส R บางตัว (ง่ายมาก) สำหรับรุ่นอาจมีลักษณะดังนี้:

## inital data points
a <- read.table("data")

#create model data
model.pois = c(rpois(1000000,200),rpois(500000,250))
model.nb = c(rnbinom(1000000,200,0.5),rnbinom(500000,275,0.5)

#Kolmogorov-Smirnov test
#use ks.boot, since it's count data that may contain duplicate values
kpois = ks.boot(model.pois,a)
knb = ks.boot(model.nb,a)

#here's where I'd do some sort of likelihood ratio test
# . . .

แก้ไข: นี่คือภาพที่อาจอธิบายข้อมูลและการกระจายตัวที่ฉันเหมาะสมยิ่งขึ้น เป็นที่ชัดเจนโดยสิ้นเชิงจากการสร้างภาพว่ารุ่นที่สอง (การใช้ทวินามลบเชิงลบเพื่ออธิบายการใช้งานเกินขนาด) นั้นเหมาะสมกว่า ฉันต้องการแสดงปริมาณเชิงปริมาณนี้ ข้อความแสดงแทน

(สีแดง - ข้อมูล, สีเขียว - รุ่น)


คุณรู้จักการกระจายความน่าจะเป็นของค่าในแต่ละถังหรือไม่ ฉลากแกน y ทำให้ฉันคิดว่านี่อาจเป็นปัวซองเซียนหรือพหุนาม (สมมติว่าแบบจำลองให้ค่าเฉลี่ยในแต่ละถัง)
อังเดรโฮลเนอร์

ข้อมูลนั้นถูกดึงมาจากกระบวนการปัวซงสองกระบวนการ แต่มีตัวแปรซ่อนเร้นที่ฉันไม่สามารถแก้ไขได้ซึ่งนำไปสู่การเกินขนาด ดังนั้นทวินามลบก็เป็นแบบอย่างที่ดีกว่า (ดูภาพ / ข้อความใหม่ที่ฉันเพิ่มด้านบน) ฉันต้องแสดงให้เห็นว่าแบบจำลอง nb ของฉันนั้นเหมาะสมกับปริมาณมากกว่า
chrisamiller

1
วิธีการเกี่ยวกับตัวชี้วัดเช่นค่าเฉลี่ยความผิดพลาดกำลังสองระหว่างค่าจริงกับค่าที่คาดการณ์

hrmm - ฉันชอบความคิดนี้ Srikant มันง่ายกว่าสิ่งที่ฉันคิด แต่ก็ยังสมเหตุสมผล โยนคำตอบลงไปด้านล่างเพื่อให้ฉันสามารถเครดิตและส่งตัวแทนของคุณ ฉันยังคงสนใจที่จะฟังวิธีการอื่น ๆ แต่ตอนนี้อาจใช้งานได้
chrisamiller

คำตอบ:


4

คุณสามารถใช้ตัวชี้วัดเช่นค่าเฉลี่ยความผิดพลาดกำลังสองระหว่างค่าจริงกับค่าคาดการณ์เพื่อเปรียบเทียบทั้งสองรุ่น


1
นี่คือคำตอบที่ถูกต้องสำหรับสถานการณ์เฉพาะของฉันแม้ว่าคำตอบของ Glen_b ช่วยให้ฉันเรียนรู้เพิ่มเติม upvotes มากสำหรับเขายอมรับคำตอบของศรีกันต์ ทุกคนชนะ - ขอบคุณทุกคน
chrisamiller

8

คุณไม่สามารถเปรียบเทียบได้โดยตรงเนื่องจาก Negative Binomial มีพารามิเตอร์มากกว่า อันที่จริง Poisson คือ "ที่ซ้อนกัน" ในเชิงลบทวินามในความรู้สึกว่ามันเป็นกรณีที่ จำกัด ดังนั้น NegBin จะเสมอพอดีดีกว่า Poisson อย่างไรก็ตามมันทำให้เป็นไปได้ที่จะพิจารณาบางอย่างเช่นการทดสอบอัตราส่วนความน่าจะเป็น แต่ความจริงที่ว่าปัวซองอยู่ในขอบเขตของพื้นที่พารามิเตอร์สำหรับทวินามลบนั้นอาจส่งผลต่อการกระจายตัวของสถิติการทดสอบ

ไม่ว่าในกรณีใดถึงแม้ว่าความแตกต่างของจำนวนพารามิเตอร์จะไม่เป็นปัญหา แต่คุณไม่สามารถทำการทดสอบ KS โดยตรงเนื่องจากคุณมีพารามิเตอร์ที่ประมาณไว้และ KS จะใช้สำหรับกรณีที่ระบุพารามิเตอร์ทั้งหมดโดยเฉพาะ ความคิดของคุณเกี่ยวกับการใช้ bootstrap เกี่ยวข้องกับปัญหานี้ แต่ไม่ใช่ข้อแรก (ความแตกต่างของจำนวนพารามิเตอร์)

ฉันจะพิจารณาการทดสอบอย่างราบรื่นของความดีพอดี (เช่นดูหนังสือของ Rayner และ Best) ซึ่งสามารถนำไปสู่การแบ่งความดีแบบไคสแควร์ของการทดสอบพอดีลงในส่วนประกอบที่น่าสนใจ (เช่นการวัดความเบี่ยงเบนจากแบบจำลองปัวซอง) ในกรณีนี้) - นำออกมาเพื่อพูดคำสั่งที่สี่หรือคำสั่งที่หกซึ่งจะนำไปสู่การทดสอบที่มีพลังดีสำหรับทางเลือก NegBin

(แก้ไข: คุณสามารถเปรียบเทียบปัวซองและเนกบินของคุณได้ผ่านการทดสอบแบบไคสแควร์ แต่จะมีพลังงานต่ำการแบ่งพาร์ทิชันไคสแควร์และการดูเพียงพูดองค์ประกอบ 4-6 ตัวแรกเท่านั้นเนื่องจากการทดสอบที่ราบรื่นอาจทำได้ดีกว่า .)


ขอบคุณ นั่นทำให้สิ่งต่าง ๆ กระจ่างแจ้งและเปิดคำถามใหม่มากมายซึ่งฉันจะต้องทำการวิจัย ฉันเดาคำถามหลักของฉันคือสิ่งที่คุณกำลังพูดหมายความว่าสิ่งที่ง่ายขึ้นเช่นเพียงการรูทค่าเฉลี่ยข้อผิดพลาดกำลังสองไม่ใช่วิธีที่ถูกต้องในการแก้ไขปัญหานี้หรือไม่? ฉันจะให้มันอาจไม่แข็งแรงและจะไม่ให้ค่า p กับฉัน แต่เป็นสิ่งที่ฉันสามารถทำได้อย่างรวดเร็วในขณะที่ฉันพยายามติดตามสำเนาของหนังสือที่คุณอ้างอิง ความคิดใด ๆ ที่จะได้รับการชื่นชม.
chrisamiller

2
ลองนึกภาพว่าคุณมีคะแนน (x, y) และคุณกำลังพิจารณาว่าคุณอาจพอดีเส้นตรงหรือกำลังสอง หากคุณเปรียบเทียบ RMSE สมการกำลังสองจะชนะเส้นตรงเสมอเนื่องจากเส้นนั้นเป็นกำลังสองที่มีหนึ่งพารามิเตอร์ตั้งค่าเป็นศูนย์: หากการประมาณกำลังสองน้อยที่สุดของพารามิเตอร์เป็นศูนย์อย่างแน่นอน (ซึ่งมีความน่าจะเป็นศูนย์สำหรับการตอบสนองต่อเนื่อง) เสมอกันและในกรณีอื่น ๆ เส้นจะหายไป มันก็เหมือนกันกับปัวซองเทียบกับลบทวินาม - ลบเนนามอลฟรีสามารถพอดีอย่างน้อยก็เช่นเดียวกับปัวซองฟรี
Glen_b -Reinstate Monica

คำอธิบายที่ดี - ฉันได้สิ่งที่คุณกำลังพูดตอนนี้ ฉันคิดว่ากรณีของฉันแตกต่างกันเล็กน้อยเนื่องจากฉันไม่ได้ทำการถดถอยเพื่อให้พอดี แต่ฉันกำลังใช้พารามิเตอร์ NB เพิ่มเติมจากข้อมูลภายนอก (ฉันคาดว่าอัตราส่วน var / Mean เป็น N) เนื่องจากปัวซองเป็นกรณีพิเศษที่ N = 1 สิ่งที่ฉันเปรียบเทียบจริง ๆ คือตัวเลือกของ N. ฉันเห็นด้วยว่าถ้าฉันทำถดถอย NB จะสามารถหาแบบที่ดีกว่าได้เสมอเพราะมันมีข้อ จำกัด น้อยกว่า ในกรณีของฉันที่ฉันเลือกค่าสำหรับ N ล่วงหน้ามันจะเป็นไปได้ที่จะเลือกมูลค่าบ้าๆของ N ที่ทำให้แย่ลง
chrisamiller

ฉันจะอ่านการทดสอบที่ราบรื่นของความดีที่คุณแนะนำ ขอบคุณสำหรับคำตอบที่ให้ข้อมูล
chrisamiller

ขออภัยที่ไม่ทราบว่าข้อมูลไม่ได้มาจากการเลือกพารามิเตอร์การกระจายเกินจริง อาจมีข้อโต้แย้งบางอย่างสำหรับการทำในแบบของคุณ แต่ถ้าประมาณการภายนอกมีแนวโน้มที่จะสะท้อนให้เห็นถึงสิ่งที่คุณสังเกตจริง NB ยังคงมีข้อได้เปรียบบางอย่างขึ้นอยู่กับสถานการณ์
Glen_b -Reinstate Monica
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.