ข้อผิดพลาดของตัวชี้วัดสำหรับโมเดลพัวซองที่ผ่านการตรวจสอบความถูกต้อง

ฉันข้ามการตรวจสอบรูปแบบที่พยายามทำนายการนับ หากนี่เป็นปัญหาการจำแนกเลขฐานสองฉันจะคำนวณ AUC แบบพับได้และถ้านี่เป็นปัญหาการถดถอยฉันจะคำนวณ RMSE หรือ Mae แบบ out-of-fold

สำหรับโมเดลปัวซงฉันสามารถใช้เมตริกข้อผิดพลาดใดในการประเมิน "ความถูกต้อง" ของการคาดการณ์ที่ไม่อยู่ในกลุ่มตัวอย่าง มีส่วนขยายของปัวซองของ AUC ที่ดูว่าการทำนายลำดับค่าที่แท้จริงดีเพียงใด

ดูเหมือนว่าการแข่งขัน Kaggle จำนวนมากสำหรับการนับ (เช่นจำนวนคะแนนโหวตที่เป็นประโยชน์ที่รีวิวร้องเอ๋งจะได้รับหรือจำนวนวันที่ผู้ป่วยจะใช้จ่ายในโรงพยาบาล) ใช้ข้อผิดพลาดรากหมายถึงบันทึกกำลังสองหรือ RMLSE

/ แก้ไข: สิ่งหนึ่งที่ฉันได้ทำคือการคำนวณ deciles ของค่าที่คาดการณ์ไว้และจากนั้นดูที่การนับจริงโดย binned by decile ถ้า decile 1 อยู่ในระดับต่ำ decile 10 จะสูงและ decile ในระหว่างนั้นเพิ่มขึ้นอย่างเคร่งครัดฉันได้เรียกโมเดล "ดี" แต่ฉันประสบปัญหาในการหาจำนวนกระบวนการนี้และฉันเชื่อว่ามันดีกว่า เข้าใกล้

/ แก้ไข 2: ฉันกำลังมองหาสูตรที่ใช้ค่าที่คาดการณ์และตามจริงและส่งกลับเมตริก "ข้อผิดพลาด" หรือ "ความแม่นยำ" บางส่วน แผนของฉันคือการคำนวณฟังก์ชั่นนี้เกี่ยวกับข้อมูลที่อยู่นอกกรอบในระหว่างการตรวจสอบความถูกต้องและจากนั้นใช้เพื่อเปรียบเทียบแบบจำลองที่หลากหลาย (เช่นการปัวซองการถดถอยแบบฟอเรสต์แบบสุ่มและGBM )

RMSE = sqrt(mean((predicted-actual)^2))ตัวอย่างเช่นหนึ่งฟังก์ชั่นดังกล่าวเป็น อีกฟังก์ชั่นดังกล่าวจะเป็นAUC ดูเหมือนว่าฟังก์ชั่นจะไม่เหมาะกับข้อมูลปัวซอง

มีกฎการให้คะแนนที่เหมาะสมและเคร่งครัดสองสามข้อสำหรับข้อมูลนับที่คุณสามารถใช้ได้ กฎการให้คะแนนมีบทลงโทษนำมาใช้กับเป็นการกระจายการทำนายและค่าสังเกต พวกเขามีคุณสมบัติที่พึงประสงค์จำนวนมากสิ่งแรกและสำคัญที่สุดที่การคาดการณ์ที่ใกล้เคียงกับความน่าจะเป็นที่แท้จริงจะได้รับการลงโทษน้อยกว่าและมีการคาดการณ์ที่ดีที่สุด (ไม่เหมือนใคร) และหนึ่งคือ ดังนั้นการลดความคาดหวังของหมายถึงการรายงานความน่าจะเป็นที่แท้จริง ดูยังวิกิพีเดียP y s ( y , P $s(y,P)$$P$$y$$s(y,P)$

บ่อยครั้งที่หนึ่งใช้ค่าเฉลี่ยของค่าที่คาดการณ์ไว้ทั้งหมดเป็น

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

กฎที่จะต้องใช้นั้นขึ้นอยู่กับวัตถุประสงค์ของคุณ แต่ฉันจะอธิบายลักษณะคร่าวๆเมื่อใช้แต่ละอย่างได้ดี

ในสิ่งต่อไปนี้ฉันใช้สำหรับฟังก์ชันมวลความน่าจะเป็นทำนายและฟังก์ชันการแจกแจงสะสมแบบทำนายได้ Aทำงานมากกว่าการสนับสนุนทั้งหมดของการแจกแจงการนับ (เช่น ) หมายถึงฟังก์ชั่นตัวบ่งชี้ และคือค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของการแจกแจงการทำนาย (ซึ่งโดยปกติแล้วจะเป็นปริมาณที่ประมาณโดยตรงในแบบจำลองข้อมูลการนับ) $f(y)$F ( y ) ∑ k 0 , 1 , … $\Pr(Y=y)$$F(y)$$\sum_k$ฉันμ $0,1,\dots, \infty$$I$$\mu$$\sigma$

กฎการให้คะแนนที่เหมาะสมอย่างเคร่งครัด

• คะแนน Brier : (เสถียรสำหรับขนาดที่ไม่สมดุลในการทำนายเชิงหมวดหมู่)$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• คะแนน Dawid-Sebastiani : (เหมาะสำหรับการเลือกรูปแบบการทำนายทั่วไปมีเสถียรภาพสำหรับขนาดความไม่สมดุลในการพยากรณ์เชิงหมวดหมู่)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• คะแนนความเบี่ยงเบน: (เป็นคำการทำให้เป็นมาตรฐานที่ขึ้นอยู่กับเท่านั้นในโมเดลปัวซองมันมักจะถูกนำมาใช้เป็นค่าเบี่ยงเบนอิ่มตัวซึ่งดีสำหรับการใช้งานโดยประมาณจาก กรอบ MLg y$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• คะแนนลอการิทึม : (คำนวณได้ง่ายมากมีความเสถียรสำหรับความไม่สมดุลของขนาดในการพยากรณ์เชิงหมวดหมู่)$s(y,P)=-\log f(y)$
• คะแนนความน่าจะเป็นอันดับ : (ดีสำหรับการเปรียบเทียบการคาดการณ์ที่แตกต่างกันของการนับที่สูงมาก; ไวต่อความไม่สมดุลของขนาด$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• คะแนนทรงกลม : (เสถียรสำหรับความไม่สมดุลของขนาดในการพยากรณ์เชิงหมวดหมู่)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

กฎการให้คะแนนอื่น ๆ (ไม่ค่อยเหมาะสม แต่มักจะใช้)

• คะแนนข้อผิดพลาดทั้งหมด :(ไม่เหมาะสม)$s(y,P)=|y-\mu|$
• คะแนนความผิดพลาดกำลังสอง : (ไม่เหมาะสมอย่างยิ่ง; ไวต่อการผิดปกติ; ไวต่อความไม่สมดุลของขนาดในการพยากรณ์เชิงหมวดหมู่)$s(y,P)=(y-\mu)^2$
• คะแนนข้อผิดพลาดกำลังสองของ Pearson ที่ทำให้เป็นมาตรฐาน : (ไม่ถูกต้องเหมาะสม, ไวต่อค่าผิดปกติ; สามารถใช้ตรวจสอบว่าแบบจำลองตรวจสอบว่าคะแนนเฉลี่ยหรือไม่ แตกต่างจาก 1 อย่างมากสำหรับความไม่สมดุลของขนาดในตัวทำนายหมวดหมู่)$s(y,P)=(\frac{y-\mu}{\sigma})^2$

ตัวอย่างรหัส R สำหรับกฎที่เหมาะสมอย่างเคร่งครัด:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)