กำหนดความแม่นยำของแบบจำลองซึ่งประมาณความน่าจะเป็นของเหตุการณ์

ฉันกำลังสร้างโมเดลเหตุการณ์ที่มีสองผลลัพธ์คือ a และ b ฉันได้สร้างแบบจำลองซึ่งประมาณความน่าจะเป็นที่จะเกิดขึ้นหรือ a (เช่นแบบจำลองจะคำนวณว่าจะเกิดขึ้นโดยมีโอกาส 40% และ b จะเกิดขึ้นกับโอกาส 60%)

ฉันมีบันทึกผลการทดลองเป็นจำนวนมากพร้อมการประมาณการจากแบบจำลอง ฉันต้องการวัดความแม่นยำของแบบจำลองที่ใช้ข้อมูลนี้ - เป็นไปได้และถ้าเป็นเช่นนั้น

predictive-models scoring-rules

— จางไป
แหล่งที่มา

ฉันอาจจะผิด แต่ฉันคิดว่าคุณสนใจในการฝึกอบรมและ / หรือการทดสอบข้อผิดพลาดของแบบจำลองของคุณ ดูตัวอย่างเช่น: cs.ucla.edu/~falaki/pub/classification.pdf

— Stijn

@Stijn เขาคาดการณ์ความน่าจะเป็น แต่แทนที่จะจัดประเภทเป็น a หรือ b โดยตรงดังนั้นฉันจึงไม่คิดว่าการวัดเหล่านั้นเป็นสิ่งที่เขาต้องการ

— Michael McGowan

คุณสนใจที่โมเดลจะทำงานได้ดีแค่ไหนสำหรับการจำแนกประเภท (ในกรณีนี้การวิเคราะห์ประเภท ROC และ AUC นั้นมีความเกี่ยวข้องมากที่สุด ( en.wikipedia.org/wiki/Receiver_operating_characteristic ) หรือคุณสนใจที่จะเข้าใจว่า การคาดการณ์ความน่าจะเป็น (เช่น P (Outcome = A) = 60% หมายถึง 60% จริง ๆ หรือเพียงแค่ผลลัพธ์นั้น = A มีแนวโน้มมากกว่าผลลัพธ์อื่น ๆ ...

— DavidR

ดูเหมือนว่าคุณต้องการรู้เกี่ยวกับการให้คะแนนความน่าจะเป็น

— whuber

Elvis บทความในการวิเคราะห์การตัดสินใจฉบับปัจจุบันดึงความสนใจของฉันมาให้คะแนนความน่าจะเป็น ดูเหมือนว่าจะสร้างจากวรรณกรรมจำนวนมากในหัวข้อ (ผมไม่ได้มีการเข้าถึงใด ๆ มากกว่านามธรรมแม้ว่าดังนั้นฉันไม่สามารถแสดงความคิดเห็นในบทความของตัวเอง.) ปกกระดาษโดยบรรณาธิการวารสาร (ซึ่งเป็นใช้ได้อย่างอิสระ ) กล่าวถึงจำนวนของเอกสารก่อนหน้านี้ในหัวข้อเดียวกัน

— whuber

สมมติว่าแบบจำลองของคุณทำนายว่า A มีโอกาส 40% และ B มีโอกาส 60% ในบางกรณีคุณอาจต้องการแปลงเป็นหมวดหมู่ที่ B จะเกิดขึ้น (เนื่องจากมีแนวโน้มมากกว่า A) เมื่อแปลงเป็นการจัดหมวดหมู่แล้วการทำนายทุกอย่างจะถูกหรือผิดและมีวิธีที่น่าสนใจมากมายในการนับคำตอบที่ถูกและผิด หนึ่งคือความถูกต้องตรง (เปอร์เซ็นต์ของคำตอบที่ถูกต้อง) อื่น ๆ รวมถึงความแม่นยำและการเรียกคืนหรือF-วัด เป็นคนอื่นได้กล่าวถึงคุณอาจต้องการที่จะมองไปที่เส้นโค้ง ROC นอกจากนี้บริบทของคุณอาจมีเมทริกซ์ค่าใช้จ่ายเฉพาะที่ให้รางวัลผลบวกที่แท้จริงแตกต่างจากเชิงลบที่แท้จริงและ / หรือลงโทษผลบวกปลอมต่างจากเชิงลบที่ผิด

อย่างไรก็ตามฉันไม่คิดว่านั่นคือสิ่งที่คุณกำลังมองหา หากคุณบอกว่า B มีโอกาสเกิดขึ้น 60% และฉันบอกว่ามีโอกาสเกิดขึ้น 99% เรามีการคาดการณ์ที่แตกต่างกันมากถึงแม้ว่าพวกเขาทั้งคู่จะถูกแมปไปยัง B ในระบบการจำแนกประเภทที่เรียบง่าย หากเกิดขึ้นแทนคุณเป็นคนผิดในขณะที่ฉันผิดมากดังนั้นฉันหวังว่าฉันจะได้รับโทษที่แข็งกว่าคุณ เมื่อแบบจำลองของคุณสร้างความน่าจะเป็นจริงกฎการให้คะแนนเป็นตัวชี้วัดประสิทธิภาพของการทำนายความน่าจะเป็นของคุณ โดยเฉพาะอย่างยิ่งคุณอาจต้องการกฎการให้คะแนนที่เหมาะสมซึ่งหมายความว่าคะแนนนั้นได้รับการปรับให้เหมาะสมสำหรับผลลัพธ์ที่ได้รับการสอบเทียบแล้ว

B S = \frac{1}{N} \sum_{t = 1}^{N} (f_{t} - o_{t})^{2}

$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$

f_{t}

$f_t$

o_{t}

$o_t$

แน่นอนว่าประเภทของกฎการให้คะแนนที่คุณเลือกอาจขึ้นอยู่กับประเภทของเหตุการณ์ที่คุณพยายามทำนาย อย่างไรก็ตามสิ่งนี้ควรให้ความคิดแก่คุณในการค้นคว้าเพิ่มเติม

ฉันจะเพิ่มข้อแม้ที่ไม่คำนึงถึงสิ่งที่คุณทำเมื่อประเมินโมเดลของคุณด้วยวิธีนี้ฉันขอแนะนำให้คุณดูตัวชี้วัดของคุณจากข้อมูลตัวอย่างนอก (นั่นคือข้อมูลที่ไม่ได้ใช้ในการสร้างแบบจำลองของคุณ) ซึ่งสามารถทำได้ผ่านการตรวจสอบข้าม บางทีคุณสามารถสร้างแบบจำลองของคุณได้ง่ายขึ้นในชุดข้อมูลหนึ่งจากนั้นประเมินอีกชุดหนึ่ง (โปรดระวังอย่าให้การอนุมานจากการรั่วไหลของตัวอย่างที่ไม่อยู่ในตัวอย่างในการสร้างแบบจำลองในตัวอย่าง)

— Michael McGowan
แหล่งที่มา