เราจะทำนายเหตุการณ์ที่หายากได้อย่างไร


11

ฉันกำลังพัฒนารูปแบบการทำนายความเสี่ยงด้านการประกันภัย โมเดลเหล่านี้เป็น "เหตุการณ์ที่หายาก" เช่นการคาดคะเนการไม่แสดงตัวตนของสายการบินการตรวจจับข้อผิดพลาดของฮาร์ดแวร์ ฯลฯ ขณะที่ฉันเตรียมชุดข้อมูลของฉันฉันพยายามใช้การจำแนกประเภท แต่ฉันไม่สามารถรับตัวแยกประเภทที่มีประโยชน์ได้ .

ฉันไม่มีประสบการณ์ด้านสถิติและการสร้างแบบจำลองมากไปกว่าหลักสูตรสถิติของโรงเรียนมัธยมดังนั้นฉันจึงสับสน

อย่างที่ฉันคิดไว้ฉันคิดว่าจะใช้แบบจำลองกระบวนการปัวซองซึ่งมีความเป็นเนื้อเดียวกัน ฉันจัดประเภทตามข้อมูลเหตุการณ์ (date, lat, lon) เพื่อให้ได้ค่าประมาณความเสี่ยงที่ดี ณ เวลาใดเวลาหนึ่งของแต่ละวัน

ฉันอยากรู้ว่าอะไรคือวิธีการ / ขั้นตอนวิธีในการทำนายเหตุการณ์ที่เกิดขึ้นได้ยาก
คุณแนะนำอะไรเป็นวิธีแก้ไขปัญหานี้

คำตอบ:


9

วิธีการมาตรฐานคือ " ทฤษฎีค่ามาก " มีหนังสือที่ยอดเยี่ยมในเรื่องโดย Stuart Coles (แม้ว่าราคาปัจจุบันดูเหมือนค่อนข้างผิดพลาด ... สุดขีด)

เหตุผลที่คุณไม่น่าจะได้ผลลัพธ์ที่ดีโดยใช้การจำแนกประเภทหรือวิธีการถดถอยคือวิธีการเหล่านี้มักจะขึ้นอยู่กับการทำนายค่าเฉลี่ยของข้อมูลและเหตุการณ์ที่รุนแรงมักจะเกิดจากการรวมกันของปัจจัย "สุ่ม" ทั้งหมดในทิศทางเดียวกัน ดังนั้นพวกเขาจึงอยู่ในหางของการกระจายตัวของผลลัพธ์ที่เป็นไปได้ซึ่งโดยปกติจะอยู่ห่างจากค่าเฉลี่ยตามเงื่อนไข สิ่งที่คุณสามารถทำได้คือการทำนายการแจกแจงแบบมีเงื่อนไขทั้งหมดไม่ใช่แค่ค่าเฉลี่ยและรับข้อมูลบางอย่างเกี่ยวกับความน่าจะเป็นของเหตุการณ์ที่รุนแรงโดยการรวมส่วนท้ายของการแจกแจงไว้เหนือขีด จำกัด บางอย่าง ฉันพบนี้ทำงานได้ดีในการประยุกต์ใช้ในdownscaling ทางสถิติของการเกิดฝนตกหนัก


1
มีการนำทฤษฎีนี้ไปใช้กับงูหลามหรือไม่?
user3378649

ขออภัยฉันไม่ได้เขียนโปรแกรมใน Python (ยัง) ดังนั้นฉันไม่สามารถช่วยได้
Dikran Marsupial

yx1,,xny>Y0P(y>Y0|x1,,xn)E(y|x1,,xn)y>Y0P(y>Y0|x1,,xn)

ใช่คุณสามารถทำเช่นนั้นได้ แต่ฟังก์ชั่นค่าใช้จ่ายของคุณกำลังลดลงไม่ได้เพ่งความสนใจไปที่ส่วนท้ายของการแจกแจงที่ถูกต้องดังนั้นถ้านั่นคือสิ่งที่คุณสนใจมันจะเป็นการดีกว่า .
Dikran Marsupial
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.