ใช้การถดถอยโลจิสติกกับอัตราเหตุการณ์ต่ำ

ฉันมีชุดข้อมูลที่อัตรากิจกรรมต่ำมาก (40,000 จาก ) ฉันกำลังใช้การถดถอยโลจิสติกกับสิ่งนี้ ฉันได้มีการพูดคุยกับใครบางคนที่ปรากฏว่าการถดถอยโลจิสติกจะไม่ให้เมทริกซ์ความสับสนที่ดีกับข้อมูลอัตราการเกิดเหตุการณ์ต่ำ แต่เนื่องจากปัญหาทางธุรกิจและวิธีการที่กำหนดไว้ฉันไม่สามารถเพิ่มจำนวนกิจกรรมจาก 40,000 เป็นจำนวนที่มากกว่านี้ได้แม้ว่าฉันจะยอมรับว่าฉันสามารถลบจำนวนประชากรที่ไม่ใช่กิจกรรมได้$12\cdot10^5$

โปรดบอกมุมมองของคุณเกี่ยวกับเรื่องนี้โดยเฉพาะ:

1. ความแม่นยำของการถดถอยโลจิสติกขึ้นอยู่กับอัตราเหตุการณ์หรือมีอัตราเหตุการณ์ขั้นต่ำที่แนะนำหรือไม่
2. มีเทคนิคพิเศษสำหรับข้อมูลอัตราการเกิดเหตุการณ์ต่ำหรือไม่?
3. การลบประชากรที่ไม่ได้ใช้งานของฉันจะเป็นการดีสำหรับความแม่นยำของแบบจำลองของฉันหรือไม่

ฉันยังใหม่กับการสร้างแบบจำลองทางสถิติดังนั้นให้อภัยความไม่รู้ของฉันและโปรดแก้ไขปัญหาที่เกี่ยวข้องใด ๆ ที่ฉันคิดได้

ขอบคุณ

ฉันจะตอบคำถามของคุณไม่เรียบร้อย:

3 การลบประชากรที่ไม่ได้ใช้งานของฉันจะเป็นการดีสำหรับความแม่นยำของแบบจำลองของฉันหรือไม่

การสังเกตแต่ละครั้งจะให้ข้อมูลเพิ่มเติมเกี่ยวกับพารามิเตอร์ (ผ่านฟังก์ชันความน่าจะเป็น) ดังนั้นจึงไม่มีประเด็นในการลบข้อมูลตามที่คุณเพิ่งจะสูญเสียข้อมูล

1 ความแม่นยำของการถดถอยโลจิสติกขึ้นอยู่กับอัตราเหตุการณ์หรือมีอัตราเหตุการณ์ขั้นต่ำที่แนะนำหรือไม่

ในทางเทคนิคแล้วใช่: การสังเกตที่หายากนั้นให้ความรู้มากกว่านั้น (นั่นคือฟังก์ชันความน่าจะเป็นจะชัน) หากอัตราการงานของคุณคือ 50:50 แล้วคุณจะได้รับวงดนตรีที่เข้มงวดมากขึ้นมากความเชื่อมั่น (หรือช่วงเวลาที่มีความน่าเชื่อถือถ้าคุณเป็นแบบเบย์) สำหรับจำนวนเงินเดียวกันของข้อมูล อย่างไรก็ตามคุณจะไม่ได้เลือกอัตรากิจกรรมของคุณ (เว้นแต่ว่าคุณกำลังศึกษากรณีศึกษา) ดังนั้นคุณจะต้องทำสิ่งที่คุณมี

2 มีเทคนิคพิเศษสำหรับข้อมูลอัตราการเกิดเหตุการณ์ต่ำหรือไม่?

ปัญหาที่ใหญ่ที่สุดที่อาจเกิดขึ้นคือการแยกที่สมบูรณ์แบบ : สิ่งนี้เกิดขึ้นเมื่อการรวมกันของตัวแปรบางอย่างทำให้เกิดเหตุการณ์ที่ไม่ใช่ทั้งหมด (หรือเหตุการณ์ทั้งหมด): ในกรณีนี้การประมาณค่าพารามิเตอร์ความน่าจะเป็นสูงสุด (และข้อผิดพลาดมาตรฐาน) อัลกอริทึมจะหยุดก่อน) มีวิธีแก้ปัญหาสองวิธีที่เป็นไปได้:

ก) การลบตัวทำนายออกจากโมเดล: แม้ว่าสิ่งนี้จะทำให้อัลกอริทึมของคุณมาบรรจบกัน แต่คุณจะต้องลบตัวแปรที่มีกำลังไฟฟ้าที่อธิบายได้มากที่สุดดังนั้นนี่จะสมเหตุสมผลถ้าโมเดลของคุณ overfitting เริ่มต้นด้วย (เช่นการโต้ตอบที่ซับซ้อนมากเกินไป) .

b) ใช้บทลงโทษบางประเภทเช่นการกระจายก่อนหน้านี้ซึ่งจะทำให้การประมาณกลับไปเป็นค่าที่สมเหตุสมผลมากขึ้น

มีทางเลือกที่ดีกว่าในการลบข้อมูลที่ไม่ใช่ข้อมูลชั่วคราวหรือเชิงพื้นที่: คุณสามารถรวมข้อมูลของคุณข้ามเวลา / พื้นที่และสร้างแบบจำลองการนับเป็นปัวซอง ตัวอย่างเช่นหากเหตุการณ์ของคุณคือ "การปะทุของภูเขาไฟเกิดขึ้นในวันที่ X" ดังนั้นไม่กี่วันที่ภูเขาไฟจะปะทุ อย่างไรก็ตามหากคุณจัดกลุ่มวันเป็นสัปดาห์หรือเป็นเดือนเช่น "จำนวนการปะทุของภูเขาไฟในเดือน X" คุณจะลดจำนวนเหตุการณ์ลงและกิจกรรมอื่น ๆ จะมีค่าที่ไม่ใช่ศูนย์