ฉันมีชุดข้อมูลที่มีไม่กี่ล้านแถวและประมาณ 100 คอลัมน์ ฉันต้องการตรวจสอบประมาณ 1% ของตัวอย่างในชุดข้อมูลซึ่งเป็นของชั้นสามัญ ฉันมีข้อ จำกัด ความแม่นยำขั้นต่ำ แต่เนื่องจากค่าใช้จ่ายไม่สมมาตรฉันไม่กระตือรือร้นในการเรียกคืนใด ๆ (ตราบใดที่ฉันไม่เหลือ 10 การแข่งขันที่เป็นบวก!)
มีวิธีใดบ้างที่คุณอยากแนะนำในการตั้งค่านี้? (ยินดีต้อนรับสู่ลิงก์ไปยังเอกสารลิงค์ไปยังการนำไปปฏิบัติ)
คำตอบ:
ฉันพบว่าเขาและการ์เซีย (2009)เป็นประโยชน์ในการทบทวนการเรียนรู้ในปัญหาการเรียนที่ไม่สมดุล ต่อไปนี้เป็นสิ่งที่ควรพิจารณาบางประการที่ไม่ครอบคลุมอย่างแน่นอน:
แนวทางบนพื้นฐานของข้อมูล:
หนึ่งสามารถ undersample ชั้นเสียงส่วนใหญ่หรือ oversample ระดับชนกลุ่มน้อย (Breiman ชี้ให้เห็นว่านี่เป็นทางการเทียบเท่ากับการกำหนดค่าการแบ่งประเภทที่ไม่สม่ำเสมอ) ซึ่งอาจทำให้เกิดปัญหา: การ Undersampling สามารถทำให้ผู้เรียนพลาดมุมมองของคนส่วนใหญ่ การ oversampling เพิ่มความเสี่ยงของการเกิด overfitting
มีวิธีการ "แจ้งการสุ่มตัวอย่างแบบมีข้อมูล" ที่ช่วยลดปัญหาเหล่านี้ หนึ่งในนั้นคือEasyEnsembleซึ่งสุ่มตัวอย่างหลายชุดย่อยจากคลาสส่วนใหญ่และสร้างตัวแยกประเภทหลายตัวโดยการรวมแต่ละชุดย่อยกับข้อมูลคลาสย่อยทั้งหมด
SMOTE (เทคนิคการสังเคราะห์ของชนกลุ่มน้อยส่วนน้อย)หรือSMOTEBoost (การรวม SMOTE กับการเพิ่มประสิทธิภาพ)สร้างอินสแตนซ์สังเคราะห์ของกลุ่มชนกลุ่มน้อยโดยการสร้างเพื่อนบ้านที่ใกล้ที่สุดในพื้นที่คุณลักษณะ SMOTE ถูกนำไปใช้ใน R ในแพ็คเกจ DMwR (ซึ่งมาพร้อมกับหนังสือของ Luis Torgo“ Data Mining with R, การเรียนรู้กับกรณีศึกษา” CRC Press 2016 )
แนวทางการสร้างแบบจำลองที่เหมาะสม
ใช้ตุ้มน้ำหนักเฉพาะชั้นเรียนในฟังก์ชั่นการสูญเสียของคุณ
สำหรับแนวทางแบบอิงทรีคุณสามารถใช้ระยะทาง Hellingerเป็นฟังก์ชันปมความไม่สมบูรณ์ของโหนดได้เช่นกันในCieslak et al "ต้นไม้การตัดสินใจระยะทางของ Hellinger นั้นแข็งแกร่งและไร้ความรู้สึก" ( รหัส Weka ที่นี่ )
ใช้ตัวจําแนกคลาสแบบหนึ่งโดยเรียนความหนาแน่นของความน่าจะเป็นหรือขอบเขตของคลาสหนึ่งและขึ้นอยู่กับคลาสที่เป็นค่าผิดปกติ
แน่นอนว่าอย่าใช้ความแม่นยำเป็นตัวชี้วัดสำหรับการสร้างแบบจำลอง คัปปาของโคเฮนเป็นทางเลือกที่สมเหตุสมผล
แนวทางการประเมินแบบจำลอง
หากแบบจำลองของคุณส่งคืนความน่าจะเป็นที่คาดการณ์หรือคะแนนอื่น ๆ ให้เลือกตัวเลือกการตัดสินใจที่ทำให้เกิดข้อผิดพลาดที่เหมาะสม (ใช้ชุดข้อมูลที่เป็นอิสระจากการฝึกอบรมและการทดสอบ) ใน R แพ็กเกจ OptimalCutpoints ใช้อัลกอริธึมจำนวนมากรวมถึงอันที่มีความอ่อนไหวด้านราคาสำหรับการตัดสินใจเลือกตัด
ความเข้าใจของฉันคือว่านี่เป็นพื้นที่การวิจัยในชุมชนการเรียนรู้ของเครื่องและไม่มีคำตอบที่ดี แต่เป็นการแก้ปัญหาที่มีศักยภาพจำนวนมาก คุณน่าจะได้รับคำตอบที่ดีกว่าถ้าคุณระบุอัลกอริทึมเฉพาะที่คุณกำลังพิจารณา
หากคุณกำลังใช้โมเดลพารามิเตอร์ (การถดถอยโลจิสติก) นี่น่าจะเป็นปัญหาน้อยกว่าและคุณสามารถเปลี่ยนเกณฑ์ตามฟังก์ชั่นการสูญเสียของคุณได้ (ค่าใช้จ่ายของเนกาทีฟผิดพลาดไปเป็นผลบวกปลอม)
หากคุณกำลังใช้อัลกอริทึมการเรียนรู้ของเครื่องนี่อาจจะยากกว่า Max Kuhn พยายามอย่างเป็นธรรมในการสรุปปัญหาในบทที่ 16 ของ "การพยากรณ์แบบจำลองประยุกต์" แต่หัวข้อที่ท้าทายที่จะสรุป หากคุณไม่ต้องการซื้อหนังสือรหัส R มีอยู่ในแพ็คเกจ AppliedPredictiveModeling สำหรับบทนี้และอาจเพียงพอทั้งนี้ขึ้นอยู่กับความคุ้นเคยกับ R และอัลกอริทึมที่คุณใช้
โดยทั่วไปแล้วการอภิปรายจะหมุนรอบอัลกอริทึมที่ใช้ใต้ท้อง / oversampling +/- ด้วยรูปแบบต่าง ๆ เช่น jous-boost ยังเป็นไปได้
ตัวอย่างของการสนทนาประเภทนี้: Chen et al "การใช้ฟอเรสต์แบบสุ่มเพื่อเรียนรู้ข้อมูลที่ไม่สมดุล"
http://statistics.berkeley.edu/sites/default/files/tech-reports/666.pdf
คุณสามารถดูการใช้งาน Scikit-Learn ให้ความสนใจกับอาร์กิวเมนต์น้ำหนัก class_ ซึ่งสามารถมีค่าของพจนานุกรมของตุ้มน้ำหนักระดับหรือ 'อัตโนมัติ':
class sklearn.svm.SVC (C = 1.0, เคอร์เนล = 'rbf', องศา = 3, แกมม่า = 0.0, coef0 = 0.0, การลดขนาด = จริง, ความน่าจะเป็น = เท็จ, tol = 0.001, cache_size = 200, class_weight = ไม่มี, verbose = False, max_iter = -1, random_state = None)
คุณสามารถเล่นกับค่าของอาร์กิวเมนต์ class_weight ซึ่งอาจเป็นพจนานุกรมน้ำหนักคลาสหรือ 'อัตโนมัติ' ในโหมด 'อัตโนมัติ' อัลกอริทึมการเรียนรู้จะกำหนดน้ำหนักให้กับแต่ละชั้นเรียนโดยอัตโนมัติตามจำนวนตัวอย่างภายในแต่ละชั้นเรียน
scikit-learn มีอัลกอริทึมการจำแนกประเภทอื่น ๆ ซึ่งบางอันรับน้ำหนักของชั้นเรียน