ผสานข้อมูลที่เบาบางและหนาแน่นในการเรียนรู้ของเครื่องเพื่อปรับปรุงประสิทธิภาพ

ฉันมีคุณสมบัติเบาบางซึ่งสามารถคาดเดาได้และฉันยังมีคุณสมบัติที่หนาแน่นซึ่งสามารถคาดเดาได้ ฉันต้องรวมคุณสมบัติเหล่านี้เข้าด้วยกันเพื่อปรับปรุงประสิทธิภาพโดยรวมของตัวจําแนก

ตอนนี้สิ่งที่เกิดขึ้นคือเมื่อฉันพยายามรวมสิ่งเหล่านี้เข้าด้วยกันคุณลักษณะที่หนาแน่นมีแนวโน้มที่จะครอบงำมากกว่าคุณสมบัติเบาบางดังนั้นจึงทำให้การปรับปรุง AUC เพียง 1% เมื่อเทียบกับรุ่นที่มีคุณสมบัติที่หนาแน่นเท่านั้น

มีใครบางคนเจอปัญหาที่คล้ายกัน? ชื่นชมอินพุตที่ติดอยู่จริงๆ ฉันได้ลองตัวแยกประเภทที่แตกต่างกันจำนวนมากการรวมกันของตัวแยกประเภทการแปลงคุณสมบัติและการประมวลผลด้วยอัลกอริทึมที่แตกต่างกัน

ขอบคุณล่วงหน้าสำหรับความช่วยเหลือ

แก้ไข :

ฉันได้ลองใช้คำแนะนำที่ให้ไว้ในความคิดเห็นแล้ว สิ่งที่ฉันสังเกตคือเกือบ 45% ของข้อมูลคุณสมบัติเบาบางทำงานได้ดีจริง ๆ ฉันได้รับ AUC ประมาณ 0.9 ด้วยฟีเจอร์เบาบางเท่านั้น แต่สำหรับคุณสมบัติที่หนาแน่นที่เหลืออยู่นั้นทำงานได้ดีกับ AUC ประมาณ 0.75 ฉันพยายามแยกชุดข้อมูลเหล่านี้ออก แต่ฉันได้รับ AUC เท่ากับ 0.6 ดังนั้นฉันจึงไม่สามารถฝึกอบรมโมเดลและตัดสินใจว่าจะใช้ฟีเจอร์ใด

เกี่ยวกับข้อมูลโค้ดฉันได้ลองหลายสิ่งหลายอย่างแล้วซึ่งฉันไม่แน่ใจว่าจะแชร์สิ่งใดกันแน่ :(

ดูเหมือนว่างานสำหรับการวิเคราะห์องค์ประกอบหลัก ใน Scikit มีการนำPCAมาใช้อย่างดีและมันช่วยฉันได้หลายครั้ง

PCA ได้รวมคุณสมบัติของคุณเข้าด้วยกัน ด้วยการ จำกัด จำนวนของส่วนประกอบคุณจะดึงข้อมูลโมเดลของคุณด้วยข้อมูลที่ปราศจากสัญญาณรบกวน (ในกรณีที่ดีที่สุด) เพราะโมเดลของคุณดีเท่ากับข้อมูลของคุณ

ลองพิจารณาตัวอย่างง่ายๆด้านล่าง

from sklearn.pipeline import Pipeline
pipe_rf = Pipeline([('pca', PCA(n_components=80)),
                    ('clf',RandomForestClassifier(n_estimators=100))])
pipe_rf.fit(X_train_s,y_train_s)

pred = pipe_rf.predict(X_test)

ทำไมฉันถึงเลือก 80 เมื่อฉันพล็อตความแปรปรวนแบบสะสมฉันได้สิ่งนี้ด้านล่างซึ่งบอกฉันว่าด้วยส่วนประกอบ ~ 80 ฉันถึงความแปรปรวนเกือบทั้งหมด

ดังนั้นฉันจะบอกว่าให้ลองใช้มันในแบบจำลองของคุณ มันควรจะช่วย

วิธีที่ดีที่สุดในการรวมฟีเจอร์คือผ่านวิธีการรวมกลุ่ม โดยทั่วไปมีสามวิธีที่แตกต่างกัน: การบรรจุการเพิ่มและการซ้อน คุณสามารถใช้ Adabbost ยิ่งขึ้นกับการเลือกคุณสมบัติ (ในนี้พิจารณาทั้งคุณสมบัติเบาบางและหนาแน่น) หรือซ้อนตาม (คุณสมบัติสุ่ม - พื้นที่ย่อยแบบสุ่ม) ฉันชอบตัวเลือกที่สองที่คุณสามารถฝึกอบรมชุดของผู้เรียนพื้นฐาน (การตัดสินใจต้นไม้) โดยใช้การสุ่ม ชุดย่อยและคุณสมบัติแบบสุ่ม (ให้ผู้เรียนพื้นฐานการฝึกอบรมจนกว่าคุณจะครอบคลุมคุณสมบัติทั้งหมด) ขั้นตอนต่อไปคือการทดสอบชุดการฝึกอบรมเพื่อสร้างข้อมูลเมตา ใช้ข้อมูลเมตานี้เพื่อฝึกอบรมตัวจําแนกเมตา ตัวจําแนกเมตาจะคิดออกว่าคุณสมบัติใดมีความสําคัญมากกว่าและควรใช้ความสัมพันธ์แบบใด

กลุ่มตัวแปรอาจเป็นหลายค่าหลายค่าหรือการแปลงระหว่างค่าเบาบางและหนาแน่นอาจผิดไป คุณเคยคิดที่จะใช้ตัวจําแนกประเภทลักษณนาม http://scikit-learn.org/stable/modules/ensemble.html วิธีที่คุณสามารถจัดการกับปัญหาทั้งสองข้างต้น

นอกจากคำแนะนำข้างต้นบางส่วนแล้วฉันขอแนะนำให้ใช้วิธีการสร้างแบบจำลองสองขั้นตอน

1. ใช้คุณสมบัติเบาบางก่อนและพัฒนาแบบจำลองที่ดีที่สุด
2. คำนวณความน่าจะเป็นที่คาดการณ์จากแบบจำลองนั้น
3. ฟีดการประมาณความน่าจะเป็นนั้นในโมเดลที่สอง (เป็นคุณลักษณะอินพุต) ซึ่งจะรวมคุณสมบัติที่หนาแน่น กล่าวอีกนัยหนึ่งให้ใช้คุณลักษณะที่หนาแน่นและการประเมินความน่าจะเป็นสำหรับการสร้างแบบจำลองที่สอง
4. การจำแนกขั้นสุดท้ายจะขึ้นอยู่กับรุ่นที่สอง

ลอง PCA เฉพาะในคุณสมบัติเบาบางและรวมเอาท์พุท PCA กับคุณสมบัติที่หนาแน่น

ดังนั้นคุณจะได้รับชุดคุณสมบัติหนาแน่น (ดั้งเดิม) + ชุดคุณลักษณะหนาแน่น (ซึ่งเดิมเป็นเบาบาง)

+1 สำหรับคำถาม โปรดอัปเดตเราด้วยผลลัพธ์