วิธีการเลือกคุณสมบัติสำหรับเครือข่ายประสาทเทียม?


16

ฉันรู้ว่าไม่มีคำตอบที่ชัดเจนสำหรับคำถามนี้ แต่สมมติว่าฉันมีเครือข่ายประสาทขนาดใหญ่ที่มีข้อมูลจำนวนมากและฉันต้องการเพิ่มคุณสมบัติใหม่ในอินพุต วิธีที่ "ดีที่สุด" คือการทดสอบเครือข่ายด้วยคุณสมบัติใหม่และดูผลลัพธ์ แต่มีวิธีทดสอบว่าคุณลักษณะดังกล่าวไม่เป็นประโยชน์หรือไม่? เช่นเดียวกับมาตรการความสัมพันธ์ ( http://www3.nd.edu/~mclark19/learn/CorrelationComparison.pdf ) เป็นต้น?


1
ความสัมพันธ์ที่ไม่สุ่มอาจเป็นตัวบ่งชี้ว่าคุณลักษณะนี้มีประโยชน์ แต่ฉันไม่แน่ใจเกี่ยวกับการทดสอบก่อนการฝึกอบรมที่สามารถแยกแยะความคิดออก กระดาษที่คุณเชื่อมโยงทำให้เห็นชัดเจนว่าความสัมพันธ์ที่ไม่ใช่เชิงเส้นนั้นไม่ได้รับการตรวจพบจากการทดสอบที่มีอยู่ แต่ตาข่ายประสาทมีโอกาสในการค้นหาและใช้พวกมัน
Neil Slater

คำตอบ:


16

ความสัมพันธ์ที่แข็งแกร่งระหว่างคุณลักษณะใหม่กับคุณลักษณะที่มีอยู่เป็นสัญญาณที่ค่อนข้างดีว่าคุณลักษณะใหม่นั้นให้ข้อมูลใหม่เพียงเล็กน้อย ความสัมพันธ์ต่ำระหว่างคุณลักษณะใหม่และคุณลักษณะที่มีอยู่น่าจะดีกว่า

ความสัมพันธ์เชิงเส้นตรงที่รุนแรงระหว่างคุณลักษณะใหม่และตัวแปรที่คาดการณ์นั้นเป็นสัญญาณที่ดีว่าคุณลักษณะใหม่นั้นจะมีค่า แต่การขาดความสัมพันธ์สูงไม่จำเป็นต้องเป็นสัญญาณบ่งบอกถึงคุณลักษณะที่ไม่ดีเนื่องจากเครือข่ายประสาทไม่ จำกัด เฉพาะการรวมเชิงเส้น ของตัวแปร

หากคุณลักษณะใหม่นี้ถูกสร้างขึ้นเองจากการรวมกันของคุณสมบัติที่มีอยู่ให้พิจารณาปล่อยมันออก ความสวยงามของโครงข่ายใยประสาทเทียมคือต้องใช้คุณสมบัติทางวิศวกรรมเพียงเล็กน้อยและจำเป็นต้องมีการประมวลผลล่วงหน้า - คุณลักษณะจะเรียนรู้โดยเลเยอร์ระดับกลางแทน เมื่อใดก็ตามที่เป็นไปได้ให้ชอบคุณลักษณะการเรียนรู้เพื่อทำวิศวกรรมพวกมัน


ฉันคิดเสมอว่าจะเปรียบเทียบค่าที่จะทำนายกับคุณลักษณะต่างๆคุณกำลังพูดถึงความสัมพันธ์ระหว่างคุณลักษณะต่างๆ คำตอบของคุณใช้ได้กับกรณีของฉันด้วยหรือไม่? ในทางทฤษฎีแล้วฉันควรเพิ่มเฉพาะคุณสมบัติใหม่ที่มีความสัมพันธ์กับค่าที่จะทำนายใช่ไหม
marcodena

นั่นเป็นเมตริกที่มีค่าด้วย - เพียงอัปเดตคำตอบของฉันตามที่อยู่เช่นกัน
เมดิสันพฤษภาคม

ในระยะสั้นความสัมพันธ์ที่แข็งแกร่งกับค่าที่จะทำนายเป็นสัญญาณที่ดี แต่ความสัมพันธ์ที่อ่อนแอกับค่าที่จะทำนายไม่จำเป็นต้องเป็นสัญญาณที่ไม่ดี
เมดิสันพฤษภาคม

ขอบคุณ ฉันกำลังเขียนรายงานและฉันต้องการแสดงความสัมพันธ์เชิงเส้น / ไม่เชิงเส้นเพื่อแสดงให้เห็นถึงคุณสมบัติ (แม้ก่อนผลลัพธ์) มันสมเหตุสมผลไหม? จากคำตอบของคุณฉันสามารถสร้างเมทริกซ์ของความสัมพันธ์ แต่บางทีอาจเป็นเรื่องไร้สาระ
marcodena

1
ฉันจะใช้ความสัมพันธ์ที่ไม่ใช่เชิงเส้น แต่ก็โอเคขอบคุณ
marcodena

0

หากคุณใช้ sklearn จะมีฟังก์ชั่นที่ดีซึ่งเรียกว่า model.feature_importances_ ลองกับรุ่น / คุณสมบัติใหม่ของคุณและดูว่ามันช่วยได้ไหม ดูที่นี่และที่นี่เพื่อดูตัวอย่าง

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.