ข้อมูลอินพุตที่สัมพันธ์กันนำไปสู่การ overfitting กับเครือข่ายประสาทเทียมหรือไม่

13

ในความคิดของฉันข้อมูลที่สัมพันธ์กันจะต้องนำไปสู่การ overfitting ในเครือข่ายประสาทเพราะเครือข่ายเรียนรู้ความสัมพันธ์เช่นเสียงในข้อมูล

ถูกต้องหรือไม่

correlation neural-networks overfitting

— Peter234
แหล่งที่มา

11

ไม่จริง

คำถามดังกล่าวค่อนข้างทั่วไปและผสมสองสิ่งที่ไม่เกี่ยวข้องจริงๆ โดยปกติแล้วการบรรจุมากเกินไปนั้นหมายถึงคุณภาพที่เป็นปฏิปักษ์กับคำอธิบายทั่วไป ในแง่ที่ว่าเครือข่าย overfitted (หรือ overtrained) จะมีพลังการวางนัยทั่วไปน้อยกว่า คุณภาพนี้จะถูกกำหนดโดยสถาปัตยกรรมเครือข่ายการฝึกอบรมและขั้นตอนการตรวจสอบเป็นหลัก ข้อมูลและคุณสมบัติของมันจะป้อนเป็น "สิ่งที่กระบวนการฝึกอบรมเกิดขึ้น" เท่านั้น นี่คือ "ความรู้หนังสือตำรา" มากหรือน้อย; คุณสามารถลอง "การแนะนำการเรียนรู้เชิงสถิติ" โดย James, Witten, Hastie และ Tibshirani หรือ "การจดจำรูปแบบ" โดย Bishop (หนังสือเล่มโปรดของฉันในหัวข้อทั่วไป) หรือ "การจดจำรูปแบบและการเรียนรู้ของเครื่อง" โดยบิชอป

สำหรับความสัมพันธ์ของตัวเอง: พิจารณาพื้นที่อินพุตที่มีมิติที่แน่นอน ไม่ว่าคุณจะใช้การแปลงแบบใดมิติข้อมูลจะยังคงเหมือนเดิม - พีชคณิตเชิงเส้นบอกอย่างนั้น ในกรณีหนึ่งฐานที่กำหนดจะไม่ถูกเชื่อมโยงอย่างสมบูรณ์ - นี่คือสิ่งที่คุณได้รับเมื่อคุณแยกความสัมพันธ์ของตัวแปรหรือใช้ PAT (การแปลงแกนของหลักการ) นำหนังสือพีชคณิตเชิงเส้นใด ๆ มาใช้

เนื่องจากเครือข่ายนิวรัลที่มีสถาปัตยกรรมที่เหมาะสมสามารถจำลองฟังก์ชัน (!) ใด ๆ คุณจึงสามารถสันนิษฐานได้อย่างปลอดภัยว่ามันสามารถจำลอง PAT ก่อนแล้วจึงทำสิ่งที่ควรทำเช่นการจำแนกการถดถอยเป็นต้น

คุณสามารถพิจารณาความสัมพันธ์ของคุณลักษณะซึ่งควรเป็นส่วนหนึ่งของคำอธิบายโครงข่ายประสาทเนื่องจากเป็นคุณสมบัติของข้อมูล ธรรมชาติของความสัมพันธ์นั้นไม่สำคัญจริงๆเว้นแต่จะเป็นสิ่งที่ไม่ควรเป็นส่วนหนึ่งของข้อมูล นี่จะเป็นหัวข้อที่แตกต่าง - คุณควรสร้างแบบจำลองหรือหาปริมาณบางอย่างเช่นเสียงรบกวนในอินพุตและบัญชี

ดังนั้นในบทสรุปไม่ ข้อมูลที่สัมพันธ์กันหมายความว่าคุณควรทำงานหนักขึ้นเพื่อให้การจัดการข้อมูลง่ายขึ้นและมีประสิทธิภาพมากขึ้น การเกิด overfitting อาจเกิดขึ้นได้ แต่จะไม่เกิดขึ้นเนื่องจากมีข้อมูลที่มีความสัมพันธ์กัน

— เด็กน่าเอ็นดู
แหล่งที่มา

ขออภัยฉันยังไม่เข้าใจสาเหตุ ยังสงสัยของฉันเป็นบิตทั่วไป ฉันกำลังค้นหาคำตอบของ "ข้อมูลที่สัมพันธ์กันสามารถเป็นอันตรายสำหรับเครือข่ายประสาทเทียม" ที่นี่คุณอ้างว่า "คุณสามารถสันนิษฐานได้อย่างปลอดภัยว่ามันจะได้รุ่นแรก PAT" แต่คุณเป็นเช่นนั้นได้อย่างไร แล้วคำถามติดตามของฉันจะเกิดอะไรขึ้นถ้าสถาปัตยกรรมระบบประสาทไม่ทำแบบจำลอง PAT ไม่ได้?

— bytestorm

@bytestorm: คำถามแรกของคุณแตกต่างจากคำถามเดิม อินพุตที่สัมพันธ์กันอาจ จำกัด ประสิทธิภาพของ ANN ของคุณ (เช่นเดียวกับวิธีอื่น ๆ ) แต่มันไม่ใช่สมบัติของ ANN สำหรับคำถามที่สองเป็นข้อสันนิษฐานที่น้อยกว่า แต่เป็นเพียงคำอธิบายที่เป็นตัวอย่างว่าทำไม ANN จึงสามารถทำแบบจำลอง PAT ได้ ในทางปฏิบัติฉันจะไม่ทำอย่างนั้นและไม่แนะนำให้ทำเช่นนั้น

— เทวดา

6

เครูบนั้นถูกต้องเกี่ยวกับคำแถลงของเขาเกี่ยวกับการปรับตัวให้พอดี อย่างไรก็ตามฉันคิดว่าการอภิปรายเกี่ยวกับคุณสมบัติที่มีความสัมพันธ์สูงและ ANN ช่วยลดความซับซ้อนของปัญหาได้มากเกินไป

ใช่มันเป็นความจริงในทางทฤษฎีว่า ANN สามารถประมาณฟังก์ชั่นใด ๆ อย่างไรก็ตามในทางปฏิบัติมันเป็นความคิดที่ดีที่จะรวมคุณสมบัติที่มีความสัมพันธ์สูงจำนวนมาก การทำเช่นนี้จะแนะนำความซ้ำซ้อนจำนวนมากภายในโมเดล การรวมความซ้ำซ้อนดังกล่าวจะทำให้เกิดความซับซ้อนที่ไม่จำเป็นและในการทำเช่นนั้นสามารถเพิ่มจำนวนของท้องถิ่นน้อยที่สุด เนื่องจากฟังก์ชั่นการสูญเสียของ ANN นั้นไม่ราบรื่นโดยเนื้อแท้การแนะนำความหยาบที่ไม่จำเป็นนั้นไม่ใช่ความคิดที่ดี

— ยาโคบเอช
แหล่งที่มา