การถดถอยเชิงเส้นหลายตัวแปรเทียบกับเครือข่ายประสาทเทียม?

ดูเหมือนว่าเป็นไปได้ที่จะได้ผลลัพธ์ที่คล้ายคลึงกับเครือข่ายประสาทที่มีการถดถอยเชิงเส้นหลายตัวแปรในบางกรณีและการถดถอยเชิงเส้นหลายตัวแปรนั้นรวดเร็วและง่ายมาก

เครือข่ายประสาทสามารถให้ผลลัพธ์ที่ดีกว่าการถดถอยเชิงเส้นหลายตัวแปรในสถานการณ์ใดบ้าง

regression multiple-regression neural-networks

— Hugh Perkins
แหล่งที่มา

คำตอบ:

โครงข่ายประสาทสามารถอยู่ในรูปแบบหลักการแบบไม่เชิงเส้นโดยอัตโนมัติ (ดูทฤษฎีการประมาณแบบสากล ) ซึ่งคุณจะต้องสร้างแบบจำลองอย่างชัดเจนโดยใช้การแปลง (เส้นโค้งเป็นต้น) ในการถดถอยเชิงเส้น

ข้อแม้: สิ่งล่อใจให้มีน้ำหนักเกินสามารถแข็งแกร่งในเครือข่ายประสาทมากกว่าในการถดถอยเนื่องจากการเพิ่มเลเยอร์หรือเซลล์ประสาทที่ซ่อนอยู่นั้นดูไม่เป็นอันตราย ดังนั้นควรระมัดระวังเป็นพิเศษในการดูประสิทธิภาพการทำนายตัวอย่าง

— S. Kolassa - Reinstate Monica
แหล่งที่มา

ตกลง. ฉันเดาคำถามในใจของฉันคือสิ่งที่ฉันสามารถทำซ้ำพฤติกรรมที่คล้ายกันในระดับใดโดยการเพิ่มข้อมูลการป้อนข้อมูลของฉันด้วยคำกำลังสองและลูกบาศก์?

— Hugh Perkins

ที่จริงแล้วคุณสามารถประมาณ NNs กับ regressors ที่แปลงอย่างเหมาะสมในการถดถอยเชิงเส้นใกล้เคียงกับที่คุณต้องการ (และในทางกลับกัน) การฝึกฝนที่ดีกว่า quadratics และ cubics เป็นเส้นโค้ง - ฉันแนะนำอย่างเต็มที่ในตำราเรียนของ Harrell "กลยุทธ์การสร้างแบบจำลองการถดถอย"

— S. Kolassa - Reinstate Monica

ตกลง. มีเหตุผลหรือไม่ที่จะสมมติว่าเวลาการฝึกอบรมจะเร็วขึ้นสำหรับการถดถอยเชิงเส้นของข้อมูลที่แปลงสภาพหรือเวลาการฝึกอบรมจะใกล้เคียงกันหรือไม่ โซลูชันสำหรับการถดถอยเชิงเส้นของข้อมูลที่ถูกแปลงจะมีค่าสูงสุดทั่วโลกหรือไม่หรือจะมีค่าต่ำสุดในท้องถิ่นสำหรับโครงข่ายประสาทเทียมหรือไม่ (แก้ไข: ผมคิดว่าไม่ว่าปัจจัยการผลิตที่มีการเปลี่ยนวิธีการถดถอยเชิงเส้นเป็นเพียง pseudoinverse ของเมทริกซ์ออกแบบคูณด้วยบางสิ่งบางอย่างบางสิ่งบางอย่างและดังนั้นจึงอยู่เสมอทั้งที่ไม่ซ้ำกันหรือเอกพจน์?)

— ฮิวจ์ Perkins

เวลาในการฝึกอบรมจะขึ้นอยู่กับขนาดของอินพุต (การสังเกตน้อย / มาก, การทำนายน้อย / มาก) การถดถอยเชิงเส้นเกี่ยวข้องกับการผกผัน (หลอก) เดียว (ใช่ไม่ซ้ำกัน / เป็นเอกฐานแม้ด้วยการเปลี่ยนแปลงการถดถอยถือ) ในขณะที่ NNs มักจะได้รับการฝึกอบรมในลักษณะวนซ้ำ แต่การวนซ้ำนั้นไม่เกี่ยวข้องกับเมทริกซ์ inversions หยุดการฝึกอบรมตามเกณฑ์บางอย่างที่ออกแบบมาเพื่อหยุดยั้งคุณจากการพลเกินกำลัง

— S. Kolassa - Reinstate Monica

@ ยัมชา: ความเข้าใจของฉันเกี่ยวกับทฤษฎีการประมาณสากลคือมิติในหลักการไม่สำคัญ (แน่นอนนี่เป็นผลลัพธ์แบบอะซิมโทติคฉันคาดหวังว่าคุณต้องการข้อมูลจำนวนมากสำหรับ NN ที่จะดีกว่าการถดถอยแบบพหุนามแบบปรับเริ่มเสียงเหมือนการเรียนรู้ลึก ... )

— เอส Kolassa - Reinstate Monica

คุณพูดถึงการถดถอยเชิงเส้น สิ่งนี้เกี่ยวข้องกับการถดถอยโลจิสติกส์ซึ่งมีอัลกอริธึมการเพิ่มประสิทธิภาพที่รวดเร็วคล้ายกัน หากคุณมีขอบเขตในค่าเป้าหมายเช่นปัญหาการจัดหมวดหมู่คุณสามารถดูการถดถอยโลจิสติกเป็นการวางหลักเกณฑ์ทั่วไปของการถดถอยเชิงเส้น

เครือข่ายนิวรัลมีความเข้มงวดมากกว่าการถดถอยแบบโลจิสติกส์ในอินพุตดั้งเดิมเนื่องจากสอดคล้องกับเครือข่ายข้ามชั้น (ด้วยการเชื่อมต่อโดยตรงที่เชื่อมต่ออินพุตกับเอาต์พุต) ด้วยโหนดที่ซ่อนอยู่ $0$

$x^3$ $1-1$ $x^3$

หนึ่งกลยุทธ์ระดับกลางคือการเลือกโหนดสุ่มจำนวนมากคล้ายกับสิ่งที่เกิดขึ้นเมื่อคุณเริ่มต้นเครือข่ายนิวรัลและแก้ไขน้ำหนักอินพุตกับการซ่อน การปรับให้เหมาะสมกับน้ำหนัก * -to-output ยังคงเป็นแบบเชิงเส้น สิ่งนี้เรียกว่าเครื่องเรียนรู้ขั้นสูง มันทำงานอย่างน้อยเช่นเดียวกับการถดถอยโลจิสติกเดิม

— ดักลาสแซร์
แหล่งที่มา

"หนึ่งกลยุทธ์ระดับกลางคือการเลือกโหนดสุ่มจำนวนมากคล้ายกับสิ่งที่เกิดขึ้นเมื่อคุณเริ่มต้นเครือข่ายประสาทและแก้ไขน้ำหนักอินพุต - ต่อ - ซ่อนน้ำหนักการปรับให้เหมาะสมกับน้ำหนัก * -to-output ยังคงเป็นเชิงเส้น" => คุณหมายถึงว่าจะมีค่าสูงสุดทั่วโลกสำหรับโซลูชันในกรณีนี้หรือไม่

— Hugh Perkins

สำหรับตัวเลือกแบบสุ่มทั่วไปของโหนดที่ซ่อนแบบสุ่มใช่

— Douglas Zare

โพสต์ที่ยอดเยี่ยม - ให้บริบทสำหรับ [LR, LogR, NN, ELM] ความคิดเห็นของคุณเกี่ยวกับ LogR เป็น NN ข้ามชั้นดูเหมือนชัดเจนหลังจากชี้ให้เห็น แต่เป็นข้อมูลเชิงลึกที่ดี

— javadba

การถดถอยเชิงเส้นมีจุดมุ่งหมายเพื่อแยกข้อมูลที่แยกได้เป็นเส้นตรงใช่คุณอาจใช้พหุนามหลายระดับ> เพิ่มเติม แต่ในแบบที่คุณระบุสมมติฐานบางอย่างเกี่ยวกับข้อมูลที่คุณมีอีกครั้งเนื่องจากคุณกำหนดโครงสร้างของฟังก์ชันวัตถุประสงค์ ใน Neural Net โดยทั่วไปคุณมีเลเยอร์อินพุตที่สร้างตัวคั่นเชิงเส้นสำหรับข้อมูลที่คุณมีและเลเยอร์ที่ซ่อนอยู่และขอบเขตที่ จำกัด คลาสและเลเยอร์สุดท้ายหรือภูมิภาคเหล่านี้ทั้งหมด ด้วยวิธีนี้ข้อมูลทั้งหมดที่คุณมีสามารถจัดประเภทด้วยวิธีที่ไม่เป็นเชิงเส้นกระบวนการเหล่านี้ทั้งหมดจะไปพร้อมกับน้ำหนักที่เรียนรู้ภายในและฟังก์ชั่นที่กำหนดไว้ นอกจากนี้การเพิ่มหมายเลขคุณลักษณะสำหรับการถดถอยเชิงเส้นตรงข้ามกับ "คำสาปของมิติ" นอกจากนี้บางแอปพลิเคชันต้องการผลลัพธ์ที่น่าจะเป็นมากกว่าตัวเลขคงที่ในรูปแบบเอาต์พุต

— erogol
แหล่งที่มา