ความแตกต่างระหว่างการถดถอยโลจิสติกและเครือข่ายประสาทคืออะไร?

เราจะอธิบายความแตกต่างระหว่างการถดถอยโลจิสติกและเครือข่ายประสาทเทียมให้กับผู้ชมที่ไม่มีพื้นฐานด้านสถิติได้อย่างไร

ฉันคิดว่าคุณกำลังนึกถึงสิ่งที่เคยเป็นและอาจจะยังถูกเรียกว่า 'หลายคนรับรู้' ในคำถามของคุณเกี่ยวกับเครือข่ายประสาท ถ้าเป็นเช่นนั้นฉันจะอธิบายเรื่องทั้งหมดในแง่ของความยืดหยุ่นเกี่ยวกับรูปแบบของขอบเขตการตัดสินใจในฐานะหน้าที่ของตัวแปรอธิบาย โดยเฉพาะอย่างยิ่งสำหรับผู้ชมนี้ฉันจะไม่พูดถึงฟังก์ชั่นลิงก์ / อัตราต่อรองของบันทึกเป็นต้นเพียง แต่คิดว่าความน่าจะเป็นของเหตุการณ์นั้นอยู่บนพื้นฐานของการสังเกตการณ์

นี่เป็นลำดับที่เป็นไปได้:

• ตรวจสอบให้แน่ใจว่าพวกเขารู้ว่าความน่าจะเป็นที่คาดการณ์คืออะไร แสดงเป็นฟังก์ชันหนึ่งตัวแปรในบริบทของข้อมูลที่คุ้นเคย อธิบายบริบทการตัดสินใจที่จะแบ่งปันโดยการถดถอยโลจิสติกและเครือข่ายประสาท
• เริ่มต้นด้วยการถดถอยโลจิสติก ระบุว่าเป็นกรณีเชิงเส้น แต่แสดงความเป็นเส้นตรงของขอบเขตการตัดสินใจที่เกิดขึ้นโดยใช้พล็อตความร้อนหรือเส้นโครงร่างของความน่าจะเป็นเอาต์พุตที่มีตัวแปรอธิบายสองตัว
• โปรดทราบว่าสองคลาสอาจไม่ได้รับการแยกจากกันโดยขอบเขตที่พวกเขาเห็นและกระตุ้นโมเดลที่ยืดหยุ่นมากขึ้นเพื่อสร้างขอบเขตโค้งขึ้น หากจำเป็นต้องแสดงข้อมูลบางอย่างที่จะแยกความแตกต่างด้วยวิธีนี้ (นี่คือเหตุผลที่คุณเริ่มต้นด้วย 2 ตัวแปร)
• โปรดทราบว่าคุณสามารถเริ่มสร้างความซับซ้อนให้โมเดลเชิงเส้นดั้งเดิมด้วยเงื่อนไขพิเศษเช่นสี่เหลี่ยมหรือการแปลงอื่น ๆ และอาจแสดงขอบเขตที่สิ่งเหล่านี้สร้างขึ้น
• แต่ให้ทิ้งสิ่งเหล่านี้โดยสังเกตว่าคุณไม่ทราบล่วงหน้าว่าควรจะใช้แบบฟอร์มฟังก์ชันใดและคุณต้องการเรียนรู้จากข้อมูล เช่นเดียวกับที่พวกเขากระตือรือร้นเกี่ยวกับเรื่องนี้ให้สังเกตความเป็นไปไม่ได้ของเรื่องนี้อย่างครบถ้วนและแนะนำว่าคุณมีความสุขที่จะคิดว่าอย่างน้อยก็ควรจะ 'ราบรื่น' แทนที่จะเป็น 'ขาด ๆ หาย ๆ ' แต่เป็นข้อมูลอื่น (ยืนยันว่าพวกเขาอาจจะมีอยู่แล้วคิดเพียงเรียบขอบเขตในลักษณะเดียวกับที่พวกเขาต้องการได้รับการพูดร้อยแก้วทุกชีวิตของพวกเขา)
• แสดงผลลัพธ์ของโมเดลเสริมทั่วไปที่ความน่าจะเป็นผลลัพธ์เป็นฟังก์ชันร่วมของคู่ของตัวแปรดั้งเดิมมากกว่าชุดค่าผสมที่แท้จริง - นี่เป็นเพียงเพื่อวัตถุประสงค์ในการสาธิต ที่สำคัญเรียกมันว่านุ่มนวลกว่าเพราะมันดีและกว้างและอธิบายสิ่งต่าง ๆ ได้โดยสัญชาตญาณ แสดงให้เห็นถึงขอบเขตการตัดสินใจที่ไม่ใช่เชิงเส้นในภาพเหมือนก่อน
• โปรดทราบว่านี่ (ไม่ระบุชื่อปัจจุบัน) นุ่มนวลมีพารามิเตอร์ความราบรื่นที่ควบคุมวิธีการที่ราบรื่นเป็นจริงอ้างถึงสิ่งนี้ในการผ่านเป็นเหมือนความเชื่อก่อนหน้าเกี่ยวกับความเรียบของฟังก์ชั่นการเปลี่ยนตัวแปรอธิบายเป็นความน่าจะเป็นทำนาย อาจแสดงผลที่ตามมาของการตั้งค่าความเรียบต่างกันในขอบเขตการตัดสินใจ
• ตอนนี้แนะนำ net neural เป็นไดอะแกรม ชี้ให้เห็นว่าเลเยอร์ที่สองเป็นเพียงรูปแบบการถดถอยโลจิสติก แต่ยังชี้ให้เห็นถึงการเปลี่ยนแปลงแบบไม่เชิงเส้นที่เกิดขึ้นในหน่วยที่ซ่อนอยู่ เตือนผู้ชมว่านี่เป็นเพียงฟังก์ชั่นอื่นจากอินพุตไปยังเอาต์พุตที่จะไม่เป็นเส้นตรงในขอบเขตการตัดสินใจ
• ทราบว่ามีจำนวนมากของพารามิเตอร์และว่าบางส่วนของพวกเขาจะต้องมีข้อ จำกัด ที่จะทำให้ขอบเขตการตัดสินใจได้อย่างราบรื่น - รื้อฟื้นความคิดของจำนวนที่ควบคุมความเรียบเนียนเป็นเดียวกัน (แนวคิดพูด) จำนวนที่ช่วยให้พารามิเตอร์ที่ผูกติดกันและอยู่ห่างจาก ค่าสุดขีด นอกจากนี้โปรดทราบว่ายิ่งมีหน่วยที่ซ่อนอยู่มากเท่าไหร่ก็ยิ่งมีรูปแบบการทำงานที่แตกต่างกันมากขึ้นเท่านั้น เพื่อรักษาสัญชาตญาณพูดคุยเกี่ยวกับหน่วยที่ซ่อนอยู่ในแง่ของความยืดหยุ่นและข้อ จำกัด พารามิเตอร์ในแง่ของความราบรื่น (แม้จะมีความเลอะเทอะทางคณิตศาสตร์ของตัวละครนี้)
• จากนั้นทำให้พวกเขาประหลาดใจด้วยการอ้างสิทธิ์เนื่องจากคุณยังไม่ทราบรูปแบบการใช้งานดังนั้นคุณจึงต้องการความยืดหยุ่นแบบไม่ จำกัดโดยการเพิ่มจำนวนยูนิตที่ซ่อนอยู่แบบไม่ จำกัด ให้เป็นไปไม่ได้ในทางปฏิบัติของอ่างล้างจานนี้ในเล็กน้อย จากนั้นสังเกตว่าขีด จำกัด นี้สามารถนำมาใช้ในวิชาคณิตศาสตร์แล้วถาม (วาทศิลป์) ว่าเรื่องแบบนี้จะเป็นอย่างไร
• ตอบว่ามันจะราบรื่นขึ้นอีกครั้ง (กระบวนการแบบเกาส์นที่เกิดขึ้น Neal, 1996 แต่รายละเอียดนี้ไม่สำคัญ) เช่นเดียวกับที่พวกเขาเห็นมาก่อน สังเกตว่ามีอีกปริมาณที่ควบคุมความนุ่มนวล แต่ไม่มีพารามิเตอร์เฉพาะอื่น ๆ (รวมเข้าด้วยกันสำหรับผู้ที่สนใจสิ่งเหล่านี้)
• สรุปว่าโครงข่ายประสาทเทียมนั้น จำกัด เฉพาะการนำไปใช้งานของเครื่องปรับแบบธรรมดาซึ่งเป็นแบบไม่เชิงเส้นไม่จำเป็นต้องมีส่วนเสริมเพิ่มเติมของตัวแบบการถดถอยโลจิสติกส์ จากนั้นทำอีกวิธีหนึ่งโดยสรุปว่าการถดถอยโลจิสติกนั้นเทียบเท่ากับโมเดลโครงข่ายประสาทเทียมหรือราบรื่นกว่าด้วยพารามิเตอร์การปรับให้เรียบเป็น 'Extra extra smooth' เช่น linear

ข้อดีของวิธีนี้คือคุณไม่จำเป็นต้องเข้าไปดูรายละเอียดทางคณิตศาสตร์เพื่อให้ความคิดที่ถูกต้อง ในความเป็นจริงพวกเขาไม่จำเป็นต้องเข้าใจการถดถอยโลจิสติกส์หรือเครือข่ายประสาทเพื่อเข้าใจความเหมือนและความแตกต่าง

ข้อเสียของวิธีการคือการที่คุณต้องทำภาพจำนวนมากและต่อต้านสิ่งล่อใจที่จะวางลงในพีชคณิตเพื่ออธิบายสิ่งต่าง ๆ อย่างมาก

สำหรับการสรุปที่ง่ายกว่า:

การถดถอยโลจิสติกส์: รูปแบบที่ง่ายที่สุดของโครงข่ายประสาทเทียมซึ่งส่งผลให้เกิดขอบเขตการตัดสินใจที่เป็นเส้นตรง

Neural Networks: superset ที่รวมถึงการถดถอยโลจิสติกและตัวแยกประเภทอื่น ๆ ที่สามารถสร้างขอบเขตการตัดสินใจที่ซับซ้อนมากขึ้น

(หมายเหตุ: ฉันหมายถึงการถดถอยโลจิสติก "ธรรมดา" โดยไม่ได้รับความช่วยเหลือจากเมล็ดหนึ่ง)

(การอ้างอิง: หลักสูตร deeplearning.ai โดย Andrew Ng "การถดถอยโลจิสติกในฐานะเครือข่ายประสาท" และ "การจัดหมวดหมู่ข้อมูลภาพถ่ายด้วยเลเยอร์ที่ซ่อนอยู่หนึ่งชั้น")

ฉันจะใช้คำถามอย่างแท้จริง: คนที่ไม่มีพื้นฐานด้านสถิติ และฉันจะไม่พยายามให้ข้อมูลพื้นฐานทางสถิติแก่บุคคลนั้น ตัวอย่างเช่นสมมติว่าคุณต้องอธิบายความแตกต่างของ CEO ของ บริษัท หรืออะไรทำนองนั้น

ดังนั้น: การถดถอยโลจิสติกเป็นเครื่องมือสำหรับการสร้างแบบจำลองตัวแปรเด็ดขาดในแง่ของตัวแปรอื่น ๆ มันให้วิธีในการค้นหาว่าการเปลี่ยนแปลงในตัวแปร "อื่น ๆ " แต่ละตัวมีผลต่ออัตราต่อรองของผลลัพธ์ที่แตกต่างกันอย่างไรในตัวแปรแรก ผลลัพธ์ค่อนข้างง่ายต่อการตีความ

โครงข่ายประสาทเทียมเป็นวิธีการหนึ่งที่ให้คอมพิวเตอร์ลองเรียนรู้จากตัวอย่างในรูปแบบที่คล้ายกับวิธีที่มนุษย์เรียนรู้เกี่ยวกับสิ่งต่าง ๆ มันอาจส่งผลให้ตัวแบบที่เป็นตัวทำนายที่ดี แต่โดยปกติแล้วพวกมันจะทึบกว่าตัวแบบถดถอยโลจิสติกส์

ฉันได้รับการสอนว่าคุณสามารถนึกถึงเครือข่ายประสาท (ด้วยฟังก์ชั่นการเปิดใช้งานโลจิสติก) เป็นค่าเฉลี่ยของฟังก์ชั่น logit โดยมีน้ำหนักตัวประมาณ ด้วยการเลือกการบันทึกจำนวนมากคุณสามารถใส่แบบฟอร์มการทำงานใดก็ได้ มีสัญชาตญาณกราฟิกในโพสต์บล็อกความรู้สึกทางเศรษฐกิจ

คำตอบอื่น ๆ ที่ดี ฉันแค่เพิ่มรูปภาพที่แสดงว่าคุณสามารถนึกถึงการถดถอยโลจิสติกและการถดถอยโลจิสติกหลายระดับ

จากSebastian Raschka, Michigan State University บน KDnuggets :

ภาพประกอบเพิ่มเติมอีกเล็กน้อยสำหรับการถดถอยโลจิสติกหลายระดับ:

ภาพประกอบที่คล้ายกันที่นำมาจากhttp://www.deeplearningbook.org/บทที่ 1:

และอีกหนึ่งบทเรียนจากTensorFlow :

เช่นในCaffeคุณจะดำเนินการถดถอยโลจิสติดังต่อไปนี้ :

ฉันจะใช้ตัวอย่างของปัญหาที่ซับซ้อน แต่เป็นรูปธรรมที่ผู้ชมเข้าใจ ใช้โหนดที่ซ่อนอยู่ซึ่งการตีความไม่ได้รับการฝึกอบรม แต่มีความหมายเฉพาะ

$64 \times 12$ อินพุตไบนารีระบุว่ามีชิ้นส่วนของแต่ละประเภทในแต่ละตารางหรือไม่

การถดถอยเชิงเส้นเป็นตัวกำหนดว่าอัศวินม้าขาวบน h4 นั้นดีแค่ไหน อาจไม่ชัดเจนว่าเป็นสิ่งที่ดี แต่ถ้าอยู่ใน h4 จะไม่ถูกบันทึกซึ่งอาจเทียบกับข้อพิจารณาอื่น ๆ การถดถอยเชิงเส้นอาจกู้คืนค่าหยาบของชิ้นและมันจะดีกว่าที่จะมีชิ้นส่วนของคุณไปที่ศูนย์กลางของกระดานและบนฝั่งของฝ่ายตรงข้ามของกระดาน การถดถอยเชิงเส้นไม่สามารถให้คุณค่ากับการรวมกันเช่นว่าราชินีของคุณใน b2 นั้นมีค่ามากกว่าถ้ากษัตริย์ผู้ต่อต้านอยู่บน a1

โครงข่ายประสาทเทียมอาจมีโหนดที่ซ่อนอยู่สำหรับแนวคิดเช่น "ความได้เปรียบเชิงวัตถุ" "ความปลอดภัยของราชาดำ" "การควบคุมของศูนย์กลาง" "ทั้งสอง rooks บน d-file," "Queen rook pawn" หรือ "bishop การเคลื่อนไหว." บางส่วนของสิ่งเหล่านี้สามารถประมาณได้จากอินพุตของบอร์ดเท่านั้นในขณะที่บางอันอาจต้องอยู่ในเลเยอร์ที่สองหรือหลังจากนั้น โครงข่ายประสาทเทียมสามารถใช้สิ่งเหล่านี้เป็นข้อมูลป้อนเข้าไปในการประเมินขั้นสุดท้ายของตำแหน่ง แนวคิดเหล่านี้ช่วยให้ผู้เชี่ยวชาญประเมินตำแหน่งดังนั้นเครือข่ายประสาทควรมีความสามารถในการประเมินที่แม่นยำกว่าการถดถอยเชิงเส้น อย่างไรก็ตามการสร้างโครงข่ายประสาทต้องใช้เวลามากกว่านี้เนื่องจากคุณต้องเลือกโครงสร้างของมันและมีพารามิเตอร์ในการฝึกอบรมอีกมากมาย