TCS ต้องการคำตอบประเภทใดสำหรับคำถามที่ว่า“ ทำไมเครือข่ายประสาทเทียมจึงทำงานได้ดี?”

ปริญญาเอกของฉัน อยู่ในคณิตศาสตร์บริสุทธิ์และฉันยอมรับว่าฉันไม่รู้อะไรเกี่ยวกับทฤษฎี CS มากนัก อย่างไรก็ตามฉันได้เริ่มสำรวจตัวเลือกที่ไม่ใช่ทางวิชาการสำหรับอาชีพของฉันและในการแนะนำตัวเองเกี่ยวกับการเรียนรู้ของเครื่องโดยพบข้อความเช่น "ไม่มีใครเข้าใจว่าทำไมเครือข่ายประสาททำงานได้ดี" ซึ่งฉันคิดว่าน่าสนใจ

คำถามของฉันโดยพื้นฐานแล้วนักวิจัยต้องการคำตอบประเภทใด? นี่คือสิ่งที่ฉันได้พบในการค้นหาสั้น ๆ ของฉันในหัวข้อ:

• อัลกอริทึมที่ใช้โครงข่ายประสาทอย่างง่ายนั้นค่อนข้างตรงไปตรง
• กระบวนการของ SGD มีความเข้าใจทางคณิตศาสตร์เป็นอย่างดีเช่นเดียวกับทฤษฎีทางสถิติ
• ทฤษฎีบทการประมาณสากลนั้นทรงพลังและได้รับการพิสูจน์แล้ว
• มีรายงานเมื่อไม่นานมานี้https://arxiv.org/abs/1608.08225ซึ่งให้คำตอบว่าการประมาณสากลนั้นมากกว่าที่เราต้องการในทางปฏิบัติจริง ๆ เพราะเราสามารถสร้างสมมติฐานที่ง่ายขึ้นเกี่ยวกับฟังก์ชันที่เราพยายามทำแบบจำลองด้วย โครงข่ายประสาทเทียม

ในเอกสารดังกล่าวพวกเขาระบุ (การถอดความ) "อัลกอริทึม GOFAI เข้าใจอย่างเต็มที่ในการวิเคราะห์ แต่อัลกอริธึม ANN จำนวนมากเข้าใจเพียงการเรียนรู้ด้วยวิธีการ" ทฤษฎีการบรรจบกันของอัลกอริธึมที่นำมาใช้เป็นตัวอย่างของความเข้าใจในการวิเคราะห์ที่ดูเหมือนว่าเรามีเกี่ยวกับเครือข่ายประสาทดังนั้นคำสั่งในระดับทั่วไปนี้ไม่ได้บอกฉันมากเกี่ยวกับสิ่งที่รู้จักหรือไม่ทราบ ."

ผู้เขียนแนะนำในการสรุปว่าคำถามเช่นขอบเขตที่มีประสิทธิภาพกับขนาดของเครือข่ายประสาทที่จำเป็นในการประมาณค่าพหุนามที่กำหนดนั้นเปิดกว้างและน่าสนใจ ตัวอย่างอื่น ๆ ของคำถามวิเคราะห์เชิงคณิตศาสตร์ที่ต้องได้รับคำตอบเพื่อบอกว่าเรา "เข้าใจ" เครือข่ายประสาทเทียมคืออะไร? มีคำถามที่อาจตอบเป็นภาษาทางคณิตศาสตร์ที่บริสุทธิ์กว่านี้หรือไม่?

(ฉันกำลังคิดถึงวิธีการในทฤษฎีการแทนโดยเฉพาะเนื่องจากการใช้ฟิสิกส์ในบทความนี้ - และเห็นแก่ตัวเพราะมันเป็นสาขาการศึกษาของฉันอย่างไรก็ตามฉันยังสามารถจินตนาการถึงพื้นที่เช่นทฤษฎี combinatorics / กราฟเรขาคณิตเชิงพีชคณิต และโทโพโลยีให้เครื่องมือที่ทำงานได้)

มีทฤษฎีบท "ไม่มีอาหารกลางวันฟรี" ในการเรียนรู้ของเครื่องโดยคร่าว ๆ ว่าไม่มีใครสามารถเรียนรู้อัลกอริธึมที่ทำได้ดีกว่าอัลกอริธึมอื่น ๆ (ดูตัวอย่างเช่นที่นี่http: //www.no-free- lunch.org/ ) แน่นอนว่าการเรียนรู้อย่างลึกซึ้งสามารถ“ แตกสลาย” ได้โดยไม่ต้องลำบากมาก: http://www.evolvingai.org/fooling

ดังนั้นเพื่อให้สามารถพิสูจน์ได้อย่างมีประสิทธิภาพผู้เรียนต้องการอคติแบบอุปนัย --- กล่าวคือมีข้อสมมติฐานก่อนหน้าบางประการเกี่ยวกับข้อมูล ตัวอย่างของอคติที่เกิดจากการอนุมานนั้นรวมถึงสมมติฐานของความกระจัดกระจายของข้อมูลหรือความมีมิติต่ำหรือการกระจายตัวของปัจจัยอย่างดีหรือมีอัตรากำไรขั้นต้นที่สูงเป็นต้นอัลกอริทึมการเรียนรู้ที่ประสบความสำเร็จต่างๆ ยกตัวอย่างเช่น SVM เชิงเส้นทำงานได้ดีเมื่อข้อมูลถูกแยกออกจากกันในอวกาศ เป็นอย่างอื่น - ไม่มาก

ฉันคิดว่าความท้าทายหลักที่มีการเรียนรู้ลึกคือการเข้าใจความลำเอียงแบบอุปนัยของมันคืออะไร กล่าวอีกนัยหนึ่งก็คือการพิสูจน์ทฤษฎีบทของประเภท: ถ้าข้อมูลการฝึกอบรมเป็นไปตามสมมติฐานเหล่านี้แล้วฉันสามารถรับประกันบางสิ่งบางอย่างเกี่ยวกับประสิทธิภาพการทำงานทั่วไป (มิฉะนั้นการเดิมพันทั้งหมดจะปิด)

$\ell_2$

มีช่องว่างหลักสองประการในการทำความเข้าใจของเราเกี่ยวกับโครงข่ายประสาทเทียม: การเพิ่มประสิทธิภาพความแข็งและประสิทธิภาพการวางนัยทั่วไป

การฝึกอบรมเครือข่ายนิวรัลต้องมีการแก้ปัญหาการหาค่าเหมาะที่สุดที่ไม่มีความนูนสูงในมิติที่สูง อัลกอริธึมการฝึกอบรมในปัจจุบันนั้นมีพื้นฐานมาจากการไล่ระดับสีซึ่งทำหน้าที่รับประกันการลู่เข้าสู่จุดวิกฤติ (เฉพาะจุดต่ำสุดหรืออาน) ในความเป็นจริงAnandkumar & Ge 2016เพิ่งพิสูจน์ว่าการค้นหาแม้แต่น้อยที่สุดในท้องถิ่นคือ NP-hard ซึ่งหมายความว่า (สมมติว่า P! = NP) มี "เลวร้าย" ยากที่จะหลบหนีจุดอานในพื้นผิวผิดพลาด
แต่อัลกอริทึมการฝึกอบรมเหล่านี้มีประสิทธิภาพเชิงประจักษ์สำหรับปัญหาเชิงปฏิบัติมากมายและเราไม่รู้ว่าทำไม
มีเอกสารทางทฤษฎีเช่นChoromanska และคณะ 2559และKawaguchi 2559ซึ่งพิสูจน์ว่าภายใต้สมมติฐานบางอย่าง minima ท้องถิ่นนั้นดีพอ ๆ กับ minima ทั่วโลก แต่สมมติฐานที่พวกเขาทำนั้นค่อนข้างไม่สมจริงและพวกเขาไม่ได้แก้ไขปัญหาของจุดอานที่ไม่ดี

ช่องว่างหลักอื่น ๆ ในความเข้าใจของเราคือประสิทธิภาพของการวางนัยทั่วไป: ตัวแบบจำลองทำงานได้ดีเพียงใดในตัวอย่างนวนิยายที่ไม่ได้เห็นในระหว่างการฝึกอบรม มันง่ายที่จะแสดงให้เห็นว่าในข้อ จำกัด ของตัวอย่างการฝึกอบรมที่ไม่ จำกัด จำนวน (ตัวอย่างไอดอลจากการแจกแจงแบบคงที่) ข้อผิดพลาดในการฝึกอบรมจะมาบรรจบกับข้อผิดพลาดที่คาดไว้สำหรับตัวอย่างใหม่ ๆ ไม่มีตัวอย่างการฝึกอบรมที่ไม่มีที่สิ้นสุดเราสนใจว่าจะต้องมีตัวอย่างจำนวนเท่าใดเพื่อให้เกิดความแตกต่างระหว่างการฝึกอบรมและข้อผิดพลาดทั่วไป ทฤษฎีการเรียนรู้ทางสถิติศึกษาขอบเขตทั่วไปเหล่านี้
ประจักษ์การฝึกอบรมเครือข่ายประสาทขนาดใหญ่ที่ทันสมัยต้องมีตัวอย่างการฝึกอบรมจำนวนมาก (ข้อมูลขนาดใหญ่ถ้าคุณชอบ buzzwords) แต่ไม่ว่าขนาดใหญ่ที่มีขนาดใหญ่ที่จะเป็นไปไม่ได้ในทางปฏิบัติ แต่ถ้าคุณใช้ขอบเขตที่รู้จักกันดีที่สุดจากทฤษฎีการเรียนรู้ทางสถิติ (เช่นGao & Zhou 2014 ) คุณมักจะได้รับจำนวนมากอย่างไม่น่าเชื่อเหล่านี้ ดังนั้นขอบเขตเหล่านี้จึงห่างไกลจากความรัดกุมอย่างน้อยสำหรับปัญหาในทางปฏิบัติ
เหตุผลหนึ่งอาจเป็นเพราะขอบเขตเหล่านี้มีแนวโน้มที่จะถือว่าน้อยมากเกี่ยวกับการกระจายการสร้างข้อมูลดังนั้นพวกเขาจึงสะท้อนให้เห็นถึงประสิทธิภาพการทำงานที่เลวร้ายที่สุดต่อสภาพแวดล้อมของฝ่ายตรงข้ามในขณะที่สภาพแวดล้อม "ธรรมชาติ" มีแนวโน้มที่จะ
เป็นไปได้ที่จะเขียนขอบเขตการวางนัยทั่วไปขึ้นอยู่กับการกระจาย แต่เราไม่รู้ว่าจะอธิบายลักษณะการกระจายอย่างเป็นทางการในสภาพแวดล้อม "ธรรมชาติ" ได้อย่างไร วิธีการเช่นทฤษฎีข้อมูลอัลกอริทึมยังคงเป็นที่น่าพอใจ
ดังนั้นเราจึงยังไม่รู้ว่าทำไมเครือข่ายประสาทเทียมจึงสามารถฝึกได้โดยไม่ต้องให้ข้อมูลมากเกินไป

นอกจากนี้ควรสังเกตว่าประเด็นหลักสองประเด็นนี้ดูเหมือนจะเกี่ยวข้องในทางที่ยังเข้าใจไม่ดี: ขอบเขตทั่วไปจากทฤษฎีการเรียนรู้ทางสถิติสมมติว่าแบบจำลองได้รับการฝึกฝนให้เหมาะสมที่สุดในโลกในชุดฝึกอบรม แต่ในสภาพแวดล้อมจริง จะไม่ฝึกโครงข่ายประสาทเทียมจนกว่าการบรรจบกันแม้กระทั่งจุดอาน แต่คุณจะหยุดการฝึกอบรมเมื่อข้อผิดพลาดในชุดการตรวจสอบความถูกต้องแบบจัดออก (ซึ่งเป็นพร็อกซีสำหรับข้อผิดพลาดทั่วไป) หยุดปรับปรุง เรื่องนี้เป็นที่รู้จักกันในชื่อ "หยุดเร็ว"
ดังนั้นในความรู้สึกทั้งหมดการวิจัยเชิงทฤษฎีเกี่ยวกับการจำกัดความผิดพลาดของการมองโลกในแง่ที่เหมาะสมที่สุดอาจไม่เกี่ยวข้องเลย: ไม่เพียง แต่เราไม่สามารถหามันได้อย่างมีประสิทธิภาพ แต่แม้ว่าเราจะทำได้เราก็ไม่ต้องการเพราะมันจะแย่ลง ตัวอย่างที่แปลกใหม่กว่าโซลูชันที่ "ดีที่สุด" จำนวนมาก
อาจเป็นกรณีที่ความแข็งของการปรับให้เหมาะสมไม่ได้เป็นข้อบกพร่องของเครือข่ายประสาทในทางกลับกันเครือข่ายประสาทอาจทำงานได้อย่างแม่นยำเพราะมันยากที่จะปรับให้เหมาะสม
ข้อสังเกตทั้งหมดเหล่านี้เป็นเชิงประจักษ์และไม่มีทฤษฎีที่ดีที่อธิบายพวกเขา นอกจากนี้ยังไม่มีทฤษฎีที่อธิบายวิธีตั้งค่าไฮเปอร์พารามิเตอร์ของโครงข่ายประสาทเทียม (ความกว้างและความลึกของชั้นที่ซ่อนเร้น, อัตราการเรียนรู้, รายละเอียดทางสถาปัตยกรรม, ฯลฯ ) ผู้ประกอบการใช้สัญชาตญาณของพวกเขาที่ได้รับการฝึกฝนด้วยประสบการณ์และการลองผิดลองถูกมากมายเพื่อหาค่าที่มีประสิทธิภาพในขณะที่ทฤษฎีจะช่วยให้เราออกแบบโครงข่ายประสาทเทียมได้อย่างเป็นระบบมากขึ้น

คำถามอื่นอีกข้อหนึ่งเพื่อเพิ่มคำพูดของ @ Aryeh: สำหรับการเรียนรู้รูปแบบอื่น ๆ เรารู้ "รูปร่าง" ของพื้นที่สมมติฐาน SVM เป็นตัวอย่างที่ดีที่สุดของสิ่งนี้ในสิ่งที่คุณกำลังค้นหาคือตัวคั่นเชิงเส้นในพื้นที่ฮิลแบร์ต (อาจเป็นมิติสูง)

สำหรับเครือข่ายประสาททั่วไปเราไม่มีคำอธิบายที่ชัดเจนหรือแม้แต่การประมาณ และคำอธิบายดังกล่าวมีความสำคัญสำหรับเราที่จะเข้าใจว่าเครือข่ายประสาทกำลังค้นหาอะไรในข้อมูล

หลักการของคอขวดข้อมูลได้ถูกเสนอเพื่ออธิบายความสำเร็จของเครือข่ายการพูดลึก

นี่คือคำพูดจากนิตยสาร Quanta

เมื่อเดือนที่แล้ววิดีโอ YouTube ของการบรรยายการประชุมในกรุงเบอร์ลินมีการแบ่งปันกันอย่างกว้างขวางในหมู่นักวิจัยด้านปัญญาประดิษฐ์ให้คำตอบ ในการพูดคุย Naftali Tishby นักวิทยาศาสตร์คอมพิวเตอร์และนักประสาทวิทยาจากมหาวิทยาลัยฮิบรูแห่งเยรูซาเล็มได้นำเสนอหลักฐานเพื่อสนับสนุนทฤษฎีใหม่ที่อธิบายว่าการเรียนรู้เชิงลึกทำงานอย่างไร Tishby ให้เหตุผลว่าเครือข่ายประสาทลึกเรียนรู้ตามขั้นตอนที่เรียกว่า "คอขวดข้อมูล" ซึ่งเขาและผู้ทำงานร่วมกันสองคนแรกอธิบายไว้ในข้อตกลงทางทฤษฎีอย่างหมดจดในปี 1999 ความคิดคือเครือข่าย rids ป้อนข้อมูลที่มีเสียงดังของรายละเอียดภายนอกราวกับว่า ข้อมูลผ่านคอขวดการรักษาเฉพาะคุณสมบัติที่เกี่ยวข้องกับแนวคิดทั่วไปมากที่สุด

อ้างอิง:

1- การเรียนรู้อย่างลึกซึ้งและหลักการคอขวดของข้อมูล Naftali Tishby และ Noga Zaslavsky

2- เปิดกล่องดำของเครือข่ายประสาทลึกผ่านข้อมูล Ravid Shwartz-Ziv และ Naftali Tishby

3- วิดีโอพูดคุยการประชุม: ข้อมูลทฤษฎีการเรียนรู้ลึกโดย Naftali Tishby

ฉันจะบอกว่าเรายังต้องค้นพบอัลกอริทึมที่มีประสิทธิภาพสำหรับการฝึกอบรมโครงข่ายประสาทเทียม ใช่ SGD ทำงานได้ดีในทางปฏิบัติ แต่การหาอัลกอริทึมที่ดีกว่าซึ่งรับประกันว่าการบรรจบกันไปสู่ระดับต่ำสุดทั่วโลกน่าจะดีมาก