เหตุใดเราจึงควรสลับข้อมูลในขณะฝึกเครือข่ายประสาท

ในการฝึกอบรมมินิแบทช์ของเครือข่ายประสาทเทียมฉันได้ยินมาว่าการฝึกฝนที่สำคัญคือการสับเปลี่ยนข้อมูลการฝึกอบรมก่อนทุกยุค ใครสามารถอธิบายได้ว่าทำไมการสับในแต่ละยุคจึงช่วยได้บ้าง

จากการค้นหาของ Google ฉันพบคำตอบต่อไปนี้:

• ช่วยให้การฝึกอบรมมาบรรจบกันอย่างรวดเร็ว
• มันป้องกันอคติใด ๆ ในระหว่างการฝึกอบรม
• มันป้องกันโมเดลจากการเรียนรู้ลำดับของการฝึกอบรม

แต่ฉันมีความยากลำบากในการทำความเข้าใจว่าทำไมผลกระทบเหล่านี้เกิดจากการสับแบบสุ่ม ใครสามารถให้คำอธิบายง่ายๆ

หากต้องการลองอธิบายอีกครั้ง:

หนึ่งในสิ่งที่ทรงพลังที่สุดเกี่ยวกับโครงข่ายประสาทเทียมคือพวกมันสามารถทำหน้าที่ที่ซับซ้อนมากทำให้สามารถเรียนรู้ความสัมพันธ์ที่ซับซ้อนระหว่างข้อมูลอินพุตและเอาต์พุตของคุณได้ ความสัมพันธ์เหล่านี้อาจรวมถึงสิ่งที่คุณไม่คาดคิดเช่นลำดับที่ข้อมูลถูกป้อนเข้าในยุคต่อ หากลำดับของข้อมูลภายในแต่ละยุคมีค่าเท่ากันโมเดลอาจใช้สิ่งนี้เป็นวิธีในการลดข้อผิดพลาดในการฝึกซึ่งเป็นประเภทของการ overfitting

ด้วยความเคารพต่อความเร็ว: วิธีมินิ - แบทช์พึ่งพาการไล่ระดับสีแบบสุ่ม (และการปรับปรุง) ซึ่งหมายความว่าพวกเขาต้องอาศัยการสุ่มเพื่อค้นหาขั้นต่ำ Shuffling mini-batches ทำให้การไล่ระดับสีมีความผันแปรมากกว่าซึ่งสามารถช่วยให้การบรรจบกันเพิ่มขึ้นเพราะมันจะเพิ่มโอกาสในการตีทิศทางที่ดี (หรืออย่างน้อยนั่นก็เป็นสิ่งที่ฉันเข้าใจ)

จากมุมมองที่ง่ายมากข้อมูลจะถูกป้อนตามลำดับซึ่งแสดงให้เห็นว่าอย่างน้อยที่สุดก็เป็นไปได้ที่ลำดับข้อมูลจะมีผลต่อเอาต์พุต หากคำสั่งซื้อไม่สำคัญการสุ่มจะไม่ทำร้ายแน่นอน หากคำสั่งมีความสำคัญการสุ่มจะช่วยให้เอฟเฟกต์แบบสุ่มเหล่านั้นราบรื่นขึ้นเพื่อไม่ให้มีอคติอย่างเป็นระบบ ในระยะสั้นการสุ่มมีราคาถูกและไม่เคยเจ็บปวดและมักจะลดผลกระทบการสั่งซื้อข้อมูล

หมายเหตุ: ตลอดคำตอบนี้ฉันอ้างถึงการลดการสูญเสียการฝึกอบรมให้น้อยที่สุดและฉันไม่ได้กล่าวถึงเกณฑ์การหยุดเช่นการสูญเสียการตรวจสอบความถูกต้อง ตัวเลือกของเกณฑ์การหยุดไม่ส่งผลกระทบต่อกระบวนการ / แนวคิดที่อธิบายไว้ด้านล่าง

กระบวนการฝึกอบรมโครงข่ายประสาทเทียมคือการหาค่าต่ำสุดของฟังก์ชั่นการสูญเสียโดยที่แทนเมทริกซ์ (หรือเมทริกซ์หลายตัว) ของน้ำหนักระหว่างเซลล์ประสาทและแทนชุดข้อมูลการฝึกอบรม ฉันใช้ตัวห้อยสำหรับเพื่อระบุว่าการลดขนาดของเกิดขึ้นเฉพาะกับน้ำหนัก (นั่นคือเรากำลังมองหาที่ลดขนาด ) ในขณะที่ได้รับการแก้ไข$ℒ_X(W)$$W$$X$$X$$ℒ$$W$$W$$ℒ$$X$

ตอนนี้ถ้าเราคิดว่าเรามีองค์ประกอบใน (นั่นคือมีน้ำหนักในเครือข่าย)เป็นพื้นผิวในพื้นที่มิติมิติ ลองจินตนาการว่าเรามีน้ำหนักเซลล์ประสาทเพียงสองตัว ( ) จากนั้นมีการตีความทางเรขาคณิตง่าย ๆ : มันเป็นพื้นผิวในพื้นที่ 3 มิติ สิ่งนี้เกิดขึ้นจากความจริงที่ว่าสำหรับเมทริกซ์ใด ๆ ของน้ำหนักฟังก์ชันการสูญเสียสามารถถูกประเมินบนและค่านั้นจะกลายเป็นระดับความสูงของพื้นผิว$P$$W$$P$$ℒ$$P+1$$P=2$$ℒ$$W$$X$

แต่มีปัญหาเรื่องการไม่นูน พื้นผิวที่ฉันอธิบายจะมีจำนวนน้อยที่สุดในท้องถิ่นและอัลกอริธึมการไล่ระดับสีอ่อนไหวต่อการกลายเป็น "ติด" ใน minima เหล่านั้นในขณะที่การแก้ปัญหาลึก / ต่ำ / ดีกว่าอาจอยู่ใกล้เคียง นี่คือแนวโน้มที่จะเกิดขึ้นถ้ามีการเปลี่ยนแปลงในช่วงการฝึกอบรมการทำซ้ำทั้งหมดเพราะพื้นผิวที่ได้รับการแก้ไขเพื่อให้ ; คุณสมบัติทั้งหมดของมันเป็นแบบคงที่รวมถึงความหลากหลายที่น้อยที่สุด$X$$X$

วิธีแก้ปัญหานี้คือการฝึกอบรมแบบกลุ่มย่อยรวมกับการสับ โดยการสับแถวและการฝึกอบรมในเซตย่อยของมันในระหว่างการวนซ้ำที่กำหนดจะเปลี่ยนไปด้วยการวนซ้ำทุกครั้งและเป็นไปได้ค่อนข้างจริงที่จะไม่มีการวนซ้ำสองครั้งในการฝึกซ้ำและ epochs ทั้งหมดในเดียวกัน. ผลที่ได้คือตัวแก้ปัญหาสามารถ "เด้ง" ออกมาจากระดับต่ำสุดในท้องถิ่นได้อย่างง่ายดาย ลองจินตนาการว่าแก้จะติดอยู่ในขั้นต่ำท้องถิ่นย้ำด้วยการฝึกอบรมมินิชุดx_iค่าต่ำสุดในท้องถิ่นนี้สอดคล้องกับประเมินที่ค่าน้ำหนักเฉพาะ เราจะเรียกมันว่า$X$$X$$i$$X_i$$ℒ$$ℒ_{X_i}(W_i)$. ในการทำซ้ำครั้งต่อไปรูปร่างของพื้นผิวการสูญเสียของเราจะเปลี่ยนไปเพราะเราใช้นั่นคืออาจใช้ค่าที่แตกต่างจากและเป็นไปได้มากที่ไม่ตรงกับจำนวนขั้นต่ำในท้องถิ่น! ขณะนี้เราสามารถคำนวณการปรับปรุงการไล่ระดับสีและดำเนินการฝึกอบรมต่อไป ต้องมีความชัดเจน: รูปร่างของจะ - ทั่วไป - ไม่ว่าจะแตกต่างจากที่{i}} โปรดทราบว่านี่ผมหมายถึงฟังก์ชั่นการสูญเสียประเมินในการฝึกอบรมชุด ; มันเป็นพื้นผิวที่สมบูรณ์ที่กำหนดเหนือค่าที่เป็นไปได้ทั้งหมดของ$X_{i+1}$$ℒ_{X_{i+1}}(W_i)$$ℒ_{X_i}(W_i)$$ℒ_{X_{i+1}}$$ℒ_{X_{i}}$$ℒ$$X$$W$มากกว่าการประเมินผลของการสูญเสียที่ (ซึ่งเป็นเพียงเกลา) สำหรับค่าเฉพาะของWโปรดทราบด้วยว่าหากใช้งานแบบย่อส่วนโดยไม่มีการสับเปลี่ยนยังมีระดับ "การกระจาย" ของพื้นผิวที่สูญเสีย แต่จะมีจำนวนข้อผิดพลาดที่ไม่ซ้ำกันจำนวน จำกัด (และค่อนข้างเล็ก) ที่เห็นโดยตัวแก้ปัญหา (โดยเฉพาะ ชุดมินิแบทช์เดียวกัน - และดังนั้นจึงสูญเสียพื้นผิว - ในแต่ละช่วงเวลา)$W$

สิ่งหนึ่งที่ฉันหลีกเลี่ยงอย่างจงใจคือการอภิปรายเกี่ยวกับขนาดมินิ - แบทช์เพราะมีความคิดเห็นนับล้านเกี่ยวกับเรื่องนี้และมันมีนัยสำคัญที่นำไปใช้ได้จริง (การขนานที่มากขึ้นสามารถทำได้ด้วยแบตขนาดใหญ่) อย่างไรก็ตามฉันเชื่อว่าต่อไปนี้เป็นสิ่งที่ควรค่าแก่การกล่าวขวัญ เนื่องจากถูกประเมินโดยการคำนวณค่าสำหรับแต่ละแถวของ (และการรวมหรือการหาค่าเฉลี่ยเช่นตัวดำเนินการสับเปลี่ยน) สำหรับชุดเมทริกซ์น้ำหนักที่กำหนดการจัดเรียงแถวของไม่มีผลเมื่อใช้แบบเต็ม การไล่ระดับสีแบบแบทช์ (นั่นคือเมื่อแต่ละแบตช์เต็มและการวนซ้ำและยุคเป็นสิ่งเดียวกัน)$ℒ$$X$$W$$X$ $X$

ลองจินตนาการถึงฉลากของรถตู้สองสามอันสุดท้ายของคุณที่มีเสียงดังมากขึ้น จากนั้นแบทช์เหล่านี้จะดึงตุ้มน้ำหนักที่เรียนรู้ขั้นสุดท้ายไปในทิศทางที่ผิด หากคุณสุ่มทุกครั้งโอกาสที่เสียงดังจะลดลงอย่างไม่เป็นสัดส่วน

เมื่อคุณฝึกอบรมเครือข่ายของคุณโดยใช้ชุดข้อมูลคงที่หมายถึงข้อมูลที่คุณไม่เคยสับระหว่างการฝึก คุณมีโอกาสมากที่จะรับน้ำหนักที่สูงมากและต่ำมากเช่น 40,70, -101,200 ... เป็นต้น เพียงแค่นี้หมายความว่าเครือข่ายของคุณไม่ได้เรียนรู้ข้อมูลการฝึกอบรม แต่ได้เรียนรู้เสียงของข้อมูลการฝึกอบรม กรณีคลาสสิกของรูปแบบ overfit ด้วยเครือข่ายดังกล่าวคุณจะได้รับการคาดการณ์สำหรับข้อมูลที่คุณใช้ในการฝึกอบรม หากคุณใช้อินพุตอื่น ๆ เพื่อทดสอบโมเดลของคุณจะแยกออกจากกัน ตอนนี้เมื่อคุณสลับการฝึกอบรมข้อมูลหลังจากแต่ละยุค (การวนซ้ำของชุดโดยรวม) คุณเพียงป้อนข้อมูลต่าง ๆ ไปยังเซลล์ประสาทในแต่ละยุคและควบคุมความหมายน้ำหนักอย่างง่ายคุณจะมีน้ำหนักที่ต่ำกว่าศูนย์ และนั่นหมายความว่าเครือข่ายของคุณสามารถสร้างภาพรวมที่ดีขึ้นได้

ฉันหวังว่าชัดเจน

นี่คือคำอธิบายที่เข้าใจง่ายยิ่งขึ้น:

เมื่อใช้การไล่ระดับสีเราต้องการให้การสูญเสียลดลงในทิศทางของการไล่ระดับสี การไล่ระดับสีจะถูกคำนวณโดยข้อมูลจากมินิแบทช์เดียวสำหรับการอัพเดตน้ำหนักแต่ละรอบ สิ่งที่เราต้องการให้เกิดขึ้นคือการไล่ระดับสีแบบมินิแบทช์นั้นเป็นการประมาณความลาดชันของประชากรเพราะสิ่งนี้คาดว่าจะทำให้การลู่เข้าเร็วขึ้น (ลองนึกภาพถ้าคุณป้อนข้อมูลเครือข่าย 100 class1 ใน mini-batch หนึ่งและ 100 class2 data ในอีกเครือข่ายจะเลื่อนไปมาวิธีที่ดีกว่าคือการป้อนข้อมูลด้วย 50 class1 + 50 class2 ในแต่ละ mini-batch)

ทำอย่างไรจึงจะบรรลุผลได้เนื่องจากเราไม่สามารถใช้ข้อมูลประชากรในชุดข้อมูลย่อยได้ ศิลปะของสถิติบอกให้เราทราบ: สับเปลี่ยนประชากรและชิ้นส่วนแรกของชุดข้อมูลที่เป็นตัวแทนของประชากร นี่คือเหตุผลที่เราต้องสับเปลี่ยนประชากร

ฉันต้องบอกว่าการสับไม่จำเป็นถ้าคุณมีวิธีอื่นในการสุ่มตัวอย่างข้อมูลจากประชากรและทำให้แน่ใจว่าตัวอย่างสามารถสร้างการไล่ระดับสีที่สมเหตุสมผล

นั่นคือความเข้าใจของฉัน หวังว่ามันจะช่วย