ความแตกต่างระหว่างการออกกลางคันและการเชื่อมต่อแบบเลื่อนคืออะไร?

ความแตกต่างระหว่างการออกกลางคันและการเชื่อมต่อแบบเลื่อนคืออะไร?

AFAIK, dropout สุ่มลดลงโหนดที่ซ่อนอยู่ในระหว่างการฝึกอบรม แต่เก็บไว้ในการทดสอบและวางการเชื่อมต่อการเชื่อมต่อหยด

แต่ไม่ทิ้งการเชื่อมต่อเทียบเท่ากับการทิ้งโหนดที่ซ่อนอยู่หรือไม่ โหนด (หรือการเชื่อมต่อ) ไม่ใช่แค่ชุดของน้ำหนักใช่หรือไม่

DropOut และ DropConnect เป็นทั้งสองวิธีที่มีจุดประสงค์เพื่อป้องกัน "co-adaptation" ของหน่วยในโครงข่ายประสาทเทียม กล่าวอีกนัยหนึ่งเราต้องการให้หน่วยแยกคุณลักษณะออกจากอินพุตของพวกเขาอย่างอิสระแทนที่จะใช้เซลล์ประสาทอื่นทำเช่นนั้น

สมมติว่าเรามีเครือข่ายแบบป้อนหลายชั้นเช่นนี้ (โทโพโลยีไม่สำคัญจริงๆ) เรากังวลเกี่ยวกับหน่วยที่ซ่อนอยู่สีเหลืองในการปรับชั้นกลาง

การออกกลางคัน

ในการใช้ DropOut เราสุ่มเลือกชุดย่อยของหน่วยและหนีบเอาท์พุทเป็นศูนย์โดยไม่คำนึงถึงอินพุต สิ่งนี้จะลบยูนิตเหล่านั้นออกจากโมเดลได้อย่างมีประสิทธิภาพ ชุดย่อยที่แตกต่างกันของหน่วยจะถูกสุ่มเลือกทุกครั้งที่เรานำเสนอตัวอย่างการฝึกอบรม

ด้านล่างนี้เป็นการกำหนดค่าเครือข่ายที่เป็นไปได้สองแบบ ในการนำเสนอแรก (ซ้าย) หน่วยที่ 1 และ 3 ถูกปิดใช้งาน แต่หน่วยที่ 2 และ 3 ได้รับการสุ่มเลือกในการนำเสนอที่ตามมา ในเวลาทดสอบเราใช้เครือข่ายที่สมบูรณ์ แต่ช่วยลดน้ำหนักเพื่อชดเชยความจริงที่ว่าตอนนี้พวกเขาทั้งหมดสามารถใช้งานได้ (เช่นหากคุณปล่อยโหนดครึ่งหนึ่งน้ำหนักจะลดลงครึ่งหนึ่ง)

DropConnect

DropConnect ทำงานในทำนองเดียวกันยกเว้นว่าเราปิดการใช้งานน้ำหนักส่วนบุคคล (เช่นตั้งค่าเป็นศูนย์) แทนโหนดดังนั้นโหนดจึงสามารถใช้งานได้บางส่วน แผนผังดูเหมือนว่า:

การเปรียบเทียบ

วิธีการทั้งสองนี้ใช้งานได้เพราะช่วยให้คุณสามารถฝึกฝนแบบจำลองหลาย ๆ แบบได้อย่างมีประสิทธิภาพในเวลาเดียวกัน ตัวอย่างเช่นเลเยอร์สีเหลืองมีสี่โหนดดังนั้นสถานะ DropOut 16 ที่เป็นไปได้ (เปิดใช้งานทั้งหมด, # 1 ถูกปิดใช้งาน, # 1 และ # 2 ถูกปิดใช้งาน ฯลฯ )

DropConnect เป็นลักษณะทั่วไปของ DropOut เนื่องจากเป็นรุ่นที่มีความเป็นไปได้มากขึ้นเนื่องจากมีการเชื่อมต่อมากกว่าหน่วย อย่างไรก็ตามคุณสามารถได้รับผลลัพธ์ที่คล้ายคลึงกันในการทดลองเดี่ยว ตัวอย่างเช่นเครือข่าย DropConnect ทางด้านขวาได้ลดลงหน่วย # 2 อย่างมีประสิทธิภาพเนื่องจากการเชื่อมต่อขาเข้าทั้งหมดถูกลบออก

อ่านเพิ่มเติม

เอกสารต้นฉบับนั้นเข้าถึงได้ง่ายและมีรายละเอียดเพิ่มเติมและผลลัพธ์เชิงประจักษ์

• DropOut: Hinton et al., 2012 , Srivasta et al., 2014; JMLR
• DropConnect: Wan et al., 2013

ใช่ แต่พวกเขาแตกต่างกันเล็กน้อยในแง่ของวิธีการลดน้ำหนัก

นี่คือสูตรของ DropConnect (ซ้าย) และ dropout (ขวา)

ดังนั้นการออกกลางคันจะใช้หน้ากากกับการเปิดใช้งานในขณะที่ DropConnect ใช้หน้ากากกับน้ำหนัก

กระดาษ DropConnect บอกว่ามันเป็นลักษณะทั่วไปของการออกกลางคันในแง่ที่ว่า

DropConnect เป็นลักษณะทั่วไปของการออกกลางคันซึ่งแต่ละการเชื่อมต่อแทนที่จะเป็นเอาท์พุทแต่ละหน่วยเช่นเดียวกับในการออกกลางคันสามารถดรอปด้วยความน่าจะเป็น p