ไม่สามารถหาเลเยอร์การฝังเชิงเส้นในเครือข่ายประสาทเทียม

ฉันมีสถาปัตยกรรมเครือข่ายจากกระดาษ"การเรียนรู้ภาพที่มีความคล้ายคลึงกันอย่างละเอียดด้วยการจัดอันดับลึก"และฉันไม่สามารถหาวิธีการที่เอาท์พุทจากเครือข่ายขนานทั้งสามเข้าด้วยกันโดยใช้เลเยอร์การฝังเชิงเส้น ข้อมูลเฉพาะที่ระบุในเลเยอร์นี้ในกระดาษคือ

ในที่สุดเราจะทำให้งานแต่งงานเป็นปกติจากทั้งสามส่วนและรวมเข้ากับเลเยอร์การฝังเชิงเส้น ขนาดของการฝังคือ 4096

ใครสามารถช่วยฉันในการหาว่าผู้เขียนหมายถึงอะไรเมื่อเขาพูดถึงเลเยอร์นี้?

เลเยอร์การฝังแบบเชิงเส้นต้องเป็นชื่อแฟนซีสำหรับเลเยอร์หนาแน่นที่ไม่มีการเปิดใช้งาน 'เชิงเส้น' หมายถึงไม่มีการเปิดใช้งาน (การเปิดใช้งานคือข้อมูลประจำตัว) และการฝังเป็นแนวคิดสำหรับการแสดงเวกเตอร์ของข้อมูลอินพุต (เช่นคำว่า embeddings) ฉันเชื่อว่าองค์ประกอบจากเวกเตอร์ที่สองนั้นถูกเพิ่มเข้าไปในองค์ประกอบแรกที่ชาญฉลาด

มันถูกกล่าวถึงในกระดาษ:

เลเยอร์การนอร์มัลไลซ์เซชันจะทำให้แผนที่คุณลักษณะรอบ ๆ พื้นที่ใกล้เคียงเป็นมาตรฐานของหน่วยและมีค่าเฉลี่ยเป็นศูนย์ มันนำไปสู่แผนที่คุณสมบัติที่แข็งแกร่งต่อความแตกต่างในการส่องสว่างและความคมชัด

พวกเขาใช้แต่ละส่วนของแบบจำลองและทำให้เป็นมาตรฐาน

สำหรับการรวมพวกเขาตามที่คุณแสดงความคิดเห็นเพื่อจับภาพคุณสมบัติที่โดดเด่นที่สุดด้วยการเป็นตัวแทนที่สมบูรณ์ภายใต้ไม่จำเป็นสำหรับความไม่เป็นเชิงเส้น