เวกเตอร์กิจกรรมในเครือข่ายประสาทคืออะไร

ฉันกำลังอ่านกระดาษใหม่ของ Hinton "Dynamic Routing ระหว่าง Capsules" และไม่เข้าใจคำว่า "vector กิจกรรม" ในนามธรรม

แคปซูลเป็นกลุ่มของเซลล์ประสาทที่มีเวกเตอร์กิจกรรมแสดงถึงพารามิเตอร์การสร้างอินสแตนซ์ของเอนทิตีเฉพาะประเภทเช่นวัตถุหรือส่วนของวัตถุ เราใช้ความยาวของเวกเตอร์กิจกรรมเพื่อแสดงความน่าจะเป็นที่มีอยู่ของเอนทิตีและการวางแนวของมันเพื่อเป็นตัวแทนของพารามิเตอร์สร้างอินสแตนซ์ แคปซูลที่ใช้งานอยู่ที่ระดับหนึ่งทำการคาดการณ์ผ่านการฝึกอบรมการแปลงสำหรับพารามิเตอร์ instantiation ของแคปซูลระดับสูง เมื่อการคาดการณ์หลายครั้งยอมรับแคปซูลระดับสูงจะเริ่มทำงาน เราแสดงให้เห็นว่าระบบแคปซูลหลายชั้นที่ผ่านการฝึกอบรมอย่างไม่เลือกปฏิบัตินั้นได้รับการปฏิบัติที่ทันสมัยบน MNIST และดีกว่าเครือข่ายการสนทนาที่รับรู้ตัวเลขที่ทับซ้อนกันอย่างมาก เพื่อให้บรรลุผลลัพธ์เหล่านี้เราใช้กลไกการกำหนดเส้นทางซ้ำตามข้อตกลง:

https://arxiv.org/pdf/1710.09829.pdf

ฉันคิดว่าเวกเตอร์เป็นเหมือนชุดข้อมูลที่คุณใช้ผ่านเครือข่าย

ฉันเริ่มทำงานในหลักสูตรการเรียนรู้ลึกของ Andrew Ng แต่มันใหม่ทั้งหมดและศัพท์ต่าง ๆ เป็นไปตามหัวของฉัน

ในเครือข่ายนิวรัลแบบดั้งเดิมจุดยอดของเครือข่ายคือเซลล์ประสาทและเอาต์พุตของเซลล์ประสาทเดี่ยวเป็นค่าเดียว (" สเกลาร์ ") หมายเลขนี้จะเรียกว่าการเปิดใช้งาน ชั้นของเซลล์ประสาทในเครือข่าย outputs เวกเตอร์ของการเปิดใช้งาน เราไม่ควรสับสนกับเวกเตอร์กิจกรรมในเครือข่ายแคปซูล

เครือข่ายแคปซูลแตกต่างกันเนื่องจากจุดยอดเครือข่ายเป็นแคปซูลมากกว่าเซลล์ประสาท มันเป็นมิติที่สูงกว่า: เอาต์พุตของ Capsule ไม่ใช่สเกลาร์แต่เป็นเวกเตอร์ที่แสดงถึงกลุ่มของพารามิเตอร์ที่เกี่ยวข้องกับอินพุต ดังนั้นชื่อยืนยันการใช้งานเวกเตอร์

แรงจูงใจ

ในโครงข่ายประสาทไม่มีโครงสร้างโดยธรรมชาติระหว่างผลลัพธ์สเกลาร์ของเซลล์ประสาทนี่คือสิ่งที่ชั้นต่อไปนี้ต้องเรียนรู้ ในเครือข่ายแคปซูลผลลัพธ์ของแคปซูลจะแสดงถึงพารามิเตอร์ทั้งหมดที่เกี่ยวข้องกับสิ่งนั้นพร้อมกันในเวกเตอร์รวมถึงการคาดคะเนสำหรับการเปิดใช้งานของเลเยอร์แคปซูลที่ลึกกว่า สิ่งนี้จะเพิ่มโครงสร้างท้องถิ่นที่มีประโยชน์

ตัวอย่างเช่นพิจารณาการจดจำใบหน้า หากคุณมีแคปซูลที่รู้วิธีจดจำดวงตามันสามารถแสดงผลเวกเตอร์ของกิจกรรมที่เป็นตัวแทนเช่น "เนื่องจากฉันจำตำแหน่งตา(x, y)ด้วยความน่าจะเป็นp = 0.97ฉันทำนายว่าพารามิเตอร์สำหรับใบหน้าทั้งหมดจะเป็น(f1, ... fn) "

ดังที่อธิบายไว้ในกระดาษDynamic Routing ระหว่าง Capsules ที่คุณอ้างถึงข้อมูลนี้ในลักษณะที่แคปซูลในเลเยอร์ก่อนหน้า (ส่วน: ตาปากจมูก) ทำนายการเปิดใช้งานของเลเยอร์ที่ลึกกว่า (ใบหน้า) ตัวอย่างเช่นตัวจดจำใบหน้าจะทำงานอย่างยิ่งเมื่อมีข้อตกลงระหว่างตัวจดจำตาจมูกและปาก (ส่วน) และตัวจดจำใบหน้า (ทั้งหมด) เกี่ยวกับตำแหน่งของใบหน้า (the (f1, ... fn) )พารามิเตอร์)

แรงบันดาลใจทางประวัติศาสตร์

อัลกอริธึมการมองเห็นคอมพิวเตอร์ที่เก่ากว่าเช่นSIFTทำงานในลักษณะเดียวกันที่ข้อตกลงการรู้จำเป็นไปตามข้อตกลงระหว่างการกำหนดค่าคุณสมบัติหลายมิติ (จุดสำคัญ) และการกำหนดค่าการอ้างอิง

ฉันเอามันไปหมายถึงอะไรบางอย่างเช่น "เวกเตอร์ของการเปิดใช้งานของเซลล์ประสาทในแคปซูล" การเปิดใช้งานสำหรับเซลล์ประสาทที่กำหนดคือผลรวมถ่วงน้ำหนักของอินพุตของมันผ่านฟังก์ชั่นการเปิดใช้งาน (sigmoid, relu ฯลฯ )