ทำไมน้ำหนักของเครือข่าย RNN / LSTM จึงถูกแชร์ข้ามเวลา

เมื่อไม่นานมานี้ฉันสนใจ LSTM และฉันรู้สึกประหลาดใจเมื่อรู้ว่าน้ำหนักจะถูกแบ่งปันข้ามเวลา

• ฉันรู้ว่าถ้าคุณแบ่งปันน้ำหนักข้ามช่วงเวลาลำดับการป้อนข้อมูลของคุณอาจเป็นความยาวผันแปรได้

• ด้วยน้ำหนักที่ใช้ร่วมกันคุณจะมีพารามิเตอร์น้อยลงในการฝึกอบรม

จากความเข้าใจของฉันเหตุผลที่จะกลายเป็น LSTM กับวิธีการเรียนรู้อื่น ๆ ก็เพราะคุณเชื่อว่ามีโครงสร้าง / ลำดับ / การพึ่งพาชั่วคราวในข้อมูลของคุณที่คุณต้องการเรียนรู้ หากคุณเสียสละความยาว 'หรูหรา' และยอมรับเวลาคำนวณนาน RNN / LSTM จะไม่มีน้ำหนักที่ใช้ร่วมกัน (เช่นสำหรับทุกขั้นตอนที่คุณมีน้ำหนักแตกต่างกัน) ทำงานได้ดีขึ้นหรือมีบางสิ่งที่ขาดหายไป?

คำตอบที่ได้รับการยอมรับนั้นมุ่งเน้นไปที่ด้านที่เป็นประโยชน์ของคำถาม: มันจะต้องใช้ทรัพยากรจำนวนมากหากไม่มีการแชร์พารามิเตอร์ อย่างไรก็ตามการตัดสินใจที่จะแบ่งปันพารามิเตอร์ใน RNN นั้นเกิดขึ้นเมื่อการคำนวณที่ร้ายแรงใด ๆเป็นปัญหา (1980 ตามวิกิ ) ดังนั้นฉันเชื่อว่านี่ไม่ใช่เหตุผลหลัก (แม้ว่าจะยังคงใช้ได้)

มีเหตุผลทางทฤษฎีล้วนๆสำหรับการแบ่งปันพารามิเตอร์:

• ช่วยในการใช้โมเดลกับตัวอย่างของความยาวที่แตกต่างกัน ในขณะที่อ่านลำดับหากโมเดล RNN ใช้พารามิเตอร์ที่แตกต่างกันสำหรับแต่ละขั้นตอนในระหว่างการฝึกอบรมมันจะไม่พูดถึงการมองไม่เห็นลำดับที่มีความยาวต่างกัน

• บ่อยครั้งที่ลำดับจะทำงานตามกฎเดียวกันในลำดับ ตัวอย่างเช่นใน NLP:

                                                     "ในวันจันทร์หิมะตก"

                                                     "หิมะตกในวันจันทร์"

... ประโยคทั้งสองนี้หมายถึงสิ่งเดียวกันแม้ว่ารายละเอียดจะอยู่ในส่วนต่าง ๆ ของลำดับ การแชร์พารามิเตอร์สะท้อนให้เห็นถึงความจริงที่ว่าเรากำลังทำงานที่เหมือนกันในแต่ละขั้นตอนดังนั้นเราไม่จำเป็นต้องเรียนรู้กฎใหม่ในแต่ละจุดในประโยค

LSTM ไม่แตกต่างกันในแง่นี้ดังนั้นจึงใช้พารามิเตอร์ที่ใช้ร่วมกันเช่นกัน

มุมมอง 'น้ำหนักที่ใช้ร่วมกัน' มาจากการคิดถึง RNN เนื่องจากเครือข่าย feedforward ไม่ได้ควบคุมข้ามเวลา หากน้ำหนักแตกต่างกันในแต่ละช่วงเวลานี่เป็นเพียงเครือข่ายอาหารสัตว์ แต่ฉันคิดว่าวิธีอื่นที่จะคิดว่ามันจะเป็น RNN ที่มีน้ำหนักเป็นฟังก์ชั่นการเปลี่ยนแปลงเวลา

หากคุณทำสิ่งนี้จำนวนพารามิเตอร์จะเพิ่มขึ้นแบบเส้นตรงตามจำนวนขั้นตอนเวลา นั่นจะเป็นการระเบิดครั้งใหญ่ของพารามิเตอร์สำหรับลำดับความยาวที่มองเห็นได้ มันจะทำให้เครือข่ายมีประสิทธิภาพมากขึ้นถ้าคุณมีทรัพยากรการคำนวณขนาดใหญ่เพื่อเรียกใช้และข้อมูลขนาดใหญ่เพื่อ จำกัด มัน สำหรับลำดับที่ยาวนานมันอาจจะเป็นไปไม่ได้ที่คำนวณได้และคุณจะได้รับข้อมูลที่มากเกินไป ในความเป็นจริงผู้คนมักจะไปในทิศทางตรงกันข้ามโดยใช้การ backpropagation ที่ถูกตัดทอนเมื่อเวลาผ่านไปซึ่งจะเปิดเฉพาะเครือข่ายในช่วงเวลาสั้น ๆ มากกว่าในลำดับทั้งหมด สิ่งนี้ทำเพื่อความเป็นไปได้ในการคำนวณ ที่น่าสนใจ RNNs ยังคงสามารถเรียนรู้โครงสร้างชั่วคราวที่ขยายเกินความยาวการตัดเนื่องจากหน่วยที่เกิดขึ้นซ้ำสามารถเก็บหน่วยความจำได้ก่อนหน้านี้

ฉันคิดว่าเนื่องจาก RNNs ที่มีการทำซ้ำซ้ำ ๆ (และน้ำหนักที่ใช้ร่วมกันตามเวลา) นั้นเทียบเท่ากับ Universal Turing Machines การปล่อยให้พวกเขามีน้ำหนักต่างกันสำหรับขั้นตอนเวลาที่แตกต่างกันไม่ได้ทำให้มีประสิทธิภาพมากขึ้น