word2vec ต้องการข้อมูลการฝึกอบรมเท่าใด

ฉันต้องการเปรียบเทียบความแตกต่างระหว่างคำเดียวกันที่กล่าวถึงในแหล่งข้อมูลที่แตกต่างกัน นั่นคือวิธีที่ผู้เขียนต่างกันในการใช้คำที่ไม่ถูกต้องเช่น "ประชาธิปไตย"

แผนสั้น ๆ คือ

1. นำหนังสือที่พูดถึงคำว่า "ประชาธิปไตย" เป็นข้อความธรรมดา
2. ในหนังสือแต่ละเล่มให้แทนที่democracyด้วยdemocracy_%AuthorName%
3. ฝึกฝนword2vecโมเดลในหนังสือเหล่านี้
4. คำนวณระยะทางระหว่างdemocracy_AuthorA, democracy_AuthorBและการกล่าวถึง relabeled อื่น ๆ ของ "ประชาธิปไตย"

ดังนั้น "ประชาธิปไตย" ของผู้เขียนแต่ละคนจึงได้เวกเตอร์ของตัวเองซึ่งใช้สำหรับการเปรียบเทียบ

แต่ดูเหมือนว่าword2vecจะต้องมีมากกว่าหนังสือหลายเล่ม (แต่ละคำที่มีป้ายกำกับใหม่เกิดขึ้นเฉพาะในชุดย่อยของหนังสือ) เพื่อฝึกฝนเวกเตอร์ที่เชื่อถือได้ หน้าอย่างเป็นทางการขอแนะนำชุดข้อมูลรวมทั้งพันล้านคำ

ฉันแค่อยากจะถามว่าหนังสือชุดหนึ่งของผู้แต่งเล่มหนึ่งมีขนาดใหญ่เท่าไรในการอนุมานด้วยword2vecหรือเครื่องมือทางเลือกถ้ามี

ดูเหมือนว่า doc2vec (หรือย่อหน้า / บริบทเวกเตอร์) อาจเหมาะสมสำหรับปัญหานี้

โดยสังเขปนอกเหนือจากคำว่าเวกเตอร์คุณเพิ่ม "บริบทเวกเตอร์" (ในกรณีของคุณการฝังสำหรับผู้เขียน) ที่ใช้ในการทำนายคำกลางหรือคำบริบท

ซึ่งหมายความว่าคุณจะได้รับประโยชน์จากข้อมูลทั้งหมดเกี่ยวกับ "ประชาธิปไตย" แต่ยังรวมถึงการฝังสำหรับผู้แต่งซึ่งจะช่วยให้คุณวิเคราะห์อคติของผู้เขียนแต่ละคนด้วยข้อมูลที่ จำกัด เกี่ยวกับผู้แต่งแต่ละคน

คุณสามารถใช้การดำเนินงานของ gensim เอกสารมีลิงก์ไปยังเอกสารต้นฉบับ