เราสามารถใช้ประโยชน์จากการใช้การเรียนรู้การถ่ายโอนในขณะฝึกรูปแบบ word2vec ได้หรือไม่?

ฉันกำลังมองหาน้ำหนักของรุ่นที่ผ่านการฝึกอบรมมาแล้วเช่นข้อมูล Google Newsเป็นต้นฉันพบว่ามันยากที่จะฝึกฝนโมเดลใหม่ด้วยจำนวนข้อมูลที่เพียงพอ (10 GB เป็นต้น) สำหรับตัวฉันเอง ดังนั้นฉันต้องการได้รับประโยชน์จากการเรียนรู้การถ่ายโอนซึ่งฉันสามารถรับน้ำหนักของเลเยอร์ที่ได้รับการฝึกอบรมมาล่วงหน้าและฝึกฝนน้ำหนักเหล่านั้นใหม่ด้วยคำศัพท์เฉพาะโดเมนของฉัน ดังนั้นแน่นอนว่าจะใช้เวลาค่อนข้างน้อยในการฝึกอบรม ความช่วยเหลือใด ๆ จะได้รับการชื่นชมอย่างมาก ขอบคุณล่วงหน้า :)

ใช่คุณสามารถรับประโยชน์จากรุ่นที่ผ่านการฝึกอบรมมาแล้ว หนึ่งที่มีชื่อเสียงที่สุดคือรูปแบบการฝึกอบรมของ GoogleNewsData ซึ่งคุณสามารถหาได้ที่นี่

คำศัพท์และวลีที่ผ่านการฝึกอบรมล่วงหน้าhttps://drive.google.com/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQmM/edit?usp=sharing

จากนั้นคุณสามารถโหลดเวกเตอร์ในรูปแบบไบนารีในแบบจำลองของคุณโดยใช้ gensim ดังที่แสดงด้านล่าง

>>> model = Word2Vec.load_word2vec_format('/tmp/vectors.txt', binary=False)  # C text format
>>> model = Word2Vec.load_word2vec_format('/tmp/vectors.bin', binary=True)  # C binary format

นี่คือแบบจำลองที่สร้างไว้ล่วงหน้าแล้วสำหรับ Wikipedia ภาษาอังกฤษ:

https://github.com/idio/wiki2vec/raw/master/torrents/enwiki-gensim-word2vec-1000-nostem-10cbow.torrent

ที่มา: https://github.com/idio/wiki2vec/

ใช้แบบจำลองที่สร้างไว้ล่วงหน้า

Get python 2.7
Install gensim: pip install gensim
uncompress downloaded model: tar -xvf model.tar.gz
Load model in gensim:
from gensim.models import Word2Vec
model = Word2Vec.load("path/to/word2vec/en.model")
model.similarity('woman', 'man')

คุณสามารถใช้ถุงมือสแตนฟอร์ดเอ็นแอลพี

• http://nlp.stanford.edu/projects/glove/
• https://github.com/stanfordnlp/GloVe

นี่คือการรวบรวมยอดเยี่ยมของรุ่น word2vec ที่ผ่านการฝึกอบรมมาแล้ว

• https://github.com/3Top/word2vec-api#where-to-get-a-pretrained-models

รุ่นที่ได้รับการฝึกฝนมาล่วงหน้าเพิ่มเติม:

• http://www.zuccon.net/ntlm.html
• https://code.google.com/archive/p/word2vec/

เพิ่มเติมเกี่ยวกับ gensim และรหัสที่นี่: https://radimrehurek.com/gensim/models/word2vec.html

ฟอรั่ม Quora กับคำถามที่คล้ายกัน

• https://www.quora.com/Where-can-I-find-pre-trained-models-of-word2vec-and-sentence2vec-trained-on-Wikipedia-or-other-large-text-corpus
• https://www.quora.com/Where-can-I-find-some-pre-trained-word-vectors-for-natural-language-processing-understanding

การรับรองการเป็นตัวแทน (ถุงมือ)จากการฝึกอบรมในคลังข้อมูลขนาดใหญ่มีให้บริการโดยตรงจากกลุ่ม Stanford NLP คุณสามารถใช้คำว่า embeddings ในแอปพลิเคชันของคุณโดยตรง (แทนที่จะใช้เวกเตอร์ที่เข้ารหัสร้อน 1 ชุดจากนั้นฝึกเครือข่ายเพื่อให้ได้ embeddings) หากงานของคุณไม่เฉพาะเจาะจงมากเกินไปเริ่มต้นด้วยชุดแต่งงานนี้จะทำงานได้ดีในทางปฏิบัติ

$m \times V$$V$$m$

ลองดูที่บทความนี้[PDF] จุดสนใจหลักเป็นเรื่องเกี่ยวกับงาน NER แต่ความคิดนั้นเหมือนกัน - ใช้เวกเตอร์ word2vec ที่ผ่านการฝึกอบรมมาก่อนและปรับให้เข้ากับการใช้งานเฉพาะ

แอปพลิเคชั่นที่ใช้โครงข่ายประสาทส่วนกลางส่วนใหญ่สำหรับ NLP มักเริ่มด้วยเวกเตอร์ที่ผ่านการฝึกอบรมมาล่วงหน้า ตัวอย่างเช่นกระดาษล่าสุด[PDF] (งานการแท็ก NER และ POS) ทำสิ่งนี้

from gensim.models import Word2Vec 
# Word2Vec is full model which is trainable but takes larger memory

from gensim.models import KeyedVectors  
# KeyedVectors is reduced vector model which is NOT trainable but takes less memory

model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True) #load pretrained google w2v 

sen1 = 'w1 w2 w3'    
sen2 = 'word1 word2 word3'    
sentences = [[word for word in sen1.split()],[word for word in sen2.split()]]    
total_examples = model_2.corpus_count    

model_2 = Word2Vec(size=300, min_count=1) #initiate a full model    
model_2.build_vocab(sentences) #add words in training dataset

#load words from pretrained google dataset    
model_2.build_vocab([list(model.vocab.keys())], update=True)    
model_2.intersect_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True, lockf=1.0)

#retrain pretrained w2v from new dataset    
model_2.train(sentences, total_examples=total_examples, epochs=model_2.iter)