การใช้การฝังคำที่ผ่านการฝึกอบรมมาแล้ว (word2vec หรือ Glove) ใน TensorFlow

เราได้ตรวจสอบการดำเนินงานเมื่อเร็ว ๆ นี้ที่น่าสนใจสำหรับการจัดหมวดหมู่ข้อความสับสน อย่างไรก็ตามโค้ด TensorFlow ทั้งหมดที่ฉันได้ตรวจสอบจะใช้การฝังเวกเตอร์แบบสุ่ม (ไม่ได้รับการฝึกฝนมาก่อน) ดังต่อไปนี้:

with tf.device('/cpu:0'), tf.name_scope("embedding"):
    W = tf.Variable(
        tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0),
        name="W")
    self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x)
    self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1)

มีใครรู้วิธีใช้ผลลัพธ์ของ Word2vec หรือการฝังคำที่ได้รับการฝึกฝนมาก่อนของ GloVe แทนที่จะเป็นการสุ่มหรือไม่?

มีสองสามวิธีที่คุณสามารถใช้การฝังที่ผ่านการฝึกอบรมล่วงหน้าใน TensorFlow สมมติว่าคุณมีการฝังในอาร์เรย์ NumPy เรียกว่าembeddingมีvocab_sizeแถวและembedding_dimคอลัมน์และคุณต้องการสร้างเมตริกซ์ที่สามารถใช้ในการเรียกร้องให้Wtf.nn.embedding_lookup()

1. เพียงแค่สร้างWสิ่งtf.constant()ที่ใช้embeddingเป็นมูลค่า:

   W = tf.constant(embedding, name="W")
   

   นี่เป็นวิธีที่ง่ายที่สุด แต่หน่วยความจำไม่เต็มประสิทธิภาพเนื่องจากค่าของ a tf.constant()ถูกเก็บไว้ในหน่วยความจำหลายครั้ง เนื่องจากembeddingอาจมีขนาดใหญ่มากคุณควรใช้แนวทางนี้สำหรับตัวอย่างของเล่นเท่านั้น

2. สร้างWเป็นtf.Variableและเริ่มต้นจากอาร์เรย์ NumPy ผ่านtf.placeholder():

   W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]),
                   trainable=False, name="W")
   
   embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim])
   embedding_init = W.assign(embedding_placeholder)
   
   # ...
   sess = tf.Session()
   
   sess.run(embedding_init, feed_dict={embedding_placeholder: embedding})
   

   วิธีนี้หลีกเลี่ยงการจัดเก็บสำเนาembeddingในกราฟ แต่ต้องใช้หน่วยความจำเพียงพอที่จะเก็บสองสำเนาของเมทริกซ์ไว้ในหน่วยความจำพร้อมกัน (หนึ่งชุดสำหรับอาร์เรย์ NumPy และอีกชุดสำหรับtf.Variable) โปรดทราบว่าฉันได้สันนิษฐานว่าคุณต้องการคงค่าคงที่เมทริกซ์การฝังไว้ในระหว่างการฝึกดังนั้นจึงWถูกสร้างขึ้นด้วยtrainable=False.

3. หากการฝังได้รับการฝึกฝนเป็นส่วนหนึ่งของโมเดล TensorFlow อื่นคุณสามารถใช้ a tf.train.Saverเพื่อโหลดค่าจากไฟล์จุดตรวจสอบของโมเดลอื่น ซึ่งหมายความว่าเมทริกซ์การฝังสามารถข้าม Python ได้ทั้งหมด สร้างWในตัวเลือกที่ 2 จากนั้นดำเนินการดังต่อไปนี้:

   W = tf.Variable(...)
   
   embedding_saver = tf.train.Saver({"name_of_variable_in_other_model": W})
   
   # ...
   sess = tf.Session()
   embedding_saver.restore(sess, "checkpoint_filename.ckpt")
   

ฉันใช้วิธีนี้เพื่อโหลดและแชร์การฝัง

W = tf.get_variable(name="W", shape=embedding.shape, initializer=tf.constant_initializer(embedding), trainable=False)

คำตอบของ @mrry ไม่ถูกต้องเพราะมันกระตุ้นให้เกิดการเขียนทับของน้ำหนักที่ฝังในแต่ละเครือข่ายที่รันอยู่ดังนั้นหากคุณปฏิบัติตามแนวทางมินิแบทช์ในการฝึกอบรมเครือข่ายของคุณคุณจะเขียนทับน้ำหนักของการฝัง ดังนั้นในมุมมองของฉันวิธีที่ถูกต้องในการฝังข้อมูลล่วงหน้าคือ:

embeddings = tf.get_variable("embeddings", shape=[dim1, dim2], initializer=tf.constant_initializer(np.array(embeddings_matrix))

2.0 คำตอบที่เข้ากันได้ : มี Embeddings ก่อนการฝึกอบรมจำนวนมากซึ่งพัฒนาโดย Google และได้รับการเปิดแหล่งที่มา

บางส่วนเป็นUniversal Sentence Encoder (USE), ELMO, BERTฯลฯ และง่ายมากที่จะใช้ซ้ำในรหัส

รหัสที่จะนำมาใช้ใหม่Pre-Trained Embedding, Universal Sentence Encoderแสดงอยู่ด้านล่าง:

  !pip install "tensorflow_hub>=0.6.0"
  !pip install "tensorflow>=2.0.0"

  import tensorflow as tf
  import tensorflow_hub as hub

  module_url = "https://tfhub.dev/google/universal-sentence-encoder/4"
  embed = hub.KerasLayer(module_url)
  embeddings = embed(["A long sentence.", "single-word",
                      "http://example.com"])
  print(embeddings.shape)  #(3,128)

สำหรับข้อมูลเพิ่มเติม Pre-ฝึกอบรม embeddings พัฒนาและเปิดมาโดย Google ดูTF Hub เชื่อมโยง

ด้วยเทนเซอร์โฟลว์เวอร์ชัน 2 มันค่อนข้างง่ายหากคุณใช้เลเยอร์การฝัง

X=tf.keras.layers.Embedding(input_dim=vocab_size,
                            output_dim=300,
                            input_length=Length_of_input_sequences,
                            embeddings_initializer=matrix_of_pretrained_weights
                            )(ur_inp)

ฉันประสบปัญหาการฝังด้วยดังนั้นฉันจึงเขียนบทช่วยสอนโดยละเอียดพร้อมชุดข้อมูล ที่นี่ฉันต้องการเพิ่มสิ่งที่ฉันลองคุณสามารถลองวิธีนี้

import tensorflow as tf

tf.reset_default_graph()

input_x=tf.placeholder(tf.int32,shape=[None,None])

#you have to edit shape according to your embedding size


Word_embedding = tf.get_variable(name="W", shape=[400000,100], initializer=tf.constant_initializer(np.array(word_embedding)), trainable=False)
embedding_loopup= tf.nn.embedding_lookup(Word_embedding,input_x)

with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        for ii in final_:
            print(sess.run(embedding_loopup,feed_dict={input_x:[ii]}))

นี่คือตัวอย่างการสอนIpythonโดยละเอียดที่ใช้งานได้หากคุณต้องการทำความเข้าใจตั้งแต่เริ่มต้นลองดู