ความแตกต่างระหว่าง Variable และ get_variable ใน TensorFlow

เท่าที่ฉันทราบVariableเป็นการดำเนินการเริ่มต้นสำหรับการสร้างตัวแปรและget_variableส่วนใหญ่จะใช้สำหรับการแบ่งน้ำหนัก

ในแง่หนึ่งมีบางคนแนะนำให้ใช้get_variableแทนการVariableดำเนินการดั้งเดิมเมื่อใดก็ตามที่คุณต้องการตัวแปร ในทางกลับกันฉันเห็นการใช้งานget_variableในเอกสารและการสาธิตอย่างเป็นทางการของ TensorFlow

ดังนั้นฉันต้องการทราบกฎง่ายๆในการใช้กลไกทั้งสองนี้อย่างถูกต้อง มีหลักการ "มาตรฐาน" หรือไม่?

ฉันขอแนะนำให้ใช้เสมอtf.get_variable(...)- จะทำให้ง่ายขึ้นในการ refactor โค้ดของคุณหากคุณต้องการแบ่งปันตัวแปรเมื่อใดก็ได้เช่นในการตั้งค่า multi-gpu (ดูตัวอย่าง multi-gpu CIFAR) ไม่มีข้อเสียเลย

บริสุทธิ์tf.Variableอยู่ระดับล่าง ในบางจุดtf.get_variable()ไม่มีรหัสดังนั้นบางรหัสจึงยังคงใช้วิธีระดับต่ำ

tf.Variable เป็นคลาสและมีหลายวิธีในการสร้าง tf ตัวแปรรวมถึงtf.Variable.__init__และtf.get_variable.

tf.Variable.__init__: สร้างตัวแปรใหม่ที่มีinitial_value

W = tf.Variable(<initial-value>, name=<optional-name>)

tf.get_variable: รับตัวแปรที่มีอยู่พร้อมกับพารามิเตอร์เหล่านี้หรือสร้างตัวแปรใหม่ คุณยังสามารถใช้ initializer

W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None,
       regularizer=None, trainable=True, collections=None)

การใช้ initializers เช่นxavier_initializer:

W = tf.get_variable("W", shape=[784, 256],
       initializer=tf.contrib.layers.xavier_initializer())

ข้อมูลเพิ่มเติมที่นี่

ฉันพบความแตกต่างหลักสองประการระหว่างข้อหนึ่งและข้ออื่น ๆ

1. อันดับแรกคือtf.Variableจะสร้างตัวแปรใหม่เสมอในขณะที่tf.get_variableรับตัวแปรที่มีอยู่พร้อมพารามิเตอร์ที่ระบุจากกราฟและหากไม่มีอยู่ให้สร้างตัวแปรใหม่

2. tf.Variable กำหนดให้ระบุค่าเริ่มต้น

สิ่งสำคัญคือต้องชี้แจงว่าฟังก์ชันtf.get_variableนำหน้าชื่อด้วยขอบเขตตัวแปรปัจจุบันเพื่อทำการตรวจสอบการใช้ซ้ำ ตัวอย่างเช่น:

with tf.variable_scope("one"):
    a = tf.get_variable("v", [1]) #a.name == "one/v:0"
with tf.variable_scope("one"):
    b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists
with tf.variable_scope("one", reuse = True):
    c = tf.get_variable("v", [1]) #c.name == "one/v:0"

with tf.variable_scope("two"):
    d = tf.get_variable("v", [1]) #d.name == "two/v:0"
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0"

assert(a is c)  #Assertion is true, they refer to the same object.
assert(a is d)  #AssertionError: they are different objects
assert(d is e)  #AssertionError: they are different objects

ข้อผิดพลาดในการยืนยันครั้งสุดท้ายน่าสนใจ: ตัวแปรสองตัวที่มีชื่อเดียวกันภายใต้ขอบเขตเดียวกันควรเป็นตัวแปรเดียวกัน แต่ถ้าคุณทดสอบชื่อของตัวแปรdและeคุณจะรู้ว่า Tensorflow เปลี่ยนชื่อตัวแปรe:

d.name   #d.name == "two/v:0"
e.name   #e.name == "two/v_1:0"

ความแตกต่างอีกประการหนึ่งอยู่ที่สิ่งหนึ่งอยู่ใน('variable_store',)คอลเลกชัน แต่อีกอันไม่ใช่

โปรดดูแหล่งที่มารหัส :

def _get_default_variable_store():
  store = ops.get_collection(_VARSTORE_KEY)
  if store:
    return store[0]
  store = _VariableStore()
  ops.add_to_collection(_VARSTORE_KEY, store)
  return store

ขอยกตัวอย่างว่า:

import tensorflow as tf
from tensorflow.python.framework import ops

embedding_1 = tf.Variable(tf.constant(1.0, shape=[30522, 1024]), name="word_embeddings_1", dtype=tf.float32) 
embedding_2 = tf.get_variable("word_embeddings_2", shape=[30522, 1024])

graph = tf.get_default_graph()
collections = graph.collections

for c in collections:
    stores = ops.get_collection(c)
    print('collection %s: ' % str(c))
    for k, store in enumerate(stores):
        try:
            print('\t%d: %s' % (k, str(store._vars)))
        except:
            print('\t%d: %s' % (k, str(store)))
    print('')

ผลลัพธ์:

collection ('__variable_store',): 0: {'word_embeddings_2': <tf.Variable 'word_embeddings_2:0' shape=(30522, 1024) dtype=float32_ref>}