อีกทางเลือกหนึ่งในการดำเนินการกับcontrib.learn
ไลบรารีมีดังต่อไปนี้โดยอ้างอิงจากบทช่วยสอน Deep MNISTบนเว็บไซต์ Tensorflow ขั้นแรกสมมติว่าคุณได้นำเข้าไลบรารีที่เกี่ยวข้อง (เช่นimport tensorflow.contrib.layers as layers
) คุณสามารถกำหนดเครือข่ายด้วยวิธีการแยกต่างหาก:
def easier_network(x, reg):
""" A network based on tf.contrib.learn, with input `x`. """
with tf.variable_scope('EasyNet'):
out = layers.flatten(x)
out = layers.fully_connected(out,
num_outputs=200,
weights_initializer = layers.xavier_initializer(uniform=True),
weights_regularizer = layers.l2_regularizer(scale=reg),
activation_fn = tf.nn.tanh)
out = layers.fully_connected(out,
num_outputs=200,
weights_initializer = layers.xavier_initializer(uniform=True),
weights_regularizer = layers.l2_regularizer(scale=reg),
activation_fn = tf.nn.tanh)
out = layers.fully_connected(out,
num_outputs=10,
weights_initializer = layers.xavier_initializer(uniform=True),
weights_regularizer = layers.l2_regularizer(scale=reg),
activation_fn = None)
return out
จากนั้นในวิธีหลักคุณสามารถใช้ข้อมูลโค้ดต่อไปนี้:
def main(_):
mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)
x = tf.placeholder(tf.float32, [None, 784])
y_ = tf.placeholder(tf.float32, [None, 10])
y_conv = easier_network(x, FLAGS.regu)
weights = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, 'EasyNet')
print("")
for w in weights:
shp = w.get_shape().as_list()
print("- {} shape:{} size:{}".format(w.name, shp, np.prod(shp)))
print("")
reg_ws = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES, 'EasyNet')
for w in reg_ws:
shp = w.get_shape().as_list()
print("- {} shape:{} size:{}".format(w.name, shp, np.prod(shp)))
print("")
cross_entropy = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv))
loss_fn = cross_entropy + tf.reduce_sum(reg_ws)
train_step = tf.train.AdamOptimizer(1e-4).minimize(loss_fn)
ในการทำให้สิ่งนี้ใช้งานได้คุณต้องทำตามแบบฝึกหัด MNIST ที่ฉันเชื่อมโยงไปก่อนหน้านี้และนำเข้าไลบรารีที่เกี่ยวข้อง แต่เป็นแบบฝึกหัดที่ดีในการเรียนรู้ TensorFlow และง่ายต่อการดูว่าการทำให้เป็นระเบียบมีผลต่อผลลัพธ์อย่างไร หากคุณใช้การทำให้เป็นมาตรฐานเป็นอาร์กิวเมนต์คุณสามารถดูสิ่งต่อไปนี้:
- EasyNet/fully_connected/weights:0 shape:[784, 200] size:156800
- EasyNet/fully_connected/biases:0 shape:[200] size:200
- EasyNet/fully_connected_1/weights:0 shape:[200, 200] size:40000
- EasyNet/fully_connected_1/biases:0 shape:[200] size:200
- EasyNet/fully_connected_2/weights:0 shape:[200, 10] size:2000
- EasyNet/fully_connected_2/biases:0 shape:[10] size:10
- EasyNet/fully_connected/kernel/Regularizer/l2_regularizer:0 shape:[] size:1.0
- EasyNet/fully_connected_1/kernel/Regularizer/l2_regularizer:0 shape:[] size:1.0
- EasyNet/fully_connected_2/kernel/Regularizer/l2_regularizer:0 shape:[] size:1.0
สังเกตว่าส่วนการทำให้เป็นมาตรฐานจะให้คุณสามรายการตามรายการที่มี
ด้วยการทำให้เป็นมาตรฐาน 0, 0.0001, 0.01 และ 1.0 ฉันได้รับค่าความแม่นยำในการทดสอบ 0.9468, 0.9476, 0.9183 และ 0.1135 ตามลำดับซึ่งแสดงให้เห็นถึงอันตรายของเงื่อนไขการทำให้เป็นมาตรฐานสูง
S = tf.get_variable(name='S', regularizer=tf.contrib.layers.l2_regularizer )
หรือไม่?