คำถามติดแท็ก tensorflow

ฉันใช้โมเดล Keras โดยมีกำหนดส่ง 36 ชั่วโมงถ้าฉันฝึกโมเดลของฉันบน cpu จะใช้เวลาประมาณ 50 ชั่วโมงมีวิธีเรียกใช้ Keras บน gpu หรือไม่ ฉันใช้แบ็กเอนด์ Tensorflow และใช้งานบนสมุดบันทึก Jupyter โดยไม่ได้ติดตั้งอนาคอนดา

125 python  tensorflow  keras  jupyter 

เท่าที่ฉันทราบVariableเป็นการดำเนินการเริ่มต้นสำหรับการสร้างตัวแปรและget_variableส่วนใหญ่จะใช้สำหรับการแบ่งน้ำหนัก ในแง่หนึ่งมีบางคนแนะนำให้ใช้get_variableแทนการVariableดำเนินการดั้งเดิมเมื่อใดก็ตามที่คุณต้องการตัวแปร ในทางกลับกันฉันเห็นการใช้งานget_variableในเอกสารและการสาธิตอย่างเป็นทางการของ TensorFlow ดังนั้นฉันต้องการทราบกฎง่ายๆในการใช้กลไกทั้งสองนี้อย่างถูกต้อง มีหลักการ "มาตรฐาน" หรือไม่?

125 python  tensorflow 

การดูและทำความเข้าใจค่าสเกลาร์ใน TensorBoard นั้นตรงไปตรงมามาก อย่างไรก็ตามยังไม่มีความชัดเจนในการทำความเข้าใจกราฟฮิสโตแกรม ตัวอย่างเช่นเป็นฮิสโทแกรมของน้ำหนักเครือข่ายของฉัน (หลังจากแก้ไขข้อผิดพลาดแล้วด้วย sunside) วิธีที่ดีที่สุดในการตีความสิ่งเหล่านี้คืออะไร? น้ำหนักของเลเยอร์ 1 ส่วนใหญ่มีลักษณะแบนนี่หมายความว่าอย่างไร? ฉันเพิ่มรหัสการสร้างเครือข่ายที่นี่ X = tf.placeholder(tf.float32, [None, input_size], name="input_x") x_image = tf.reshape(X, [-1, 6, 10, 1]) tf.summary.image('input', x_image, 4) # First layer of weights with tf.name_scope("layer1"): W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons], initializer=tf.contrib.layers.xavier_initializer()) layer1 = tf.matmul(X, W1) layer1_act = tf.nn.tanh(layer1) tf.summary.histogram("weights", W1) …

120 tensorflow  histogram  tensorboard 

ฉันกำลังสร้างตาข่ายประสาทด้วยTensorflowและskflow; ด้วยเหตุผลบางอย่างที่ฉันต้องการที่จะได้รับค่าของเทนเซอร์ภายในบางอย่างสำหรับการป้อนข้อมูลที่กำหนดดังนั้นฉันใช้myClassifier.get_layer_value(input, "tensorName"), การเป็นmyClassifierskflow.estimators.TensorFlowEstimator อย่างไรก็ตามฉันพบว่ายากที่จะหาไวยากรณ์ที่ถูกต้องของชื่อเทนเซอร์แม้จะรู้ชื่อ (และฉันก็สับสนระหว่างการดำเนินการกับเทนเซอร์) ดังนั้นฉันจึงใช้เทนเซอร์บอร์ดเพื่อพล็อตกราฟและมองหาชื่อ มีวิธีแจกแจงเทนเซอร์ทั้งหมดในกราฟโดยไม่ใช้เทนเซอร์บอร์ดหรือไม่?

118 python  tensorflow  tensorboard  skflow 

คำถามเดิมนั้นเกี่ยวกับการใช้งาน TensorFlow โดยเฉพาะ อย่างไรก็ตามคำตอบสำหรับการใช้งานโดยทั่วไป คำตอบทั่วไปนี้เป็นคำตอบที่ถูกต้องสำหรับ TensorFlow เมื่อใช้ batch normalization และ dropout ใน TensorFlow (โดยเฉพาะการใช้ Contrib.layers) ฉันต้องกังวลเกี่ยวกับการสั่งซื้อหรือไม่ ดูเหมือนเป็นไปได้ว่าถ้าฉันใช้การออกกลางคันตามด้วยการทำให้เป็นมาตรฐานแบทช์ทันทีอาจมีปัญหา ตัวอย่างเช่นหากการเปลี่ยนแปลงในการปรับมาตรฐานแบตช์ไปสู่จำนวนสเกลที่ใหญ่ขึ้นของผลลัพธ์การฝึกอบรม แต่การเปลี่ยนแปลงเดียวกันนั้นจะถูกนำไปใช้กับตัวเลขสเกลที่เล็กลง (เนื่องจากการชดเชยสำหรับการมีเอาต์พุตมากกว่า) โดยไม่ต้องออกกลางคันระหว่างการทดสอบ กะอาจจะปิด เลเยอร์การปรับมาตรฐานแบตช์ TensorFlow ชดเชยสิ่งนี้โดยอัตโนมัติหรือไม่ หรือไม่เกิดขึ้นด้วยเหตุผลบางอย่างที่ฉันหายไป? นอกจากนี้ยังมีข้อผิดพลาดอื่น ๆ ที่ควรระวังเมื่อใช้ทั้งสองอย่างร่วมกัน? ตัวอย่างเช่นสมมติว่าผมใช้พวกเขาในลำดับที่ถูกต้องในการไปถึงข้างต้น (สมมติว่ามีเป็นคำสั่งที่ถูกต้อง) อาจมีปัญหาเกี่ยวกับการใช้ทั้งการฟื้นฟูชุดและการออกกลางคันในแต่ละชั้นหลาย ฉันไม่เห็นปัญหาในทันที แต่ฉันอาจจะขาดอะไรไป ขอบคุณมาก! อัพเดท: การทดสอบการทดลองดูเหมือนจะชี้ให้เห็นว่าการสั่งซื้อไม่ว่า ฉันรันเครือข่ายเดียวกันสองครั้งโดยมีเพียงบรรทัดฐานแบทช์และย้อนกลับกลางคัน เมื่อการออกกลางคันอยู่ก่อนบรรทัดฐานของแบทช์การสูญเสียการตรวจสอบความถูกต้องดูเหมือนจะเพิ่มขึ้นเนื่องจากการสูญเสียการฝึกกำลังจะลดลง พวกเขาทั้งสองจะลดลงในอีกกรณีหนึ่ง แต่ในกรณีของฉันการเคลื่อนไหวช้าดังนั้นสิ่งต่างๆอาจเปลี่ยนไปหลังจากการฝึกฝนมากขึ้นและเป็นการทดสอบเพียงครั้งเดียว คำตอบที่ชัดเจนและมีข้อมูลมากขึ้นจะยังคงได้รับการชื่นชม

118 python  neural-network  tensorflow  conv-neural-network 

ฉันยังใหม่กับ Tensorflow และจะได้รับประโยชน์อย่างมากจากการแสดงภาพสิ่งที่ฉันกำลังทำ ฉันเข้าใจว่า Tensorboard เป็นเครื่องมือสร้างภาพที่มีประโยชน์ แต่ฉันจะเรียกใช้งานบนเครื่อง Ubuntu ระยะไกลได้อย่างไร

116 tensorflow  machine-learning  data-visualization  remote-access  tensorboard 

ฉันพยายามเข้าใจอาร์กิวเมนต์stridesใน tf.nn.avg_pool, tf.nn.max_pool, tf.nn.conv2d เอกสารซ้ำแล้วซ้ำอีกว่า strides: รายการ ints ที่มีความยาว> = 4 ขั้นตอนของหน้าต่างบานเลื่อนสำหรับแต่ละมิติของอินพุตเทนเซอร์ คำถามของฉันคือ: จำนวนเต็ม 4+ แต่ละตัวแสดงถึงอะไร เหตุใดพวกเขาจึงต้องมีความก้าวหน้า [0] = ก้าว [3] = 1 สำหรับ Convnets ในตัวอย่างนี้tf.reshape(_X,shape=[-1, 28, 28, 1])เราจะเห็น ทำไม -1? น่าเศร้าที่ตัวอย่างในเอกสารสำหรับการสร้างรูปร่างใหม่โดยใช้ -1 แปลได้ไม่ดีนักกับสถานการณ์นี้

115 python  neural-network  convolution  tensorflow  conv-neural-network 

ฉันกำลังอ่านโค้ดตัวอย่างใน Tensorflow ฉันพบโค้ดต่อไปนี้ flags = tf.app.flags FLAGS = flags.FLAGS flags.DEFINE_float('learning_rate', 0.01, 'Initial learning rate.') flags.DEFINE_integer('max_steps', 2000, 'Number of steps to run trainer.') flags.DEFINE_integer('hidden1', 128, 'Number of units in hidden layer 1.') flags.DEFINE_integer('hidden2', 32, 'Number of units in hidden layer 2.') flags.DEFINE_integer('batch_size', 100, 'Batch size. ' 'Must divide evenly into the …

115 python  tensorflow 

หลังจากอ่านเอกสารฉันได้บันทึกโมเดลไว้TensorFlowนี่คือรหัสสาธิตของฉัน: # Create some variables. v1 = tf.Variable(..., name="v1") v2 = tf.Variable(..., name="v2") ... # Add an op to initialize the variables. init_op = tf.global_variables_initializer() # Add ops to save and restore all the variables. saver = tf.train.Saver() # Later, launch the model, initialize the variables, do some work, save …

113 tensorflow 

ฉันเพิ่งมาข้ามtf.nn.sparse_softmax_cross_entropy_with_logitsและผมก็ไม่สามารถคิดออกสิ่งที่แตกต่างเมื่อเทียบกับtf.nn.softmax_cross_entropy_with_logits ความแตกต่างเพียงอย่างเดียวที่เวกเตอร์การฝึกอบรมyต้องเข้ารหัสแบบร้อนเดียวเมื่อใช้sparse_softmax_cross_entropy_with_logits? อ่าน API ที่ผมไม่สามารถที่จะค้นหาความแตกต่างอื่น ๆ softmax_cross_entropy_with_logitsเมื่อเทียบกับ แต่ทำไมเราถึงต้องการฟังก์ชันพิเศษ? ไม่ควรsoftmax_cross_entropy_with_logitsให้ผลลัพธ์เช่นเดียวsparse_softmax_cross_entropy_with_logitsกับที่มาพร้อมกับข้อมูลการฝึกอบรม / เวกเตอร์ที่เข้ารหัสร้อนเดียวหรือไม่?

112 neural-network  tensorflow  softmax  cross-entropy 

ฉันพยายามที่จะเข้าใจบทบาทของFlattenฟังก์ชั่นใน Keras ด้านล่างนี้คือรหัสของฉันซึ่งเป็นเครือข่ายสองชั้นที่เรียบง่าย ใช้ข้อมูล 2 มิติของรูปร่าง (3, 2) และส่งออกข้อมูลรูปร่าง 1 มิติ (1, 4): model = Sequential() model.add(Dense(16, input_shape=(3, 2))) model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(4)) model.compile(loss='mean_squared_error', optimizer='SGD') x = np.array([[[1, 2], [3, 4], [5, 6]]]) y = model.predict(x) print y.shape สิ่งนี้จะพิมพ์ออกมาที่yมีรูปร่าง (1, 4) อย่างไรก็ตามถ้าฉันลบFlattenเส้นมันก็จะพิมพ์ออกมาที่yมีรูปร่าง (1, 3, 4) ฉันไม่เข้าใจเรื่องนี้ จากความเข้าใจของฉันเกี่ยวกับโครงข่ายประสาทเทียมmodel.add(Dense(16, input_shape=(3, 2)))ฟังก์ชันนี้กำลังสร้างเลเยอร์ที่เชื่อมต่อเต็มรูปแบบที่ซ่อนอยู่โดยมี 16 โหนด …

109 machine-learning  tensorflow  neural-network  deep-learning  keras 

ฉันมี windows 10 ฉันติดตั้ง Tensorflow เรียบร้อยแล้ว มันได้ผล. มันพูดว่า "สวัสดี Tensorflow!" แต่ก่อนหน้านี้มีทั้งหมดนี้: 2018-08-18 18:16:01.500579: I T:\src\github\tensorflow\tensorflow\core\platform\cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 2018-08-18 18:16:01.769002: I T:\src\github\tensorflow\tensorflow\core\common_runtime\gpu\gpu_device.cc:1405] Found device 0 with properties: name: GeForce GTX 950 major: 5 minor: 2 memoryClockRate(GHz): 1.3545 pciBusID: 0000:01:00.0 …

106 tensorflow 

ฉันใช้ TensorFlow เพื่อฝึกโครงข่ายประสาทเทียม นี่คือวิธีเริ่มต้นGradientDescentOptimizer: init = tf.initialize_all_variables() sess = tf.Session() sess.run(init) mse = tf.reduce_mean(tf.square(out - out_)) train_step = tf.train.GradientDescentOptimizer(0.3).minimize(mse) สิ่งนี้คือฉันไม่รู้ว่าจะตั้งกฎการอัปเดตสำหรับอัตราการเรียนรู้หรือค่าลดลงอย่างไร ฉันจะใช้อัตราการเรียนรู้แบบปรับได้ที่นี่ได้อย่างไร

104 python  tensorflow 

ฉันสงสัยว่าเป็นไปได้หรือไม่ที่จะบันทึกโมเดล Keras ที่ผ่านการฝึกอบรมแล้วบางส่วนและทำการฝึกต่อหลังจากโหลดโมเดลอีกครั้ง เหตุผลนี้คือฉันจะมีข้อมูลการฝึกอบรมมากขึ้นในอนาคตและฉันไม่ต้องการฝึกโมเดลทั้งหมดอีกครั้ง ฟังก์ชั่นที่ฉันใช้คือ: #Partly train model model.fit(first_training, first_classes, batch_size=32, nb_epoch=20) #Save partly trained model model.save('partly_trained.h5') #Load partly trained model from keras.models import load_model model = load_model('partly_trained.h5') #Continue training model.fit(second_training, second_classes, batch_size=32, nb_epoch=20) แก้ไข 1: เพิ่มตัวอย่างการทำงานอย่างสมบูรณ์ ด้วยชุดข้อมูลแรกหลังจาก 10 ยุคความสูญเสียของยุคสุดท้ายจะเท่ากับ 0.0748 และความแม่นยำ 0.9863 หลังจากบันทึกการลบและโหลดโมเดลใหม่แล้วการสูญเสียและความแม่นยำของโมเดลที่ฝึกในชุดข้อมูลที่สองจะเป็น 0.1711 และ 0.9504 ตามลำดับ เกิดจากข้อมูลการฝึกอบรมใหม่หรือจากรูปแบบการฝึกอบรมใหม่ทั้งหมดหรือไม่ """ …

102 python  tensorflow  neural-network  keras  resuming-training 

จากสิ่งที่ฉันรวบรวมมาจนถึงตอนนี้มีหลายวิธีในการทิ้งกราฟ TensorFlow ลงในไฟล์แล้วโหลดลงในโปรแกรมอื่น แต่ฉันยังไม่พบตัวอย่าง / ข้อมูลที่ชัดเจนเกี่ยวกับวิธีการทำงาน สิ่งที่ฉันรู้อยู่แล้วคือ: บันทึกตัวแปรของโมเดลลงในไฟล์จุดตรวจ (.ckpt) โดยใช้ a tf.train.Saver()และเรียกคืนในภายหลัง (ที่มา ) บันทึกโมเดลลงในไฟล์. pb และโหลดกลับมาใช้tf.train.write_graph()และtf.import_graph_def()(ที่มา ) โหลดแบบจำลองจากไฟล์. pb ฝึกใหม่และถ่ายโอนข้อมูลลงในไฟล์. pb ใหม่โดยใช้ Bazel ( ซอร์ส ) ตรึงกราฟเพื่อบันทึกกราฟและน้ำหนักร่วมกัน (ที่มา ) ใช้as_graph_def()เพื่อบันทึกแบบจำลองและสำหรับน้ำหนัก / ตัวแปรให้จับคู่เป็นค่าคงที่ (ที่มา ) อย่างไรก็ตามฉันไม่สามารถไขข้อข้องใจเกี่ยวกับวิธีการต่างๆเหล่านี้ได้: เกี่ยวกับไฟล์จุดตรวจพวกเขาบันทึกเฉพาะน้ำหนักที่ฝึกแล้วของแบบจำลองหรือไม่? สามารถโหลดไฟล์จุดตรวจลงในโปรแกรมใหม่และใช้ในการรันโมเดลได้หรือไม่หรือใช้เป็นวิธีในการบันทึกน้ำหนักในโมเดลในช่วงเวลา / ขั้นตอนที่กำหนด เกี่ยวกับtf.train.write_graph()น้ำหนัก / ตัวแปรได้รับการบันทึกด้วยหรือไม่? เกี่ยวกับ Bazel สามารถบันทึกลงใน / โหลดจากไฟล์. pb เพื่อฝึกอบรมใหม่ได้หรือไม่? …

101 python  tensorflow  protocol-buffers