คำถามติดแท็ก deep-learning

ฉันกำลังพยายามสร้างระบบรู้จำท่าทางเพื่อจำแนกASL (ภาษามือแบบอเมริกัน)ท่าทางดังนั้นการป้อนข้อมูลของฉันควรเป็นลำดับของเฟรมไม่ว่าจะเป็นจากกล้องหรือไฟล์วิดีโอจากนั้นมันจะตรวจจับลำดับและแมปตามความเหมาะสม ชั้นเรียน (การนอนหลับการช่วยเหลือการกินการวิ่งเป็นต้น) สิ่งนี้คือฉันได้สร้างระบบที่คล้ายกันแล้ว แต่สำหรับรูปภาพแบบสแตติก (ไม่รวมการเคลื่อนไหว) มันมีประโยชน์สำหรับการแปลตัวอักษรเฉพาะในการสร้างซีเอ็นเอ็นนั้นเป็นงานที่ตรงไปตรงมาเนื่องจากมือไม่ขยับมากและ โครงสร้างชุดข้อมูลก็จัดการได้เช่นกันเมื่อฉันใช้kerasและอาจยังตั้งใจจะทำเช่นนั้น (ทุก ๆ โฟลเดอร์มีชุดภาพสำหรับสัญญาณเฉพาะและชื่อของโฟลเดอร์คือชื่อคลาสของเครื่องหมายนี้เช่น A, B, C , .. ) คำถามของฉันที่นี่ว่าฉันสามารถจัดชุดข้อมูลของฉันเพื่อให้สามารถป้อนข้อมูลลงในRNNใน keras และสิ่งที่ฟังก์ชั่นบางอย่างที่ฉันควรใช้ให้เกิดประสิทธิภาพในการฝึกอบรมรุ่นและพารามิเตอร์ใด ๆ ที่จำเป็นของฉันบางคนแนะนำให้ใช้TimeDistributedชั้น แต่ฉันทำไม่ได้ มีความคิดที่ชัดเจนเกี่ยวกับวิธีการใช้เพื่อประโยชน์ของฉันและคำนึงถึงรูปร่างอินพุตของทุกเลเยอร์ในเครือข่าย การพิจารณาว่าชุดข้อมูลของฉันจะประกอบด้วยภาพฉันอาจต้องใช้เลเยอร์ convolutional เป็นไปได้อย่างไรที่จะรวมเลเยอร์Convเข้ากับLSTMหนึ่ง (ฉันหมายถึงในแง่ของรหัส) ตัวอย่างเช่นฉันจินตนาการว่าชุดข้อมูลของฉันเป็นแบบนี้ โฟลเดอร์ที่ชื่อว่า 'Run' มี 3 โฟลเดอร์ 1, 2 และ 3 แต่ละโฟลเดอร์สอดคล้องกับเฟรมในลำดับ ดังนั้นRun_1จะมีชุดของภาพสำหรับกรอบแรกบางRun_2สำหรับกรอบสองและRun_3สำหรับสามรูปแบบของฉันวัตถุประสงค์คือการได้รับการอบรมที่มีลำดับนี้การส่งออกคำเรียก

10 neural-network  deep-learning  keras  rnn  lstm 

ฉันเรียนรู้วิธีการใช้ Keras และผมเคยประสบความสำเร็จที่เหมาะสมกับชุดที่มีป้ายกำกับของฉันโดยใช้ตัวอย่างใน Chollet ของการเรียนรู้ลึกหลาม ชุดข้อมูลคือ ~ 1000 Time Series ที่มีความยาว 3125 กับ 3 คลาสที่อาจเกิดขึ้น ฉันต้องการไปไกลกว่าเลเยอร์หนาแน่นพื้นฐานซึ่งให้อัตราการคาดคะเนประมาณ 70% และหนังสือเล่มนี้จะพูดถึงเลเยอร์ LSTM และ RNN ตัวอย่างทั้งหมดดูเหมือนจะใช้ชุดข้อมูลที่มีคุณสมบัติหลายอย่างสำหรับแต่ละชุดเวลาและฉันพยายามหาวิธีนำข้อมูลมาใช้ให้เกิดประโยชน์ ตัวอย่างเช่นฉันมี 1000x3125 Time Series ฉันจะป้อนสิ่งนั้นลงในเลเยอร์ SimpleRNN หรือ LSTM ได้อย่างไร ฉันขาดความรู้พื้นฐานเกี่ยวกับเลเยอร์เหล่านี้หรือไม่? รหัสปัจจุบัน: import pandas as pd import numpy as np import os from keras.models import Sequential from keras.layers import …

10 python  deep-learning  time-series  lstm  rnn 

ด้วยเหตุผลบางอย่าง AlphaGo Zero ไม่ได้รับการเผยแพร่มากเท่ากับ AlphaGo ดั้งเดิมแม้ว่าจะได้ผลลัพธ์ที่น่าเหลือเชื่อ เริ่มต้นจากศูนย์แล้วมันก็เอาชนะ AlphaGo Master ได้และผ่านเกณฑ์มาตรฐานอื่น ๆ อีกมากมาย ยิ่งไปกว่านั้นมันทำอย่างนี้ใน 40 วัน ชื่อของ Google เป็น"เนื้อหาที่ผู้เล่นไปที่ดีที่สุดในโลก" DeepMind อ้างว่านี่เป็น "รูปแบบใหม่ของการเรียนรู้การเสริมแรง" - นี่เป็นเทคนิคที่แปลกใหม่จริงหรือ หรือมีเวลาอื่นเมื่อใช้เทคนิคนี้ - และถ้าเป็นเช่นนั้นผลลัพธ์ของพวกเขาคืออะไร ฉันคิดว่าข้อกำหนดที่ฉันพูดถึงคือ 1) ไม่มีการแทรกแซงของมนุษย์และ 2) ไม่มีการเล่นเชิงประวัติศาสตร์ แต่สิ่งเหล่านี้มีความยืดหยุ่น สิ่งนี้ดูเหมือนจะเป็นคำถามที่คล้ายกัน แต่คำตอบทั้งหมดดูเหมือนจะเริ่มจากสมมติฐานที่ว่า AlphaGo Zero เป็นคำถามแรก

10 machine-learning  deep-learning 

ฉันเป็นผู้เริ่มต้นของ Keras และฉันได้เริ่มต้นด้วยตัวอย่าง MNIST เพื่อทำความเข้าใจว่าไลบรารีใช้งานได้จริงอย่างไร ข้อมูลโค้ดของปัญหา MNIST ในโฟลเดอร์ตัวอย่างของ Keras นั้นได้รับเป็น: import numpy as np np.random.seed(1337) # for reproducibility from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.utils import np_utils batch_size = 128 nb_classes = 10 nb_epoch = …

10 python  neural-network  deep-learning  keras 

ฉันเพิ่งอ่านบทความของ Geoff Hinton เกี่ยวกับการเปลี่ยนระบบอ่านรหัสอัตโนมัติ Hinton, Krizhevsky และ Wang: กำลังเปลี่ยนรูปตัวเข้ารหัสอัตโนมัติ ในเครือข่ายประสาทเทียมและการเรียนรู้ของเครื่อง, 2011 และอยากจะเล่นกับอะไรแบบนี้ แต่เมื่ออ่านมันฉันไม่ได้รับรายละเอียดเพียงพอจากบทความเกี่ยวกับวิธีการใช้งานจริง ไม่มีใครรู้ว่าการทำแผนที่ระหว่างพิกเซลอินพุตกับแคปซูลควรทำงานอย่างไร สิ่งที่ควรเกิดขึ้นในหน่วยการรู้จำ? ควรฝึกอบรมอย่างไร มันเป็นแค่เสาหลังมาตรฐานระหว่างการเชื่อมต่อทุกครั้งหรือไม่ ยิ่งไปกว่านั้นจะเป็นลิงค์ไปยังซอร์สโค้ดบางตัวสำหรับสิ่งนี้หรือสิ่งที่คล้ายกัน

10 neural-network  deep-learning  autoencoder 

ฉันได้เรียนรู้เกี่ยวกับเครือข่ายประสาทเทียม เมื่อดูKerasตัวอย่างฉันพบวิธีการแปลงข้อมูลที่แตกต่างกันสามวิธี กล่าวคือ 1D, 2D และ 3D อะไรคือความแตกต่างระหว่างสามเลเยอร์เหล่านี้? กรณีการใช้งานของพวกเขาคืออะไร? มีลิงค์หรือข้อมูลอ้างอิงเพื่อแสดงกรณีการใช้งานหรือไม่?

10 machine-learning  neural-network  deep-learning  keras  cnn 

ฉันกำลังอ่านลำดับขั้นตอนสำคัญของการเรียนรู้กับโครงข่ายประสาทโดย Ilya Sutskever และ Quoc Le ในหน้าแรกจะกล่าวสั้น ๆ ว่า: A surprising example of the power of DNNs is their ability to sort N N-bit numbers using only 2 hidden layers of quadratic size ทุกคนสามารถสรุปวิธีการเรียงลำดับตัวเลขโดยใช้เลเยอร์ที่ซ่อนเพียง 2 ชั้นได้หรือไม่?

10 deep-learning 

ตอนนี้ผมอ่านหนังสือเล่มหนึ่งชื่อ"Hands-on เครื่องการเรียนรู้กับ Scikit เรียนรู้และ TensorFlow"และในบทที่ 11 ก็มีคำอธิบายต่อไปนี้ในคำอธิบายของ ELU (การชี้แจง Relu) ประการที่สามฟังก์ชั่นนั้นราบรื่นทุกที่รวมถึงรอบ z = 0 ซึ่งจะช่วยเร่งความเร็วการไล่ระดับสีเนื่องจากมันจะไม่เด้งซ้ายและขวามากเท่ากับ z = 0 zหมายถึงแกน x บนกราฟข้างต้น ผมเข้าใจอนุพันธ์เป็นไปอย่างราบรื่นตั้งแต่เส้นมีเส้นโค้งและในดินแดนที่เป็นตราสารอนุพันธ์จะไม่เท่ากับz < 00 อย่างไรก็ตามทำไมเป็นกรณีที่ถ้าฟังก์ชั่น "ราบรื่นทุกที่รวมถึงรอบ z = 0" มันจะเพิ่มความเร็วในการไล่ระดับสี

10 deep-learning  gradient-descent 

ในบทนำฉันเพิ่งจะเปลี่ยน loss = tf.reduce_mean(tf.square(y - y_data)) ถึง loss = tf.reduce_mean(tf.abs(y - y_data)) และโมเดลไม่สามารถเรียนรู้การสูญเสียที่ยิ่งใหญ่ขึ้นตามกาลเวลา ทำไม?

10 neural-network  deep-learning  tensorflow 

ตามคำนิยาม Relu max(0,f(x))คือ จากนั้นการไล่ระดับสีของมันจะถูกกำหนดเป็น: 1 if x > 0 and 0 if x < 0. นี่ไม่ได้หมายความว่าการไล่ระดับสีจะเป็น 0 เสมอ (หายไป) เมื่อ x <0 ใช่ไหม แล้วทำไมเราถึงบอกว่า Relu ไม่ประสบปัญหาไล่ระดับสีหายไป?

10 deep-learning 

ได้รับเรื่องยากในการเรียนรู้งาน (เช่นมิติสูงซับซ้อนข้อมูลโดยธรรมชาติ) ลึกโครงข่ายประสาทกลายเป็นเรื่องยากที่จะรถไฟ เพื่อบรรเทาปัญหาที่อาจเกิดขึ้น: ทำข้อมูลคุณภาพ & ให้เป็นแบบดั้งเดิม เลือกอัลกอริทึมการฝึกอบรมที่แตกต่างกัน(เช่น RMSprop แทน Gradient Descent) เลือกฟังก์ชันการไล่ระดับสีชัน(เช่น Cross Entropy แทน MSE) ใช้โครงสร้างเครือข่ายอื่น (เช่น Convolution เลเยอร์แทน Feedforward) ฉันเคยได้ยินว่ามีวิธีที่ชาญฉลาดในการเริ่มต้นน้ำหนักที่ดีขึ้น ตัวอย่างเช่นคุณสามารถเลือกขนาดได้ดีกว่า: Glorot และ Bengio (2010) สำหรับหน่วย sigmoid: ตัวอย่างUniform (-r, r)ด้วยr =6ยังไม่มีข้อความฉันn+ยังไม่มีข้อความo ยูที------√r=6Nin+Noutr = \sqrt{\frac{6}{N_{in} + N_{out}}} หรือไฮเพอร์โบลิกแทนเจนต์: ตัวอย่างชุด (-r, r)ด้วยr = 46ยังไม่มีข้อความฉันn+ยังไม่มีข้อความo ยูที------√r=46Nin+Noutr =4 \sqrt{\frac{6}{N_{in} + N_{out}}} …

10 machine-learning  neural-network  deep-learning  randomized-algorithms 

ฉันกำลังพยายามฝึกโครงข่ายใยประสาทเทียมด้วยชั้นสอง convolutional (c1, c2) และสองชั้นที่ซ่อนอยู่ (c1, c2) ฉันใช้วิธีการ backpropagation มาตรฐาน ใน backward pass ฉันคำนวณระยะเวลาข้อผิดพลาดของเลเยอร์ (เดลต้า) ตามข้อผิดพลาดของเลเยอร์ก่อนหน้านี้น้ำหนักของเลเยอร์ก่อนหน้าและการไล่ระดับสีของการเปิดใช้งานตามฟังก์ชั่นการเปิดใช้งานของเลเยอร์ปัจจุบัน โดยเฉพาะอย่างยิ่งเดลต้าของเลเยอร์ l มีลักษณะดังนี้: delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l) ฉันสามารถคำนวณการไล่ระดับสีของ c2 ซึ่งเชื่อมต่อกับเลเยอร์ปกติ ฉันแค่คูณน้ำหนักของ h1 กับเดลต้าของมัน จากนั้นฉันก็เปลี่ยนรูปร่างเมทริกซ์นั้นให้อยู่ในรูปของเอาต์พุตของ c2 แล้วคูณมันด้วยการไล่ระดับสีของฟังก์ชั่นการกระตุ้นและเสร็จ ตอนนี้ฉันมีคำเดลต้าของ c2 - ซึ่งเป็นเมทริกซ์ขนาด 4 มิติ (featureMapSize, featureMapSize, filterNum, patternNum) นอกจากนี้ฉันมีน้ำหนัก c2 ซึ่งเป็นเมทริกซ์ 3 มิติของขนาด …

10 machine-learning  data-mining  neural-network  deep-learning 

ฉันพยายามฝึกอบรมการใช้งาน Keras ของ Deeplabv3 +บน Pascal VOC2012 โดยใช้แบบจำลองที่ได้รับการฝึกอบรม (ซึ่งได้รับการฝึกฝนในชุดข้อมูลนั้นด้วย) ฉันได้ผลลัพธ์แปลก ๆ ด้วยความแม่นยำที่บรรจบกันอย่างรวดเร็วเป็น 1.0: 5/5 [==============================] - 182s 36s/step - loss: 26864.4418 - acc: 0.7669 - val_loss: 19385.8555 - val_acc: 0.4818 Epoch 2/3 5/5 [==============================] - 77s 15s/step - loss: 42117.3555 - acc: 0.9815 - val_loss: 69088.5469 - val_acc: 0.9948 Epoch …

9 python  deep-learning  keras  tensorflow 

การปรับสภาพแบทช์และ ReLU เป็นวิธีแก้ปัญหาการไล่ระดับสีที่หายไป หากเราใช้การทำให้เป็นมาตรฐานเป็นชุดเราควรใช้ sigmoids ไหม? หรือมีคุณสมบัติของ ReLUs ที่ทำให้พวกเขามีค่าแม้เมื่อใช้ batchnorm? ฉันคิดว่าการฟื้นฟูที่ทำใน batchnorm จะส่งการเปิดใช้งานเป็นศูนย์เชิงลบ นั่นหมายความว่า batchnorm แก้ปัญหา "dead ReLU" หรือไม่? แต่ธรรมชาติอย่างต่อเนื่องของ tanh และ logistic ยังคงน่าสนใจ ถ้าฉันใช้ batchnorm tanh จะทำงานได้ดีกว่า ReLU หรือไม่ ฉันแน่ใจว่าคำตอบขึ้นอยู่กับ ดังนั้นประสบการณ์ทำงานของคุณคืออะไรและคุณสมบัติเด่นของแอปพลิเคชันของคุณคืออะไร

9 deep-learning  batch-normalization 

ฉันกำลังพยายามสร้างแบบจำลองอัจฉริยะที่สามารถสแกนชุดคำหรือสตริงและจำแนกเป็นชื่อหมายเลขโทรศัพท์มือถือที่อยู่เมืองรัฐประเทศและหน่วยงานอื่น ๆ โดยใช้การเรียนรู้ของเครื่องจักรหรือการเรียนรู้เชิงลึก ฉันค้นหาวิธีการ แต่น่าเสียดายที่ฉันไม่พบวิธีการใด ๆ ฉันได้ลองใช้กระเป๋าคำว่า model และ word glove เพื่อคาดเดาว่าสตริงนั้นเป็นชื่อหรือเมือง ฯลฯ แต่ฉันไม่ประสบความสำเร็จกับรูปแบบถุงคำและด้วย GloVe มีชื่อมากมายที่ไม่ครอบคลุมในตัวอย่างการฝัง: - ลอเรนมีอยู่ในถุงมือและลอเรน่าไม่ ฉันพบโพสต์นี้ที่นี่ซึ่งมีคำตอบที่สมเหตุสมผล แต่ฉันไม่สามารถเข้าหาเพื่อแก้ไขปัญหานอกเหนือจากข้อเท็จจริงที่ว่ามีการใช้ NLP และ SVM เพื่อแก้ไขปัญหา ข้อเสนอแนะใด ๆ ที่ชื่นชม ขอขอบคุณและขอแสดงความนับถือ Sai Charan Adurthi

9 machine-learning  deep-learning  text-mining  natural-language-process