คำถามติดแท็ก neural-network

โครงข่ายประสาทเทียม (ANN) ประกอบด้วย 'เซลล์ประสาท' - การสร้างโปรแกรมที่เลียนแบบคุณสมบัติของเซลล์ประสาทชีวภาพ ชุดของการเชื่อมต่อแบบถ่วงน้ำหนักระหว่างเซลล์ประสาททำให้สามารถเผยแพร่ข้อมูลผ่านเครือข่ายเพื่อแก้ปัญหาปัญญาประดิษฐ์โดยที่ผู้ออกแบบเครือข่ายมีแบบจำลองของระบบจริง

1
การสร้างข้อมูลใหม่เพื่อการเรียนรู้อย่างลึกโดยใช้ Keras
ฉันเป็นผู้เริ่มต้นของ Keras และฉันได้เริ่มต้นด้วยตัวอย่าง MNIST เพื่อทำความเข้าใจว่าไลบรารีใช้งานได้จริงอย่างไร ข้อมูลโค้ดของปัญหา MNIST ในโฟลเดอร์ตัวอย่างของ Keras นั้นได้รับเป็น: import numpy as np np.random.seed(1337) # for reproducibility from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.utils import np_utils batch_size = 128 nb_classes = 10 nb_epoch = …

2
AI เรียนรู้ที่จะลงมือทำอย่างไรเมื่อพื้นที่ปัญหาใหญ่เกินไป
ฉันเรียนรู้ได้ดีที่สุดผ่านการทดลองและตัวอย่าง ฉันเรียนรู้เกี่ยวกับเครือข่ายประสาทและมี (สิ่งที่ฉันคิดว่า) เป็นความเข้าใจที่ดีของการจัดหมวดหมู่และการถดถอยและการเรียนรู้แบบมีผู้สอนและไม่ได้ดูแล แต่ฉันก็สะดุดกับบางสิ่งที่ฉันไม่สามารถเข้าใจได้ ถ้าฉันต้องการฝึก AI ให้เล่นเกมที่ซับซ้อน ฉันกำลังคิดบางอย่างเช่น RTS (เช่น Age of Empires, Empire Earth และอื่น ๆ ) ในเกมประเภทนี้โดยทั่วไปจะมีจำนวนเอนทิตีที่ควบคุมโดยผู้เล่น (หน่วยอาคาร) แต่ละแห่งมีความสามารถแตกต่างกัน ดูเหมือนว่าปัญหาของ AI จะเป็นการจำแนก (เช่นเลือกหน่วยนั้นและการกระทำนั้น) อย่างไรก็ตามเนื่องจากจำนวนหน่วยเป็นตัวแปรหนึ่งจะจัดการกับปัญหาการจำแนกประเภทด้วยวิธีนี้ได้อย่างไร สิ่งเดียวที่ฉันนึกได้ก็คือเครือข่ายหลายเครือข่ายที่มีหลายขั้นตอน (หนึ่งสำหรับกลยุทธ์โดยรวมหนึ่งสำหรับการควบคุมหน่วยประเภทนี้หนึ่งสำหรับอาคารประเภทนั้น ฯลฯ ); แต่ดูเหมือนว่าฉันกำลังทำให้ปัญหาซับซ้อนขึ้น มีตัวอย่างที่ดีของการเรียนรู้ของเครื่อง / เครือข่ายประสาทเทียมในการเรียนรู้เกมที่ซับซ้อน (ไม่ใช่เฉพาะ RTS แต่ซับซ้อนกว่าMario )?

1
การจัดประเภทข้อความ - ปัญหา: Word2Vec / NN เป็นวิธีที่ดีที่สุดหรือไม่?
ฉันกำลังมองหาที่จะออกแบบระบบที่ให้ย่อหน้าของข้อความจะสามารถจัดหมวดหมู่มันและระบุบริบท: ได้รับการฝึกฝนกับย่อหน้าข้อความที่ผู้ใช้สร้างขึ้น (เช่นความเห็น / คำถาม / คำตอบ) แต่ละรายการในชุดการฝึกจะถูกติดแท็กด้วย ดังนั้นสำหรับเช่น ("หมวดหมู่ 1", "ย่อหน้าข้อความ") จะมีหลายร้อยหมวดหมู่ อะไรจะเป็นวิธีที่ดีที่สุดในการสร้างระบบเช่นนี้? ฉันได้ดูตัวเลือกที่แตกต่างกันเล็กน้อยและต่อไปนี้เป็นรายการของวิธีแก้ปัญหาที่เป็นไปได้ ตอนนี้ Word2Vec / NN เป็นทางออกที่ดีที่สุดหรือไม่? Recensive Neural Tensor Network เลี้ยงด้วยข้อมูล Word2Vec เฉลี่ย RNTN และเวกเตอร์ย่อหน้า ( https://cs.stanford.edu/~quocle/paragraph_vector.pdf )? TF-IDF ใช้ในเครือข่าย Deep Belief TF-IDF และ Logistic Regression กระเป๋าของคำและการจำแนก Naive Bayes

1
กำลังแปลง AutoEncoders
ฉันเพิ่งอ่านบทความของ Geoff Hinton เกี่ยวกับการเปลี่ยนระบบอ่านรหัสอัตโนมัติ Hinton, Krizhevsky และ Wang: กำลังเปลี่ยนรูปตัวเข้ารหัสอัตโนมัติ ในเครือข่ายประสาทเทียมและการเรียนรู้ของเครื่อง, 2011 และอยากจะเล่นกับอะไรแบบนี้ แต่เมื่ออ่านมันฉันไม่ได้รับรายละเอียดเพียงพอจากบทความเกี่ยวกับวิธีการใช้งานจริง ไม่มีใครรู้ว่าการทำแผนที่ระหว่างพิกเซลอินพุตกับแคปซูลควรทำงานอย่างไร สิ่งที่ควรเกิดขึ้นในหน่วยการรู้จำ? ควรฝึกอบรมอย่างไร มันเป็นแค่เสาหลังมาตรฐานระหว่างการเชื่อมต่อทุกครั้งหรือไม่ ยิ่งไปกว่านั้นจะเป็นลิงค์ไปยังซอร์สโค้ดบางตัวสำหรับสิ่งนี้หรือสิ่งที่คล้ายกัน

5
LSTM หรือแพ็คเกจ RNN อื่น ๆ สำหรับ R
ฉันเห็นผลลัพธ์ที่น่าประทับใจจากโมเดล LSTM ที่ผลิตเช็คสเปียร์เหมือนตำรา ฉันสงสัยว่ามีแพ็คเกจ LSTM สำหรับ R. I googled แต่พบแพ็คเกจสำหรับ Python และ Julia เท่านั้น (อาจมีปัญหาประสิทธิภาพการทำงานบางอย่างซึ่งอธิบายว่าทำไมโปรแกรมเหล่านี้จึงเป็นที่นิยมมากกว่า R) คุณรู้จักแพ็คเกจ LSTM (หรืออย่างน้อย RNN) สำหรับ R หรือไม่? หากมีบทเรียนใดบ้างสำหรับการใช้งาน
10 r  neural-network  rnn 

2
การพยากรณ์ตลาดแลกเปลี่ยนเงินตราต่างประเทศด้วยโครงข่ายประสาทเทียม
ฉันต้องการใช้ ANN เพื่อทำการซื้อขายสกุลเงินอัตโนมัติโดยเฉพาะอย่างยิ่ง USD / EUR หรือ USD / GBP ฉันรู้ว่ามันยากและอาจไม่ตรงไปตรงมา ฉันได้อ่านรายงานและทำการทดลอง แต่ไม่มีโชคมาก ฉันต้องการรับคำแนะนำจากผู้เชี่ยวชาญเพื่อให้งานนี้สำเร็จ นี่คือสิ่งที่ฉันทำจนถึง: ฉันได้รับข้อมูลโดยการทำเครื่องหมายสำหรับเดือนกรกฎาคม 2013 มันมีการเสนอราคา / ถาม / ปริมาณการเสนอราคา / ปริมาณถาม แยกเครื่องหมายถูกทั้งหมดสำหรับกรอบเวลา 12PM ถึง 14PM สำหรับทุกวัน จากข้อมูลนี้สร้างชุดข้อมูลที่แต่ละรายการประกอบด้วยค่าการเสนอราคา n เรียงตามลำดับ ใช้ข้อมูลนั้นเพื่อฝึกอบรม ANN ด้วยอินพุต n-1 และเอาต์พุตเป็นค่าการเสนอราคา nth ที่คาดการณ์ ANN มีเซลล์ประสาทอินพุต n-1, (n-1) * 2 + 1 ที่ซ่อนอยู่และ 1 เซลล์ประสาทเอาท์พุท …

4
การตรวจวัดปริมาณการใช้ก๊าซ - โครงการโครงข่ายประสาทเทียม ผลลัพธ์ไม่ดี
ฉันพยายามตรวจหาคนนอกในการใช้ก๊าซพลังงานของอาคารดัตช์บางแห่งสร้างแบบจำลองโครงข่ายประสาทเทียม ฉันมีผลลัพธ์ที่แย่มาก แต่ฉันไม่สามารถหาสาเหตุได้ ฉันไม่ใช่ผู้เชี่ยวชาญดังนั้นฉันอยากจะถามคุณว่าฉันสามารถปรับปรุงอะไรได้บ้างและฉันทำอะไรผิด นี่คือคำอธิบายที่สมบูรณ์: https://github.com/denadai2/Gas-consumption-outliers เครือข่ายนิวรัลคือเครือข่าย FeedFoward พร้อม Back Propagation ตามที่อธิบายไว้ที่นี่ฉันแยกชุดข้อมูลในชุดข้อมูล "เล็ก" ของแถว 41'000, 9 คุณสมบัติและฉันพยายามเพิ่มคุณสมบัติเพิ่มเติม ฉันฝึกเครือข่าย แต่ผลลัพธ์มี 14.14 RMSE ดังนั้นจึงไม่สามารถคาดการณ์ปริมาณการใช้ก๊าซได้อย่างดีฉันไม่สามารถใช้กลไกการตรวจจับค่าผิดปกติได้ดีอย่างต่อเนื่อง ฉันเห็นว่าในเอกสารบางฉบับที่แม้ว่าพวกเขาทำนายการใช้พลังงานไฟฟ้ารายวันหรือรายชั่วโมงพวกเขามีข้อผิดพลาดเช่น MSE = 0.01 ฉันจะปรับปรุงอะไรดี ผมทำอะไรผิดหรือเปล่า? คุณสามารถดูคำอธิบายของฉันได้ไหม?

2
Convolutional1D, Convolutional2D และ Convolutional 3D แตกต่างกันอย่างไร?
ฉันได้เรียนรู้เกี่ยวกับเครือข่ายประสาทเทียม เมื่อดูKerasตัวอย่างฉันพบวิธีการแปลงข้อมูลที่แตกต่างกันสามวิธี กล่าวคือ 1D, 2D และ 3D อะไรคือความแตกต่างระหว่างสามเลเยอร์เหล่านี้? กรณีการใช้งานของพวกเขาคืออะไร? มีลิงค์หรือข้อมูลอ้างอิงเพื่อแสดงกรณีการใช้งานหรือไม่?

2
ฟีเจอร์เมทริกซ์ใน word2vec คืออะไร?
ฉันเป็นผู้เริ่มต้นในเครือข่ายประสาทและตอนนี้ฉันกำลังสำรวจรุ่น word2vec อย่างไรก็ตามฉันมีช่วงเวลาที่ยากลำบากในการทำความเข้าใจว่าคุณลักษณะของเมทริกคืออะไร ฉันเข้าใจได้ว่าเมทริกซ์แรกนั้นเป็นเวกเตอร์ที่เข้ารหัสร้อนแรงสำหรับคำที่กำหนด แต่เมทริกซ์ที่สองมีความหมายอย่างไร โดยเฉพาะอย่างยิ่งแต่ละค่าเหล่านั้น (เช่น 17, 24, 1 ฯลฯ ) หมายถึงอะไร

1
ทำไม TensorFlow ไม่พอดีกับโมเดลเชิงเส้นอย่างง่ายถ้าฉันลดข้อผิดพลาดค่าเฉลี่ยสัมบูรณ์แทนข้อผิดพลาดกำลังสองเฉลี่ย?
ในบทนำฉันเพิ่งจะเปลี่ยน loss = tf.reduce_mean(tf.square(y - y_data)) ถึง loss = tf.reduce_mean(tf.abs(y - y_data)) และโมเดลไม่สามารถเรียนรู้การสูญเสียที่ยิ่งใหญ่ขึ้นตามกาลเวลา ทำไม?

2
วิธีปรับมาตรฐานข้อมูลสำหรับโครงข่ายประสาทและฟอเรสต์ตัดสินใจ
ฉันมีชุดข้อมูลที่มี 20,000 ตัวอย่างแต่ละตัวมีคุณสมบัติที่แตกต่างกัน 12 แบบ ตัวอย่างแต่ละตัวอย่างเป็นหมวดหมู่ 0 หรือ 1 ฉันต้องการฝึกโครงข่ายประสาทและกลุ่มฟอเรสต์ตัดสินใจจัดกลุ่มตัวอย่างเพื่อให้ฉันสามารถเปรียบเทียบผลลัพธ์และเทคนิคทั้งสองได้ สิ่งแรกที่ฉันสะดุดคือการฟื้นฟูข้อมูลที่เหมาะสม คุณลักษณะหนึ่งอยู่ในช่วงอีกคุณลักษณะหนึ่งในและมีคุณลักษณะหนึ่งที่ใช้ค่า 8 และบางครั้งส่วนใหญ่ 7 ดังนั้นเมื่อฉันอ่านในแหล่งที่แตกต่างกัน ข้อมูลเป็นสิ่งสำคัญสำหรับเครือข่ายประสาท ดังที่ฉันค้นพบมีวิธีที่เป็นไปได้มากมายในการทำให้ข้อมูลเป็นมาตรฐานเช่น:[0,106][0,106][0,10^6][30,40][30,40][30,40] การปรับสภาพให้ต่ำสุด - สูงสุด : ช่วงอินพุตจะถูกแปลงเชิงเส้นเป็นช่วง (หรืออีกทางหนึ่งมีความสำคัญหรือไม่?)[0,1][0,1][0,1][−1,1][−1,1][-1,1] การทำให้เป็นมาตรฐานของ Z : ข้อมูลถูกแปลงให้มีค่าเฉลี่ยศูนย์และความแปรปรวนของหน่วย: ynew=yold−meanVar−−−√ynew=yold−meanVary_{new}=\frac{y_{old}-\text{mean}}{\sqrt{\text{Var}}} ฉันควรเลือกบรรทัดฐานใด การฟื้นฟูสภาพป่าเป็นสิ่งจำเป็นสำหรับการตัดสินใจด้วยหรือไม่? ด้วยการทำให้เป็นมาตรฐาน Z คะแนนคุณสมบัติที่แตกต่างของข้อมูลการทดสอบของฉันไม่ได้อยู่ในช่วงเดียวกัน นี่อาจเป็นปัญหาหรือไม่? คุณสมบัติทุกอย่างควรทำให้เป็นมาตรฐานด้วยอัลกอริทึมเดียวกันดังนั้นฉันจึงตัดสินใจใช้ Min-Max สำหรับคุณสมบัติทั้งหมดหรือ Z-Score สำหรับคุณสมบัติทั้งหมด มีการรวมกันที่ข้อมูลถูกแมปไปที่และยังมีค่าเฉลี่ยเป็นศูนย์ (ซึ่งจะบอกเป็นนัยถึงการแปลงแบบไม่เป็นเชิงเส้นของข้อมูลและด้วยเหตุนี้การเปลี่ยนแปลงในความแปรปรวนและคุณสมบัติอื่น ๆ ของข้อมูลอินพุต)[−1,1][−1,1][-1,1] ฉันรู้สึกว่าหายไปเล็กน้อยเพราะฉันไม่สามารถหาข้อมูลอ้างอิงที่ตอบคำถามเหล่านี้ได้

1
HOW TO: การกำหนดน้ำหนักเริ่มต้นของ Deep Neural Network
ได้รับเรื่องยากในการเรียนรู้งาน (เช่นมิติสูงซับซ้อนข้อมูลโดยธรรมชาติ) ลึกโครงข่ายประสาทกลายเป็นเรื่องยากที่จะรถไฟ เพื่อบรรเทาปัญหาที่อาจเกิดขึ้น: ทำข้อมูลคุณภาพ & ให้เป็นแบบดั้งเดิม เลือกอัลกอริทึมการฝึกอบรมที่แตกต่างกัน(เช่น RMSprop แทน Gradient Descent) เลือกฟังก์ชันการไล่ระดับสีชัน(เช่น Cross Entropy แทน MSE) ใช้โครงสร้างเครือข่ายอื่น (เช่น Convolution เลเยอร์แทน Feedforward) ฉันเคยได้ยินว่ามีวิธีที่ชาญฉลาดในการเริ่มต้นน้ำหนักที่ดีขึ้น ตัวอย่างเช่นคุณสามารถเลือกขนาดได้ดีกว่า: Glorot และ Bengio (2010) สำหรับหน่วย sigmoid: ตัวอย่างUniform (-r, r)ด้วยr =6ยังไม่มีข้อความฉันn+ยังไม่มีข้อความo ยูที------√r=6Nin+Noutr = \sqrt{\frac{6}{N_{in} + N_{out}}} หรือไฮเพอร์โบลิกแทนเจนต์: ตัวอย่างชุด (-r, r)ด้วยr = 46ยังไม่มีข้อความฉันn+ยังไม่มีข้อความo ยูที------√r=46Nin+Noutr =4 \sqrt{\frac{6}{N_{in} + N_{out}}} …

1
ความยืดหยุ่นในการเชื่อมโยงระหว่างฟังก์ชั่นวัตถุประสงค์และฟังก์ชั่นการเปิดใช้งานเลเยอร์เอาท์พุทคืออะไร?
ดูเหมือนว่ามาตรฐานในแพคเกจเครือข่ายนิวรัลจำนวนมากเพื่อจับคู่ฟังก์ชั่นวัตถุประสงค์ที่จะย่อเล็กสุดด้วยฟังก์ชั่นการเปิดใช้งานในชั้นเอาท์พุท ยกตัวอย่างเช่นสำหรับชั้นเอาท์พุทเชิงเส้นที่ใช้สำหรับการถดถอยมันเป็นมาตรฐาน (และมักจะเป็นทางเลือกเท่านั้น) ที่จะมีฟังก์ชั่นวัตถุประสงค์ข้อผิดพลาดกำลังสอง การจับคู่ปกติอีกอย่างหนึ่งคือการส่งออกและการสูญเสียบันทึก (หรือข้ามเอนโทรปี) และอีกอย่างคือ softmax และการสูญเสียบันทึกหลาย ใช้สัญลักษณ์ Zzz สำหรับค่าการเปิดใช้งานล่วงหน้า (ผลรวมของการเปิดใช้งานน้ำหนักครั้งจากเลเยอร์ก่อนหน้า) aaa สำหรับการเปิดใช้งาน Yyy สำหรับความจริงภาคพื้นดินที่ใช้สำหรับการฝึกอบรม ผมii สำหรับดัชนีของเซลล์ประสาทขาออก การเปิดใช้งานเชิงเส้น aผม=Zผมai=zia_i=z_i เกิดข้อผิดพลาดกำลังสอง 12Σ∀ ฉัน(Yผม-aผม)212∑∀i(yi−ai)2\frac{1}{2} \sum\limits_{\forall i} (y_i-a_i)^2 การเปิดใช้งาน Sigmoid aผม=11 +อี-Zผมai=11+e−zia_i = \frac{1}{1+e^{-z_i}} ไปกับวัตถุประสงค์ logloss / cross-entropy -Σ∀ ฉัน(Yผม∗ l o g(aผม) + ( 1 -Yผม) ∗ l o g( …

1
ฉันจะคำนวณคำศัพท์เดลต้าของเลเยอร์ Convolutional ได้อย่างไรเนื่องจากคำเดลต้าและน้ำหนักของเลเยอร์ Convolutional ก่อนหน้า
ฉันกำลังพยายามฝึกโครงข่ายใยประสาทเทียมด้วยชั้นสอง convolutional (c1, c2) และสองชั้นที่ซ่อนอยู่ (c1, c2) ฉันใช้วิธีการ backpropagation มาตรฐาน ใน backward pass ฉันคำนวณระยะเวลาข้อผิดพลาดของเลเยอร์ (เดลต้า) ตามข้อผิดพลาดของเลเยอร์ก่อนหน้านี้น้ำหนักของเลเยอร์ก่อนหน้าและการไล่ระดับสีของการเปิดใช้งานตามฟังก์ชั่นการเปิดใช้งานของเลเยอร์ปัจจุบัน โดยเฉพาะอย่างยิ่งเดลต้าของเลเยอร์ l มีลักษณะดังนี้: delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l) ฉันสามารถคำนวณการไล่ระดับสีของ c2 ซึ่งเชื่อมต่อกับเลเยอร์ปกติ ฉันแค่คูณน้ำหนักของ h1 กับเดลต้าของมัน จากนั้นฉันก็เปลี่ยนรูปร่างเมทริกซ์นั้นให้อยู่ในรูปของเอาต์พุตของ c2 แล้วคูณมันด้วยการไล่ระดับสีของฟังก์ชั่นการกระตุ้นและเสร็จ ตอนนี้ฉันมีคำเดลต้าของ c2 - ซึ่งเป็นเมทริกซ์ขนาด 4 มิติ (featureMapSize, featureMapSize, filterNum, patternNum) นอกจากนี้ฉันมีน้ำหนัก c2 ซึ่งเป็นเมทริกซ์ 3 มิติของขนาด …

2
การดีบักโครงข่ายประสาทเทียม
ฉันได้สร้างเครือข่ายประสาทเทียมในไพ ธ อนโดยใช้ฟังก์ชั่นการเพิ่มประสิทธิภาพ scipy.optimize.minimize (การไล่ระดับสีคอนจูเกต) ฉันใช้การตรวจสอบไล่ระดับสีตรวจสอบทุกอย่าง ฯลฯ และฉันค่อนข้างมั่นใจว่ามันทำงานอย่างถูกต้อง ฉันรันมันสองสามครั้งและถึง 'การเพิ่มประสิทธิภาพสิ้นสุดลงเรียบร้อยแล้ว' แต่เมื่อฉันเพิ่มจำนวนเลเยอร์ที่ซ่อนอยู่ค่าใช้จ่ายของสมมติฐานจะเพิ่มขึ้น (ทุกอย่างจะยังคงเหมือนเดิม) หลังจากที่ยกเลิกไปแล้ว มันรู้สึกว่าค่าใช้จ่ายควรลดลงเมื่อจำนวนเลเยอร์ที่ซ่อนอยู่เพิ่มขึ้นเนื่องจากสามารถสร้างสมมติฐานที่ซับซ้อนมากขึ้นซึ่งสามารถพอดีกับข้อมูลได้ดีขึ้นอย่างไรก็ตามสิ่งนี้ดูเหมือนจะไม่เป็นเช่นนั้น ฉันสนใจที่จะเข้าใจว่าเกิดอะไรขึ้นที่นี่หรือหากฉันใช้งานโครงข่ายประสาทผิดปกติ

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.