คำถามติดแท็ก neural-networks

การเข้ารหัสแบบเบาบางหมายถึงการเรียนรู้ชุดเวกเตอร์พื้นฐานที่ครบวงจรเพื่อเป็นตัวแทนเวกเตอร์อินพุต (<- ทำไมเราต้องการสิ่งนี้) ความแตกต่างระหว่างการเข้ารหัสแบบเบาบางและตัวเข้ารหัสอัตโนมัติคืออะไร เมื่อใดที่เราจะใช้การเข้ารหัสแบบเบาบางและตัวเข้ารหัสอัตโนมัติ

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

ฉันได้อ่านบทความสองสามฉบับเกี่ยวกับข้อดีข้อเสียของแต่ละวิธีบางคนโต้แย้งว่า GA ไม่ได้ปรับปรุงการหาทางออกที่ดีที่สุดในขณะที่คนอื่น ๆ แสดงว่ามันมีประสิทธิภาพมากกว่า ดูเหมือนว่า GA เป็นที่ต้องการโดยทั่วไปในวรรณกรรม (แม้ว่าคนส่วนใหญ่จะปรับเปลี่ยนเพื่อให้ได้ผลลัพธ์ตามที่ต้องการ) ดังนั้นทำไมโซลูชันซอฟต์แวร์ส่วนใหญ่จึงใช้ backpropagation เท่านั้น มีกฎทั่วไปของหัวแม่มือเมื่อใช้อย่างใดอย่างหนึ่งหรือไม่? บางทีมันอาจขึ้นอยู่กับประเภทของ NN หรือมีวิธีการแก้ปัญหาบางอย่างที่โดยทั่วไปมีประสิทธิภาพสูงกว่าคนอื่น ถ้าเป็นไปได้ฉันกำลังมองหาคำตอบทั่วไป: เช่น "ถ้า NN มีค่ามาก GA ดีกว่า" หรือ "GA ดีกว่าเสมอ แต่มีปัญหาประสิทธิภาพการคำนวณ" ฯลฯ ...

34 neural-networks  genetic-algorithms  backpropagation 

พวกเขาทั้งหมดดูเหมือนจะเป็นตัวแทนของตัวแปรสุ่มโดยโหนดและ (ใน) การพึ่งพาผ่านขอบ (อาจกำกับ) ฉันสนใจในมุมมองแบบเบย์

34 causality  neural-networks  multilevel-analysis  graphical-model 

มีใครเคยเห็นวรรณกรรมเกี่ยวกับการฝึกอบรมล่วงหน้าในโครงข่ายประสาทเทียมแบบลึกหรือไม่? ฉันเห็นเฉพาะการฝึกอบรมล่วงหน้าในเครื่องสร้างรหัสอัตโนมัติหรือเครื่องโบลต์แมนที่ จำกัด เท่านั้น

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

ฉันมีชุดข้อมูลสตรีมมิ่งตัวอย่างสามารถใช้ได้ทีละชุด ฉันจะต้องทำการจำแนกประเภทหลายคลาสกับพวกเขา ทันทีที่ฉันป้อนตัวอย่างการฝึกอบรมให้กับกระบวนการเรียนรู้ฉันต้องทิ้งตัวอย่าง ในขณะเดียวกันฉันยังใช้รุ่นล่าสุดในการทำนายข้อมูลที่ไม่มีป้ายกำกับ เท่าที่ฉันรู้เครือข่ายประสาทสามารถทำการเรียนรู้ด้วยการส่งตัวอย่างหนึ่งครั้งและดำเนินการแพร่กระจายไปข้างหน้าและการสนับสนุนการย้อนหลังในตัวอย่าง SVM สามารถทำการสตรีมการเรียนรู้ทีละตัวอย่างและยกเลิกตัวอย่างได้ทันทีหรือไม่?

33 machine-learning  svm  neural-networks 

ฉันใหม่กับการสร้างแบบจำลองด้วยเครือข่ายประสาท แต่ฉันจัดการเพื่อสร้างเครือข่ายประสาทด้วยจุดข้อมูลที่มีอยู่ทั้งหมดที่เหมาะกับข้อมูลที่สังเกตได้ดี เครือข่ายประสาทเทียมทำใน R ด้วยแพ็คเกจ nnet: require(nnet) ##33.8 is the highest value mynnet.fit <- nnet(DOC/33.80 ~ ., data = MyData, size = 6, decay = 0.1, maxit = 1000) mynnet.predict <- predict(mynnet.fit)*33.80 mean((mynnet.predict - MyData$DOC)^2) ## mean squared error was 16.5 ข้อมูลที่ฉันกำลังวิเคราะห์มีลักษณะดังต่อไปนี้โดยที่ DOC เป็นตัวแปรที่จะต้องมีแบบจำลอง (มีการสังเกตประมาณ 17,000): Q GW_level Temp t_sum …

33 r  neural-networks 

ในแอนดรูอึ้งของหลักสูตรโครงข่ายประสาทและลึกการเรียนรู้เกี่ยวกับ Courseraเขากล่าวว่าการใช้มักจะดีกว่าที่จะใช้sigmoidtanhtanhtanhsigmoidsigmoidsigmoid เหตุผลที่เขาให้คือผลลัพธ์ที่ใช้ศูนย์ประมาณ 0 มากกว่า 's 0.5 และสิ่งนี้ "ทำให้การเรียนรู้สำหรับชั้นถัดไปง่ายขึ้นเล็กน้อย"tanhtanhtanhsigmoidsigmoidsigmoid เหตุใดการทำให้การเรียนรู้ความเร็วของการเปิดใช้งานเป็นศูนย์อยู่ตรงกลาง ฉันคิดว่าเขาพูดถึงเลเยอร์ก่อนหน้านี้เมื่อการเรียนรู้เกิดขึ้นระหว่างการทำโพสต์? มีคุณสมบัติอื่น ๆ ที่ทำให้ดีกว่า ? การไล่ระดับสีชันช้ากว่าจะทำให้การไล่ระดับสีหายไปหรือไม่tanhtanhtanh มีสถานการณ์ใดบ้างที่น่าจะดีกว่า?sigmoidsigmoidsigmoid ต้องการคำตอบทางคณิตศาสตร์ที่เข้าใจง่าย

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

ฉันอ่านในhttps://en.wikipedia.org/wiki/Generative_adversarial_networks : [เครือข่ายผู้ให้คำปรึกษาทั่วไป] ได้รับการแนะนำโดย Ian Goodfellow และคณะในปี 2014 แต่Jurgen Schmidhuberอ้างว่าได้ทำงานคล้าย ๆ กันมาก่อนหน้านี้ในทิศทางนั้น (เช่นมีการถกเถียงกันที่ NIPS 2016 ระหว่างการฝึกสอนเครือข่ายผู้ไม่ประสงค์ดี: https://channel9.msdn.com/Events/Neural-Information-Processing-Systems- Conference / Neural-Information-Processing- Systems-Conference-NIPS-2016 / Generative-Adversarial-Networksดู 1 ชม. 3 นาที) ความคิดที่อยู่เบื้องหลังเครือข่ายผู้ให้คำปรึกษาที่ก่อกำเนิดเป็นครั้งแรกที่Jürgen Schmidhuber เปิดตัวต่อสาธารณชน ถ้าไม่ความคิดของJürgen Schmidhub นั้นคล้ายกันมากแค่ไหน?

32 neural-networks  history  gan 

ฉันใหม่สำหรับเครือข่ายประสาทอย่างสมบูรณ์ แต่สนใจอย่างมากที่จะเข้าใจพวกเขา อย่างไรก็ตามการเริ่มต้นใช้งานไม่ใช่เรื่องง่ายเลย ใครช่วยแนะนำหนังสือดีๆหรือทรัพยากรประเภทอื่นได้บ้าง ต้องอ่านไหม? ฉันขอบคุณสำหรับเคล็ดลับใด ๆ

32 machine-learning  neural-networks  references 

เราจะอธิบายความแตกต่างระหว่างการถดถอยโลจิสติกและเครือข่ายประสาทเทียมให้กับผู้ชมที่ไม่มีพื้นฐานด้านสถิติได้อย่างไร

32 logistic  neural-networks 

คอมพิวเตอร์มีเวลานานที่จะสามารถเล่นหมากรุกโดยใช้ "กำลังดุร้าย" - เทคนิคค้นหาความลึกระดับหนึ่งแล้วประเมินตำแหน่ง อย่างไรก็ตามคอมพิวเตอร์ AlphaGo ใช้ ANN เพื่อประเมินตำแหน่งเท่านั้น (มันไม่ทำการค้นหาเชิงลึกเท่าที่ฉันรู้) เป็นไปได้ไหมที่จะสร้างเอ็นจิ้นหมากรุกที่เล่นหมากรุกในแบบเดียวกับ AlphaGo เล่น Go? ทำไมไม่มีใครทำอย่างนี้? โปรแกรมนี้จะทำงานได้ดีกว่าโปรแกรมหมากรุกชั้นนำ (และผู้เล่นหมากรุก) ในปัจจุบันหรือไม่?

32 neural-networks  deep-learning  reinforcement-learning  games 

พื้นหลัง Intro ภายในเครือข่ายประสาทเทียมเรามักจะมีโครงสร้าง / การไหลทั่วไปที่มีลักษณะดังนี้: ภาพอินพุต (เช่นเวกเตอร์ 2D x) (เลเยอร์ Convolutional ที่ 1 (Conv1) เริ่มที่นี่ ... ) ตั้งค่าฟิลเตอร์ ( w1) ตามภาพ 2D (เช่นการz1 = w1*x + b1คูณผลิตภัณฑ์ดอท) ที่z13D และb1เป็นอคติ ใช้ฟังก์ชั่นการเปิดใช้งาน (เช่น ReLu) เพื่อสร้างแบบz1ไม่เป็นเชิงเส้น (เช่นa1 = ReLu(z1)) โดยที่a1เป็น 3D (เลเยอร์ Convolutional ที่สอง (Conv2) เริ่มที่นี่ ... ) โน้มน้าวชุดของตัวกรองตามการเปิดใช้งานที่คำนวณใหม่ (เช่นการz2 = w2*a1 + …

32 neural-networks  deep-learning  conv-neural-network 

ฉันเรียน LSTM มาระยะหนึ่งแล้ว ฉันเข้าใจในระดับสูงว่าทุกอย่างทำงานอย่างไร อย่างไรก็ตามจะใช้พวกเขาโดยใช้ Tensorflow ฉันสังเกตเห็นว่าBasicLSTMCellต้องการพารามิเตอร์จำนวนหน่วย (เช่นnum_units) จากนี้คำอธิบายอย่างละเอียดมาก LSTMs ผมได้รวบรวมที่เดียวหน่วย LSTMเป็นหนึ่งดังต่อไปนี้ ซึ่งเป็นหน่วย GRU ฉันสันนิษฐานว่าพารามิเตอร์num_unitsของการBasicLSTMCellอ้างอิงถึงจำนวนเหล่านี้เราต้องการเชื่อมต่อซึ่งกันและกันในชั้น ที่ทิ้งคำถาม - "เซลล์" ในบริบทนี้คืออะไร? "เซลล์" เทียบเท่ากับเลเยอร์ในเครือข่ายประสาทส่งต่อปกติหรือไม่

32 neural-networks  terminology  lstm  rnn  tensorflow 

ฉันกำลังทำงานกับปัญหาการถดถอยที่อินพุตเป็นภาพและฉลากเป็นค่าต่อเนื่องระหว่าง 80 และ 350 ภาพเป็นสารเคมีบางอย่างหลังจากปฏิกิริยาเกิดขึ้น สีที่ปรากฎออกมาบ่งบอกถึงความเข้มข้นของสารเคมีอื่นที่เหลืออยู่และนั่นคือสิ่งที่แบบจำลองนั้นต้องการออก - ความเข้มข้นของสารเคมีนั้น ภาพสามารถหมุนพลิกสะท้อนและออกที่คาดหวังควรจะยังคงเหมือนเดิม การวิเคราะห์แบบนี้ทำในห้องปฏิบัติการจริง (เครื่องจักรพิเศษมากให้ความเข้มข้นของสารเคมีโดยใช้การวิเคราะห์สีเช่นเดียวกับที่ฉันกำลังฝึกรุ่นนี้ให้ทำ) จนถึงตอนนี้ฉันได้ทดลองกับแบบจำลองโดยอ้างอิงจาก VGG (หลายลำดับของบล็อก Conv-conv-conv-conv-pool) ก่อนที่จะทำการทดลองกับสถาปัตยกรรมที่ใหม่กว่านี้ (Inception, ResNets ฯลฯ ) ฉันคิดว่าฉันจะทำการวิจัยถ้ามีสถาปัตยกรรมอื่น ๆ ที่ใช้กันโดยทั่วไปสำหรับการถดถอยโดยใช้รูปภาพ ชุดข้อมูลมีลักษณะดังนี้: ชุดข้อมูลมีตัวอย่างประมาณ 5,000 250x250 ตัวอย่างซึ่งฉันได้ปรับขนาดเป็น 64x64 เพื่อให้การฝึกอบรมง่ายขึ้น เมื่อฉันพบสถาปัตยกรรมที่มีแนวโน้มฉันจะทดลองกับภาพความละเอียดที่ใหญ่ขึ้น จนถึงตอนนี้โมเดลที่ดีที่สุดของฉันมีข้อผิดพลาดกำลังสองเฉลี่ยทั้งชุดการฝึกอบรมและการตรวจสอบความถูกต้องประมาณ 0.3 ซึ่งอยู่ไกลจากที่ยอมรับได้ในกรณีใช้งานของฉัน รุ่นที่ดีที่สุดของฉันมีลักษณะเช่นนี้: // pseudo code x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

เหตุใดเราจึงใช้หน่วยเชิงเส้นแก้ไข (ReLU) กับเครือข่ายประสาทเทียม มันช่วยปรับปรุงโครงข่ายประสาทเทียมได้อย่างไร? ทำไมเราถึงบอกว่า ReLU เป็นฟังก์ชั่นการเปิดใช้งาน ฟังก์ชั่นการเปิดใช้งาน softmax ไม่ใช่สำหรับเครือข่ายประสาทหรือไม่ ฉันเดาว่าเราจะใช้ทั้ง ReLU และ softmax แบบนี้: เซลล์ประสาท 1 ที่มีเอาต์พุต softmax ----> ReLU บนเอาต์พุตของเซลล์ประสาท 1 ซึ่งเป็น อินพุตของเซลล์ประสาท 2 ---> เซลล์ประสาท 2 ที่มีเอาต์พุต softmax -> ... ดังนั้นอินพุตของเซลล์ประสาท 2 จึงเป็น ReLU (softmax (x1)) ถูกต้องหรือไม่

31 neural-networks