คำถามติดแท็ก neural-networks

มันก็บอกว่าฟังก์ชั่นการเปิดใช้งานในเครือข่ายประสาทช่วยแนะนำที่ไม่เป็นเชิงเส้น สิ่งนี้หมายความว่า? การไม่เป็นเชิงเส้นหมายความว่าอะไรในบริบทนี้ การแนะนำของความไม่เป็นเส้นตรงนี้ช่วยได้อย่างไร มีฟังก์ชั่นการเปิดใช้งานอื่น ๆ อีกหรือไม่?

18 neural-networks  deep-learning 

จากวิกิพีเดีย: กระจกเซลล์ประสาทเป็นเซลล์ประสาทที่ยิงทั้งสองเมื่อสัตว์ทำหน้าที่และเมื่อสัตว์สังเกตการกระทำเดียวกันที่ดำเนินการโดยคนอื่น Mirror neurons เกี่ยวข้องกับการเรียนรู้เลียนแบบซึ่งเป็นคุณสมบัติที่มีประโยชน์มากที่ขาดหายไปในการใช้งาน AI ในโลกแห่งความเป็นจริงในปัจจุบัน แทนที่จะเรียนรู้จากตัวอย่างอินพุต - เอาท์พุต (การเรียนรู้แบบมีผู้ควบคุม) หรือจากการให้รางวัล (การเรียนรู้เสริม) ตัวแทนที่มีเซลล์ประสาทกระจกจะสามารถเรียนรู้ได้โดยเพียงแค่สังเกตตัวแทนอื่น ๆ แปลการเคลื่อนไหวของพวกเขาเป็นระบบพิกัดของตนเอง เรามีอะไรในเรื่องนี้ที่เกี่ยวข้องกับตัวแบบการคำนวณ?

17 neural-networks  models 

ฉันกำลังพยายามทำความเข้าใจเกี่ยวกับฟังก์ชั่นการสูญเสีย GAN ตามที่ระบุไว้ในการทำความเข้าใจกับเครือข่ายผู้ให้คำปรึกษาทั่วไป (โพสต์บล็อกที่เขียนโดย Daniel Seita) ในการสูญเสียข้ามเอนโทรปีมาตรฐานเรามีเอาต์พุตที่ทำงานผ่านฟังก์ชั่น sigmoid และการจำแนกเลขฐานสองเป็นผลลัพธ์ เซียต้าระบุ ดังนั้นสำหรับ [แต่ละจุดข้อมูลและป้ายกำกับเราจะได้ฟังก์ชันการสูญเสียต่อไปนี้ ...x1x1x_1 H( ( x1, y1) , D ) = - y1เข้าสู่ระบบD ( x1) - ( 1 - y1) บันทึก( 1 - D ( x1) )H((x1,Y1),D)=-Y1เข้าสู่ระบบ⁡D(x1)-(1-Y1)เข้าสู่ระบบ⁡(1-D(x1)) H((x_1, y_1), D) = -y_1 \log D(x_1) - (1 - y_1) \log (1 …

17 neural-networks  machine-learning  deep-learning  loss-functions  generative-adversarial-networks 

นี่คือจากเบต้าที่ปิดสำหรับ AI โดยคำถามนี้ถูกโพสต์โดยผู้ใช้หมายเลข 47 เครดิตทั้งหมดสำหรับพวกเขา ตามที่วิกิพีเดีย , เครื่องจักร Boltzmann สามารถมองได้ว่าเป็นคู่สุ่มที่สร้างขึ้นมาจากตาข่าย Hopfield ทั้งสองเป็นเครือข่ายประสาทที่เกิดขึ้นอีกที่สามารถฝึกให้เรียนรู้รูปแบบบิต จากนั้นเมื่อนำเสนอด้วยรูปแบบบางส่วนสุทธิจะดึงรูปแบบที่สมบูรณ์แบบเต็ม เครือข่าย Hopfield ได้รับการพิสูจน์แล้วว่ามีความจุ 0.138 (เช่นสามารถเรียกใช้เวกเตอร์ประมาณ 138 บิตจากการจัดเก็บสำหรับทุก ๆ 1,000 โหนดเฮิรตซ์ 1991) ในฐานะที่เป็นเครื่อง Boltzmann สุ่มฉันเข้าใจว่ามันจะไม่จำเป็นต้องแสดงรูปแบบเดียวกันเสมอเมื่อพลังงานที่แตกต่างระหว่างรูปแบบการจัดเก็บหนึ่งและอื่น ๆ ที่คล้ายกัน แต่เนื่องจากความไม่แน่นอนนี้อาจช่วยให้สามารถจัดเก็บรูปแบบที่หนาแน่นขึ้น แต่ไม่มีการรับประกันว่าคุณจะได้รับรูปแบบ "ใกล้เคียงที่สุด" ในแง่ของความแตกต่างของพลังงาน สิ่งนี้จะเป็นจริงหรือไม่? หรือ Hopfield net จะสามารถเก็บรูปแบบเพิ่มเติมได้หรือไม่?

17 neural-networks  comparison  recurrent-neural-networks 

เพื่อความสนุกฉันพยายามพัฒนาโครงข่ายประสาทเทียม ตอนนี้สำหรับ backpropagation ฉันเห็นสองเทคนิค ตัวแรกใช้ที่นี่และที่อื่น ๆ อีกมากมาย มันคืออะไร: มันคำนวณข้อผิดพลาดสำหรับแต่ละเซลล์ประสาทออก มัน backpropates มันลงในเครือข่าย (การคำนวณข้อผิดพลาดสำหรับแต่ละเซลล์ประสาทภายใน) มันอัปเดตน้ำหนักด้วยสูตร: (ซึ่งการเปลี่ยนแปลงของน้ำหนัก, ความเร็วในการเรียนรู้, ข้อผิดพลาดของเซลล์ประสาทที่รับอินพุตจากไซแนปส์และเป็นเอาต์พุตที่ส่งในไซแนปส์) มันซ้ำสำหรับแต่ละรายการของชุดข้อมูลหลาย ๆ ครั้งตามที่ต้องการ อย่างไรก็ตามเครือข่ายประสาทที่เสนอในบทช่วยสอนนี้ (มีอยู่ใน GitHub ด้วย) ใช้เทคนิคที่แตกต่าง: มันใช้ฟังก์ชั่นข้อผิดพลาด (วิธีอื่นไม่มีฟังก์ชั่นข้อผิดพลาด แต่ไม่ได้ใช้สำหรับการฝึกอบรม) มันมีฟังก์ชั่นอื่นที่สามารถคำนวณข้อผิดพลาดสุดท้ายที่เริ่มต้นจากน้ำหนัก มันลดฟังก์ชั่นนั้น (ผ่านทางลาดลง) ตอนนี้ควรใช้วิธีใด ฉันคิดว่าอันแรกเป็นอันที่ใช้บ่อยที่สุด (เพราะฉันเห็นตัวอย่างที่แตกต่างจากการใช้มัน) แต่มันก็ใช้ได้ดีเช่นกัน? โดยเฉพาะอย่างยิ่งฉันไม่รู้: มันขึ้นอยู่กับค่าต่ำสุดในท้องถิ่น (เนื่องจากไม่ได้ใช้ฟังก์ชั่นสมการกำลังสอง)? เนื่องจากความแปรผันของน้ำหนักแต่ละตัวนั้นได้รับอิทธิพลจากค่าเอาท์พุทของเซลล์ประสาทเอาท์พุทของมันไม่ใช่รายการของชุดข้อมูลที่เพิ่งเกิดขึ้นเพื่อสร้างค่าที่สูงขึ้นในเซลล์ประสาท ตอนนี้ฉันชอบเทคนิคแรกเพราะฉันคิดว่ามันง่ายกว่าในการนำไปใช้และคิดง่ายกว่า แม้ว่าหากมีปัญหาที่ฉันกล่าวถึง (ซึ่งฉันหวังว่าจะไม่) มีเหตุผลจริงที่จะใช้มันมากกว่าวิธีที่สอง?

17 neural-networks  machine-learning  backpropagation 

สมมติว่ามี NN nnnชั้นซ่อนmmmตัวอย่างการฝึกอบรมxxxคุณสมบัติและninin_iโหนดในแต่ละชั้น ความซับซ้อนของเวลาในการฝึกอบรม NN นี้โดยใช้การเผยแพร่กลับเป็นอย่างไร ฉันมีความคิดพื้นฐานเกี่ยวกับวิธีที่พวกเขาค้นหาความซับซ้อนของเวลาของอัลกอริทึม แต่ที่นี่มีปัจจัยต่าง ๆ 4 ข้อที่ต้องพิจารณาที่นี่เช่นการทำซ้ำเลเยอร์โหนดในแต่ละชั้นตัวอย่างการฝึกอบรมและปัจจัยอื่น ๆ ฉันพบคำตอบที่นี่แต่มันไม่ชัดเจนพอ มีปัจจัยอื่น ๆ นอกเหนือจากที่ฉันได้กล่าวถึงข้างต้นหรือไม่ที่มีอิทธิพลต่อความซับซ้อนของเวลาในการฝึกอัลกอริทึมของ NN?

17 neural-networks  machine-learning  backpropagation  time-complexity 

Modular / Multiple Neural Networks (MNNs) หมุนรอบการฝึกอบรมเครือข่ายอิสระขนาดเล็กที่สามารถป้อนเข้าด้วยกันหรืออีกเครือข่ายที่สูงขึ้น โดยหลักการแล้วองค์กรลำดับขั้นสามารถทำให้เราเข้าใจถึงปัญหาพื้นที่ที่ซับซ้อนมากขึ้นและเข้าถึงการทำงานที่สูงขึ้น แต่ดูเหมือนจะยากที่จะหาตัวอย่างของการวิจัยที่เป็นรูปธรรมที่ทำในอดีตเกี่ยวกับเรื่องนี้ ฉันพบแหล่งข้อมูลไม่กี่แห่ง: https://en.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y ฉันมีคำถามที่เป็นรูปธรรมสองสามข้อ: มีการวิจัยเมื่อเร็ว ๆ นี้เกี่ยวกับการใช้ MNN หรือไม่? มีงานใดบ้างที่ MNNs แสดงประสิทธิภาพที่ดีกว่าอวนเดี่ยวขนาดใหญ่หรือไม่? MNN สามารถใช้สำหรับการจำแนกแบบหลายรูปแบบได้หรือไม่เช่นฝึกอบรมแต่ละเครือข่ายโดยใช้ข้อมูลที่แตกต่างกัน (text vs image) และส่งต่อไปยังตัวกลางระดับสูงกว่าที่ทำงานกับเอาต์พุตทั้งหมดหรือไม่ จากมุมมองของวิศวกรรมซอฟต์แวร์เหล่านี้ไม่สามารถทนต่อความผิดพลาดได้อีกและสามารถแยกได้ง่ายในระบบกระจาย มีงานใดบ้างในการปรับโทโพโลยีของเครือข่ายย่อยแบบไดนามิกโดยใช้กระบวนการเช่น Neural Architecture Search โดยทั่วไปแล้ว MNN ใช้งานได้จริงหรือไม่? ขออภัยหากคำถามเหล่านี้ดูเหมือนไร้เดียงสาฉันเพิ่งเข้ามาใน ML และ CS ในวงกว้างมากขึ้นจากภูมิหลังทางชีววิทยา / ประสาทวิทยาศาสตร์และได้รับความสนใจจากการมีอิทธิพลซึ่งกันและกัน ฉันซาบซึ้งที่คุณสละเวลาและให้ข้อมูลเชิงลึกของคุณ!

16 neural-networks  topology  architecture  neurons  biology 

ฉันได้ยินมาหลายครั้งแล้วว่า "โครงข่ายประสาทเทียมเป็นวิธีการประมาณที่ดีที่สุดที่เราต้องจำลองสมองมนุษย์" และฉันคิดว่าเป็นที่รู้กันทั่วไปว่าโครงข่ายประสาทเทียมจำลองมาจากสมองของเรา ฉันสงสัยอย่างยิ่งว่ารุ่นนี้เรียบง่าย แต่มีราคาเท่าใด วานิลลา NN ต่างจากสิ่งที่เรารู้เกี่ยวกับสมองมนุษย์เท่าไหร่ พวกเรารู้ด้วยหรือไม่

16 neural-networks  brain  topology 

สมมติว่ามีภาพขนาด 10K ขนาด 2400 x 2400 ที่จำเป็นต้องใช้ใน CNN.Acc กับมุมมองของฉันคอมพิวเตอร์ทั่วไปที่ผู้คนใช้จะถูกใช้งาน ตอนนี้คำถามคือทำอย่างไรถึงจะจัดการกับภาพขนาดใหญ่เช่นนี้ได้โดยไม่มีสิทธิ์ในการสุ่มตัวอย่าง นี่คือข้อกำหนดของระบบ: - Ubuntu 16.04 RAM 64 GB GPU 16 GB 8 GB HDD 500 GB 1) มีเทคนิคใดบ้างในการจัดการภาพขนาดใหญ่ที่ต้องผ่านการฝึกอบรม? 2) ขนาดชุดใดที่เหมาะสมที่จะใช้? 3) มีข้อควรระวังในการใช้หรือเพิ่มหรือลดทรัพยากรฮาร์ดแวร์ที่ฉันสามารถทำได้หรือไม่?

15 neural-networks  deep-learning  image-recognition  convolutional-neural-networks 

ฉันแค่อยากรู้ว่าทำไมวิศวกรการเรียนรู้ของเครื่องและโปรแกรมเมอร์ AI ใช้ภาษาอย่างหลามเพื่อทำงาน AI และไม่ใช่ C ++ ถึงแม้ว่า C ++ จะเป็นภาษาที่ทรงพลังมากกว่าภาษาไพ ธ อน

15 neural-networks  machine-learning  python  data-science  c++ 

กำหนดเครือข่ายประสาทfffที่ใช้เป็น input nnnข้อมูลจุด: x1,…,xnx1,…,xnx_1, \dots, x_nx_n เราบอกว่าfffเป็นการเปลี่ยนแปลงที่ไม่แปรเปลี่ยนถ้า f(x1...xn)=f(pi(x1...xn))f(x1...xn)=f(pi(x1...xn))f(x_1 ... x_n) = f(pi(x_1 ... x_n)) สำหรับการเปลี่ยนแปลงใด ๆปี่pipipi ใครช่วยแนะนำจุดเริ่มต้น (บทความตัวอย่างหรือกระดาษอื่น ๆ ) สำหรับการเปลี่ยนแปลงโครงข่ายประสาทเทียม

14 neural-networks  machine-learning  reference-request 

คนส่วนใหญ่พยายามตอบคำถามกับเครือข่ายประสาท อย่างไรก็ตามมีใครคิดบ้างเกี่ยวกับวิธีสร้างเครือข่ายประสาทเทียมถามคำถามแทนที่จะตอบคำถามหรือไม่ ตัวอย่างเช่นหาก CNN สามารถตัดสินใจได้ว่าเป็นวัตถุประเภทใดมันสามารถถามคำถามเพื่อช่วยในการจำแนกประเภทได้หรือไม่

14 neural-networks  deep-learning 

สำหรับพื้นที่ปัญหาที่กำหนดขึ้นมาฉันต้องหาโครงข่ายประสาทเทียมที่มีโหนดและโครงสร้างลิงก์ที่ดีที่สุด ฉันต้องการใช้อัลกอริทึมทางพันธุกรรมเพื่อจำลองโครงข่ายประสาทหลายแห่งเพื่อค้นหาโครงสร้างเครือข่ายที่ดีที่สุดสำหรับโดเมนปัญหา ฉันไม่เคยใช้อัลกอริทึมทางพันธุกรรมสำหรับงานแบบนี้มาก่อน สิ่งที่ควรคำนึงถึงในทางปฏิบัติคืออะไร? โดยเฉพาะฉันจะเข้ารหัสโครงสร้างของโครงข่ายประสาทเทียมให้เป็นจีโนมได้อย่างไร

14 neural-networks  ai-design  genetic-algorithms  evolutionary-algorithms  neuroevolution 

สมมติว่าฉันต้องการแก้ปัญหาด้วยโครงข่ายประสาทที่อาจไม่เหมาะกับโทโพโลยีที่มีอยู่แล้ว (perceptron, Konohen, ฯลฯ ) หรือฉันไม่ได้ตระหนักถึงการดำรงอยู่ของสิ่งเหล่านั้นหรือฉันไม่เข้าใจพวกเขา กลไกและฉันพึ่งพาตัวเองแทน ฉันจะเลือกโทโพโลยีอัตโนมัติ (นั่นคือจำนวนเลเยอร์ชนิดของการเปิดใช้งานประเภทและทิศทางของการเชื่อมต่อ ฯลฯ ) ของเครือข่ายประสาทเทียมสำหรับปัญหาที่เกิดขึ้นตามอำเภอใจได้อย่างไร ฉันเป็นผู้เริ่มต้น แต่ฉันก็รู้ว่าในโทโพโลยีบางอย่าง (หรืออย่างน้อยก็เป็น perceptrons) มันยากมากถ้าไม่สามารถเข้าใจกลไกภายในเนื่องจากเซลล์ประสาทของเลเยอร์ที่ซ่อนอยู่ไม่แสดงบริบททางคณิตศาสตร์ที่มีความหมาย

14 neural-networks  topology  neuroevolution 

สมองของมนุษย์ใช้ฟังก์ชั่นเปิดใช้งานเฉพาะหรือไม่? ฉันได้ลองทำวิจัยแล้วและเนื่องจากมันเป็นโครงข่ายว่าสัญญาณถูกส่งผ่านเซลล์ประสาทหรือไม่มันฟังดูเหมือน ReLU มาก อย่างไรก็ตามฉันไม่พบบทความเดียวที่ยืนยันเรื่องนี้ หรือมันเป็นเหมือนฟังก์ชั่นขั้นตอน (ส่ง 1 ถ้ามันอยู่เหนือ treshold แทนที่จะเป็นค่าอินพุต)

13 neural-networks  machine-learning  brain