คำถามติดแท็ก neural-networks

ขณะนี้ฉันกำลังทำโปรเจ็กต์ที่เกี่ยวกับการสร้าง AI เพื่อเล่นเกม Gomoku (มันเหมือนกับเกม Tic Tac Toe แต่เล่นบนกระดาน 15 * 15 บอร์ดและต้องการ 5 แถวเพื่อชนะ) ฉันประสบความสำเร็จในการนำ tic tac toe ที่สมบูรณ์แบบมาใช้โดยใช้การเรียนรู้ Q และมีสถานะเกม / การกระทำที่เก็บไว้ในโต๊ะ แต่สำหรับบอร์ด 15 * 15 สถานะของเกมที่เป็นไปได้ก็ใหญ่เกินไป คำถามของฉันคือฉันควรใช้เครือข่ายประสาทหรืออัลกอริทึมทางพันธุกรรมสำหรับปัญหานี้หรือไม่? และโดยเฉพาะอย่างยิ่งฉันจะใช้สิ่งนี้ได้อย่างไร

9 neural-networks  machine-learning  genetic-algorithms  combinatorial-games 

เป็นไปได้หรือไม่ที่จะให้กฎประมาณหัวแม่มือเกี่ยวกับขนาดของโครงข่ายประสาทที่สามารถใช้งานได้กับ GPU ระดับผู้บริโภคทั่วไป ? ตัวอย่างเช่น: การเกิดขึ้นของการเคลื่อนที่ (การเสริมแรง)กระดาษฝึกอบรมเครือข่ายโดยใช้การกระตุ้น tanh ของเซลล์ประสาท พวกเขามี 3 ชั้น NN กับ 300,200,100 หน่วยสำหรับภาพถ่ายวอล์คเกอร์ แต่พวกเขาไม่รายงานฮาร์ดแวร์และเวลา ... แต่กฎของหัวแม่มือสามารถพัฒนาได้หรือไม่? ยังขึ้นอยู่กับผลลัพธ์เชิงประจักษ์ในปัจจุบันเช่น: หน่วย X ที่ใช้การเปิดใช้งาน sigmoid สามารถเรียกใช้การเรียนรู้แบบ Y ต่อชั่วโมงใน 1,060 หรือใช้ฟังก์ชั่นการเปิดใช้งาน a แทน b ทำให้ประสิทธิภาพลดลงครั้ง หากนักเรียน / นักวิจัย / จิตใจอยากรู้อยากเห็นกำลังจะซื้อ GPU สำหรับเล่นกับเครือข่ายเหล่านี้คุณจะตัดสินใจได้อย่างไรว่าคุณจะได้รับ เห็นได้ชัดว่า 1060 เป็นตัวเลือกงบประมาณระดับรายการ แต่จะประเมินได้อย่างไรหากไม่ฉลาดกว่าที่จะได้รับเน็ตบุ๊กเร็วแทนที่จะสร้างเดสก์ท็อปพลังงานสูงและใช้จ่าย $ ตามความต้องการโครงสร้างพื้นฐานคลาวด์ แรงจูงใจสำหรับคำถาม: ฉันเพิ่งซื้อ 1,060 และ …

9 neural-networks 

ฉันกำลังอ่านกระดาษใหม่ของ Hinton "Dynamic Routing ระหว่าง Capsules" และไม่เข้าใจคำว่า "vector กิจกรรม" ในนามธรรม แคปซูลเป็นกลุ่มของเซลล์ประสาทที่มีเวกเตอร์กิจกรรมแสดงถึงพารามิเตอร์การสร้างอินสแตนซ์ของเอนทิตีเฉพาะประเภทเช่นวัตถุหรือส่วนของวัตถุ เราใช้ความยาวของเวกเตอร์กิจกรรมเพื่อแสดงความน่าจะเป็นที่มีอยู่ของเอนทิตีและการวางแนวของมันเพื่อเป็นตัวแทนของพารามิเตอร์สร้างอินสแตนซ์ แคปซูลที่ใช้งานอยู่ที่ระดับหนึ่งทำการคาดการณ์ผ่านการฝึกอบรมการแปลงสำหรับพารามิเตอร์ instantiation ของแคปซูลระดับสูง เมื่อการคาดการณ์หลายครั้งยอมรับแคปซูลระดับสูงจะเริ่มทำงาน เราแสดงให้เห็นว่าระบบแคปซูลหลายชั้นที่ผ่านการฝึกอบรมอย่างไม่เลือกปฏิบัตินั้นได้รับการปฏิบัติที่ทันสมัยบน MNIST และดีกว่าเครือข่ายการสนทนาที่รับรู้ตัวเลขที่ทับซ้อนกันอย่างมาก เพื่อให้บรรลุผลลัพธ์เหล่านี้เราใช้กลไกการกำหนดเส้นทางซ้ำตามข้อตกลง: https://arxiv.org/pdf/1710.09829.pdf ฉันคิดว่าเวกเตอร์เป็นเหมือนชุดข้อมูลที่คุณใช้ผ่านเครือข่าย ฉันเริ่มทำงานในหลักสูตรการเรียนรู้ลึกของ Andrew Ng แต่มันใหม่ทั้งหมดและศัพท์ต่าง ๆ เป็นไปตามหัวของฉัน

9 neural-networks 

หลายแหล่งข้อมูลที่ฉันพูดถึงนั้นก็คือ MSE นั้นยอดเยี่ยมเพราะมันนูน แต่ฉันไม่เข้าใจโดยเฉพาะในบริบทของเครือข่ายประสาท สมมติว่าเรามีดังต่อไปนี้: XXX : ชุดข้อมูลการฝึกอบรม YYY : เป้าหมาย ΘΘ\Theta : ชุดพารามิเตอร์ของแบบจำลอง (แบบจำลองโครงข่ายใยประสาทเทียมที่ไม่มีเส้นตรง)fΘfΘf_\Theta แล้ว: MSE(Θ)=(fΘ(X)−Y)2MSE⁡(Θ)=(fΘ(X)−Y)2\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2 ฟังก์ชั่นการสูญเสียนี้ทำไมจะนูนตลอดเวลา สิ่งนี้ขึ้นอยู่กับหรือไม่?fΘ(X)fΘ(X)f_\Theta(X)

9 neural-networks  math  backpropagation  gradient-descent 

เครื่องจักรที่ทรงพลังในการเอาชนะแชมป์ผู้เล่นโป๊กเกอร์เมื่อเร็ว ๆ นี้มีพลังแค่ไหน?

9 neural-networks  machine-learning 

ฉันต้องการทำการทดลองกับวิวัฒนาการโครงข่ายประสาท (NEAT) ฉันเขียนรหัส GA และโครงข่ายประสาทใน C ++ ย้อนกลับไปใน 90s เพื่อเล่นกับ แต่วิธี DIY พิสูจน์แล้วว่าใช้แรงงานมากพอจนในที่สุดฉันก็ทิ้งมันไป สิ่งต่าง ๆ ได้เปลี่ยนแปลงไปมากมายตั้งแต่นั้นมาและยังมีห้องสมุดและเครื่องมือโอเพนซอร์สที่น่าสนใจมากมายที่น่าสนใจ ฉันใช้ห้องสมุดโอเพ่นซอร์สที่แตกต่างกันของ Google (เช่น DEAP) แต่ฉันสามารถใช้ความช่วยเหลือบางอย่างในการเลือกไลบรารีที่เหมาะสมกับ ... ฉันใช้เวลาส่วนใหญ่เขียนโค้ดเพื่อดูภาพว่าเกิดอะไรขึ้น (สถานะของโครงข่ายประสาทเทียมความเหมาะสมของประชากร) หรือผลลัพธ์สุดท้าย (กราฟ ฯลฯ ) บางทีนี่อาจจะต้องได้รับการเติมเต็มด้วยไลบรารี่โอเพนซอร์ซแยกต่างหาก แต่การสนับสนุนการสร้างภาพข้อมูลเป็นสิ่งที่จะทำให้ฉันใช้เวลากับปัญหา / การแก้ปัญหามากขึ้น ฉันรู้จัก C / C ++, Java, C #, Python, Javascript และอื่น ๆ เล็กน้อย สิ่งที่เป็นการแลกเปลี่ยนที่ดีระหว่างภาษาระดับสูงและประสิทธิภาพที่ดีของฮาร์ดแวร์ภายในบ้านจะเป็นตัวเลือกที่ดี ใครบางคนที่มีประสบการณ์สามารถแนะนำห้องสมุดโอเพ่นซอร์สที่ดีหรือชุดเครื่องมือได้หรือไม่?

9 neural-networks  genetic-algorithms  neat 

ฉันอ่านว่าเครือข่ายประสาทลึกสามารถถูกหลอกได้ง่าย ( ลิงค์ ) เพื่อให้ความมั่นใจสูงในการรับรู้ภาพสังเคราะห์ / เทียมที่สมบูรณ์ (หรืออย่างน้อยส่วนใหญ่) จากเรื่องความมั่นใจ โดยส่วนตัวฉันไม่เห็นปัญหาใหญ่กับ DNN ที่ให้ความมั่นใจสูงกับภาพสังเคราะห์ / ประดิษฐ์เหล่านั้น แต่ฉันคิดว่าการให้ความมั่นใจสูงสำหรับสัญญาณรบกวนสีขาว ( ลิงก์ ) อาจเป็นปัญหาเนื่องจากนี่เป็นปรากฏการณ์ทางธรรมชาติอย่างแท้จริงที่กล้องอาจเห็น ในโลกแห่งความจริง มีปัญหาเท่าไหร่ที่เสียงสีขาวสำหรับการใช้งานจริงของ DNN? สามารถตรวจจับผลบวกผิดพลาดจากสัญญาณรบกวนธรรมดาได้หรือไม่?

9 neural-networks  deep-network  image-recognition  convolutional-neural-networks  signal-processing 

ดังนั้นฉันจึงพยายามที่จะเข้าใจเครือข่ายประสาทเทียมนับตั้งแต่ฉันเจอบล็อกของ Adam Geitgeyเกี่ยวกับการเรียนรู้ของเครื่อง ฉันอ่านมากที่สุดเท่าที่จะทำได้ในเรื่องนี้ (ที่ฉันสามารถเข้าใจได้) และเชื่อว่าฉันเข้าใจแนวคิดที่กว้างขวางทั้งหมดและผลงานบางส่วน (แม้จะอ่อนแอมากในวิชาคณิตศาสตร์) เซลล์ประสาทซินน้ำหนักน้ำหนักฟังก์ชั่นต้นทุน เป็นต้นอย่างไรก็ตามฉันไม่สามารถหาวิธีการแปลปัญหาในโลกแห่งความจริงเป็นโซลูชั่นเครือข่ายประสาท ในกรณีนี้ Adam Geitgey ให้ตัวอย่างการใช้งานซึ่งเป็นระบบการทำนายราคาบ้านที่ได้รับชุดข้อมูลที่มีจำนวนห้องนอน , Sq ฟุต , พื้นที่ใกล้เคียงและราคาขายที่คุณสามารถฝึกอบรมเครือข่ายประสาทเพื่อให้สามารถคาดการณ์ราคาของบ้าน อย่างไรก็ตามเขาหยุดสั้น ๆ ของการนำโซลูชันที่เป็นไปได้ในรหัส ตัวอย่างที่ใกล้ที่สุดที่เขาได้รับคือพื้นฐานของฟังก์ชันที่แสดงให้เห็นว่าคุณใช้น้ำหนักอย่างไร: def estimate_house_sales_price(num_of_bedrooms, sqft, neighborhood): price = 0 # a little pinch of this price += num_of_bedrooms * 1.0 # and a big pinch of that price += sqft …

9 neural-networks  machine-learning 

DeepMind ระบุว่าเครือข่าย Q ลึก (DQN) ของพวกเขาสามารถปรับพฤติกรรมของตนได้อย่างต่อเนื่องในขณะที่เรียนรู้ที่จะเล่น 49 เกมของอาตาริ หลังจากเรียนรู้เกมทั้งหมดที่มีโครงข่ายประสาทเดียวกันตัวแทนสามารถเล่นได้ทุกระดับใน 'เหนือมนุษย์' พร้อมกัน (เมื่อใดก็ตามที่มีการนำเสนอแบบสุ่มกับเกมใดเกมหนึ่ง) หรือจะทำได้ดีในเกมเดียวในแต่ละครั้งเนื่องจากการสลับ จำเป็นต้องเรียนรู้อีกครั้งหรือไม่

9 neural-networks  deep-learning  deepmind 

เครือข่ายประสาทเทียมขนาดใหญ่ที่เราสามารถใช้งานได้ในขณะนี้ (ไม่ว่าจะเป็นวงจรเต็มรูปแบบรถไฟกลับหรือประเมินผลเครือข่าย) หากงบประมาณพลังงานทั้งหมดของเราสำหรับการคำนวณเทียบเท่ากับงบประมาณพลังงานสมองของมนุษย์ ( 12.6 วัตต์ ) อนุญาตถือว่าหนึ่งรอบต่อวินาทีซึ่งดูเหมือนว่าจะประมาณตรงกับอัตราการยิงของเซลล์ประสาทชีววิทยา

9 neural-networks  human-like 

ฉันสับสนในสนามเด็กเล่นเทนเซอร์ หนึ่งในชุดข้อมูลอินพุตเป็นแบบหมุนวน ไม่ว่าฉันจะเลือกพารามิเตอร์เข้าแบบใดก็ตามไม่ว่าฉันจะสร้างเครือข่ายประสาทที่กว้างและลึกแค่ไหน นักวิทยาศาสตร์ข้อมูลทำอย่างไรกับข้อมูลของรูปร่างนี้

9 neural-networks  classification  tensorflow 

เราสามารถอ่านในหน้า Wikipediaว่า Google สร้างชิป ASIC แบบกำหนดเองสำหรับการเรียนรู้ของเครื่องและปรับแต่งสำหรับ TensorFlow ซึ่งช่วยเร่ง AI เนื่องจากชิป ASIC ได้รับการปรับแต่งเป็นพิเศษสำหรับการใช้งานเพียงอย่างเดียวโดยไม่สามารถเปลี่ยนวงจรได้จึงต้องมีอัลกอริทึมคงที่ซึ่งถูกเรียกใช้ ดังนั้นการเร่งความเร็วของ AI โดยใช้ชิป ASIC ทำงานอย่างไรถ้าอัลกอริทึมไม่สามารถเปลี่ยนแปลงได้? ส่วนไหนของการเร่งความเร็ว

9 neural-networks  machine-learning  hardware  neuromorphic-engineering 

โครงข่ายประสาทเทียมเป็นกราฟถ่วงน้ำหนักกำกับ สิ่งเหล่านี้สามารถแสดงโดยเมทริกซ์ (กระจัดกระจาย) การทำเช่นนั้นสามารถเปิดเผยคุณสมบัติที่หรูหราของเครือข่าย เทคนิคนี้มีประโยชน์สำหรับการตรวจสอบโครงข่ายประสาทเทียมหรือไม่?

9 neural-networks 

Deep Mind ได้เผยแพร่ผลงานมากมายเกี่ยวกับการเรียนรู้อย่างลึกซึ้งในช่วงหลายปีที่ผ่านมาซึ่งส่วนใหญ่เป็นงานที่ล้ำสมัยเกี่ยวกับงานที่เกี่ยวข้อง แต่งานชิ้นนี้ได้รับการตีพิมพ์ซ้ำอีกครั้งโดยชุมชน AI ตัวอย่างเช่นกระดาษ Neural Turing Machine ดูเหมือนว่าจะทำซ้ำได้ยากมาก

9 neural-networks  deep-learning  research 

ระบบเข้ารหัสอัตโนมัติสามารถใช้สำหรับการเรียนรู้แบบมีผู้สอนโดยไม่เพิ่มเลเยอร์เอาท์พุทได้หรือไม่? เราสามารถป้อนมันด้วยเวกเตอร์อินพุต - เอาต์พุตแบบต่อกันสำหรับการฝึกอบรมและสร้างส่วนเอาต์พุตจากส่วนอินพุตเมื่อทำการอนุมานได้หรือไม่? ส่วนเอาต์พุตจะถือว่าเป็นค่าที่หายไปในระหว่างการอนุมานและการใส่ความคิดบางอย่างจะถูกนำไปใช้

9 neural-networks