คำถามติดแท็ก neural-networks

นักวิทยาศาสตร์หรือผู้เชี่ยวชาญด้านการวิจัยทราบจากห้องครัวสิ่งที่เกิดขึ้นภายในเครือข่ายประสาทที่ "ลึก" ที่ซับซ้อนโดยมีการเชื่อมต่ออย่างน้อยหลายล้านจุดในทันที พวกเขาเข้าใจกระบวนการที่อยู่เบื้องหลังสิ่งนี้หรือไม่ (เช่นเกิดอะไรขึ้นภายในและมันทำงานอย่างไร) หรือเป็นประเด็นถกเถียง ตัวอย่างเช่นการศึกษานี้พูดว่า: แต่ไม่มีความเข้าใจที่ชัดเจนของเหตุผลที่พวกเขาดำเนินการให้ดีหรือวิธีการที่พวกเขาอาจจะดีขึ้น ดังนั้นนี่หมายความว่านักวิทยาศาสตร์ไม่ทราบว่ารูปแบบเครือข่าย convolutional ที่ซับซ้อนทำงานอย่างไร

69 neural-networks  deep-learning  convolutional-neural-networks  explainable-ai 

เท่าที่ฉันจะบอกได้เครือข่ายประสาทมีจำนวนเซลล์ประสาทคงที่ในชั้นข้อมูลเข้า หากใช้โครงข่ายประสาทในบริบทเช่น NLP ประโยคหรือบล็อกข้อความที่มีขนาดแตกต่างกันจะถูกป้อนเข้าเครือข่าย ขนาดอินพุตที่แตกต่างกันอย่างไรจะกระทบยอดกับขนาดคงที่ของเลเยอร์อินพุตของเครือข่าย กล่าวอีกนัยหนึ่งเครือข่ายเช่นนี้มีความยืดหยุ่นเพียงพอที่จะจัดการกับอินพุตที่อาจอยู่ที่ใดก็ได้ตั้งแต่หนึ่งคำไปจนถึงหลายหน้าของข้อความ หากสมมติฐานของฉันเกี่ยวกับจำนวนเซลล์ประสาทนำเข้าที่กำหนดไม่ถูกต้องและมีการเพิ่มเซลล์ประสาทขาเข้าใหม่เข้า / ออกจากเครือข่ายเพื่อให้ตรงกับขนาดอินพุตฉันไม่เห็นว่าจะสามารถฝึกอบรมสิ่งเหล่านี้ได้อย่างไร ฉันยกตัวอย่าง NLP แต่ปัญหามากมายมีขนาดอินพุตที่คาดเดาไม่ได้ ฉันสนใจวิธีการทั่วไปในการจัดการกับสิ่งนี้ สำหรับรูปภาพมันชัดเจนว่าคุณสามารถขึ้น / ลงตัวอย่างเป็นขนาดคงที่ แต่สำหรับข้อความดูเหมือนว่าจะเป็นวิธีที่เป็นไปไม่ได้เนื่องจากการเพิ่ม / ลบข้อความเปลี่ยนความหมายของอินพุตต้นฉบับ

42 neural-networks  machine-learning  deep-learning  convolutional-neural-networks  natural-language-processing 

ลองนึกภาพคุณแสดงภาพสิงโตที่มีโครงข่ายประสาทเป็น 100 เท่าและติดป้ายว่า "อันตราย" ดังนั้นมันจึงเรียนรู้ว่าสิงโตนั้นมีอันตราย ทีนี้ลองนึกภาพว่าก่อนหน้านี้คุณได้แสดงภาพสิงโตจำนวนหลายล้านภาพและระบุว่ามันเป็น "อันตราย" และ "ไม่อันตราย" ดังนั้นความน่าจะเป็นที่สิงโตจะเป็นอันตราย 50% แต่ในช่วง 100 ครั้งที่ผ่านมาได้ผลักเครือข่ายประสาทเทียมให้เป็นบวกมากเกี่ยวกับสิงโตว่า "อันตราย" จึงเพิกเฉยต่อบทเรียนล้านครั้งสุดท้าย ดังนั้นจึงดูเหมือนว่ามีข้อบกพร่องในเครือข่ายประสาทในการที่พวกเขาสามารถเปลี่ยนความคิดของพวกเขาเร็วเกินไปจากหลักฐานล่าสุด โดยเฉพาะอย่างยิ่งหากหลักฐานก่อนหน้านั้นอยู่ตรงกลาง มีโมเดลโครงข่ายประสาทเทียมที่ติดตามหลักฐานว่ามีการเห็นมากแค่ไหน? (หรือนี่จะเท่ากับการปล่อยให้อัตราการเรียนรู้ลดลง1/T1/T1/Tโดยที่TTTคือจำนวนการทดลอง)

37 neural-networks  machine-learning  theory  incremental-learning  catastrophic-forgetting 

Geoffrey Hinton ได้ทำการค้นคว้าสิ่งที่เขาเรียกว่า "ทฤษฎีแคปซูล" ในเครือข่ายประสาทเทียม มันคืออะไรและมันทำงานอย่างไร

34 neural-networks 

ฉันเคยได้ยินมาก่อนจากนักวิทยาศาสตร์คอมพิวเตอร์และนักวิจัยในพื้นที่ของ AI ว่า Lisp เป็นภาษาที่ดีสำหรับการวิจัยและพัฒนาปัญญาประดิษฐ์ สิ่งนี้ยังใช้ได้หรือไม่กับการเพิ่มจำนวนของโครงข่ายประสาทและการเรียนรู้ที่ลึก อะไรคือเหตุผลของพวกเขาสำหรับเรื่องนี้? ระบบการเรียนรู้แบบลึกในปัจจุบันมีภาษาอะไรในปัจจุบัน

30 neural-networks  machine-learning  deep-learning  research  programming-languages 

ฉันกำลังพยายามหางานวิจัยที่มีอยู่เกี่ยวกับวิธีเลือกจำนวนเลเยอร์ที่ซ่อนอยู่และขนาดของ RNN ที่ใช้ LSTM มีบทความที่ตรวจสอบปัญหานี้หรือไม่เช่นเซลล์หน่วยความจำควรใช้เท่าไร? ฉันคิดว่ามันทั้งหมดขึ้นอยู่กับแอปพลิเคชันและในบริบทที่มีการใช้แบบจำลอง แต่งานวิจัยบอกว่าอย่างไร

28 neural-networks  machine-learning  research  recurrent-neural-networks  lstm 

กระดาษข้อ จำกัด ของการเรียนรู้อย่างลึกล้ำในการตั้งค่าของฝ่ายตรงข้ามสำรวจว่าเครือข่ายประสาทอาจเสียหายโดยผู้โจมตีที่สามารถจัดการชุดข้อมูลที่เครือข่ายประสาทเทียมฝึกอบรมได้ การทดลองของผู้เขียนกับโครงข่ายประสาทเทียมนั้นหมายถึงการอ่านตัวเลขที่เขียนด้วยลายมือเพื่อบ่อนทำลายความสามารถในการอ่านโดยการบิดเบือนตัวอย่างของตัวเลขที่เขียนด้วยลายมือที่เครือข่ายประสาทเทียมได้รับการฝึกฝน ฉันกังวลว่านักแสดงที่เป็นอันตรายอาจลองแฮ็ค AI ตัวอย่างเช่น การปลอมแปลงยานพาหนะของตนเองเพื่อแปลความหมายสัญญาณหยุดเทียบกับการ จำกัด ความเร็ว ข้ามการจดจำใบหน้าเช่นสิ่งที่อยู่ในเครื่อง ATM การข้ามตัวกรองสแปม การวิเคราะห์ความเชื่อมั่นของคนโง่จากบทวิจารณ์ภาพยนตร์โรงแรม ฯลฯ ผ่านเครื่องมือตรวจจับความผิดปกติ แกล้งทำคำสั่งเสียง เครื่องจำแนกประเภทการเรียนรู้การทำนายทางการแพทย์ สิ่งที่มีผลต่อฝ่ายตรงข้ามอาจส่งผลกระทบต่อโลก เราจะป้องกันได้อย่างไร

27 neural-networks  deep-learning  philosophy  generative-adversarial-networks  ai-safety 

เครือข่ายประสาทเทียมมีคำคุณศัพท์ที่ "ลึก" แตกต่างจากเครือข่ายอื่นที่คล้ายคลึงกันอย่างไร

25 neural-networks  machine-learning  deep-network  terminology  comparison 

ฉันทราบว่าเครือข่ายประสาทอาจไม่ได้ถูกออกแบบมาให้ทำเช่นนั้นอย่างไรก็ตามถามสมมุติว่าเป็นไปได้ไหมที่จะฝึกโครงข่ายประสาทลึก (หรือคล้ายกัน) เพื่อแก้สมการทางคณิตศาสตร์ ดังนั้นเมื่อได้รับ 3 อินพุท: หมายเลขที่ 1 เครื่องหมายของโอเปอเรเตอร์แสดงด้วยหมายเลข (1 - +, 2 - -, 3 - /, 4 - *และอื่น ๆ ) และหมายเลขที่ 2 จากนั้นหลังจากการฝึกอบรมเครือข่ายควรให้ผลลัพธ์ที่ถูกต้อง ตัวอย่างที่ 1 ( 2+2): การป้อนข้อมูลที่ 1: 2; อินพุต 2: 1( +); อินพุต 3: 2; ผลลัพธ์ที่คาดหวัง:4 การป้อนข้อมูลที่ 1: 10; อินพุต 2: 2( -); อินพุต 3: …

24 neural-networks  math 

ฉันต้องการฝึกโครงข่ายประสาทเทียมที่คลาสเอาต์พุตไม่ได้ถูกกำหนดไว้ตั้งแต่ต้น คลาสที่มากขึ้นจะถูกนำมาใช้ในภายหลังตามข้อมูลที่เข้ามา ซึ่งหมายความว่าทุกครั้งที่ฉันแนะนำคลาสใหม่ฉันจะต้องฝึกฝน NN ใหม่ ฉันจะฝึกอบรม NN แบบเพิ่มหน่วยได้นั่นคือโดยไม่ลืมข้อมูลที่ได้มาก่อนหน้านี้ในระหว่างขั้นตอนการฝึกอบรมครั้งก่อน

23 neural-networks  machine-learning  incremental-learning  transfer-learning 

Convolutional Neural Network สามารถใช้ในการจดจำรูปแบบในโดเมนปัญหาที่ไม่มีภาพที่มีอยู่แล้วโดยการแสดงข้อมูลนามธรรมแบบกราฟิกหรือไม่? นั่นจะมีประสิทธิภาพน้อยกว่าเสมอหรือไม่? นักพัฒนาซอฟต์แวร์รายนี้กล่าวว่าการพัฒนาในปัจจุบันสามารถดำเนินต่อไปได้ แต่จะไม่เกิดขึ้นหากมีการ จำกัด การจดจำภาพ

21 deep-network  neural-networks  image-recognition  convolutional-neural-networks 

ฉันไม่ได้มองหาวิธีที่มีประสิทธิภาพในการค้นหาช่วงเวลา (ซึ่งแน่นอนว่าเป็นปัญหาที่แก้ไขแล้ว ) นี่เป็นคำถามที่ว่า "เกิดอะไรขึ้น" ดังนั้นในทางทฤษฎี: คุณสามารถฝึกโครงข่ายประสาทเทียมเพื่อทำนายว่าตัวเลขที่ให้ n นั้นเป็นคอมโพสิตหรือไพร์มหรือไม่? จะวางโครงข่ายเช่นนี้ได้อย่างไร?

21 neural-networks 

สมมติว่าเรามีหลักฐานจำนวนมากในแคลคูลัสภาคแสดงคำสั่งแรก สมมติว่าเรามีสัจพจน์คอลลารีและทฤษฎีบทในสาขาคณิตศาสตร์ในรูปแบบนั้นด้วย พิจารณาข้อเสนอแต่ละข้อที่ได้รับการพิสูจน์แล้วและร่างของทฤษฎีที่มีอยู่โดยรอบข้อเสนอนั้นเป็นตัวอย่างในชุดฝึกอบรมและหลักฐานที่ดีที่รู้จักกันดีสำหรับข้อเสนอดังกล่าวเป็นฉลากที่เกี่ยวข้อง ในตอนนี้ให้พิจารณาเครือข่ายประดิษฐ์ที่ออกแบบมาเพื่อฝึกฝนในชุดตัวอย่างนี้โดยเฉพาะและตั้งค่าพารามิเตอร์ไฮเปอร์ไว้อย่างถูกต้อง เป็นไปได้ไหมที่จะฝึกอบรมเครือข่ายประดิษฐ์ที่ลึกลงไปในลักษณะที่การนำเสนอของข้อเสนอใหม่และทฤษฎีที่มีอยู่รอบ ๆ มันนำเสนอในภาคแสดงคำสั่งแรกที่แคลคูลัสที่อินพุตจะสร้างหลักฐานที่เอาท์พุท? (แน่นอนว่าหลักฐานดังกล่าวควรได้รับการตรวจสอบด้วยตนเอง) หากสัดส่วนของการพิสูจน์ที่ดีส่งผลให้มีสูงเพียงพออาจเป็นไปได้ไหมที่จะสร้างอัลกอริทึมทางพันธุกรรมที่เสนอข้อเสนอไปยังเครือข่ายลึกที่ผ่านการฝึกอบรม เป็นไปได้ไหม เป็นไปได้ไหมที่จะใช้การออกแบบเครือข่ายแบบลึกนี้เพื่อแก้ปัญหาการคาดการณ์ของโคลลาตซ์หรือการคาดการณ์ของรีมันน์

21 neural-networks  deep-learning  math  automated-theorem-proving 

กรอบงานอย่างPyTorchและ TensorFlow ผ่านTensorFlow Foldรองรับกราฟการคำนวณแบบไดนามิกและได้รับความสนใจจากนักวิทยาศาสตร์ด้านข้อมูล อย่างไรก็ตามดูเหมือนว่าจะไม่มีทรัพยากรที่จะช่วยในการทำความเข้าใจกราฟการคำนวณแบบไดนามิก ข้อได้เปรียบของกราฟการคำนวณแบบไดนามิกดูเหมือนจะรวมถึงความสามารถในการปรับให้เข้ากับปริมาณที่แตกต่างกันในข้อมูลอินพุต ดูเหมือนว่าอาจมีการเลือกจำนวนชั้นโดยอัตโนมัติจำนวนเซลล์ประสาทในแต่ละชั้นฟังก์ชั่นการเปิดใช้งานและพารามิเตอร์ NN อื่น ๆ ขึ้นอยู่กับแต่ละอินสแตนซ์ชุดอินพุตในระหว่างการฝึกอบรม นี่เป็นลักษณะที่ถูกต้องหรือไม่? อะไรคือข้อดีของแบบไดนามิกมากกว่าแบบคงที่? นั่นเป็นสาเหตุที่ทำให้ DCG ได้รับความสนใจมาก? โดยสรุป DCG คืออะไรและข้อดีข้อเสียของการใช้งานคืออะไร

19 neural-networks 

ฉันเห็นคำเหล่านี้ถูกโยนไปรอบ ๆ ไซต์นี้เป็นจำนวนมากโดยเฉพาะในแท็ก สับสน-ประสาทเครือข่ายและระบบประสาทเครือข่าย ฉันรู้ว่าเครือข่ายประสาทเทียมเป็นระบบที่อิงกับสมองมนุษย์ แต่สิ่งที่แตกต่างระหว่างที่Convolutionalประสาทเครือข่ายและเครือข่ายประสาทปกติ? มีเพียงหนึ่งที่ซับซ้อนมากขึ้นและ ahem, convolutedกว่าอีกหรือไม่

18 neural-networks  convolutional-neural-networks  definitions  terminology