คำถามติดแท็ก neural-network

โครงข่ายประสาทเทียม (ANN) ประกอบด้วย 'เซลล์ประสาท' - การสร้างโปรแกรมที่เลียนแบบคุณสมบัติของเซลล์ประสาทชีวภาพ ชุดของการเชื่อมต่อแบบถ่วงน้ำหนักระหว่างเซลล์ประสาททำให้สามารถเผยแพร่ข้อมูลผ่านเครือข่ายเพื่อแก้ปัญหาปัญญาประดิษฐ์โดยที่ผู้ออกแบบเครือข่ายมีแบบจำลองของระบบจริง

1
Convolutional ply แตกต่างจากเครือข่าย Convolutional ทั่วไปอย่างไร
ฉันกำลังทำงานเพื่อสร้างผลลัพธ์ของเอกสารนี้ใหม่ ในกระดาษพวกเขาอธิบายวิธีการใช้ CNN สำหรับการสกัดคุณลักษณะและมีรูปแบบอะคูสติกที่ Dnn-hmm และถูกฝึกโดยใช้ RBM ส่วนย่อย III ระบุสถานะที่แตกต่างกันในการแสดงข้อมูลอินพุต ฉันตัดสินใจที่จะสแต็คพล็อตสเปกตรัมของสแตติกเดลต้าและเดลต้าในแนวตั้ง ดังนั้นเช่น: กระดาษจะอธิบายว่าเครือข่ายควรเป็นอย่างไร พวกเขาระบุว่าพวกเขาใช้เครือข่าย convolutional แต่ไม่มีอะไรเกี่ยวกับโครงสร้างของเครือข่าย? ยิ่งไปกว่านั้นเครือข่ายอ้างถึงเสมอว่าเป็นคนเร่ขายของ? ซึ่งฉันแน่ใจว่าฉันเห็นความแตกต่างใด ๆ เมื่อเทียบกับเครือข่ายประสาทเทียมธรรมดาเครือข่าย (cnn) กระดาษระบุสิ่งนี้เกี่ยวกับความแตกต่าง: (จากส่วนย่อย III B) อย่างไรก็ตามการแปลงชั้นจะแตกต่างจากเลเยอร์มาตรฐานที่เชื่อมต่ออย่างสมบูรณ์ในสองส่วนที่สำคัญ ขั้นแรกหน่วย Convolutional แต่ละหน่วยจะรับอินพุตจากพื้นที่ท้องถิ่นของอินพุตเท่านั้น ซึ่งหมายความว่าแต่ละหน่วยแสดงถึงคุณสมบัติบางอย่างของภูมิภาคท้องถิ่นของอินพุต ประการที่สองหน่วยของการจัดเรียงสังวัตนาสามารถจัดเป็นแผนที่คุณลักษณะจำนวนหนึ่งซึ่งหน่วยทั้งหมดในแผนที่คุณลักษณะเดียวกันจะมีน้ำหนักเท่ากัน แต่รับข้อมูลจากสถานที่ต่าง ๆ ของชั้นล่าง อีกสิ่งหนึ่งที่ฉันสงสัยคือว่ากระดาษระบุจำนวนเอาต์พุตพารามิเตอร์ที่จำเป็นในการป้อนข้อมูลแบบจำลองอะคูสติก dnn-hmm หรือไม่ ฉันดูเหมือนจะไม่สามารถถอดรหัสจำนวนตัวกรองขนาดตัวกรอง .. ในรายละเอียดทั่วไปของเครือข่ายได้หรือไม่

3
การเลือกวิธีการทำให้เป็นมาตรฐานในเครือข่ายประสาท
เมื่อฝึกอบรมเครือข่ายประสาทเทียมมีอย่างน้อย 4 วิธีในการทำให้เป็นปกติของเครือข่าย: การทำให้เป็นมาตรฐาน L1 การทำให้เป็นมาตรฐาน L2 การออกกลางคัน การปรับสภาพเป็นกลุ่ม บวกกับสิ่งอื่น ๆ เช่นการแบ่งปันน้ำหนักและการลดจำนวนการเชื่อมต่อซึ่งอาจไม่ได้มาตรฐานในแง่ที่เข้มงวดที่สุด แต่เราจะเลือกวิธีการทำให้เป็นมาตรฐานแบบใดที่จะใช้? มีวิธีหลักการมากกว่า "เพียงแค่ลองทุกอย่างและดูว่าอะไรทำงาน"?

2
มีการศึกษาใดที่ตรวจสอบการออกกลางคันเทียบกับการทำให้เป็นมาตรฐานอื่น ๆ ?
มีเอกสารใดที่ตีพิมพ์ซึ่งแสดงความแตกต่างของวิธีการทำให้เป็นมาตรฐานสำหรับเครือข่ายประสาทโดยเฉพาะอย่างยิ่งในโดเมนที่ต่างกัน (หรืออย่างน้อยชุดข้อมูลที่แตกต่างกัน) ฉันถามเพราะตอนนี้ฉันมีความรู้สึกว่าคนส่วนใหญ่ดูเหมือนจะใช้การออกกลางคันสำหรับการมองเห็นในคอมพิวเตอร์เป็นประจำ ฉันต้องการตรวจสอบว่ามีเหตุผล (ไม่) ที่จะใช้วิธีการทำให้เป็นมาตรฐานแบบต่างๆ

2
ความแตกต่างใด ๆ ในการทำให้เป็นมาตรฐานใน MLP ระหว่างการอัพเดตแบบแบตช์และแบบเดี่ยว
ฉันเพิ่งเรียนรู้เกี่ยวกับการทำให้เป็นมาตรฐานเป็นแนวทางในการควบคุมการปรับตัวให้เหมาะสมและฉันต้องการที่จะรวมแนวคิดนี้ไว้ในการติดตั้ง backpropagation และMultilayer perceptron (MLP) ที่เรียบง่าย ขณะนี้เพื่อหลีกเลี่ยงการปรับตัวเกินฉันข้ามการตรวจสอบและรักษาเครือข่ายด้วยคะแนนที่ดีที่สุดจนถึงชุดการตรวจสอบ การทำงานนี้ใช้ได้ แต่การเพิ่มการทำให้เป็นมาตรฐานจะเป็นประโยชน์กับฉันในการเลือกอัลกอริธึมและพารามิเตอร์ในการทำให้เป็นมาตรฐานจะทำให้เครือข่ายของฉันมาบรรจบกันในรูปแบบที่ไม่เหมาะอย่างเป็นระบบมากขึ้น สูตรที่ฉันมีสำหรับคำที่ใช้ในการปรับปรุง (จากหลักสูตร Coursera ML) ระบุไว้เป็นชุดการปรับปรุงเช่นสำหรับแต่ละน้ำหนักหลังจากรวม deltas ที่เกี่ยวข้องทั้งหมดสำหรับชุดการฝึกอบรมทั้งหมดจากการเผยแพร่ข้อผิดพลาดการปรับปรุงlambda * current_weightจะถูกเพิ่มเช่นกัน เดลต้าจะถูกลบออกในตอนท้ายของแบทช์โดยที่lambdaพารามิเตอร์การทำให้เป็นปกติ การติดตั้ง backpropagation ของฉันใช้การอัพเดทน้ำหนักต่อรายการ ฉันกังวลว่าฉันไม่สามารถคัดลอกวิธีการแบทช์ได้แม้ว่าจะดูเป็นเรื่องง่ายสำหรับฉัน คำศัพท์ธรรมดาที่มีขนาดเล็กกว่าใช้กับสินค้าได้หรือไม่ ตัวอย่างเช่นlambda * current_weight / Nที่ N คือขนาดของชุดการฝึกอบรม - ในแวบแรกนี่ดูสมเหตุสมผล ฉันไม่พบสิ่งใดในหัวเรื่องและฉันสงสัยว่านั่นเป็นเพราะการทำให้เป็นมาตรฐานไม่ทำงานเช่นกันกับการอัปเดตต่อรายการหรือแม้แต่ไปอยู่ภายใต้ชื่ออื่นหรือสูตรที่เปลี่ยนแปลง

2
ควรใช้ sklearn หรือ tensorflow สำหรับเครือข่ายประสาท
ฉันเพิ่งเริ่มเรียนรู้ Neural Networks สำหรับการเรียนรู้อย่างลึกซึ้งจาก cs231 ฉันพยายามใช้ Neural Network ใน Python ฉันกำลังดูที่ใช้ Tensorflow หรือ scikit-learn ข้อดีและข้อเสียของห้องสมุดเหล่านี้สำหรับแอปพลิเคชันนี้คืออะไร
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.