คำถามติดแท็ก neural-networks

มีวิธีมาตรฐานและเป็นที่ยอมรับสำหรับการเลือกจำนวนเลเยอร์และจำนวนโหนดในแต่ละเลเยอร์ในเครือข่ายนิวรัลไปข้างหน้าหรือไม่? ฉันสนใจวิธีการสร้างเครือข่ายประสาทอัตโนมัติ

540 model-selection  neural-networks 

เมื่อฝึกฝนโครงข่ายประสาทเทียมการตั้งค่าต่างกันอย่างไร: ขนาดแบทช์และจำนวนการวนซ้ำเป็นaaabbb เทียบกับขนาดแบทช์เป็นและจำนวนการทำซ้ำเป็นcccddd ที่ ?ab=cdab=cd ab = cd หากต้องการตั้งเป็นอย่างอื่นสมมติว่าเราฝึกอบรมเครือข่ายประสาทเทียมด้วยตัวอย่างการฝึกอบรมจำนวนเท่ากันวิธีการกำหนดขนาดแบทช์ที่เหมาะสมและจำนวนการวนซ้ำที่เหมาะสม (โดยที่ขนาดแบทช์ * จำนวนการวนซ้ำ = จำนวนตัวอย่างการฝึกอบรมที่แสดงในเครือข่ายนิวรัลโดยมีตัวอย่างการฝึกอบรมเดียวกันอาจปรากฏขึ้นหลายครั้ง) ฉันทราบว่ายิ่งมีขนาดแบตช์สูงเท่าไหร่พื้นที่หน่วยความจำที่ต้องการก็จะมากขึ้นและบ่อยครั้งทำให้การคำนวณเร็วขึ้น แต่ในแง่ของประสิทธิภาพของเครือข่ายที่ผ่านการฝึกอบรมแล้วมันมีความแตกต่างอะไรบ้าง?

221 neural-networks  train 

ฉันแน่ใจว่าหลายคนจะตอบสนองด้วยลิงก์เพื่อ 'ให้ฉัน google สำหรับคุณ' ดังนั้นฉันอยากจะบอกว่าฉันพยายามที่จะคิดออกดังนั้นโปรดยกโทษให้ฉันขาดความเข้าใจที่นี่ แต่ฉันไม่สามารถหาวิธี การใช้งานจริงของเครือข่ายประสาทใช้งานได้จริง ฉันเข้าใจเลเยอร์อินพุตและวิธีทำให้ข้อมูลเป็นมาตรฐานฉันยังเข้าใจหน่วยอคติ แต่เมื่อพูดถึงเลเยอร์ที่ซ่อนอยู่การคำนวณที่แท้จริงคืออะไรในเลเยอร์นั้นและวิธีที่แมปกับเอาต์พุตเป็นเพียงหมอกเล็กน้อย ฉันเห็นไดอะแกรมที่มีเครื่องหมายคำถามในเลเยอร์ที่ซ่อนอยู่ฟังก์ชันบูลีนเช่น AND / OR / XOR ฟังก์ชั่นการเปิดใช้งานและโหนดอินพุตที่แมปไปยังหน่วยที่ซ่อนอยู่ทั้งหมดและโหนดอินพุตที่แมปหน่วยที่ซ่อนอยู่เพียงไม่กี่ตัวเท่านั้น ฉันมีคำถามสองสามข้อเกี่ยวกับการใช้งานจริง แน่นอนคำอธิบายง่ายๆเกี่ยวกับกระบวนการโครงข่ายประสาททั้งหมดเหมือนกับที่คุณจะอธิบายให้เด็กฟังจะน่ากลัว การคำนวณอะไรที่ทำในเลเยอร์ที่ซ่อนอยู่? การคำนวณเหล่านั้นถูกแม็พกับเลเยอร์เอาต์พุตอย่างไร เลเยอร์ ouput ทำงานอย่างไร ยกเลิกการทำให้ข้อมูลเป็นปกติจากเลเยอร์ที่ซ่อนอยู่หรือไม่ ทำไมบางเลเยอร์ในเลเยอร์อินพุตเชื่อมต่อกับเลเยอร์ที่ซ่อนอยู่และบางเลเยอร์ไม่ได้?

187 machine-learning  neural-networks  nonlinear-regression 

ฉันใช้Python Keras packageสำหรับเครือข่ายประสาท นี่คือการเชื่อมโยง มีbatch_sizeเท่ากับจำนวนตัวอย่างทดสอบ? จาก Wikipedia เรามีข้อมูลนี้ : อย่างไรก็ตามในกรณีอื่น ๆ การประเมินผลรวมของการไล่ระดับสีอาจต้องมีการประเมินราคาแพงของการไล่ระดับสีจากฟังก์ชั่นการสรุปทั้งหมด เมื่อชุดฝึกอบรมมีขนาดใหญ่และไม่มีสูตรง่าย ๆ อยู่การประเมินผลรวมของการไล่ระดับสีจะมีราคาแพงมากเนื่องจากการประเมินการไล่ระดับสีนั้นจำเป็นต้องประเมินการไล่ระดับสีของฟังก์ชันสรุปทั้งหมด เพื่อประหยัดค่าใช้จ่ายในการคำนวณทุกการทำซ้ำการไล่ระดับสีแบบสุ่มสุ่มตัวอย่างของฟังก์ชั่นการสรุปในทุกขั้นตอน สิ่งนี้มีประสิทธิภาพมากในกรณีที่เกิดปัญหาการเรียนรู้ของเครื่องขนาดใหญ่ ข้อมูลข้างต้นอธิบายถึงข้อมูลการทดสอบหรือไม่ เหมือนกับbatch_sizeใน keras (จำนวนตัวอย่างต่อการไล่ระดับสี) หรือไม่

174 neural-networks  python  terminology  keras 

ฉันกำลังฝึกโครงข่ายประสาท แต่การสูญเสียการฝึกไม่ลดลง ฉันจะแก้ไขสิ่งนี้ได้อย่างไร ฉันไม่ได้ถามเกี่ยวกับการบรรจุเกินหรือกำหนดมาตรฐาน ฉันขอเกี่ยวกับวิธีการแก้ปัญหาที่ประสิทธิภาพของเครือข่ายของฉันไม่ดีขึ้นในชุดฝึกอบรม คำถามนี้เป็นคำถามทั่วไปที่จงใจเพื่อให้คำถามอื่น ๆ เกี่ยวกับวิธีการฝึกอบรมโครงข่ายประสาทเทียมสามารถปิดเป็นซ้ำกับคำถามนี้ได้ด้วยทัศนคติที่ว่า "ถ้าคุณให้ปลาแก่ผู้ชายคุณให้อาหารเขาหนึ่งวัน แต่ถ้าคุณสอน คุณสามารถให้อาหารเขาตลอดชีวิตที่เหลือของเขา " ดูกระทู้ Meta สำหรับการสนทนา: วิธีที่ดีที่สุดในการตอบคำถาม "เครือข่ายประสาทของฉันใช้งานไม่ได้โปรดแก้ไข" คำถามคืออะไร? หากเครือข่ายประสาทของคุณไม่ได้พูดคุยกันดีดู: ฉันควรทำอย่างไรเมื่อเครือข่ายประสาทของฉันไม่ได้พูดคุยกันดี

147 neural-networks  deep-learning 

สถานะของศิลปะของการไม่เชิงเส้นคือการใช้หน่วยเชิงเส้นแบบแก้ไข (ReLU) แทนฟังก์ชั่น sigmoid ในเครือข่ายประสาทลึก ข้อดีคืออะไร ฉันรู้ว่าการฝึกอบรมเครือข่ายเมื่อใช้ ReLU จะเร็วขึ้นและเป็นแรงบันดาลใจทางชีวภาพมากขึ้นข้อดีอื่น ๆ คืออะไร? (นั่นคือข้อเสียของการใช้ sigmoid)?

141 machine-learning  neural-networks  deep-learning 

ฟังก์ชั่นค่าใช้จ่ายทั่วไปคืออะไรในการประเมินประสิทธิภาพของเครือข่ายประสาทเทียม รายละเอียด (อย่าลังเลที่จะข้ามส่วนที่เหลือของคำถามนี้ความตั้งใจของฉันที่นี่เป็นเพียงเพื่อให้ความกระจ่างเกี่ยวกับสัญกรณ์ที่อาจใช้คำตอบเพื่อช่วยให้ผู้อ่านทั่วไปเข้าใจได้มากขึ้น) ฉันคิดว่ามันจะมีประโยชน์ที่จะมีรายการฟังก์ชั่นค่าใช้จ่ายทั่วไปควบคู่ไปกับวิธีที่ใช้ในการปฏิบัติ ดังนั้นหากผู้อื่นสนใจสิ่งนี้ฉันคิดว่าวิกิชุมชนน่าจะเป็นวิธีที่ดีที่สุดหรือเราสามารถลบมันได้หากไม่อยู่ในหัวข้อ เอกสาร ดังนั้นในการเริ่มต้นฉันต้องการนิยามสัญลักษณ์ที่เราใช้เมื่ออธิบายสิ่งเหล่านี้ดังนั้นคำตอบที่เข้ากันได้ดี สัญกรณ์นี้เป็นจากหนังสือ Neilsen ของ เครือข่าย Feedforward Neural เป็นเซลล์ประสาทหลายชั้นเชื่อมต่อกัน จากนั้นก็จะใส่เข้าไปในอินพุตนั้น "เล็ดลอด" ผ่านเครือข่ายแล้วเครือข่ายประสาทจะส่งคืนเวกเตอร์เอาต์พุต อีกอย่างเป็นทางการโทรฉันเจเปิดใช้งาน (aka เอาท์พุท) ของเจทีเอชเซลล์ประสาทในฉันทีเอชชั้นที่1 Jเป็นเจทีเอชองค์ประกอบในการป้อนข้อมูลเวกเตอร์aijajia^i_jjthjthj^{th}ithithi^{th}a1jaj1a^1_jjthjthj^{th} จากนั้นเราสามารถเชื่อมโยงอินพุตของเลเยอร์ถัดไปกับก่อนหน้านี้ผ่านความสัมพันธ์ต่อไปนี้: aij=σ(∑k(wijk⋅ai−1k)+bij)aji=σ(∑k(wjki⋅aki−1)+bji)a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j) ที่ไหน เป็นฟังก์ชั่นการเปิดใช้งานσσ\sigma มีน้ำหนักจากที่ k ทีเอชเซลล์ประสาทใน ( ฉัน- 1 ) ทีเอชชั้นกับเจทีเอชเซลล์ประสาทในฉันทีเอชชั้นwijkwjkiw^i_{jk}kthkthk^{th}(i−1)th(i−1)th(i-1)^{th}jthjthj^{th}ithithi^{th} อคติของเจทีเอชเซลล์ประสาทในฉันทีเอชชั้นและbijbjib^i_jjthjthj^{th}ithithi^{th} หมายถึงค่าการเปิดใช้งานของเซลล์ประสาท j t hในเลเยอร์ i t haijajia^i_jjthjthj^{th}ithithi^th บางครั้งที่เราเขียนที่จะเป็นตัวแทนΣ …

133 machine-learning  neural-networks 

เมื่อเร็ว ๆ นี้ฉันได้อ่านเกี่ยวกับการเรียนรู้อย่างลึกซึ้งและฉันสับสนเกี่ยวกับข้อกำหนด (หรือพูดเทคโนโลยี) อะไรคือความแตกต่างระหว่าง เครือข่ายประสาทเทียม (CNN), เครื่อง Boltzmann ที่ จำกัด (RBM) และ -เข้ารหัสอัตโนมัติ?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

ฉันไม่ได้เห็นคำถามที่ระบุไว้อย่างชัดเจนในข้อกำหนดเหล่านี้และนี่คือเหตุผลที่ฉันสร้างคำถามใหม่ สิ่งที่ฉันสนใจที่จะรู้ไม่ใช่คำจำกัดความของโครงข่ายประสาทเทียม แต่เข้าใจถึงความแตกต่างที่แท้จริงกับเครือข่ายประสาทลึก สำหรับบริบทเพิ่มเติม: ฉันรู้ว่าเครือข่ายประสาทคืออะไรและทำงานอย่างไร backpropagation ฉันรู้ว่า DNN ต้องมีเลเยอร์ที่ซ่อนอยู่หลายชั้น อย่างไรก็ตาม 10 ปีที่ผ่านมาในระดับผมได้เรียนรู้ว่ามีหลายชั้นหรือชั้นหนึ่ง (ไม่นับเข้าและส่งออกชั้น) ก็เท่ากับในแง่ของการทำงานเครือข่ายประสาทสามารถที่จะเป็นตัวแทน (ดู Cybenko ของทฤษฎีบทประมาณสากล ) และว่ามี เลเยอร์มากขึ้นทำให้การวิเคราะห์ซับซ้อนขึ้นโดยไม่เพิ่มประสิทธิภาพ เห็นได้ชัดว่านั่นไม่ใช่กรณีอีกต่อไป ฉันคิดว่าอาจผิดที่ความแตกต่างในแง่ของขั้นตอนวิธีการฝึกอบรมและคุณสมบัติมากกว่าโครงสร้างและดังนั้นฉันจะขอบคุณจริง ๆ ถ้าคำตอบสามารถขีดเส้นใต้เหตุผลที่ทำให้การย้ายไปยัง DNN เป็นไปได้ (เช่นหลักฐานทางคณิตศาสตร์หรือเล่นแบบสุ่มกับเครือข่าย ?) และสิ่งที่พึงประสงค์ (เช่นความเร็วของการบรรจบกัน)

113 neural-networks  deep-learning 

ขณะนี้ฉันกำลังสอน Udacity Deep Learning ในบทที่ 3 พวกเขาพูดถึงการโน้มน้าวใจ 1x1 การแปลง 1x1 นี้ใช้ในโมดูลการเริ่มต้นของ Google ฉันมีปัญหาในการทำความเข้าใจว่าอะไรคือการโน้มน้าวใจ 1x1 ฉันได้เห็นโพสต์นี้โดย Yann Lecun ด้วย ใครช่วยอธิบายเรื่องนี้ให้ฉันหน่อยได้ไหม

106 neural-networks  deep-learning  convolution  conv-neural-network 

หนังสือและแบบฝึกหัดเกี่ยวกับโครงข่ายประสาทหลายเล่มใช้เวลากับอัลกอริธึม backpropagation เป็นหลักซึ่งเป็นเครื่องมือในการคำนวณการไล่ระดับสี สมมติว่าเรากำลังสร้างแบบจำลองที่มีพารามิเตอร์ / น้ำหนักประมาณ ~ 10K เป็นไปได้ไหมที่จะใช้การเพิ่มประสิทธิภาพโดยใช้อัลกอริธึมการเพิ่มประสิทธิภาพไล่ระดับสีฟรี? ฉันคิดว่าการคำนวณการไล่ระดับตัวเลขจะช้าเกินไป แต่วิธีการอื่น ๆ เช่น Nelder-Mead, Simulated Annealing หรือ Algorithm ทางพันธุกรรม? อัลกอริธึมทั้งหมดจะได้รับผลกระทบจากมินิมาท้องถิ่นทำไมจึงต้องหมกมุ่นกับการไล่ระดับสี

94 machine-learning  neural-networks  optimization  backpropagation 

ในบริบทของโครงข่ายประสาทเทียมอะไรคือความแตกต่างระหว่างอัตราการเรียนรู้และการลดน้ำหนัก?

94 neural-networks  terminology 

มีเอกสารอ้างอิงใดบ้างที่ให้รายการฟังก์ชั่นการเปิดใช้งานที่ครอบคลุมในโครงข่ายประสาทเทียมพร้อมกับข้อดี / ข้อเสียของพวกเขา

94 neural-networks  references 

ในหลายห้องสมุดเครือข่ายประสาทมี 'ชั้นฝัง' เหมือนในKerasหรือลาซัน ฉันไม่แน่ใจว่าฉันเข้าใจฟังก์ชั่นของมันแม้จะอ่านเอกสาร ตัวอย่างเช่นในเอกสาร Keras มันบอกว่า: เปลี่ยนจำนวนเต็มบวก (ดัชนี) เป็นเวกเตอร์ที่มีขนาดคงที่เช่น [[4], [20]] -> [[0.25, 0.1], [0.6, -0.2]] คนที่มีความสามารถสามารถอธิบายสิ่งที่มันทำและเมื่อคุณจะใช้มันได้หรือไม่ แก้ไข: เกี่ยวกับการวางในเอกสารมีไม่มากวางจากเอกสารดังนั้นคำถามของฉัน ฉันไม่เข้าใจการเปลี่ยนแปลงที่เกิดขึ้นหรือทำไมจึงควรใช้ อย่างไรก็ตามนี่คือวิธีอธิบายใน Keras: การฝัง keras.layers.embeddings.Embedding (input_dim, output_dim, init = 'uniform', input_length = None, น้ำหนัก = None, W_regularizer = None, W_constraint = None, mask_zero = False) เปลี่ยนจำนวนเต็มบวก (ดัชนี) , เช่น. [[4], …

92 machine-learning  neural-networks  python  word-embeddings 

ฉันยังใหม่กับการเรียนรู้ของเครื่องและฉันพยายามหาวิธีใช้เครือข่ายประสาทเทียมกับการพยากรณ์อนุกรมเวลา ฉันพบทรัพยากรที่เกี่ยวข้องกับข้อความค้นหาของฉัน แต่ดูเหมือนว่าจะหายไปเล็กน้อย ฉันคิดว่าคำอธิบายพื้นฐานที่ไม่มีรายละเอียดมากเกินไปจะช่วยได้ สมมติว่าฉันมีค่าราคาสำหรับแต่ละเดือนในช่วงสองสามปีที่ผ่านมาและฉันต้องการทำนายราคาใหม่ ฉันสามารถรับรายการราคาในช่วงสองสามเดือนที่ผ่านมาและลองหาแนวโน้มที่คล้ายกันในอดีตโดยใช้ K-ใกล้เคียงที่สุด - เพื่อนบ้าน ฉันสามารถใช้อัตราการเปลี่ยนแปลงหรือคุณสมบัติอื่น ๆ ของแนวโน้มในอดีตเพื่อลองและคาดการณ์ราคาใหม่ ฉันจะใช้เครือข่ายประสาทเทียมกับปัญหาเดียวกันนี้ได้อย่างไรคือสิ่งที่ฉันพยายามค้นหา

83 time-series  forecasting  neural-networks