คำถามติดแท็ก neural-networks

ฟังก์ชั่นเปิดใช้งาน tanh คือ: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 ที่ไหน , ฟังก์ชั่น sigmoid ที่ถูกกำหนดให้เป็น:x}σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} คำถาม: มันมีความสำคัญระหว่างการใช้ฟังก์ชั่นการเปิดใช้งานทั้งสอง (tanh vs. sigma) หรือไม่? ฟังก์ชั่นไหนดีกว่ากัน

82 machine-learning  neural-networks  optimization  cost-maximization 

ในช่วงไม่กี่ปีที่ผ่านมาเครือข่ายประสาทเทียม (หรือเครือข่ายประสาทลึกทั่วไป) ได้กลายเป็นเครือข่ายที่ล้ำลึกและล้ำลึกโดยเครือข่ายที่ล้ำสมัยเริ่มจาก 7 ชั้น ( AlexNet ) ถึง 1,000 ชั้น ( มุ้งที่เหลือ)ในพื้นที่ 4 ปี. เหตุผลที่อยู่เบื้องหลังการเพิ่มประสิทธิภาพจากเครือข่ายที่ลึกกว่าคือสามารถเรียนรู้การทำงานที่ไม่ใช่เชิงเส้นที่ซับซ้อนมากขึ้น เมื่อได้รับข้อมูลการฝึกอบรมที่เพียงพอสิ่งนี้จะช่วยให้เครือข่ายสามารถแยกแยะความแตกต่างระหว่างคลาสต่างๆ อย่างไรก็ตามแนวโน้มดูเหมือนจะไม่ได้ตามด้วยจำนวนพารามิเตอร์ในแต่ละชั้น ตัวอย่างเช่นจำนวนของคุณลักษณะแผนที่ในเลเยอร์ convolutional หรือจำนวนโหนดในเลเยอร์ที่เชื่อมต่ออย่างเต็มที่ยังคงอยู่ในระดับเดียวกันและยังคงมีขนาดค่อนข้างเล็กแม้จะมีจำนวนเลเยอร์เพิ่มขึ้นอย่างมาก จากสัญชาตญาณของฉันดูเหมือนว่าการเพิ่มจำนวนพารามิเตอร์ต่อชั้นจะทำให้แหล่งข้อมูลที่สมบูรณ์ยิ่งขึ้นสำหรับการเรียนรู้ฟังก์ชั่นที่ไม่ใช่เชิงเส้น แต่ความคิดนี้ดูเหมือนจะถูกมองข้ามโดยเพิ่มเพียงเลเยอร์เพิ่มขึ้นแต่ละอันมีพารามิเตอร์จำนวนน้อย ดังนั้นในขณะที่เครือข่ายได้กลายเป็น "ลึก" พวกเขาไม่ได้กลายเป็น "กว้าง" ทำไมนี้

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

ยุคในโคตรลาดไล่ระดับถูกกำหนดเป็นผ่านเดียวผ่านข้อมูล สำหรับมินิบัสของ SGD แต่ละอันจะมีการสุ่มตัวอย่างkkkการคำนวณการไล่ระดับสีและพารามิเตอร์จะได้รับการอัพเดต ในการตั้งค่ายุคตัวอย่างจะถูกวาดโดยไม่ต้องเปลี่ยน แต่ดูเหมือนว่าไม่จำเป็น ทำไมไม่ดึงมินิบัสของ SGD แต่ละอันมาเป็นสุ่มจากข้อมูลทั้งหมดในแต่ละรอบ จากยุคจำนวนมากความเบี่ยงเบนเล็ก ๆ ที่กลุ่มตัวอย่างเห็นมากหรือน้อยมักจะดูเหมือนไม่สำคัญkkk

69 neural-networks  deep-learning  gradient-descent 

ฉันเพิ่งได้ยินมาว่าเป็นความคิดที่ดีที่จะเลือกน้ำหนักเริ่มต้นของโครงข่ายประสาทจากช่วงโดยที่คือ จำนวนอินพุตไปยังเซลล์ประสาทที่กำหนด สันนิษฐานว่าเซตเหล่านั้นได้รับการทำให้เป็นมาตรฐาน - หมายถึง 0, ความแปรปรวน 1 (ไม่ทราบว่ามีความสำคัญหรือไม่)d( - 1d√, 1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})ddd ทำไมนี่เป็นความคิดที่ดี?

68 neural-networks  normalization 

เครือข่ายประสาทที่เกิดขึ้นอีกนั้นแตกต่างจากคน "ปกติ" โดยข้อเท็จจริงที่ว่าพวกเขามี "หน่วยความจำ" เลเยอร์ เนื่องจากเลเยอร์นี้เอ็นเอ็นที่กำเริบจึงควรจะมีประโยชน์ในการสร้างแบบจำลองอนุกรมเวลา อย่างไรก็ตามฉันไม่แน่ใจว่าฉันเข้าใจวิธีการใช้อย่างถูกต้อง สมมติว่าฉันมีอนุกรมเวลาต่อไปนี้ (จากซ้ายไปขวา): [0, 1, 2, 3, 4, 5, 6, 7]เป้าหมายของฉันคือการทำนายiจุดที่ -th โดยใช้จุดi-1และi-2เป็นอินพุต (สำหรับแต่ละรายการi>2) ใน "ปกติ" ANN ที่ไม่เกิดซ้ำฉันจะดำเนินการกับข้อมูลดังต่อไปนี้: target| input 2| 1 0 3| 2 1 4| 3 2 5| 4 3 6| 5 4 7| 6 5 ฉันจะสร้างเน็ตที่มีสองอินพุตและหนึ่งเอาต์พุตโหนดและฝึกกับข้อมูลข้างต้น เราจำเป็นต้องเปลี่ยนแปลงกระบวนการนี้อย่างไร (ถ้ามี) ในกรณีของเครือข่ายที่เกิดซ้ำ

67 time-series  machine-learning  neural-networks 

มีแนวทางทั่วไปหรือไม่ว่าจะวางเลเยอร์ dropout ในเครือข่ายประสาท

65 neural-networks  dropout 

ฉันกำลังฝึกโครงข่ายประสาทเทียมเพื่อจัดกลุ่มวัตถุเป็นคลาส n แต่ละวัตถุสามารถเป็นของหลายคลาสในเวลาเดียวกัน (หลายคลาสหลายป้าย) ฉันอ่านว่าสำหรับปัญหาหลายคลาสแนะนำโดยทั่วไปให้ใช้ softmax และหมวดหมู่ข้ามเอนโทรปีเป็นฟังก์ชั่นการสูญเสียแทน mse และฉันเข้าใจมากขึ้นหรือน้อยลงว่าทำไม สำหรับปัญหาของฉันเกี่ยวกับมัลติ - เลเบลมันไม่สมเหตุสมผลที่จะใช้ซอฟต์แม็กซ์แน่นอนเพราะความน่าจะเป็นในแต่ละชั้นควรเป็นอิสระจากที่อื่น ดังนั้นชั้นสุดท้ายของฉันคือหน่วย sigmoid ที่สควอชใส่ลงในช่วงความน่าจะเป็น 0..1 สำหรับทุกชั้น ตอนนี้ฉันไม่แน่ใจว่าฟังก์ชั่นการสูญเสียที่ฉันควรใช้สำหรับสิ่งนี้ เมื่อพิจารณาถึงคำจำกัดความของ crossentropy ที่เป็นหมวดหมู่ฉันเชื่อว่ามันจะใช้ไม่ได้กับปัญหานี้เพราะมันจะคำนึงถึงผลลัพธ์ของเซลล์ประสาทที่ควรจะเป็น 1 เท่านั้นและไม่สนใจสิ่งอื่น เอนโทรปีของ Binary cross ดูเหมือนว่าจะเหมาะกว่า แต่ฉันเห็นเพียงว่ามันเคยถูกกล่าวถึงสำหรับปัญหาการจำแนกเลขฐานสองด้วยเซลล์ประสาทเอาท์พุทเดี่ยว ฉันใช้ python และ keras เพื่อฝึกฝนในกรณีที่มันสำคัญ

64 neural-networks  python  loss-functions  keras  cross-entropy 

เด็กมนุษย์ที่อายุ 2 ขวบต้องการรถยนต์ประมาณ 5 คันเพื่อให้สามารถระบุได้ด้วยความถูกต้องตามสมควรโดยไม่คำนึงถึงสี, สร้าง, ฯลฯ เมื่อลูกชายของฉันอายุ 2 เขาก็สามารถระบุรถรางและรถไฟได้แม้ว่าเขาจะเคยเห็นก็ตาม แค่เล็กน้อย. เนื่องจากเขามักจะสับสนระหว่างกันดูเหมือนว่าเครือข่ายประสาทของเขาไม่ได้รับการฝึกฝนเพียงพอ แต่ก็ยัง อะไรคือสิ่งที่เครือข่ายประสาทเทียมหายไปซึ่งทำให้พวกเขาไม่สามารถเรียนรู้ได้เร็วขึ้น? การถ่ายโอนการเรียนรู้คำตอบคืออะไร?

64 neural-networks  neuroscience 

ฉันได้รับความประทับใจว่าเมื่อผู้คนพูดถึงเครือข่าย 'ความเชื่อลึก' ว่านี่เป็นเครือข่ายประสาท แต่มีขนาดใหญ่มาก สิ่งนี้ถูกต้องหรือเครือข่ายที่มีความเชื่ออย่างลึกซึ้งหรือไม่ก็บอกเป็นนัยว่าอัลกอริธึมเองนั้นแตกต่างกัน (เช่นไม่มีตัวส่งต่อโครงข่ายประสาท

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

ฉันเห็นว่าอัลกอริทึมการเรียนรู้ของเครื่องจำนวนมากทำงานได้ดีขึ้นด้วยการยกเลิกค่าเฉลี่ยและการทำให้เท่ากันความแปรปรวนร่วม ตัวอย่างเช่นโครงข่ายประสาทมีแนวโน้มที่จะมาบรรจบกันเร็วขึ้นและโดยทั่วไป K-Means จะให้การจัดกลุ่มที่ดีขึ้นด้วยคุณสมบัติที่ประมวลผลล่วงหน้า ฉันไม่เห็นปรีชาที่อยู่เบื้องหลังขั้นตอนการประมวลผลล่วงหน้าเหล่านี้นำไปสู่การปรับปรุงประสิทธิภาพ มีคนอธิบายเรื่องนี้กับฉันได้ไหม

61 machine-learning  neural-networks  covariance  normalization 

อะไรคือความแตกต่างระหว่างเครือข่ายการส่งต่อและการเกิดซ้ำของเส้นประสาท? ทำไมคุณถึงใช้อันอื่น? ทอพอโลยีเครือข่ายอื่นมีอยู่จริงหรือไม่?

58 machine-learning  neural-networks  terminology  rnn  topologies 

ฉันพบคำถามสองข้อที่นี่และที่นี่เกี่ยวกับปัญหานี้ แต่ยังไม่มีคำตอบหรือคำอธิบายที่ชัดเจนฉันบังคับใช้ปัญหาเดียวกันที่ข้อผิดพลาดในการตรวจสอบความถูกต้องน้อยกว่าข้อผิดพลาดการฝึกอบรมในเครือข่าย Convolution Neural นั่นหมายความว่าอย่างไร?

57 machine-learning  mathematical-statistics  neural-networks  cross-validation 

ทั้ง PCA และ autoencoder สามารถลดการลดความแปรปรวนได้ดังนั้นอะไรคือความแตกต่างระหว่างพวกเขา ฉันควรใช้อีกตัวหนึ่งในสถานการณ์ใด

56 machine-learning  pca  neural-networks  autoencoders 

ฉันสงสัยว่ามีห้องสมุด R ที่ดีอยู่ที่นั่นสำหรับการเรียนรู้โครงข่ายประสาทเทียมหรือไม่? ฉันรู้ว่ามีของnnet, neuralnetและRSNNSแต่ไม่มีของเหล่านี้ดูเหมือนจะใช้วิธีการเรียนรู้ลึก ฉันสนใจโดยเฉพาะอย่างยิ่งในการหากินตามด้วยการเรียนรู้ภายใต้การดูแลและใช้การออกกลางคันเพื่อป้องกันไม่ให้ร่วมการปรับตัว / แก้ไข: หลังจากไม่กี่ปีที่ผ่านมาฉันได้พบแพ็คเกจการเรียนรู้ระดับลึก h20 ที่ออกแบบมาอย่างดีและติดตั้งง่าย ฉันชอบแพ็คเกจ mxnetซึ่งยากต่อการติดตั้ง แต่สนับสนุนสิ่งต่าง ๆ เช่น covnets ทำงานบน GPU และเร็วมาก

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

ใครสามารถอธิบายได้ว่าอะไรคือเลเยอร์รวมกำไรสูงสุดทั่วโลกและทำไมและเมื่อไหร่ที่เราจะใช้มันเพื่อฝึกอบรมโครงข่ายประสาทเทียม พวกเขามีข้อได้เปรียบเหนือชั้นรวมกำไรสูงสุดธรรมดาหรือไม่?

55 neural-networks  conv-neural-network  pooling