คำถามติดแท็ก neural-networks

ปัญหาคือ: สืบทอดการไล่ระดับสีสำหรับเลเยอร์อินพุตสำหรับเน็ตเวิร์กโครงข่ายประสาทชั้นเดียวที่ซ่อนอยู่โดยใช้ sigmoid สำหรับอินพุต -> ซ่อน, ซอฟต์แม็กซ์สำหรับซ่อน -> เอาต์พุต, ด้วยการสูญเสียเอนโทรปี ฉันสามารถผ่านมาส่วนใหญ่โดยใช้กฎลูกโซ่ แต่ฉันไม่แน่ใจเกี่ยวกับวิธี "โซ่" พวกเขาจริง ๆ กัน กำหนดสัญลักษณ์บางอย่าง r=xW1+b1r=xW1+b1 r = xW_1+b_1 h=σ(r)h=σ(r) h = \sigma\left( r \right) , σσ\sigmaเป็นฟังก์ชัน sigmoid θ=hW2+b2θ=hW2+b2 \theta = hW_2+b_2 , y^=S(θ)y^=S(θ) \hat{y} = S \left( \theta \right) , SSSคือฟังก์ชัน softmax J(y^)=∑iylogy^iJ(y^)=∑iylog⁡y^i J\left(\hat{y}\right) = \sum_i y …

9 neural-networks  gradient 

ตาม"Efficient Backprop" โดย LeCun et al (1998)เป็นวิธีปฏิบัติที่ดีในการทำให้มาตรฐานอินพุตทั้งหมดเป็นปกติดังนั้นพวกเขาจะอยู่กึ่งกลางรอบ 0 และอยู่ในช่วงของอนุพันธ์อันดับสองสูงสุด ตัวอย่างเช่นเราจะใช้ [-0.5,0.5] สำหรับฟังก์ชั่น "Tanh" นี่คือการช่วยให้ความคืบหน้าในการเผยแผ่กลับไปในขณะที่รัฐ Hessian มีเสถียรภาพมากขึ้น อย่างไรก็ตามฉันไม่แน่ใจว่าจะทำอย่างไรกับเซลล์ประสาท Rectifier ซึ่งมีค่าสูงสุด (0, x) (เช่นเดียวกันกับฟังก์ชั่นลอจิสติกตั้งแต่นั้นเราก็ต้องการ [0.1,0.9] แต่ไม่ได้อยู่ตรงกลางประมาณ 0)

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

เครือข่ายAutoencoderดูเหมือนจะมีความซับซ้อนกว่าเครือข่าย MLP ลักษณนามทั่วไป หลังจากความพยายามหลายครั้งในการใช้Lasagneทุกสิ่งที่ฉันได้รับในผลลัพธ์ที่สร้างขึ้นใหม่นั้นเป็นสิ่งที่คล้ายกับค่าเฉลี่ยที่เบลอที่สุดของภาพทั้งหมดของฐานข้อมูลMNISTโดยไม่แยกแยะว่าตัวเลขที่ป้อนเข้านั้นคืออะไร โครงสร้างเครือข่ายที่ฉันเลือกคือเลเยอร์น้ำตกต่อไปนี้: ชั้นอินพุต (28x28) 2D convolutional layer ขนาดตัวกรอง 7x7 Max Pooling layer, ขนาด 3x3, stride 2x2 ชั้นแบนราบหนาแน่น (เชื่อมต่ออย่างเต็มที่) 10 ยูนิต (นี่คือคอขวด) ชั้นหนาแน่น (เชื่อมต่ออย่างเต็มที่) 121 หน่วย ปรับขนาดเลเยอร์เป็น 11x11 2D convolutional layer ขนาดตัวกรอง 3x3 ตัวคูณยกระดับ 2D 2 2D convolutional layer ขนาดตัวกรอง 3x3 ตัวคูณยกระดับ 2D 2 2D convolutional layer ขนาดตัวกรอง …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

ในซีเอ็นเอ็นเราจะได้เรียนรู้ตัวกรองเพื่อสร้างแผนที่คุณลักษณะในเลเยอร์ convolutional ใน Autoencoder หน่วยที่ซ่อนอยู่ของแต่ละเลเยอร์ถือเป็นตัวกรองได้ ความแตกต่างระหว่างตัวกรองที่เรียนในเครือข่ายทั้งสองนี้คืออะไร

9 machine-learning  neural-networks  conv-neural-network  autoencoders 

ฉันมีอินพุตเบาบางมากเช่นตำแหน่งของคุณสมบัติบางอย่างในภาพอินพุต คุณสมบัติเพิ่มเติมแต่ละอย่างสามารถมีการตรวจจับหลายครั้ง (ไม่แน่ใจว่าสิ่งนี้จะมีผลต่อการออกแบบระบบ) สิ่งนี้ฉันจะนำเสนอเป็น 'ภาพไบนารี' ของช่อง k ด้วยพิกเซล ON ที่แสดงถึงการมีอยู่ของคุณสมบัตินั้นและในทางกลับกัน เราจะเห็นได้ว่าข้อมูลดังกล่าวถูกผูกมัดให้กระจัดกระจายมาก ดังนั้นมีคำแนะนำใด ๆ เมื่อใช้ข้อมูลที่กระจัดกระจายกับอวนประสาทข้อมูลเฉพาะที่เป็นตัวแทนของการตรวจจับ / สถานที่?

9 neural-networks  deep-learning  sparse 

ฉันเริ่มต้นการเดินทางในระดับปริญญาเอกของฉันและเป้าหมายสูงสุดที่ฉันตั้งไว้ก่อนหน้านี้คือการพัฒนา ANNs ที่จะคอยตรวจสอบสภาพแวดล้อมที่พวกเขาทำงานและปรับสถาปัตยกรรมของพวกเขาให้เข้ากับปัญหาในมือ ความหมายที่ชัดเจนคือข้อมูลชั่วคราว: ถ้าชุดข้อมูลไม่ต่อเนื่องและไม่เปลี่ยนแปลงตลอดเวลาทำไมต้องปรับเลย คำถามใหญ่คือด้วยการเรียนรู้ที่เพิ่มขึ้นเมื่อเร็ว ๆ นี้มันยังคงเป็นหัวข้อที่เกี่ยวข้องหรือไม่? FFNNs มีโอกาสที่จะพบว่าตัวเองมีปัญหาในการดริฟท์แนวคิดหรือไม่? ฉันกลัวที่จะโอเวอร์โหลดเธรดที่มีคำถามมากเกินไป แต่คำถามนี้ไม่ได้อยู่นอกหัวข้อทั้งหมด: ฉันทราบถึง RNNs แต่ฉันมีประสบการณ์ จำกัด (ไม่เป็นไรไม่มีเหตุผลหรือเชิงทฤษฎี) กับพวกเขา ฉันเชื่อว่าการปรับสถาปัตยกรรมแบบไดนามิกต้องเป็นหัวข้อที่เกี่ยวข้องในบริบทของ RNN คำถามคือมันได้รับคำตอบแล้วและฉันจะคิดค้นล้อใหม่หรือไม่ PS ข้ามโพสต์ไปยังMetaOptimize

9 machine-learning  neural-networks 

ฉันกำลังฝึกอบรมโครงข่ายประสาทเทียม (backpropagation, feed-forward) พร้อมกับข้อมูลที่ไม่ได้กระจายทั่วไป นอกเหนือจากค่าเฉลี่ยความคลาดเคลื่อนกำลังสองวรรณคดีมักเสนอแนะว่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันสำหรับการประเมินคุณภาพของตาข่ายที่ผ่านการฝึกอบรม แต่สัมประสิทธิ์สหสัมพันธ์ของเพียร์สันนั้นสมเหตุสมผลหรือไม่ถ้าข้อมูลการฝึกอบรมไม่ได้ถูกแจกจ่ายตามปกติ? มันจะไม่สมเหตุสมผลหรือไม่ที่จะใช้การวัดความสัมพันธ์ตามระดับเช่น Spearman rho?

9 correlation  neural-networks  spearman-rho 

ฉันต้องการที่จะทำการวิเคราะห์ความเชื่อมั่นในข้อความได้ผ่านหลายบทความบางคนกำลังใช้"Naive Bayes"และอื่น ๆ คือ"Recurrent Neural Network (LSTM)"ในทางกลับกันฉันได้เห็นห้องสมุดหลามสำหรับการวิเคราะห์ความเชื่อมั่นว่า คือ nltk มันใช้"Naive Bayes"ทุกคนสามารถอธิบายความแตกต่างระหว่างการใช้สองคนนี้ได้อย่างไร ฉันได้ผ่านโพสต์นี้ไปแล้ว แต่ไม่ชัดเจนเกี่ยวกับพวกเขาทั้งคู่ .. ความแตกต่างระหว่างเครือข่าย Bayes, โครงข่ายประสาทเทียม, ต้นไม้ตัดสินใจและมุ้ง Petri

8 machine-learning  neural-networks  python  natural-language