คำถามติดแท็ก neural-networks

ฉันกำลังทำงานในโครงการขนาดเล็กที่เราพยายามคาดการณ์ราคาสินค้า (น้ำมันอลูมิเนียมดีบุก ฯลฯ ) ในอีก 6 เดือนข้างหน้า ฉันมีตัวแปรดังกล่าว 12 ตัวที่จะทำนายและฉันมีข้อมูลตั้งแต่ เม.ย. 2551 - พ.ค. 2556 ฉันจะทำนายอย่างไรดี? ฉันทำสิ่งต่อไปนี้แล้ว: นำเข้าข้อมูลเป็นชุดข้อมูล Timeseries ฤดูกาลทั้งหมดของตัวแปรมีแนวโน้มที่จะแปรผันตามเทรนด์ดังนั้นฉันจะเป็นแบบจำลองแบบคูณ ฉันนำ log ของตัวแปรมาแปลงเป็นสารเติมแต่ง สำหรับแต่ละตัวแปรที่ย่อยสลายข้อมูลโดยใช้ STL ฉันวางแผนที่จะใช้การทำให้เรียบแบบเลขชี้กำลังของโฮลท์วินเทอร์ ARIMA และโครงข่ายใยประสาทเทียมในการคาดการณ์ ฉันแบ่งข้อมูลเป็นการฝึกอบรมและทดสอบ (80, 20) วางแผนที่จะเลือกรุ่นที่มีแม่, MPE, MAPE และ MASE น้อยลง ฉันทำถูกไหม? อีกคำถามหนึ่งที่ฉันเคยมีก่อนที่จะส่งต่อไปยัง ARIMA หรือโครงข่ายประสาทฉันควรทำให้ข้อมูลราบรื่นหรือไม่? ถ้าใช่ใช้อะไร? ข้อมูลแสดงทั้งฤดูกาลและแนวโน้ม แก้ไข: การแนบพล็อตชุดข้อมูลและข้อมูล Year <- c(2008, 2008, 2008, …

13 r  time-series  forecasting  neural-networks  arima 

เครือข่ายPulsed หรือ Spikingรวมการเปลี่ยนแปลงของเมมเบรนของเซลล์ประสาทชีวภาพมากขึ้นซึ่งพัลส์จะนำข้อมูลไปยังชั้นถัดไป เซลล์ประสาทไม่จำเป็นต้อง "ยิง" ทั้งหมดในเวลาเดียวกันเช่นเดียวกับที่ทำใน backprop ทว่าดูเหมือนว่าจะมีอุปสรรคในการใช้โมเดลเหล่านี้สำหรับปัญหาการเรียนรู้ของเครื่อง มีปัญหาอะไรบ้างในแนวทางของผู้เรียนรู้ด้วยเครื่องจักรโดยใช้แบบจำลองที่มีความสมจริงทางชีวภาพมากกว่า

13 neural-networks 

อัตราส่วนของจำนวนการสังเกตและจำนวนของตัวแปรควรเป็นอย่างไร วิธีการตรวจจับการ overfitting ในรูปแบบโครงข่ายประสาทเทียมและวิธีการหลีกเลี่ยงการ overfitting คืออะไร? หากฉันต้องการจำแนกประเภทด้วย Neural Network คลาสควรมีความถี่เท่ากันหรือไม่? กรุณาช่วยฉันออกไป.

13 neural-networks 

ฉันมีความรู้พื้นฐานเกี่ยวกับการทำงานของ RNNs (และโดยเฉพาะอย่างยิ่งกับหน่วย LSTMs) ฉันมีภาพความคิดเกี่ยวกับสถาปัตยกรรมของหน่วย LSTM นั่นคือเซลล์และประตูสองสามบานซึ่งควบคุมการไหลของค่า อย่างไรก็ตามเห็นได้ชัดว่าฉันไม่ได้เข้าใจอย่างสมบูรณ์ว่า LSTM แก้ปัญหา "การหายตัวไปและการกระจายตัวของการไล่ระดับสี" ซึ่งเกิดขึ้นในขณะที่การฝึกอบรมโดยใช้การเผยแพร่กลับไปตามกาลเวลา RNN ทั่วไป ฉันไม่ได้มีโอกาสอ่านเอกสารเพื่อเข้าใจคณิตศาสตร์อย่างเต็มที่ คำตอบนี้ให้คำอธิบายโดยย่อเกี่ยวกับวิธีที่ RNNs กับหน่วย LSTM แก้ปัญหา "การไล่ระดับสีหายไป" ในทางคณิตศาสตร์เหตุผลที่ดูเหมือนจะไม่มีอยู่ของอนุพันธ์ที่ไม่หายไปคือไม่มีแนวโน้มที่จะเป็นศูนย์ ดังนั้นผู้เขียนกล่าวว่า "มีอย่างน้อยหนึ่งเส้นทางที่การไล่ระดับสีไม่หายไป" IMHO คำอธิบายนี้ค่อนข้างคลุมเครือ ในขณะเดียวกันฉันกำลังอ่านกระดาษลำดับการเรียนรู้ต่อเนื่องกับโครงข่ายประสาท (โดย Ilya Sutskever, Oriol Vinyals, Quoc V. Le) และในบทความนั้นส่วน "3.4 รายละเอียดการฝึกอบรม" มีการระบุไว้ แม้ว่า LSTMs มักจะไม่ประสบปัญหาการไล่ระดับสีที่หายไปพวกเขาสามารถระเบิดการไล่ระดับสี ฉันคิดเสมอว่า RNNs กับหน่วย LSTM แก้ปัญหา "หายไป" และ "ระเบิดการไล่ระดับสี" …

13 neural-networks  lstm  rnn  backpropagation 

ฉันจะผ่านหลักสูตร Deepai ของ Cousera (วิดีโอสัปดาห์ที่ 3 1 "ภาพรวมโครงข่ายใยประสาท") และ Andrew Ng อธิบายว่าแต่ละเลเยอร์ในเครือข่ายประสาทเป็นเพียงการถดถอยโลจิสติกอื่น แต่เขาไม่ได้อธิบายว่ามันแม่นยำมากขึ้นอย่างไร ดังนั้นในเครือข่ายเลเยอร์ 2 การคำนวณโลจิสติกหลายครั้งทำให้แม่นยำยิ่งขึ้นได้อย่างไร

13 logistic  neural-networks 

ฉันเพิ่งครอบคลุมโครงข่ายประสาทเทียมในหลักสูตรการเรียนรู้ของเครื่อง Coursera และฉันต้องการทราบทฤษฎีเพิ่มเติมเบื้องหลังพวกเขา ฉันพบว่าแรงจูงใจที่พวกเขาเลียนแบบชีววิทยาค่อนข้างน่าพอใจ บนพื้นผิวปรากฏว่าในแต่ละระดับเราแทนที่ covariates ด้วยการรวมกันเชิงเส้นของพวกเขา ด้วยการทำซ้ำ ๆ เราอนุญาตให้มีการปรับโมเดลที่ไม่ใช่เชิงเส้น สิ่งนี้ทำให้เกิดคำถาม: ทำไมบางครั้งเครือข่ายประสาทจึงต้องการที่จะปรับโมเดลที่ไม่ใช่เชิงเส้น โดยทั่วไปแล้วฉันอยากจะรู้ว่าโครงข่ายประสาทเทียมนั้นอยู่ในกรอบของการอนุมานแบบเบย์ซึ่งอธิบายไว้ในรายละเอียดในหนังสือของ ET Jaynes "ทฤษฎีความน่าจะเป็น: ตรรกะของวิทยาศาสตร์" หรือพูดง่ายๆทำไมเครือข่ายประสาทเทียมทำงานเมื่อทำงาน และแน่นอนความจริงที่ว่าพวกเขาทำนายผลสำเร็จนั้นแสดงว่าพวกเขาทำตามกรอบดังกล่าวข้างต้น

13 machine-learning  neural-networks  theory 

ผมติดตามคำถามที่ผมถามก่อนหน้านี้เมื่อRBMs ฉันเห็นวรรณกรรมจำนวนมากที่อธิบายถึงพวกเขา แต่ไม่มีใครพูดถึงการถดถอยได้ (ไม่ใช่การจำแนกด้วยข้อมูลที่มีป้ายกำกับ) ฉันรู้สึกว่ามันใช้สำหรับข้อมูลที่ไม่มีป้ายกำกับเท่านั้น มีทรัพยากรใดบ้างสำหรับจัดการกับการถดถอย หรือมันง่ายเหมือนการเพิ่มเลเยอร์อื่นที่ด้านบนของเลเยอร์ที่ซ่อนอยู่และรันอัลกอริทึมซีดีขึ้นและลง? ขอบคุณมากล่วงหน้า

13 regression  machine-learning  classification  neural-networks 

ตัวอย่างเช่นหนึ่งต้องการที่จะทำนายราคาบ้านและมีสองคุณสมบัติการป้อนข้อมูลความยาวและความกว้างของบ้าน บางครั้งหนึ่งยังมีคุณสมบัติอินพุตพหุนามที่ได้มาของเช่นพื้นที่ซึ่งเป็นความกว้าง * ความยาว 1) อะไรคือจุดรวมของฟีเจอร์ที่ได้รับ? เครือข่ายประสาทไม่ควรเรียนรู้การเชื่อมต่อระหว่างความยาวความกว้างและราคาระหว่างการฝึกอบรมหรือไม่? เหตุใดคุณสมบัติที่สามพื้นที่ซ้ำซ้อนไม่ได้ นอกจากนี้บางครั้งฉันก็เห็นว่าผู้คนเรียกใช้อัลกอริทึมการคัดเลือกทางพันธุกรรมในคุณสมบัติการป้อนข้อมูลเพื่อลดจำนวนของพวกเขา 2) อะไรคือจุดลดคุณสมบัติการป้อนข้อมูลหากทุกอย่างมีข้อมูลที่มีประโยชน์ เครือข่ายประสาทควรกำหนดน้ำหนักที่เหมาะสมให้กับแต่ละคุณสมบัติอินพุตตามความสำคัญหรือไม่ จุดประสงค์ของการใช้ขั้นตอนวิธีคัดเลือกพันธุกรรมคืออะไร

13 machine-learning  neural-networks 

คำถามนี้มีคำตอบอยู่ที่นี่แล้ว : อัลกอริทึม Backpropagation (2 คำตอบ) ปิดให้บริการใน4 เดือนที่ผ่านมา อัลกอริทึมการเผยแพร่กลับคืออะไรและทำงานอย่างไร

13 algorithms  optimization  neural-networks 

นี่คือตัวอย่างรหัส keras ที่ใช้: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

13 neural-networks  regularization  conv-neural-network  optimization 

ฉันได้ศึกษาสถาปัตยกรรมของเครือข่ายประสาทเทียมที่แนะนำโดย Yann LeCun และเพื่อนร่วมงานของเขาในปี 1994 เพื่อรับรู้ลายเซ็น ( “ การตรวจสอบลายเซ็นโดยใช้เครือข่ายประสาทเทียมหน่วงเวลาสยาม” .pdf , NIPS 1994) ฉันเข้าใจแนวคิดทั่วไปของสถาปัตยกรรมนี้ แต่ฉันไม่เข้าใจจริงๆว่าการ backpropagation ทำงานอย่างไรในกรณีนี้ ฉันไม่เข้าใจว่าค่าเป้าหมายของเครือข่ายประสาทคืออะไรซึ่งจะทำให้ backpropagation ตั้งค่าน้ำหนักของแต่ละเซลล์ประสาทอย่างเหมาะสม ในสถาปัตยกรรมนี้อัลกอริธึมคำนวณความคล้ายคลึงโคไซน์ระหว่างการแสดงขั้นสุดท้ายของเครือข่ายนิวรัลสองแห่งกระดาษระบุ: "ผลลัพธ์ที่ต้องการสำหรับมุมเล็ก ๆ ระหว่างเอาท์พุทของเครือข่ายย่อยทั้งสอง (f1 และ f2) และมุมกว้างถ้าหนึ่งในลายเซ็นนั้นเป็นของปลอม " ฉันไม่เข้าใจจริง ๆ ว่าพวกเขาสามารถใช้ฟังก์ชันเลขฐานสองได้อย่างไร (ความคล้ายคลึงโคไซน์ระหว่างเวกเตอร์สองตัว) เป็นเป้าหมายในการเรียกใช้การขยายภาพย้อนหลัง การคำนวณ backpropagation ในเครือข่ายประสาทเทียมของสยามเป็นอย่างไร?

13 neural-networks 

เมื่อผู้คนพูดถึงเครือข่ายประสาทเทียมพวกเขาหมายความว่าอย่างไรเมื่อพวกเขาพูดว่า "ขนาดเคอร์เนล"? เมล็ดเป็นฟังก์ชันที่คล้ายคลึงกัน แต่สิ่งที่พูดเกี่ยวกับขนาดเคอร์เนล?

13 machine-learning  neural-networks 

ปัญหาการป้อนข้อมูลตามลำดับใดที่เหมาะสมที่สุดสำหรับแต่ละปัญหา มิติข้อมูลเข้ากำหนดว่าการจับคู่แบบใดดีกว่า ปัญหาที่ต้องใช้ "หน่วยความจำที่ยาวนานกว่า" เหมาะกว่าสำหรับ LSTM RNN หรือไม่ขณะที่ปัญหาเกี่ยวกับรูปแบบอินพุตที่เป็นวงจร (ตลาดหุ้น, สภาพอากาศ) จะแก้ไขได้ง่ายขึ้นโดย HMM ดูเหมือนว่ามีการทับซ้อนกันมากมาย ฉันอยากรู้ว่าความแตกต่างที่ลึกซึ้งนั้นมีอยู่ระหว่างสองสิ่งนี้อย่างไร

13 time-series  neural-networks  hidden-markov-model  rnn 

เป็นไปได้ไหมที่จะมีน้ำหนักติดลบ (หลังจากยุคที่เพียงพอ) สำหรับเครือข่ายประสาทเทียมที่ลึกล้ำเมื่อเราใช้ ReLU สำหรับเลเยอร์การเปิดใช้งานทั้งหมด?

13 machine-learning  neural-networks  deep-learning  conv-neural-network 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามดังนั้นจึงเป็นหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน10 เดือนที่ผ่านมา ฉันรู้ว่ามีห้องสมุดจำนวนมากสำหรับการเรียนรู้ของเครื่องและการเรียนรู้อย่างลึกซึ้งเช่น caffe, Theano, TensorFlow, keras, ... แต่สำหรับฉันดูเหมือนว่าฉันต้องรู้จักสถาปัตยกรรมของโครงข่ายประสาทที่ฉันต้องการใช้ มีเครื่องมือ (ภาพ) ที่อนุญาตให้ทำการทดลองกับการออกแบบเครือข่ายที่แตกต่างกันและนำไปใช้กับข้อมูลของตัวเองหรือไม่? ฉันกำลังคิดเกี่ยวกับบางสิ่งเช่นสนามเด็กเล่น TensorFlowแต่มีข้อมูล n-มิติและเลเยอร์ชนิดต่าง ๆ ขอบคุณล่วงหน้า!

13 neural-networks  deep-learning  conv-neural-network