คำถามติดแท็ก neural-networks

เชื่อมต่ออย่างสมบูรณ์ (อย่างน้อยเลเยอร์ถึงเลเยอร์ที่มีมากกว่า 2 เลเยอร์ที่ซ่อนอยู่) เครือข่าย backprop เป็นผู้เรียนที่เป็นสากล น่าเสียดายที่พวกเขามักจะเรียนรู้ช้าและมีแนวโน้มที่จะกระชับหรือมีลักษณะทั่วไปที่น่าอึดอัดใจ จากการหลอกลวงรอบ ๆ ด้วยเครือข่ายเหล่านี้ฉันได้สังเกตว่าการตัดขอบบางส่วน (เพื่อให้น้ำหนักของพวกเขานั้นเป็นศูนย์และเป็นไปไม่ได้ที่จะเปลี่ยนแปลง) มีแนวโน้มที่จะทำให้เครือข่ายเรียนรู้ได้เร็วขึ้น มีเหตุผลสำหรับสิ่งนี้หรือไม่? เป็นเพราะการลดขนาดของพื้นที่ค้นหาตุ้มน้ำหนักหรือมีเหตุผลที่ลึกซึ้งกว่านี้หรือไม่ ยิ่งไปกว่านั้นการวางนัยทั่วไปที่ดีกว่าเป็นสิ่งประดิษฐ์ของปัญหา 'ธรรมชาติ' ที่ฉันกำลังมองหาอยู่?

29 machine-learning  network-topology  neural-networks 

หนึ่งในพารามิเตอร์สำหรับเครือข่าย LSTM คืออุณหภูมิ มันคืออะไร?

25 machine-learning  neural-networks 

อะไรคือความแตกต่างระหว่าง Neural Network ระบบ Deep Learning และ Deep Belief Network ในขณะที่ฉันจำเครือข่ายประสาทขั้นพื้นฐานของคุณเป็นสิ่งที่ค่อนข้างเป็น 3 ชั้นและฉันมีระบบความเชื่อลึกที่อธิบายว่าเป็นเครือข่ายประสาทที่ซ้อนกันอยู่ด้านบนของกันและกัน ฉันไม่เคยได้ยินมาก่อนเกี่ยวกับ Deep Learning Systems แต่ฉันสงสัยอย่างมากว่ามันเป็นคำพ้องสำหรับ Deep Belief System มีใครยืนยันได้ไหม

23 machine-learning  neural-networks  boltzmann-machine 

เป้าหมายของฉันคือการแก้ปัญหาต่อไปนี้ซึ่งฉันได้อธิบายไว้โดยอินพุตและเอาต์พุต: การป้อนข้อมูล: กราฟรอบทิศทางกับโหนดm , แหล่งที่มาnและ1อ่างล้างจาน ( m > n ≥ 1 )GGGม.ม.mnnn111m > n ≥ 1ม.>n≥1m > n \geq 1 เอาท์พุท: VC-มิติ (หรือประมาณของมัน) สำหรับเครือข่ายประสาทกับโครงสร้างGGGG เฉพาะเจาะจงมากขึ้น : แต่ละโหนดในเป็นเซลล์ประสาท sigmoid โทโพโลยีได้รับการแก้ไขแล้ว แต่น้ำหนักบนขอบสามารถเปลี่ยนแปลงได้โดยอัลกอริทึมการเรียนรู้GGG อัลกอริทึมการเรียนรู้ได้รับการแก้ไข (พูดการถ่ายทอดย้อนกลับ) โหนดต้นทางเซลล์ป้อนข้อมูลและสามารถใช้สตริงจาก{ - 1 , 1 } nเป็น inputnnn{ - 1 , 1 }n{-1,1}n\{-1,1\}^n โหนด sink เป็นหน่วยเอาต์พุต มันออกค่าจริงจากที่เรารอบขึ้นไป1หรือลงเพื่อ- 1ถ้ามันเป็นมากกว่าเกณฑ์บางอย่างคงที่δห่างจาก0[ …

19 algorithms  complexity-theory  machine-learning  neural-networks  vc-dimension 

ฉันเพิ่งเรียนรู้เกี่ยวกับการมีอยู่ของหน่วยความจำชั่วคราวเชิงลำดับชั้น (HTM)นี้ ฉันได้อ่านเอกสารลำดับชั้นของหน่วยความจำชั่วคราว: แนวคิดทฤษฎีและคำศัพท์ (โดย Jeff Hawkins และ Dileep George) ซึ่งดูเหมือนจะค่อนข้างง่ายต่อการเข้าใจ แต่ธงแดงหนึ่งคือเอกสารไม่ได้ผ่านการตรวจสอบโดยเพื่อนหรือพยายามอธิบายว่าทำไมจึงควร ทำงานในรายละเอียด ฉันพยายามมองหาแหล่งข้อมูลอิสระบางแห่ง ฉันพบเอกสารสองสามฉบับที่เปรียบเทียบประสิทธิภาพกับเอกสารอื่น แต่ไม่มีใครอธิบายว่าทำไมจึงมีประสิทธิภาพดี (หรือไม่) ฉันสังเกตเห็นความคิดเห็นบางส่วนที่อ้างว่าถูกผู้เชี่ยวชาญด้านดูถูก แต่ฉันไม่สามารถหาคำวิจารณ์ที่แท้จริงได้ การวิจารณ์เกี่ยวกับประสิทธิภาพของ HTM ​​คืออะไร เนื่องจาก HTM มีความหมายว่าเป็นคำทั่วไปคำวิจารณ์เฉพาะโดเมนใด ๆ ควรเกี่ยวข้องกับปัญหาพื้นฐานมากขึ้น นอกจากนี้ยังมีข้อมูลการฝึกอบรมจำนวนมากที่ใช้งานได้เพียงพอสำหรับการฝึกซ้อมหลายเดือน โดยทั่วไปการวิพากษ์วิจารณ์เกี่ยวกับขนาดหรือความยาวของการฝึกอบรมไม่เกี่ยวข้อง

16 neural-networks  hierarchical-temporal-memory 

บทนำ ขั้นตอนแรก ฉันเขียนเครือข่ายนิวรัล backpropegating และเพื่อทดสอบฉันตัดสินใจที่จะทำแผนที่ XOR เป็นเครือข่าย 2-2-1 (พร้อมฟังก์ชั่นเปิดใช้ tanh) X1 M1 O1 X2 M2 B1 B2 เพื่อจุดประสงค์ในการทดสอบฉันตั้งค่าเซลล์ประสาทกลางด้านบน (M1) ด้วยตนเองให้เป็นประตูเกทและเซลล์ประสาทส่วนล่าง (M2) ให้เป็นเกทหรือประตู ตอนนี้ฉันยังตั้งค่าการเชื่อมต่อด้วยตนเอง M1-O1 เป็น -.5, M2-O1 เป็น 1 และ B2 เป็น -.75 ดังนั้นถ้า M1 = 1 และ M2 = 1 ผลรวมคือ (-0.5 +1 -0.75 = -.25) tanh (0.25) = …

16 machine-learning  neural-networks 

เมื่อไหร่ที่เราบอกว่าเครือข่ายประสาทเทียมเป็นPerceptron หลายชั้น ? และเมื่อเราจะพูดได้ว่าเครือข่ายประสาทเทียมเป็นหลาย ? คำว่าperceptronเกี่ยวข้องกับกฎการเรียนรู้เพื่ออัปเดตน้ำหนักหรือไม่ หรือเกี่ยวข้องกับหน่วยเซลล์ประสาท

13 neural-networks  perceptron 

ฉันกำลังใช้โครงข่ายประสาทเทียมเพื่อทำนายอนุกรมเวลา คำถามที่ฉันกำลังเผชิญอยู่ในขณะนี้คือฉันจะเข้ารหัสวันที่ / เวลา / หมายเลขซีเรียลได้อย่างไร ของแต่ละอินพุตกำหนดให้เป็นอินพุตไปยังเครือข่ายประสาทเทียมหรือไม่ ฉันควรใช้การเข้ารหัส 1 จาก C (ใช้สำหรับการเข้ารหัสหมวดหมู่) ตามที่อธิบายไว้ที่นี่หรือไม่ หรือฉันควรจะให้อาหารเวลา (ในมิลลิวินาทีตั้งแต่ 1-1-1970)? หรือกำลังป้อนเวลาที่ไม่จำเป็นตราบใดที่ฉันป้อนส่วนที่เหลือของข้อมูลตามลำดับเวลา?

12 machine-learning  artificial-intelligence  neural-networks 

ฉันเคยเห็นคำถามสองสามข้อเกี่ยวกับ Deep Dream ในเว็บไซต์นี้ แต่ดูเหมือนว่าไม่มีใครพูดถึง DeepDream ได้ว่าทำอะไรโดยเฉพาะ เท่าที่ฉันรวบรวมพวกเขาดูเหมือนจะเปลี่ยนฟังก์ชั่นวัตถุประสงค์และยังเปลี่ยน backpropagation เพื่อให้แทนที่จะอัปเดตตุ้มน้ำหนักที่พวกเขาอัพเดทภาพอินพุต ฉันสงสัยว่าถ้าใครรู้ว่าสิ่งที่ Google ทำ พวกเขากล่าวถึงหนึ่งในบทความของพวกเขาที่เรียกว่านักบวชชาวเบย์เมื่อพวกเขาทำการหาค่าเหมาะที่สุดและด้วยเหตุนี้ฉันสามารถจินตนาการได้ว่าการใช้โครงข่ายประสาทเทียมเพื่อพ่นภาพสำหรับแต่ละฉลากนั้นไม่ใช่เรื่องยาก - เราสามารถกำหนดป้ายแล้ว ปรับเวกเตอร์อินพุตให้เหมาะสม อย่างไรก็ตามส่วนที่น่าสนใจของความฝันที่ลึกล้ำก็คือมันทำแบบนี้ต่อเลเยอร์และในเรื่องนี้ฉันไม่ค่อยแน่ใจว่ามันจะเน้นรายละเอียดอย่างไรต่อเลเยอร์ แน่นอนว่าการป้อนภาพจะให้คุณค่ากับคุณในแต่ละเซลล์ประสาท แต่ถ้าเช่นนั้นเราจะใช้ข้อมูลนั้นเพื่ออธิบายรายละเอียดที่เกินจริงในภาพต้นฉบับได้อย่างไร ฉันพยายามหารายละเอียดเพิ่มเติมเกี่ยวกับเรื่องนี้ การอ้างอิง: ที่นี่ vzn ตอบคำถามที่คล้ายกัน: https://cs.stackexchange.com/a/44857/49671 จากลิงก์นั้นมีการนำ Deepdream มาใช้ที่นี่: http://auduno.com/post/125362849838/visualizing-googlenet-classes ยกเว้นว่ามันจะไม่มีคุณสมบัติที่พูดเกินจริงตามที่กล่าวไว้ที่นี่: http://googleresearch.blogspot.com/2015/06/inceptionism-going-deeper-into-neural.html ที่ซึ่งทั้งคู่แสดงการสร้างภาพข้อมูลของคลาสเฉพาะและเลเยอร์เฉพาะและพูดว่า: แทนที่จะกำหนดคุณสมบัติที่เราต้องการให้เครือข่ายขยายแน่นอนเราสามารถปล่อยให้เครือข่ายตัดสินใจได้ ในกรณีนี้เราเพียงแค่ป้อนรูปภาพหรือรูปภาพตามอำเภอใจของเครือข่ายและให้เครือข่ายวิเคราะห์รูปภาพ จากนั้นเราเลือกเลเยอร์และขอให้เครือข่ายปรับปรุงสิ่งที่ตรวจพบ

12 machine-learning  artificial-intelligence  neural-networks  image-processing  computer-vision 

ฉันเพิ่งอ่านรายการบล็อกที่น่าสนใจจาก Google Research Blog ที่พูดถึงเครือข่ายประสาท โดยพื้นฐานแล้วพวกเขาใช้เครือข่ายประสาทเทียมนี้เพื่อแก้ปัญหาต่าง ๆ เช่นการจดจำภาพ พวกเขาใช้อัลกอริทึมทางพันธุกรรมเพื่อ "พัฒนา" น้ำหนักของซอน ดังนั้นโดยพื้นฐานแล้วความคิดของฉันคือ ถ้าฉันควรจะเขียนโปรแกรมที่รับรู้ตัวเลขฉันจะไม่รู้วิธีเริ่มต้น (ฉันอาจมีความคิดที่คลุมเครือ แต่ประเด็นของฉันคือ: มันไม่สำคัญหรือไม่ง่าย) แต่โดยใช้เครือข่ายประสาทฉันไม่จำเป็นต้องทำ โดยการสร้างบริบทที่เหมาะสมเพื่อให้โครงข่ายประสาทเทียมวิวัฒนาการเครือข่ายประสาทของฉันจะ "ค้นหาอัลกอริทึมที่ถูกต้อง" ด้านล่างฉันอ้างถึงส่วนที่น่าสนใจจริงๆของบทความที่พวกเขาอธิบายว่าแต่ละเลเยอร์มีบทบาทที่แตกต่างกันในกระบวนการรับรู้ภาพอย่างไร หนึ่งในความท้าทายของโครงข่ายประสาทคือการเข้าใจว่าเกิดอะไรขึ้นในแต่ละเลเยอร์ เรารู้ว่าหลังจากการฝึกฝนแต่ละเลเยอร์จะดึงคุณสมบัติที่สูงขึ้นและระดับสูงของภาพออกมาเรื่อย ๆ จนกระทั่งเลเยอร์สุดท้ายทำการตัดสินใจเกี่ยวกับภาพที่แสดง ตัวอย่างเช่นเลเยอร์แรกอาจมองหาขอบหรือมุม เลเยอร์กลางตีความคุณสมบัติพื้นฐานเพื่อค้นหารูปร่างหรือส่วนประกอบโดยรวมเช่นประตูหรือใบไม้ เลเยอร์ไม่กี่ขั้นสุดท้ายรวบรวมสิ่งเหล่านั้นไว้ในการตีความที่สมบูรณ์ - เซลล์ประสาทเหล่านี้เปิดใช้งานเพื่อตอบสนองต่อสิ่งที่ซับซ้อนมากเช่นอาคารหรือต้นไม้ทั้งหมด ดังนั้นโดยทั่วไปคำถามของฉันคือ: เราไม่สามารถใช้อัลกอริธึมเชิงพันธุกรรม + เครือข่ายประสาทเพื่อแก้ไขปัญหา NP ทุกข้อได้หรือไม่ เราเพิ่งสร้างบริบทวิวัฒนาการที่เหมาะสมและปล่อยให้ "ธรรมชาติ" หาทางออก การลงทะเบียนเรียน: จะลึกเข้าไปในเครือข่ายประสาท แก้ไข: ฉันรู้ว่าเราสามารถใช้ Brute-Force หรือค้นหาโซลูชันที่ไม่มีประสิทธิภาพในหลายกรณี นั่นคือเหตุผลที่ฉันพยายามเน้นการพัฒนาโครงข่ายประสาทเทียม ดังที่ฉันพูดในความคิดเห็น: ให้เวลาเพียงพอและอัตราการกลายพันธุ์ที่เหมาะสมเราสามารถหาทางออกที่ดีที่สุด (หรืออย่างน้อยนั่นคือสิ่งที่ฉันคิด)

10 machine-learning  np  neural-networks  p-vs-np  genetic-algorithms 

หลังจากอ่านความสำเร็จของgoogle deepmind ในเกมของอาตาริฉันพยายามเข้าใจ q-learning และ q-Networks แต่ฉันสับสนเล็กน้อย ความสับสนเกิดขึ้นในแนวคิดของปัจจัยส่วนลด สรุปโดยย่อของสิ่งที่ฉันเข้าใจ โครงข่ายประสาทเทียมแบบฝังลึกจะใช้ในการประเมินมูลค่าของค่าที่คาดหวังที่เหมาะสมที่สุดของการกระทำ เครือข่ายต้องลดฟังก์ชั่นการสูญเสียให้น้อยที่สุด โดยที่ E s ′ [ y | s , a ]คือ E [ r + γ m a x a ′ Q ( s ′ , a ′ ; θ - i ) | s,a] โดยที่Qคือค่าคะแนนสะสมและrคือค่าคะแนนสำหรับการกระทำที่เลือก s,aและ sLi=Es,a,r[(Es′[y|s,a]−Q(s,a;θi))2]Li=Es,a,r[(Es′[y|s,a]−Q(s,a;θi))2] L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right] …

10 artificial-intelligence  neural-networks  reinforcement-learning 

มันได้รับการพิสูจน์ว่าเครือข่ายประสาทที่มีน้ำหนักเหตุผลมีอำนาจการคำนวณของยูนิเวอร์แซทัวริงเครื่องคำนวณทัวริงกับประสาทตาข่าย จากสิ่งที่ฉันได้รับดูเหมือนว่าการใช้ตุ้มน้ำหนักที่มีมูลค่าจริงจะให้พลังการคำนวณมากขึ้นถึงแม้ว่าฉันจะไม่แน่ใจในเรื่องนี้ อย่างไรก็ตามมีความสัมพันธ์ระหว่างพลังการคำนวณของตาข่ายประสาทและฟังก์ชั่นการเปิดใช้งานหรือไม่? ตัวอย่างเช่นถ้าฟังก์ชันการเปิดใช้งานเปรียบเทียบอินพุตกับขีด จำกัด ของลำดับ Specker (สิ่งที่คุณไม่สามารถทำได้กับเครื่องทัวริงทั่วไปใช่ไหม?) สิ่งนี้ทำให้โครงข่ายประสาทเทียม "แข็งแกร่ง" หรือไม่? ใครบางคนสามารถชี้ให้ฉันอ้างอิงในทิศทางนี้?

10 computability  neural-networks 

มีข้อดีของการมีเลเยอร์ที่ซ่อนอยู่มากกว่า 2 เลเยอร์ใน Neural Network หรือไม่? ฉันเคยเห็นบางแห่งที่แนะนำแล้วบางแห่งพิสูจน์ว่าไม่มีประโยชน์ อันไหนที่ถูก?

10 artificial-intelligence  neural-networks  neural-computing 

เมื่ออัปเดตน้ำหนักของเครือข่ายนิวรัลโดยใช้อัลกอริธึม backpropagation กับโมเมนตัมอัตราการเรียนรู้ควรถูกนำไปใช้กับเทอมโมเมนตัมเช่นกันหรือไม่? ข้อมูลส่วนใหญ่ที่ฉันพบเกี่ยวกับการใช้โมเมนตัมมีสมการที่มีลักษณะดังนี้: W'ผม=Wผม- อัลฟ่าΔWผม+ μ ΔWฉัน- 1Wi′=Wi−αΔWi+μΔWi−1W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1} โดยที่คืออัตราการเรียนรู้และคือศัพท์โมเมนตัมαα\alphaμμ\mu หากคำว่ามีขนาดใหญ่กว่าคำว่าดังนั้นในการทำซ้ำครั้งถัดไปจากการทำซ้ำครั้งก่อนหน้าจะมีผลต่อน้ำหนักมากกว่าที่เป็นอยู่ในปัจจุบันμμ\muαα\alphaΔ W.ΔW\Delta W นี่คือจุดประสงค์ของคำว่าโมเมนตัมหรือไม่? หรือสมการควรมีลักษณะเช่นนี้มากกว่านี้หรือไม่ W′i=Wi−α(ΔWi+μΔWi−1)Wi′=Wi−α(ΔWi+μΔWi−1)W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1}) กล่าวคือ ปรับขนาดทุกอย่างตามอัตราการเรียนรู้?

9 machine-learning  neural-networks 

สำหรับโครงการการเรียนรู้ของเครื่องหลายอย่างที่เราทำเราเริ่มต้นด้วยตัวแยกลักษณนามที่ใกล้เคียงที่สุด k นี่คือลักษณนามเริ่มต้นในอุดมคติเนื่องจากเรามักจะมีเวลาเพียงพอในการคำนวณระยะทางทั้งหมดและจำนวนพารามิเตอร์มี จำกัด (k, ระยะทางเมตริกและน้ำหนัก) อย่างไรก็ตามนี่มักจะมีเอฟเฟกต์ที่เรายึดติดกับตัวจําแนก knn ในภายหลังในโครงการไม่มีที่ว่างสำหรับการสลับไปใช้ตัวจําแนกอื่น อะไรจะเป็นเหตุผลที่ดีในการลองตัวจําแนกใหม่ สิ่งที่ชัดเจนคือความจำและเวลาที่ จำกัด แต่มีกรณีที่ตัวจําแนกอื่นสามารถปรับปรุงความถูกต้องได้จริงหรือไม่?

9 neural-networks  classification