เครือข่ายประสาทเทียมคืออะไร *

เมื่อเราเจาะลึกลงไปในวรรณกรรมของNeural Networksเราจะหาวิธีอื่น ๆ ด้วยโทโพโลยีของนิวโรมอร์ฟิค (สถาปัตยกรรมแบบ "Neural-Network") และฉันไม่ได้พูดคุยเกี่ยวกับยูนิเวอร์แซประมาณทฤษฎีบท ตัวอย่างได้รับด้านล่าง

จากนั้นมันทำให้ฉันสงสัยว่า: อะไรคือความหมายของเครือข่ายประสาทเทียม? โทโพโลยีของมันดูเหมือนจะครอบคลุมทุกอย่าง

ตัวอย่าง:

หนึ่งในการระบุตัวแรกที่เราทำคือระหว่าง PCA และ Linear Autoencoder ที่มีตุ้มน้ำหนักในตัวเข้ารหัสและตัวถอดรหัส

นอกจากนี้ยังมีการระบุร่วมกันระหว่างตัวแบบเชิงเส้น (การถดถอยแบบโลจิสติกส์ในแบบพิเศษ) และแบบโครงข่ายประสาทเทียมโดยไม่มีเลเยอร์ที่ซ่อนอยู่และเลเยอร์เอาท์พุทเดี่ยว การระบุนี้เปิดหลายประตู

ซีรี่ส์ฟูริเยร์และเทย์เลอร์? ANNs SVM ? ANN กระบวนการแบบเกาส์ ANN (พร้อมเลเยอร์ที่ซ่อนเดี่ยวพร้อมยูนิตที่ซ่อนไม่ จำกัด )

และเช่นเดียวกับที่ง่าย ๆ เราสามารถรวมเวอร์ชันปกติโดยพลการกับฟังก์ชั่นการสูญเสียพิเศษของอัลกอริทึมเหล่านี้ลงในกรอบโครงข่ายประสาทเทียม

แต่ยิ่งเราขุดมากเท่าไหร่ ฉันเพิ่งเข้าสู่Deep Neural Decision Treesซึ่งทำให้การระบุสถาปัตยกรรม ANN ที่เฉพาะเจาะจงกับต้นไม้การตัดสินใจทำให้สามารถเรียนรู้สิ่งเหล่านี้ได้ด้วยวิธีการของ ANN (เช่นการไล่ระดับสีย้อนกลับของ Gradient Descent) จากนี้เราสามารถสร้างป่าสุ่มและต้นไม้ตัดสินใจเพิ่มไล่โทนสีจากทอพอโลยีโครงข่ายประสาทเทียมเพียงอย่างเดียว

หากทุกอย่างสามารถแสดงเป็นโครงข่ายใยประสาทเทียมอะไรคือตัวกำหนดเครือข่ายประสาทเทียม

Jürgen Schmidhuber, " การเรียนรู้อย่างลึกล้ำในโครงข่ายประสาทเทียม: ภาพรวม " มีร่องรอยประวัติศาสตร์ของแนวคิดหลักในโครงข่ายประสาทและการเรียนรู้เชิงลึก ในมุมมองของเขาโครงข่ายประสาทเทียมจะปรากฏเป็นรูปแบบใด ๆ ที่สามารถกำหนดเป็นกราฟกำกับที่แต่ละโหนดแสดงถึงหน่วยการคำนวณบางอย่าง Schmidhuber เป็นนักวิจัยโครงข่ายประสาทที่มีชื่อเสียงและเขียนบทความต้นฉบับบนเครือข่าย LSTM กับ Sepp Hochreiter

องค์ประกอบที่แก้ไขได้ของระบบการเรียนรู้ที่รับผิดชอบต่อความสำเร็จหรือความล้มเหลว การเปลี่ยนแปลงใดที่ทำให้พวกเขาปรับปรุงประสิทธิภาพได้ สิ่งนี้เรียกว่าปัญหาการกำหนดเครดิตพื้นฐาน (Minsky, 1963) มีวิธีการกำหนดเครดิตทั่วไปสำหรับผู้แก้ปัญหาสากลที่เหมาะสมกับเวลาในความรู้สึกทางทฤษฎีต่าง ๆ (วินาที 6.8) อย่างไรก็ตามการสำรวจครั้งนี้จะมุ่งเน้นไปที่ขอบเขตที่แคบลง แต่ปัจจุบันเป็นสาขาย่อยของ Deep Learning (DL) ที่มีความสำคัญทางการค้าในเชิงลึกในโครงข่ายประสาทเทียม (NNs)

เครือข่ายนิวรัลมาตรฐาน (NN) ประกอบด้วยตัวประมวลผลที่เชื่อมต่อง่าย ๆ มากมายที่เรียกว่าเซลล์ประสาทซึ่งแต่ละตัวจะสร้างลำดับการเปิดใช้งานที่มีคุณค่าจริง เซลล์ประสาทนำเข้าได้รับการเปิดใช้งานผ่านเซ็นเซอร์รับรู้สภาพแวดล้อมเซลล์ประสาทอื่น ๆ จะเปิดใช้งานผ่านการเชื่อมต่อแบบถ่วงน้ำหนักจากเซลล์ประสาทที่ใช้งานก่อนหน้านี้ (รายละเอียดในวินาที 2) เซลล์ประสาทบางชนิดอาจมีอิทธิพลต่อสภาพแวดล้อมด้วยการกระตุ้นการกระทำ การเรียนรู้หรือการกำหนดเครดิตเป็นเรื่องเกี่ยวกับการหาน้ำหนักที่ทำให้ NN มีพฤติกรรมที่ต้องการเช่นการขับรถ ขึ้นอยู่กับปัญหาและวิธีการเชื่อมต่อของเซลล์ประสาทพฤติกรรมดังกล่าวอาจต้องใช้โซ่ยาวสาเหตุของขั้นตอนการคำนวณ (วินาที 3) ซึ่งแต่ละขั้นตอนการแปลง การเรียนรู้อย่างลึกซึ้งเกี่ยวกับการกำหนดเครดิตอย่างแม่นยำในหลาย ๆ ขั้นตอน

โมเดลที่คล้ายกับ NN ตื้น ๆ ที่มีระยะดังกล่าวไม่กี่รอบมานานหลายสิบปีหากไม่ใช่ศตวรรษ (วินาที 5.1) แบบจำลองที่มีชั้นของเซลล์ประสาทแบบไม่ต่อเนื่องหลายชั้นย้อนหลังไปอย่างน้อยในทศวรรษ 1960 (วินาที. 5.3) และ 1970 (วินาที. 5.5) วิธีการไล่ระดับสีที่มีประสิทธิภาพสำหรับการเรียนรู้แบบมีผู้สอนภายใต้การดูแล (SL) ในเครือข่ายที่ไม่ต่อเนื่องซึ่งมีความแตกต่างกันของความลึกตามอำเภอใจที่เรียกว่า backpropagation (BP) ได้รับการพัฒนาในปี 1960 และ 1970 อย่างไรก็ตามการฝึกอบรมเชิงลึกเกี่ยวกับ NNs ที่มีหลายเลเยอร์อย่างไรก็ตามพบว่าเป็นการยากในทางปฏิบัติในช่วงปลายทศวรรษ 1980 (Sec. 5.6) และได้กลายเป็นหัวข้อการวิจัยที่ชัดเจนโดยต้นปี 1990 (Sec. 5.9) DL เป็นไปได้จริงในระดับหนึ่งด้วยความช่วยเหลือของ Unsupervised Learning (UL) เช่นวินาที 5.10 (1991), วินาที 5.15 (2549) ในช่วงปี 1990 และ 2000 นั้นยังเห็นการปรับปรุง DL ที่ควบคุมอย่างหมดจด (Sec. 5) ในสหัสวรรษใหม่นั้น NN ลึก ๆ ได้ดึงดูดความสนใจอย่างกว้างขวางในที่สุดโดยการใช้วิธีการเรียนรู้ของเครื่องจักรทางเลือกอื่น ๆ เช่นเครื่องเคอร์เนล (Vapnik, 1995; Scholkopf et al., 1998) ในแอปพลิเคชันที่สำคัญมากมาย ในความเป็นจริงตั้งแต่ปี 2009 ผู้ดูแลเอ็นเอ็นลึกได้รับรางวัลชนะเลิศการแข่งขันการจดจำรูปแบบระหว่างประเทศ (เช่น Sec. 5.17, 5.19, 5.21, 5.22), บรรลุผลการจดจำรูปแบบภาพเหนือมนุษย์เป็นครั้งแรกในโดเมนที่ จำกัด (Sec. 5.19, 2011) NN แบบลึกยังมีความเกี่ยวข้องกับสาขาทั่วไปของการเรียนรู้การเสริมแรง (RL) อีกด้วยโดยที่ไม่มีครูผู้สอน (วินาทีที่ 6) ส่วนใหญ่โดยวิธีการเรียนรู้ที่ดีกว่าเครื่องจักรทางเลือกเช่นเครื่องเคอร์เนล (Vapnik, 1995; Scholkopf et al., 1998) ในแอปพลิเคชันที่สำคัญมากมาย ในความเป็นจริงตั้งแต่ปี 2009 ผู้ดูแลเอ็นเอ็นลึกได้รับรางวัลชนะเลิศการแข่งขันการจดจำรูปแบบระหว่างประเทศ (เช่น Sec. 5.17, 5.19, 5.21, 5.22), บรรลุผลการจดจำรูปแบบภาพเหนือมนุษย์เป็นครั้งแรกในโดเมนที่ จำกัด (Sec. 5.19, 2011) NN แบบลึกยังมีความเกี่ยวข้องกับสาขาทั่วไปของการเรียนรู้การเสริมแรง (RL) อีกด้วยโดยที่ไม่มีครูผู้สอน (วินาทีที่ 6) ส่วนใหญ่โดยวิธีการเรียนรู้ที่ดีกว่าเครื่องจักรทางเลือกเช่นเครื่องเคอร์เนล (Vapnik, 1995; Scholkopf et al., 1998) ในแอปพลิเคชันที่สำคัญมากมาย ในความเป็นจริงตั้งแต่ปี 2009 ผู้ดูแลเอ็นเอ็นลึกได้รับรางวัลชนะเลิศการแข่งขันการจดจำรูปแบบระหว่างประเทศ (เช่น Sec. 5.17, 5.19, 5.21, 5.22), บรรลุผลการจดจำรูปแบบภาพเหนือมนุษย์เป็นครั้งแรกในโดเมนที่ จำกัด (Sec. 5.19, 2011) NN แบบลึกยังมีความเกี่ยวข้องกับสาขาทั่วไปของการเรียนรู้การเสริมแรง (RL) อีกด้วยโดยที่ไม่มีครูผู้สอน (วินาทีที่ 6) บรรลุผลการจดจำรูปแบบภาพเหนือมนุษย์เป็นครั้งแรกในโดเมนที่ จำกัด (วินาที 5.19, 2011) NN แบบลึกยังมีความเกี่ยวข้องกับสาขาทั่วไปของการเรียนรู้การเสริมแรง (RL) อีกด้วยโดยที่ไม่มีครูผู้สอน (วินาทีที่ 6) บรรลุผลการจดจำรูปแบบภาพเหนือมนุษย์เป็นครั้งแรกในโดเมนที่ จำกัด (วินาที 5.19, 2011) NN แบบลึกยังมีความเกี่ยวข้องกับสาขาทั่วไปของการเรียนรู้การเสริมแรง (RL) อีกด้วยโดยที่ไม่มีครูผู้สอน (วินาทีที่ 6)

ในทางกลับกันฉันไม่แน่ใจว่าจำเป็นต้องทำกำไรเพื่อพยายามสร้างอนุกรมวิธานของถังที่ใช้ร่วมกันเฉพาะสำหรับกลยุทธ์การเรียนรู้ของเครื่อง ฉันคิดว่าเราสามารถพูดได้ว่ามีมุมมองจากแบบจำลองที่สามารถดูเป็นเครือข่ายประสาท ฉันไม่คิดว่ามุมมองนั้นจำเป็นต้องดีที่สุดหรือมีประโยชน์ในทุกบริบท ตัวอย่างเช่นฉันยังคงวางแผนที่จะอ้างถึงป่าแบบสุ่มและต้นไม้ที่เพิ่มระดับความลาดชันเป็น "ตระการตาต้นไม้" แทนที่จะแยกความแตกต่างออกไปและเรียกพวกเขาว่า "ต้นไม้เครือข่ายประสาท" ยิ่งไปกว่านั้น Schmidhuber แยกความแตกต่าง NNs จากเครื่องเคอร์เนล - แม้ว่าเครื่องเคอร์เนลมีการเชื่อมต่อบางอย่างกับ NNs - เมื่อเขาเขียน "ในสหัสวรรษใหม่เอ็นเอ็นลึก ๆ ได้ดึงดูดความสนใจอย่างกว้างขวางในที่สุด ส่วนใหญ่โดยวิธีการเรียนรู้ที่ดีกว่าเครื่องจักรทางเลือกเช่นเครื่องเคอร์เนล ... ในการใช้งานที่สำคัญมากมาย "

หากคุณต้องการคำจำกัดความพื้นฐานของ ANN คุณอาจบอกว่ามันเป็นแบบจำลองที่กำหนดทิศทางแบบกราฟิกโดยที่อินพุตและเอาต์พุตถูกประมวลผลที่แต่ละโหนดผ่านฟังก์ชั่นการเปิดใช้งานและส่วนใหญ่ใช้การไล่ระดับสีไล่ระดับ ดังนั้นคำถามจะกลายเป็นจริง: แบบจำลองใดบ้างที่สามารถแสดงเป็นแบบกราฟิกได้

ฉันไม่ใช่ผู้เชี่ยวชาญ แต่ฉันเชื่อว่าในทางทฤษฎีแล้ว ANN บางตัวสามารถแสดงให้เห็นว่าทัวริงสมบูรณ์ซึ่งหมายความว่าพวกเขาควรจะสามารถทำการคำนวณชุดใด ๆ ที่เป็นไปได้ (ด้วยจำนวนทรัพยากรที่เป็นไปได้ไม่ จำกัด

ฉันจะตีความคำถามของคุณด้วยวิธีต่อไปนี้:

สำหรับรุ่นใดก็ตามฉันสามารถตบแบบจำลอง ANN ร่วมกันเพื่อเลียนแบบโมเดลนั้นให้ใกล้เคียงที่สุดและในระยะเวลาที่เหมาะสมได้หรือไม่

โครงข่ายประสาทวานิลลาสามารถเลียนแบบต้นไม้ตัดสินใจโดยใช้การเปิดใช้งานขั้นตอนหนัก ๆ ปัญหาคือการเปิดใช้งานหน่วยดังกล่าวไม่มีการไล่ระดับสีดังนั้นการไล่ระดับสีตามปกติจะไม่ทำงาน คุณอาจพูดว่า "ไม่มีปัญหาเพียงแค่ใช้รูปแบบการไล่ระดับสีที่ปรับเปลี่ยนแล้ว" อย่างไรก็ตามนั่นยังไม่เพียงพอ เพื่อเป็นตัวอย่างที่ดีกว่าลองใช้ XGBOOST ซึ่งไม่ใช่แค่การไล่ระดับสีป่า มีงานพิเศษมากมายที่ต้องเลือกการแบ่งจุดการตัดการปรับให้เหมาะสมสำหรับความเร็ว ฯลฯ อาจมีการดัดแปลง ANN ที่คล้ายกันมากพอ แต่ก็ไม่ชัดเจนว่า ANN จะทำงานได้อย่างน้อย ดีและถ้ามันเหมาะที่จะทำงาน

$f(x)=e^{x}$

บางทีชื่อที่แม่นยำยิ่งขึ้นสำหรับ ANNs ก็คือ "เครือข่ายที่แตกต่างกัน" ซึ่งก็คือฟังก์ชั่นที่ซับซ้อนที่สามารถปรับให้เหมาะสมโดยใช้การไล่ระดับสีหรือตัวแปร นี่เป็นคำจำกัดความทั่วไปที่เน้นความแตกต่าง แต่ไม่ได้บอกอะไรเกี่ยวกับความคิดหลักงานที่เหมาะสำหรับกรอบทางคณิตศาสตร์เป็นต้น

โปรดทราบว่าความแตกต่างนั้นเป็นลักษณะที่ไม่จำเป็นต้องมีหลัก ตัวอย่างเช่น SVM สามารถฝึกอบรมได้โดยใช้การไล่ระดับสีแบบไล่ระดับและแสดงคุณสมบัติของเครือข่ายประสาท / ความแตกต่าง แต่แนวคิดหลักคือการแยกข้อมูลโดยใช้ไฮเปอร์เพลน ตัวเข้ารหัสอัตโนมัติแบบหลายตัวแปรใช้ MLP สำหรับการเข้ารหัสและถอดรหัส แต่ฟังก์ชันที่คุณปรับให้เหมาะสมนั้นมาจากสถิติแบบเบย์และอื่น ๆ

นอกจากนี้ยังมีโมเดลสองสามแบบที่มักถูกเรียกว่าเครือข่ายประสาทเทียม แต่ไม่ได้ใช้ GD เพื่อการเรียนรู้ ตัวอย่างที่ดีคือ RBM ฉันเดาว่าฉลาก "โครงข่ายประสาทเทียม" ส่วนใหญ่จะถูกติดไว้ด้วยเหตุผลทางประวัติศาสตร์ - ในที่สุดผู้สร้าง RBM คือเจฟฟรีย์ฮินตันและฮินตันเป็นคนที่แต่งตัวประหลาดโครงข่ายประสาทใช่ไหม? อย่างไรก็ตามถ้าคุณวิเคราะห์แบบจำลองคุณจะเห็นว่าโครงสร้างของ RBM นั้นเป็นมาร์คอฟสุทธิฟังก์ชันต้นทุนที่ใช้พลังงานมาจากฟิสิกส์เชิงสถิติในช่วงต้นศตวรรษที่ 20 และการสุ่มตัวอย่าง MCMC / Gibbs ได้รับการพัฒนาแบบขนานและเป็นอิสระจากเครือข่ายประสาท .

ฉันอาจลองอ้างถึงบางสิ่งที่ช่วยกำหนดโครงข่ายประสาทเทียม

• กราฟการคำนวณที่มีพารามิเตอร์ที่ปรับได้
• พารามิเตอร์ดังกล่าวสามารถปรับได้เพื่อให้สอดคล้องกับข้อมูล (จริงหรือจำลอง)
• ฟังก์ชั่นวัตถุประสงค์ที่จะเพิ่มประสิทธิภาพมีส่วนเกี่ยวข้องโดยปริยายหรืออย่างชัดเจน สามารถเป็นพารามิเตอร์โกลบอลหรือโลคัล

ฉันค่อนข้างแน่ใจว่าสิ่งนี้ครอบคลุมเครือข่ายประสาททั้งหมดที่ใช้กันทั่วไปในวันนี้และบางอันที่ลึกลับ

มันไม่เชื่อเรื่องการปรับให้เหมาะสม (ถ้าเรากำหนดการเพิ่มประสิทธิภาพแบบไล่ระดับสีจากนั้นเครือข่ายที่พัฒนาแล้วจะไม่เป็นเครือข่ายประสาทเทียม)

มันไม่ได้พูดถึงเซลล์ประสาท / โหนดหรือเลเยอร์ (เครือข่ายประสาทบางวันนี้แทบจะไม่ได้รับการอธิบายโดยคำศัพท์เหล่านี้) แต่ฉันคิดว่าเราสามารถรวมสิ่งนั้นและเป็นข้อ จำกัด ได้อีกเล็กน้อย