หากค่าดิจิตอลเป็นเพียงการประมาณการทำไมไม่กลับไปใช้อะนาล็อกสำหรับ AI

แรงผลักดันที่อยู่เบื้องหลังการเปลี่ยนศตวรรษที่ยี่สิบจากอนาล็อกเป็นวงจรดิจิตอลขับเคลื่อนด้วยความต้องการความแม่นยำและเสียงรบกวนที่ต่ำกว่า ตอนนี้เรากำลังพัฒนาซอฟต์แวร์ซึ่งผลลัพธ์เป็นค่าประมาณและเสียงรบกวนมีค่าเป็นบวก

• ในเครือข่ายประดิษฐ์เราใช้การไล่ระดับสี (จาโคเบียน) หรือแบบจำลองระดับที่สอง (Hessian) เพื่อประเมินขั้นตอนถัดไปในอัลกอริธึมคอนเวอร์เจนซ์และกำหนดระดับที่ไม่ถูกต้องและสงสัย ¹
• ในกลยุทธ์การคอนเวอร์เจนซ์เราจงใจเพิ่มเสียงรบกวนโดยการฉีดการรบกวนแบบสุ่มหรือการหลอกแบบสุ่มเพื่อปรับปรุงความน่าเชื่อถือโดยการกระโดดข้ามมินิมาในพื้นที่ผิวการปรับให้เหมาะสมระหว่างการคอนเวอร์เจนซ์ ²

สิ่งที่เรายอมรับและแนะนำโดยเจตนาในระบบ AI ปัจจุบันคือสิ่งเดียวกันกับที่ผลักอิเล็กทรอนิกส์ไปสู่วงจรดิจิตอล

ทำไมไม่กลับไปใช้วงจรอะนาล็อกสำหรับอวนประสาทและนำไปใช้กับเมทริกซ์แอมพลิฟายเออร์แทนเมทริกซ์ขององค์ประกอบการประมวลผลสัญญาณดิจิตอล

ค่าของพารามิเตอร์การเรียนรู้เครือข่ายประดิษฐ์สามารถคงไว้ได้โดยใช้ตัวเก็บประจุแบบรวมที่ชาร์จผ่านตัวแปลง D-to-A ซึ่งรัฐที่เรียนรู้จะได้รับประโยชน์จากความแม่นยำแบบดิจิตอลและความสะดวกสบายในขณะเดียวกัน

• ความเร็วที่มากกว่า³
• คำสั่งของขนาดทรานซิสเตอร์น้อยลงเพื่อแสดงเซลล์เครือข่าย
• เสียงความร้อนตามธรรมชาติ⁴

บทความวิชาการหรือการค้นหาสิทธิบัตรสำหรับเครือข่ายประดิษฐ์แบบอะนาล็อกเผยให้เห็นงานจำนวนมากในช่วงสี่สิบปีที่ผ่านมาและแนวโน้มการวิจัยได้รับการปรับปรุง วงจรอนาล็อกเชิงคำนวณได้รับการพัฒนามาอย่างดีและให้พื้นฐานสำหรับอาร์เรย์ประสาท

ความลุ่มหลงในปัจจุบันด้วยการคำนวณแบบดิจิตอลอาจทำให้มุมมองทั่วไปของตัวเลือกสถาปัตยกรรม AI สับสนหรือไม่?

ไฮบริดแอนะล็อกเป็นสถาปัตยกรรมที่เหนือกว่าสำหรับเครือข่ายประดิษฐ์หรือไม่?

เชิงอรรถ

[1] PAC (อาจจะถูกต้องโดยประมาณ) การเรียนรู้กรอบเกี่ยวข้องกับข้อผิดพลาดที่ยอมรับ$\epsilon$และไม่ต้องสงสัยยอมรับ$\delta$ขนาดตัวอย่างที่จำเป็นสำหรับการเรียนรู้สำหรับประเภทรูปแบบเฉพาะ (โปรดทราบว่า$1 - \epsilon$หมายถึงความถูกต้องและ$1 - \delta$หมายถึงความมั่นใจในกรอบนี้)

[2] Stochastic gradient descent จะแสดงขึ้นเมื่อมีการใช้กลยุทธ์ที่เหมาะสมและใช้พารามิเตอร์มากเกินไปเพื่อรวมเข้าด้วยกันอย่างรวดเร็วยิ่งขึ้นในระหว่างการเรียนรู้

[3] โปรเซสเซอร์ Intel Core i9-7960X ทำงานที่ความเร็วเทอร์โบ 4.2 GHz ในขณะที่การออกอากาศคงที่มาตรฐานคือ 41 GHz

[4] เสียงความร้อนสามารถหาได้จากซิลิกอนโดยการขยายและกรองการรั่วไหลของอิเล็กตรอนข้ามไดโอดซีเนอร์แบบรีเวอร์แบบย้อนกลับที่จุดหิมะถล่ม ต้นกำเนิดของปรากฏการณ์ควอนตัมคือเสียงรบกวนความร้อนของจอห์นสัน - นีควิสต์ Sanguinetti และ อัล ระบุใน 'การสร้างตัวเลขสุ่มจำนวนควอนตัมบนโทรศัพท์มือถือ' (2014), "เครื่องตรวจจับสามารถจำลองเป็นช่องสัญญาณที่สูญเสียด้วยความน่าจะเป็นการส่งสัญญาณηตามด้วยตัวแปลงโฟตอนถึงอิเล็กตรอนที่มีประสิทธิภาพต่อหน่วย ... เป็นการผสมผสานระหว่างความไม่แน่นอนเชิงควอนตัมและเสียงรบกวนทางเทคนิค "และมีงาน JTWPA ของ CalTech ทั้งสองอย่างนี้อาจกลายเป็นมาตรฐานในการสร้างเสียงควอนตัมแบบไม่ขึ้นอยู่กับวงจรรวม

อ้างอิง

• การเรียนรู้ STDP ของการแก้ไขภาพด้วย Convolutional Spiking Neural Networks , Saunders และ อัล 2561 มวลชนและ HAS
• การเร่งความเร็วของรหัสวัตถุประสงค์ทั่วไปพร้อมการคำนวณแบบอะนาล็อกที่มีความแม่นยำ จำกัด Amant และ อัล. 2014
• การคำนวณแบบอะนาล็อกและการจำลองทางชีวภาพได้รับการปรับปรุงจากคอมไพเลอร์ MIT ใหม่โดย Devin Coldewey, 2016
• ผลตอบแทนการคำนวณแบบอะนาล็อกโดย Larry Hardesty, 2016 *
• ทำไมต้องทำการคำนวณแบบอะนาล็อก? , NSA เอกสารไม่เป็นความลับอีกต่อไป
• กลับไปที่การคำนวณแบบอะนาล็อก: นักวิจัยโคลัมเบียผสานการคำนวณแบบอะนาล็อกและดิจิตอลเข้าด้วยกันในชิปตัวเดียว Columbia U, 2016
• Crossbar Array แบบโปรแกรมได้ (FPCA) สำหรับการคำนวณซ้ำ, Zidan และ al., IEEE, 2017
• FPAA / Memristor Hybrid Computing โครงสร้างพื้นฐาน , Laiho และคณะ al., IEEE, 2015
• รากฐานและกระบวนทัศน์ใหม่สำหรับการคำนวณใน Living Cells , Ma, Perli, Lu, Harvard U, 2016
• แบบจำลองที่ยืดหยุ่นของอาเรย์อาเรย์ทรานซิสเตอร์แบบตั้งโปรแกรมฟิลด์ CMOS ที่กำหนดเป้าหมายสำหรับฮาร์ดแวร์วิวัฒนาการ (FPAA) โดย Zebulum, Stoica, Keymeulen, NASA / JPL, 2000
• Custom Linear Array ประกอบด้วยแอมป์สหกรณ์สูงสุด 48 ตัวต่อชิป Ashok Bindra, 2001, การออกแบบอุปกรณ์อิเล็กทรอนิกส์
• อะนาล็อกอะนาล็อกที่สามารถตั้งโปรแกรมฟิลด์ขนาดใหญ่สำหรับการประมวลผลสัญญาณอะนาล็อก , ฮอลล์และอื่น ๆ al., ธุรกรรม IEEE ในวงจรและระบบ, ฉบับที่ หมายเลข 52 11, 2005
• อะนาล็อกอาร์เรย์ที่สามารถตั้งโปรแกรมฟิลด์ขนาดใหญ่สำหรับการประมวลผลสัญญาณอะนาล็อก Hall และ อัล 2005
• อาร์เรย์ VLSI ของเซลล์ประสาททรงพลังที่มีความเร็วต่ำและซิงก์ที่มีความสามารถในการขึ้นรูปด้วย bistable-plasticity Indiveri G, Chicca E, Douglas RJ, 2006
• https://www.amazon.com/Analog-Computing-Ulmann/dp/3486728970
• https://www.amazon.com/Neural-Networks-Analog-Computation-Theoretical/dp/0817639497

ฉันคิดว่ามีหลายเหตุผล ก่อนอื่น: ความยืดหยุ่น ด้วยซีพียูและ GPU ที่ทันสมัยคุณสามารถสร้าง AI ที่คุณต้องการได้ทุกแบบและทุกขนาดและความซับซ้อนที่คุณต้องการ คุณจะมั่นใจได้อย่างไรว่าแบบจำลองที่คุณใช้อยู่นั้นยังคงเหมาะสมในอีกไม่กี่ปีข้างหน้า? อาจจะมีการพัฒนาครั้งสำคัญใน NNs ในอีกไม่กี่ปีข้างหน้า? นักวิทยาศาสตร์บางคนอาจพบว่ามีวิธีที่ดีกว่าในการพัฒนา AI มากกว่ากับ NNs อัลกอริทึมทางพันธุกรรมเป็นต้นชิปปกติสามารถจัดการได้ทั้งหมดและพวกเขาสามารถจัดการได้ดีพอ แต่ถ้าคุณต้องการปรับให้เหมาะสมและไม่ต้องกังวลเรื่องเงินคุณสามารถพัฒนาสถาปัตยกรรมเฉพาะ (ซึ่งดำเนินการโดย บริษัท ต่าง ๆ ซึ่งให้การเร่งความเร็วที่สำคัญสำหรับงานเฉพาะ)

เหตุผลที่สอง: การผลิตจำนวนมาก ฉันหมายความว่าในที่สุด บริษัท สามารถผลิตส่วนประกอบ AI แบบอะนาล็อกที่มีบูรณาการสูงได้ (เช่นตัวอย่างเช่นชิป NN) แต่นั่นเป็นการลงทุนที่ใหญ่กว่า มันค่อนข้างไม่ชัดเจนหากหน่วยที่มีความยืดหยุ่นเพียงพอที่จะเป็นทางเลือกฮาร์ดแวร์ AI อย่างจริงจังสามารถผลิตได้ง่ายในการผลิตจำนวนมากซึ่งสามารถแข่งขันกับซีพียูและ GPU ได้ โดยเฉพาะอย่างยิ่งหลังถูกปรับให้เหมาะสมอย่างมากสำหรับการคำนวณแบบขนานขนาดใหญ่ และถ้าคุณดูการพัฒนาสถาปัตยกรรมที่คล้ายกับ GPU (สามารถทำบางสิ่งได้ แต่ทำได้ดีมาก) ซึ่งได้รับการปรับให้เหมาะสมสำหรับการเรียนรู้ maschine คุณจะเห็นว่ามันเป็นการแข่งขันที่ยากสำหรับหน่วยอะนาล็อก

ทั้งหมดข้างต้นไม่ได้หมายความว่าไม่มีการวิจัยในพื้นที่นี้ มีการทดลองหลายครั้งที่พยายามเข้าใจว่ามี แต่พวกเขายังไม่ 'อันตราย' สำหรับสถาปัตยกรรมทั่วไป ในที่สุดพวกเขาจะมาในอนาคตเมื่อเราเข้าใจ AI และสติปัญญาโดยทั่วไปดีขึ้นและกำลังพยายามปรับแต่ง แต่ฉันค่อนข้างสงสัยเกี่ยวกับเรื่องนั้น

แก้ไข: นอกจากนี้สิ่งที่ยังเป็นของความยืดหยุ่น: คุณสามารถทดสอบได้ดีขึ้นด้วยอัลกอริทึม AI ที่ทำงานบนฮาร์ดแวร์ดิจิตอล 'ปกติ' ตัวอย่างเช่นคุณสามารถตรวจสอบ NN ที่สถานที่บางแห่งได้อย่างง่ายดายคุณสามารถปรับเปลี่ยนข้อมูลที่ป้อนเข้าได้อย่างรวดเร็วหรือให้ทางเลือกอื่น ๆ คุณไม่ได้ผูกมัดอะไรเลย และเนื่องจากเรายังไม่ทราบหรือเข้าใจทุกโมเดลอย่างสมบูรณ์เมื่อใช้เมื่อใดหากมีสถาปัตยกรรมที่ดีกว่าสำหรับงานบางอย่าง ฯลฯ จึงไม่เหมาะสมที่จะนำบางสิ่งที่ 'หนุ่ม' และ 'ทดลอง' มาใช้ในระบบอนาล็อก สถาปัตยกรรม.

คำตอบที่รวดเร็ว

เมื่อ Intel ได้รับเนอร์วาน่าพวกเขาแสดงความเชื่อว่า analog VLSI มีที่อยู่ในชิป neuromorphic ของอนาคตอันใกล้^{1, 2, 3}3

ไม่ว่าจะเป็นเพราะความสามารถในการใช้ประโยชน์จากเสียงควอนตัมธรรมชาติในวงจรอนาล็อกได้ง่ายขึ้นยังไม่เป็นที่เปิดเผยต่อสาธารณะ มีโอกาสมากขึ้นเนื่องจากจำนวนและความซับซ้อนของฟังก์ชั่นการเปิดใช้งานแบบขนานที่สามารถบรรจุลงในชิป VLSI เดียว อะนาล็อกมีคำสั่งของขนาดความได้เปรียบเหนือดิจิตอลในแง่นั้น

น่าจะเป็นประโยชน์สำหรับสมาชิก AI Stack Exchange ที่จะมาถึงความเร็วในการวิวัฒนาการของเทคโนโลยีที่ระบุอย่างยิ่งนี้

แนวโน้มที่สำคัญและไม่ใช่แนวโน้มใน AI

ในการเข้าถึงคำถามนี้ทางวิทยาศาสตร์เป็นการดีที่สุดที่จะเปรียบเทียบทฤษฎีสัญญาณอะนาล็อกและดิจิตอลโดยไม่มีอคติของแนวโน้ม

ผู้ที่ชื่นชอบปัญญาประดิษฐ์สามารถค้นพบสิ่งต่างๆมากมายบนเว็บเกี่ยวกับการเรียนรู้อย่างลึกซึ้งการแยกคุณลักษณะการจดจำรูปภาพและห้องสมุดซอฟต์แวร์เพื่อดาวน์โหลดและเริ่มการทดลองทันที มันเป็นวิธีที่เท้าของพวกเขาเปียกโชกไปด้วยเทคโนโลยีมากที่สุด แต่การแนะนำให้รู้จักกับ AI อย่างรวดเร็วก็มีข้อเสียเช่นกัน

เมื่อรากฐานทางทฤษฎีของการปรับใช้ AI ที่ประสบความสำเร็จในช่วงต้นของผู้บริโภคยังไม่เป็นที่เข้าใจรูปแบบสมมติฐานที่ขัดแย้งกับรากฐานเหล่านั้น ตัวเลือกที่สำคัญเช่นเซลล์ประสาทเทียมแบบอะนาล็อกเครือข่ายที่ถูกแทงและข้อเสนอแนะแบบเรียลไทม์จะถูกมองข้าม การปรับปรุงรูปแบบความสามารถและความน่าเชื่อถือนั้นลดลง

ความกระตือรือร้นในการพัฒนาเทคโนโลยีควรมีอารมณ์อย่างน้อยก็เท่ากับความคิดที่สมเหตุสมผล

การบรรจบกันและความมั่นคง

ในระบบที่มีความแม่นยำและเสถียรภาพผ่านการป้อนกลับทั้งค่าสัญญาณอะนาล็อกและดิจิตอลเป็นเพียงการประมาณการเท่านั้น

• ค่าดิจิตอลในอัลกอริทึมการบรรจบกันหรืออย่างแม่นยำมากขึ้นกลยุทธ์ที่ออกแบบมาเพื่อการบรรจบกัน
• ค่าสัญญาณอนาล็อกในวงจรแอมพลิฟายเออร์ที่มีเสถียรภาพ

การทำความเข้าใจความเท่าเทียมกันระหว่างการบรรจบกันผ่านการแก้ไขข้อผิดพลาดในอัลกอริธึมดิจิตอลและความเสถียรที่เกิดจากการป้อนกลับในเครื่องมือวัดแบบอะนาล็อกเป็นสิ่งสำคัญในการคิดคำถามนี้ สิ่งเหล่านี้เป็นแนวที่ใช้ศัพท์แสงร่วมสมัยพร้อมดิจิตอลทางด้านซ้ายและอนาล็อกทางด้านขวา

┌───────────────────────────────┬───────────────── ─────────────┐
Artificial * มุ้งเทียมดิจิตอล * │ * มุ้งเทียมอะนาล็อก * │
├───────────────────────────────┼───────────────── ─────────────┤
propag การส่งต่อไปข้างหน้า path เส้นทางสัญญาณหลัก│
├───────────────────────────────┼───────────────── ─────────────┤
function ฟังก์ชันข้อผิดพลาด│ฟังก์ชันข้อผิดพลาด│
├───────────────────────────────┼───────────────── ─────────────┤
│คอนเวอร์เจนท์│เสถียร│
├───────────────────────────────┼───────────────── ─────────────┤
│ความอิ่มตัวของการไล่ระดับสี│ความอิ่มตัวของอินพุต│
├───────────────────────────────┼───────────────── ─────────────┤
function ฟังก์ชั่นการเปิดใช้งาน function ฟังก์ชั่นการถ่ายโอนไปข้างหน้า│
└───────────────────────────────┴───────────────── ─────────────┘

ความนิยมของวงจรดิจิตอล

ปัจจัยหลักในการเพิ่มความนิยมของวงจรดิจิตอลคือการบรรจุเสียง วงจรดิจิตอล VLSI วันนี้มีเวลาเฉลี่ยนานถึงความล้มเหลว (เวลาเฉลี่ยระหว่างอินสแตนซ์เมื่อพบค่าบิตที่ไม่ถูกต้อง)

การกำจัดสัญญาณรบกวนเสมือนทำให้วงจรดิจิตอลมีความได้เปรียบที่สำคัญกว่าวงจรอนาล็อกสำหรับการวัดการควบคุมแบบ PID การคำนวณและการใช้งานอื่น ๆ ด้วยวงจรดิจิตอลเราสามารถวัดได้ถึงทศนิยมห้าหลักของความถูกต้องควบคุมด้วยความแม่นยำที่น่าทึ่งและคำนวณ accuracy ถึงหนึ่งพันหลักของความถูกต้องซ้ำและเชื่อถือได้

เป็นหลักเกี่ยวกับการบินการป้องกันขีปนาวุธและการตอบโต้งบประมาณที่เพิ่มความต้องการการผลิตเพื่อให้บรรลุการประหยัดจากขนาดในการผลิตวงจรดิจิตอล ความต้องการความละเอียดในการแสดงผลและความเร็วในการแสดงผลกำลังผลักดันให้ GPU ใช้เป็นโปรเซสเซอร์สัญญาณดิจิตอลในขณะนี้

กองกำลังทางเศรษฐกิจส่วนใหญ่เป็นสาเหตุของการเลือกการออกแบบที่ดีที่สุดหรือไม่? เครือข่ายที่ใช้ระบบดิจิตอลเป็นเครือข่ายที่ใช้ประโยชน์จากอสังหาริมทรัพย์ที่มีค่าของ VLSI หรือไม่? นั่นคือความท้าทายของคำถามนี้และมันก็เป็นคำถามที่ดี

ความเป็นจริงของ IC Complexity

ดังที่ได้กล่าวไว้ในความคิดเห็นมันต้องใช้ทรานซิสเตอร์นับหมื่นเพื่อนำไปใช้ในซิลิคอนซึ่งเป็นเซลล์ประสาทเทียมเครือข่ายอิสระที่ใช้ซ้ำได้ นี่เป็นสาเหตุหลักมาจากการคูณเวกเตอร์เมทริกซ์ที่นำไปสู่แต่ละเลเยอร์การเปิดใช้งาน ใช้เวลาเพียงไม่กี่โหลทรานซิสเตอร์ต่อเซลล์ประสาทเทียมเพื่อใช้การคูณเวกเตอร์เมทริกซ์และอาร์เรย์ของเครื่องขยายสัญญาณการดำเนินงานของเลเยอร์ แอมพลิฟายเออร์ในการดำเนินงานสามารถออกแบบมาเพื่อทำหน้าที่ต่าง ๆ เช่นขั้นตอนไบนารี, sigmoid, soft plus, ELU และ ISRLU

สัญญาณรบกวนแบบดิจิตอลจากการปัดเศษ

การส่งสัญญาณดิจิตอลนั้นไม่มีสัญญาณรบกวนเนื่องจากสัญญาณดิจิตอลส่วนใหญ่จะถูกปัดเศษดังนั้นการประมาณ ความอิ่มตัวของสัญญาณในการแพร่กระจายย้อนกลับก่อนปรากฏเป็นเสียงรบกวนดิจิตอลที่เกิดขึ้นจากการประมาณนี้ ความอิ่มตัวเพิ่มเติมจะเกิดขึ้นเมื่อสัญญาณถูกปัดเศษเป็นตัวแทนเลขฐานสองเดียวกันเสมอ

$v$$e$$k$$n$$N$

$v = \sum_{n = 0}^{N} 1_n \, 2^{\, k + e + N - n}$

โปรแกรมเมอร์บางครั้งพบผลกระทบของการปัดเศษในจำนวนจุดลอยตัว IEEE ที่มีความแม่นยำสองเท่าหรือเดี่ยวเมื่อคำตอบที่คาดว่าจะเป็น 0.2 ปรากฏเป็น 0.20000000000001 หนึ่งในห้าไม่สามารถแสดงด้วยความแม่นยำสมบูรณ์แบบเป็นเลขฐานสองเพราะ 5 ไม่ใช่ตัวคูณของ 2

Science Over Media Hype และแนวโน้มยอดนิยม

$E = mc^2$

ในการเรียนรู้ของเครื่องจักรเช่นเดียวกับผลิตภัณฑ์เทคโนโลยีมีตัววัดคุณภาพหลักสี่ประการ

• ประสิทธิภาพ (ซึ่งขับเคลื่อนความเร็วและประหยัดการใช้งาน)
• ความเชื่อถือได้
• ความถูกต้อง
• ความเข้าใจ (ซึ่งเป็นตัวขับเคลื่อนการบำรุงรักษา)

บางครั้ง แต่ไม่เสมอไปความสำเร็จของผู้หนึ่งจะประนีประนอมกันซึ่งในกรณีนี้จะต้องเกิดความสมดุล การไล่ระดับสีเป็นกลยุทธ์คอนเวอร์เจนซ์ที่สามารถรับรู้ได้ในอัลกอริทึมแบบดิจิทัลที่สร้างความสมดุลให้กับทั้งสี่นี้ซึ่งเป็นเหตุผลว่าทำไมมันจึงเป็นกลยุทธ์ที่โดดเด่นในการฝึกอบรม perceptron แบบหลายชั้นและในเครือข่ายลึกจำนวนมาก

สี่สิ่งเหล่านี้เป็นศูนย์กลางของงานไซเบอร์เนติกส์ยุคแรกของ Norbert Wiener ก่อนที่จะมีวงจรดิจิตอลครั้งแรกใน Bell Labs หรือฟลิปฟล็อปแรกที่รับรู้ด้วยหลอดสุญญากาศ คำว่าไซเบอร์เนติกส์นั้นมาจากภาษากรีกκυβερνήτης (ออกเสียงkyvernítis ) หมายถึงผู้บังคับการเรือซึ่ง ruder และใบเรือต้องชดเชยลมและกระแสน้ำที่เปลี่ยนแปลงตลอดเวลาและเรือจำเป็นต้องมาบรรจบกันที่ท่าเรือหรือท่าเรือที่ต้องการ

wiew เป็นตัวขับเคลื่อนแนวโน้มของคำถามนี้อาจล้อมรอบความคิดว่า VLSI สามารถทำได้เพื่อให้เกิดการประหยัดจากขนาดสำหรับเครือข่ายอะนาล็อกหรือไม่ แต่เกณฑ์ที่ผู้เขียนกำหนดไว้ก็คือ แม้ว่าจะไม่ใช่กรณีดังกล่าวข้างต้นทรานซิสเตอร์จำนวนน้อยลงจะต้องผลิตเลเยอร์เครือข่ายเทียมที่มีวงจรแอนะล็อกมากกว่าดิจิตอล ด้วยเหตุผลดังกล่าวมันถูกต้องตามกฎหมายที่จะตอบคำถามสมมติว่า VLSI analog นั้นมีความเป็นไปได้อย่างมากในราคาที่สมเหตุสมผลหากความสนใจมุ่งไปที่การทำให้สำเร็จ

การออกแบบเครือข่ายอะนาล็อกประดิษฐ์

กำลังทำการสืบสวนอวนเทียมทั่วโลกรวมถึงกิจการร่วมค้าของ IBM / MIT, Nirvana, Google, กองทัพอากาศสหรัฐฯของ Intel ตั้งแต่ปี 1992 ⁵ , Tesla และอื่น ๆ อีกมากมายบางคนระบุไว้ในข้อคิดเห็นและภาคผนวกของสิ่งนี้ คำถาม.

ความสนใจในอะนาล็อกสำหรับเครือข่ายประดิษฐ์นั้นเกี่ยวข้องกับจำนวนของฟังก์ชั่นการเปิดใช้งานแบบขนานที่เกี่ยวข้องกับการเรียนรู้สามารถพอดีกับหน่วยสี่เหลี่ยมจัตุรัสของ VLSI ชิปอสังหาริมทรัพย์ ขึ้นอยู่กับจำนวนทรานซิสเตอร์ที่ต้องการ เมทริกการลดทอน (เมทริกซ์การเรียนรู้พารามิเตอร์) ⁴ต้องการการคูณเวกเตอร์เมทริกซ์ซึ่งต้องใช้ทรานซิสเตอร์จำนวนมากและดังนั้นจึงเป็นชิ้นสำคัญของ VLSI อสังหาริมทรัพย์

จะต้องมีห้าองค์ประกอบการทำงานที่เป็นอิสระในเครือข่าย perceptron พื้นฐานหลายชั้นถ้ามันจะสามารถใช้ได้สำหรับการฝึกอบรมแบบขนานอย่างเต็มที่

1. การคูณเวกเตอร์เมทริกซ์ที่ทำให้ค่าแอมพลิจูดของการแพร่กระจายไปข้างหน้าระหว่างฟังก์ชั่นการเปิดใช้งานของแต่ละชั้น
2. การเก็บรักษาพารามิเตอร์
3. ฟังก์ชั่นการเปิดใช้งานสำหรับแต่ละชั้น
4. การเก็บรักษาเอาต์พุตเลเยอร์การเปิดใช้งานเพื่อนำไปใช้ในการเผยแพร่กลับ
5. อนุพันธ์ของฟังก์ชั่นการเปิดใช้งานสำหรับแต่ละชั้น

ในวงจรอะนาล็อกด้วยความขนานที่มากขึ้นโดยธรรมชาติในวิธีการส่งสัญญาณ 2 และ 4 อาจไม่จำเป็น ทฤษฎีความคิดเห็นและการวิเคราะห์ฮาร์มอนิกจะถูกนำไปใช้กับการออกแบบวงจรโดยใช้ตัวจำลองเช่น Spice

$c_p$$c(\int r)$$r(t, c)$$t$$i$$I$$w_i$ $\tau_p$$\tau_a$$\tau_d$

$c = c_p \; c(\int r(t, c) \, dt) \; \Big( \sum_{i = 0}^{I - 2} \, (\tau_p w_i w_{i-1} + \tau_a w_i + \tau_d w_i) + \tau_a w_{I-1} + \tau_d w_{I-1} \Big)$

สำหรับค่าทั่วไปของวงจรเหล่านี้ในวงจรรวมแบบอะนาล็อกปัจจุบันเรามีค่าใช้จ่ายสำหรับชิป VLSI อะนาล็อกที่แปลงค่าเมื่อเวลาผ่านไปเป็นค่าอย่างน้อยสามคำสั่งของขนาดที่ต่ำกว่าของชิปดิจิทัลที่มีการฝึกอบรมที่เท่าเทียมกัน

จัดการกับการฉีดเสียงรบกวนโดยตรง

คำถามนี้กล่าวว่า "เรากำลังใช้การไล่ระดับสี (จาโคเบียน) หรือแบบจำลองระดับที่สอง (Hessian) เพื่อประเมินขั้นตอนต่อไปในอัลกอริทึมแบบมาบรรจบกันและเพิ่มเสียงรบกวน [หรือ] การฉีดหลอก พื้นผิวในระหว่างการบรรจบกัน "

เหตุผลที่ทำให้เกิดสัญญาณรบกวนแบบสุ่มหลอกเข้าไปในอัลกอริธึมการบรรจบกันในระหว่างการฝึกอบรมและในเวลาจริงเครือข่ายผู้เข้าร่วมใหม่ (เช่นเครือข่ายเสริม) เป็นเพราะการดำรงอยู่ของท้องถิ่นน้อยที่สุดในพื้นผิวที่แตกต่างกัน พื้นผิว minima ทั่วโลกเป็นสถานะที่ดีที่สุดของเครือข่ายประดิษฐ์ ท้องถิ่นน้อยที่สุดอาจไม่เหมาะสม

พื้นผิวนี้แสดงให้เห็นถึงฟังก์ชั่นข้อผิดพลาดของพารามิเตอร์ (สองในกรณีที่ง่ายขึ้นอย่างมาก⁶ ) และปัญหาของ minima ท้องถิ่นซ่อนการดำรงอยู่ของ minima ทั่วโลก จุดต่ำในพื้นผิวเป็นตัวแทนของ minima ที่จุดวิกฤติของภูมิภาคท้องถิ่นของการลู่เข้าการฝึกที่เหมาะสม ^7,8

ฟังก์ชันข้อผิดพลาดเป็นเพียงการวัดความไม่เสมอภาคระหว่างสถานะเครือข่ายปัจจุบันระหว่างการฝึกอบรมและสถานะเครือข่ายที่ต้องการ ในระหว่างการฝึกอบรมเครือข่ายประดิษฐ์เป้าหมายคือการค้นหาความแตกต่างระดับต่ำสุดของโลก พื้นผิวดังกล่าวมีอยู่ไม่ว่าจะเป็นข้อมูลตัวอย่างที่มีข้อความหรือไม่มีป้ายกำกับและไม่ว่าเกณฑ์การสำเร็จการฝึกอบรมจะอยู่ภายในหรือภายนอกกับเครือข่ายเทียม

หากอัตราการเรียนรู้มีขนาดเล็กและสถานะเริ่มต้นอยู่ที่จุดเริ่มต้นของพื้นที่พารามิเตอร์การบรรจบกันโดยใช้การไล่ระดับสีแบบไล่ระดับจะมาบรรจบกับหลุมซ้ายสุดซึ่งเป็นค่าต่ำสุดในท้องถิ่นไม่ใช่ค่าต่ำสุดทั่วโลกทางด้านขวา

แม้ว่าผู้เชี่ยวชาญที่เริ่มต้นเครือข่ายประดิษฐ์เพื่อการเรียนรู้นั้นฉลาดพอที่จะเลือกจุดกึ่งกลางระหว่างสอง minima การไล่ระดับสีที่จุดนั้นยังคงลาดเอียงไปทางซ้ายมือขั้นต่ำและการบรรจบกันจะมาถึงสถานะการฝึกอบรมที่ไม่เหมาะสม หากการฝึกอบรมมีความสำคัญอย่างยิ่งซึ่งเป็นสิ่งสำคัญการฝึกอบรมจะล้มเหลวเพื่อให้ได้ผลลัพธ์คุณภาพการผลิต

ทางออกหนึ่งที่ใช้คือการเพิ่มเอนโทรปีให้กับกระบวนการคอนเวอร์เจนซ์ซึ่งมักจะเป็นการฉีดเอาท์พุทแบบลดทอนของตัวสร้างตัวเลขสุ่มหลอก อีกวิธีที่ใช้กันไม่บ่อยก็คือการแยกกระบวนการฝึกอบรมและลองฉีดเอนโทรปีจำนวนมากในกระบวนการบรรจบที่สองเพื่อให้มีการค้นหาแบบอนุรักษ์นิยมและการค้นหาแบบค่อนข้างจะทำงานพร้อมกัน

มันเป็นความจริงที่เสียงควอนตัมในวงจรอะนาล็อกที่เล็กมากนั้นมีความสม่ำเสมอของสเปกตรัมสัญญาณจากเอนโทรปีมากกว่าเครื่องกำเนิดไฟฟ้าแบบหลอกเทียมแบบดิจิตอลและทรานซิสเตอร์ที่ต้องการคุณภาพเสียงที่สูงขึ้น ไม่ว่าจะเป็นความท้าทายของการทำเช่นนี้ในการใช้งาน VLSI ที่ได้รับการเอาชนะนั้นยังไม่ได้รับการเปิดเผยโดยห้องปฏิบัติการวิจัยที่ฝังอยู่ในรัฐบาลและ บริษัท ต่างๆ

• องค์ประกอบสุ่มดังกล่าวจะใช้ในการฉีดจำนวนแบบสุ่มที่วัดได้เพื่อเพิ่มความเร็วในการฝึกอบรมและความน่าเชื่อถือจะมีภูมิคุ้มกันต่อเสียงรบกวนภายนอกเพียงพอในระหว่างการฝึกซ้อมหรือไม่?
• พวกเขาจะได้รับการป้องกันอย่างเพียงพอจากการพูดคุยภายในหรือไม่
• ความต้องการจะเกิดขึ้นซึ่งจะลดต้นทุนของการผลิต VLSI อย่างเพียงพอเพื่อให้ถึงจุดใช้งานที่มากขึ้นนอกสถานประกอบการวิจัยที่ได้รับทุนสูง

ความท้าทายทั้งสามนั้นเป็นไปได้ มีอะไรที่น่าสนใจและน่าสนใจมากคือนักออกแบบและผู้ผลิตอำนวยความสะดวกในการควบคุมเส้นทางสัญญาณอะนาล็อกและฟังก์ชั่นการเปิดใช้งานแบบดิจิตอลเพื่อให้ได้การฝึกอบรมความเร็วสูง

เชิงอรรถ

[1] https://ieeexplore.ieee.org/abstract/document/8401400/

[2] https://spectrum.ieee.org/automaton/robotics/artificial-intelligence/analog-and-neuromorphic-chips-will-rule-robotic-age

[3] https://www.roboticstomorrow.com/article/2018/04/whats-the-difference-between-analog-and-neuromorphic-chips-in-robots/11820

[4] การลดทอนหมายถึงการทวีคูณของสัญญาณเอาต์พุตจากการดำเนินการหนึ่งครั้งโดยพารามิเตอร์ที่ฝึกได้เพื่อให้มีการรวมส่วนเพิ่มเติมกับผู้อื่นสำหรับการป้อนข้อมูลไปยังการเปิดใช้งานของเลเยอร์ที่ตามมา แม้ว่านี่จะเป็นศัพท์ฟิสิกส์ แต่ก็มักจะใช้ในงานวิศวกรรมไฟฟ้าและเป็นคำที่เหมาะสมในการอธิบายการทำงานของการคูณเวกเตอร์เมทริกซ์ที่บรรลุสิ่งที่ในวงการศึกษาน้อยเรียกว่าการถ่วงน้ำหนักชั้นเลเยอร์

[5] http://www.dtic.mil/dtic/tr/fulltext/u2/a256621.pdf

[6] มีพารามิเตอร์มากกว่าสองตัวในเครือข่ายประดิษฐ์ แต่มีเพียงสองพารามิเตอร์เท่านั้นที่ปรากฎในภาพประกอบนี้เนื่องจากพล็อตสามารถเข้าใจได้ใน 3-D และเราต้องการหนึ่งในสามมิติสำหรับค่าฟังก์ชันข้อผิดพลาด

$z = (x-2)^2 + (y-2)^2 + 60 - \frac {40} {\sqrt{1 + (y - 1.1)^2 + (x - 0.9)^2}} - \frac {40} {(1 + {((y - 2.2)^2 + (x - 3.1)^2)}^4)}$

[8] คำสั่ง gnuplot ที่เกี่ยวข้อง:

set title "Error Surface Showing How Global Optimum Can be Missed"
set xlabel "x"
set ylabel "y"
set pm3d at b
set ticslevel 0.8
set isosample 40,40
set xrange [0:4]
set yrange [0:4]
set nokey
splot (x-2)**2 + (y-2)**2 + 60 \
    - 40 / sqrt(1+(y-1.1)**2+(x-0.9)**2) \
    - 40 / (1+(y-2.2)**2+(x-3.1)**2)**4

เครื่องมือวัดแบบดิจิตอลของเซลล์อะนาล็อก

หนึ่งในความท้าทายที่สำคัญในเครือข่ายประดิษฐ์แบบอะนาล็อกคือการใช้เครื่องมือเครือข่ายจะใช้งานได้จริงมากที่สุดหากเป็นดิจิตอล การใช้งาน VLSI ของอุปกรณ์รับสัญญาณอะนาล็อก, convolutions, หรือเครือข่าย spiking นั้นอาจจำเป็นต้องมีส่วนประกอบดิจิตอลในการจัดเรียงแบบไฮบริดสำหรับฟังก์ชั่นหลายอย่าง

• ตัวชี้วัดสุขภาพ
• ตัวบ่งชี้ความผิดพลาด
• เก็บและเรียกค้นพารามิเตอร์ที่เรียนรู้ได้ ¹
• การควบคุมระบบโดยรวม
• การตั้งค่าพารามิเตอร์ไฮเปอร์
• สถิติการดำเนินงาน
• วิปัสสนาเพื่อการพัฒนาและการดีบัก
• จุดแตกหัก
• สามารถตรวจสอบได้

ซึ่งหมายความว่าการก่อให้เกิดเครือข่ายการเรียนรู้ประดิษฐ์แบบอะนาล็อกวัตถุประสงค์ทั่วไปจะต้องมีการแปลง A-to-D และ D-to-A ²จากนั้นความท้าทายในการออกแบบ VLSI จะกลายเป็นการหลีกเลี่ยงการสะสมของทรานซิสเตอร์จากการแนะนำบล็อกการแปลงจำนวนมาก สิ่งนี้จะกำจัดข้อได้เปรียบที่หนาแน่นของการรับรู้แบบอะนาล็อกของการขยายพันธุ์ไปข้างหน้าและข้างหลัง

ทางออกที่น่าจะเป็นคือการใช้เมทริกซ์ latching เพื่อกระจายสัญญาณจากตัวแปลง D-to-A ไปยังตัวเก็บประจุและเมทริกซ์การสลับการรั่วไหลต่ำเพื่อเลือกว่าตัวแปลง A-to-D จะอ่านค่าใด สิ่งนี้จะต้องทำโดยไม่ต้องส่งสัญญาณรบกวนแบบดิจิตอลเข้าสู่เส้นทางแบบอะนาล็อกและไม่ต้องลดค่าใช้จ่ายที่เก็บไว้หรือสูญเสียความแม่นยำในการชาร์จ

จำนวนทรานซิสเตอร์และเส้นทางเพิ่มเติมที่สำคัญนอกวงจรเครือข่ายหลักนั้นจะสามารถพบได้โดยการใช้กระบวนการออกแบบ VLSI เท่านั้น

การสนับสนุนโอเพนซอร์สที่สำคัญ

มหาวิทยาลัยแมสซาชูเซตส์เปิดตัวแหล่งเก็บข้อมูล BindsNet โอเพ่นซอร์ส^3,4ในเดือนกุมภาพันธ์ 2561 โดยจำลองเครือข่ายแบบอะนาล็อกด้วยซอฟต์แวร์และฮาร์ดแวร์ดิจิทัลและใช้การเร่งความเร็วของ GPU ผ่าน PyTorch

สิ่งนี้จะช่วยอำนวยความสะดวกในการทดลองในปัจจุบันในการออกแบบเครือข่ายและกลยุทธ์ที่รวดเร็ว ความสำเร็จในการใช้การจำลองถ้ามีนัยสำคัญเพียงพออาจนำไปสู่การออกแบบ VLSI ที่เหนือกว่า

เชิงอรรถ

[1] ในระบบการเรียนรู้ภาคปฏิบัติใด ๆ พารามิเตอร์ที่เรียนรู้จะต้องถูกสกัดออกมาจากการใช้งาน VLSI เก็บไว้ในฐานข้อมูลและทำให้มีจำนวนของการพัฒนาการทดสอบเอือดหรือระบบการผลิตสำหรับการปรับใช้การวิเคราะห์สาเหตุของข้อบกพร่อง การกู้คืนระบบ. การบันทึกและการโหลดจะต้องเป็นคุณสมบัติพื้นฐานของเครือข่ายแอนะล็อกแบบผสมไฮบริด VLSI แม้ระหว่างยุคในระหว่างการฝึกอบรมและในระหว่างการใช้งานจริง

[2] ไม่มีใครสามารถเรียนรู้สถานะของเครือข่ายประดิษฐ์ในตัวเก็บประจุได้อย่างไม่มีกำหนด แม้ว่าตัวเก็บประจุจะกลายเป็นส่วนประกอบแฝงที่สำคัญสำหรับวงจรอะนาล็อกที่ออกแบบในกระบวนการ CMOS มาตรฐาน แต่ก็ไม่สามารถมีความจุมากและการรั่วไหลไม่ได้เป็นศูนย์ ครึ่งชีวิตของวงจรจัดเก็บข้อมูลแบบ capacitive และความแม่นยำที่ต้องการของค่าพารามิเตอร์จะกำหนดอัตราของวงจรการอ่านและการอัปเดตตามเงื่อนไขใหม่

[3] แหล่งเก็บข้อมูลโอเพ่นซอร์ส BindsNet

[4] BindsNET [paper]: ไลบรารีการเรียนรู้แบบ spiking neural Networks ใน Pythonสำหรับสิ่งพิมพ์ Harvard U ของบทคัดย่อจากกระดาษ BindsNet

ฉันประหลาดใจที่ไม่มีใครพูดถึงทิศทางการวิจัยเฉพาะในฟิลด์ AI แบบอะนาล็อก และเพื่อให้ความกระจ่างของปัญญาประดิษฐ์นั้นไม่เหมือนกันกับการเรียนรู้ของเครื่องอย่างที่คำตอบนี้แนะนำ ความก้าวหน้าล่าสุดในการคำนวณแบบอะนาล็อกมีเฉพาะในด้านการเรียนรู้ของเครื่อง

อะนาล็อก CMOS:

ก่อนอื่นให้เราพูดถึงการใช้งานเซลล์ประสาทแบบอะนาล็อกที่เร็วที่สุด Dr.Giacomo Indiveri และคณะมีผู้บุกเบิกอยู่ไม่กี่คน แม้ว่าด้วยตรรกะแบบ CMOS คุณสามารถออกแบบ Neural Nets ด้วยSTDP ได้ (Spike Time Dependent Plasticity) ได้ยาก แต่ก็เป็นการยากที่จะใช้ในอัลกอริทึมการเรียนรู้ของเครื่อง สมองของมนุษย์ยังไม่เป็นที่เข้าใจอย่างสมบูรณ์โดยเฉพาะอย่างยิ่งมันสื่อสารข้อมูลที่ซับซ้อนด้วยหนามแหลม เครือข่ายที่ใช้ขัดขวางมีประสิทธิภาพในการรับรู้ภาพที่ค่อนข้างเล็กและมีความซับซ้อนน้อย (เอกสารส่วนใหญ่ดูเหมือนจะกังวลมากกว่าเกี่ยวกับการปรับปรุงประสิทธิภาพแทนที่จะใช้กับงานที่มีความซับซ้อนสูง) เนื่องจากจำนวนทรานซิสเตอร์ที่มีอยู่เราจึงสามารถใช้ในงานที่ซับซ้อนได้

ตัวอย่างที่ดีที่สุดคือ Google ใช้แนวคิดนี้ของความแม่นยำต่ำใน TPU และการชดเชยความแม่นยำโดยใช้หน่วยประมวลผลจำนวนมากซึ่งทำให้เกิดการแลกเปลี่ยนระหว่างเวลาความแม่นยำและพื้นที่ นี่อาจคล้ายกับทรานซิสเตอร์จำนวนมากในโปรเซสเซอร์แม้ว่าจะมีความแม่นยำต่ำ ( ภาพเชิงลึกที่หน่วยการประมวลผลของ Tensor (TPU) แห่งแรกของ Google )

หมายเหตุ: บางคนอาจโต้แย้งว่าเทคโนโลยี CMOS ตกอยู่ภายใต้โดเมนดิจิทัล แต่เนื่องจากเราไม่ได้ใช้ CMOS โดยเฉพาะที่นี่เพื่อทำการดำเนินการทางดิจิตอลใด ๆ ฉันจึงคิดว่ามันเป็นอะนาล็อก

เห็นได้ชัดว่างานที่ได้รับการขัดขวางค่อนข้างดีสำหรับผู้ชนะทุกเครือข่าย (เช่นการจัดระเบียบแผนที่ด้วยตนเอง ) ดังนั้นจึงเป็นวิธีการทั่วไปในการใช้งานอัลกอริทึมการเรียนรู้ของเครื่องในชิป VLSI

เครือข่ายแบบ Spike ไม่มีหน่วยความจำในอุดมคติคุณไม่สามารถมีน้ำหนักความแม่นยำสูงได้ พวกเขาได้เสนอให้ใช้น้ำหนักชีวภาพหรือซิงก์หรือหน่วยความจำโดยใช้ตัวเก็บประจุ แต่เห็นได้ชัดว่ามันประสบปัญหาคล้ายกับชิปซิลิคอนปกติเช่นการรั่วไหลของประจุและจากที่ไม่ใช่อุดมคติในซิลิคอน ชอบ -1, 0, 1)

การคำนวณแบบดิจิตอล:

ในที่นี้มาคำนวณแบบดิจิตอล งานที่ต้องใช้การแสดงจุดลอยตัวจำนวนมากนั้นไม่สามารถทำได้โดยเดือยแหลมเนื่องจากเรายังไม่ทราบหรือสามารถเลียนแบบชีวฟิสิกส์หรือด้านใด ๆ ของเซลล์ประสาทที่แท้จริงสำหรับเรื่องนั้นได้อย่างสมบูรณ์ การคำนวณแบบดิจิทัลช่วยในการถ่ายทอดข้อมูลได้มากขึ้นและมีความแม่นยำเท่าที่เราต้องการ (ถ้าเราออกแบบซีพียู) แม้ว่าคอขวดจะเป็นข้อเสียเปรียบที่รู้จักกันดีของสถาปัตยกรรม Von Neumann สำหรับการคำนวณแบบดิจิทัล แต่ก็ไม่ได้เป็นปัญหามากเท่ากับการแสดงข้อมูลผ่านทาง spikes Spikes มีขนาดคงที่เสมอวิธีเดียวที่มันอาจบ่งบอกถึงข้อมูลคือความถี่และสัญญาณ (excitatory หรือ inhibiting) ด้วยความเร็วสัญญาณนาฬิกาก็ค่อนข้างสูงในคอมพิวเตอร์ที่ทันสมัย

Memristors: ทิศทางใหม่

ที่นี้มาพร้อมสิ่งประดิษฐ์ล่าสุดที่Memristor สิ่งนี้เป็นอุปกรณ์อะนาล็อกที่มีแนวโน้มมากที่สุดในการเรียนรู้ของเครื่อง Memristors เป็นแนวคิดใหม่ที่คาดการณ์ใน 70 และผลิตเฉพาะในปี 2008 โดยทั่วไปพวกเขาเป็น RRAM หรือ Resisitive RAM ในการนี้ความต้านทานของตัวต้านทานหน่วยความจำหรือMemristorเกี่ยวข้องโดยตรงกับประวัติศาสตร์ปัจจุบันที่ผ่านมาซึ่งมีความคล้ายคลึงกับแบบจำลองทางชีวฟิสิกส์ของเซลล์ประสาท พวกเขายังสามารถฝึกได้อย่างง่ายดายโดยใช้อาร์เรย์คาน (โดยทั่วไปเมทริกซ์ของหน้าสัมผัสไฟฟ้า) ของ memristors (อาร์เรย์คานจะเป็นตัวแทนของการฝึกอบรมน้ำหนักแรงดันไฟฟ้าที่ใช้ในแถวหรือตามแนวคอลัมน์จะเป็นตัวกำหนด

ดังนั้น Memristor ให้การหมุนแบบอะนาล็อกที่แท้จริงให้กับอัลกอริทึมการเรียนรู้ของเครื่อง น่าเสียดายเนื่องจากการมาถึงเมื่อเร็ว ๆ นี้มีปัญหามากมายซึ่งยังไม่ได้รับการแก้ไข

• Memristors สามารถย่อยสลายได้ค่อนข้างเร็วนั่นคือพวกเขามีวงจรการฝึกที่ จำกัด
• Memristors ส่งเสียงดังซึ่งเห็นได้ชัดว่าไม่ได้ช่วยในการทำให้เป็นมาตรฐานอย่างที่วิศวกร ML คิด
• องค์ประกอบที่แปลกใหม่ที่จำเป็นในการทำให้มัน ($TiO_2$ และ $HfO_2$) ผู้ใช้ Memristors ในแวดวงวิชาการมีข้อ จำกัด มาก แต่มีห้องปฏิบัติการสองสามห้องที่ทำงานในพื้นที่นี้คือ:

ห้องปฏิบัติการวิจัยนาโนอิเล็กทรอนิกส์มหาวิทยาลัย Purdue

วัสดุไฟฟ้า ETH ซูริค

โครงการสมองมนุษย์

สถาบัน MARCS สำหรับสมองพฤติกรรมและการพัฒนา

โฟโตนิกส์ neuromorphic:

เมื่อเร็ว ๆ นี้มีความสนใจในสาขาโฟโตนิกส์ Neuromorphic นี่เป็นบทความสั้น ๆเกี่ยวกับเรื่องเดียวกัน ฉันไม่คุ้นเคยกับการทำงานภายในของแบบเดียวกัน แต่ AFAIK เกี่ยวข้องกับการส่งข้อมูลในรูปแบบออปติคัลภายในชิปประมวลผลตัวเอง สิ่งนี้นำไปสู่ความได้เปรียบเหนือวงจรอนาลอกหรือดิจิตอลปกติ:

• ประมวลผลข้อมูลได้เร็วขึ้น
• ความหนาแน่นของข้อมูลสูงขึ้น
• ความถูกต้องของข้อมูลที่ดีขึ้นเนื่องจากการสูญเสียน้อยมาก

ฉันเชื่อว่าคนส่วนใหญ่ตอบคำถามอย่างขยันขันแข็งในแบบที่ให้ข้อมูลจริงๆ ฉันอยากจะบอกว่าเราใช้วงจรดิจิตอลโดยทั่วไปเพราะนั่นเป็นเทคโนโลยีที่มีอยู่และแน่นอนว่าวงจรอะนาล็อกนั้นดูมีแนวโน้มมาก

อย่างไรก็ตามในขณะนี้ความคิดนี้ยังไม่ได้รับการพัฒนาที่ดีแม้จะมีการวิจัยจำนวนมากในปีที่ผ่านมา ยังไม่มี บริษัท ใดพยายามใช้แนวคิดนี้ในเชิงพาณิชย์ซึ่งพวกเขากำลังทำชิปดังกล่าวเพื่อใช้นอกห้องปฏิบัติการของพวกเขา

นอกจากนี้แนวคิดนี้ให้ความรู้สึกเหมือนเป็นแนวทางใหม่และมีศักยภาพที่ยอดเยี่ยม

แต่เมื่อเราขาดความเข้าใจเกี่ยวกับวิธีการทำงานของแบบจำลองบางแบบก็ไม่ได้มีปัญหา วิธีเครือข่ายประสาทจริงๆแก้ปัญหาที่ซับซ้อนดังกล่าวและ things.Therefore อื่น ๆ อีกมากมายก็ยังค่อนข้างห่างไกลเทคโนโลยีในการเข้าถึงเต็มศักยภาพ

ป.ล. ฉันยังคงเป็นผู้เริ่มต้นในสาขานี้และคิดว่าความคิดเห็นของฉันไม่นับเช่นนั้นหากฉันซ้ำซ้อนที่ใดก็ได้หรือไม่สามารถให้คำตอบที่คาดหวังได้ฉันก็เสียใจอย่างจริงใจ

เราสามารถเข้าหาคำถามจากมุมมองของทฤษฎีสารสนเทศ:

มีสองการค้า / ไม่ชอบที่จะเลือกจาก:

ข้อมูลอะนาล็อกที่อาจเป็นตัวแทนของข้อมูลในลักษณะที่แม่นยำ / เฉพาะเจาะจงมากขึ้น แต่ จำกัด ปริมาณ

ข้อมูลดิจิทัลที่ไม่ได้เป็นตัวแทนของโลกแห่งความเป็นจริงอย่างสมบูรณ์ แต่อาจมีจำนวนข้อมูลไม่ จำกัด ภายในไม่กี่บิต ตัวอย่างที่ดีอาจเป็นอะไรที่เหมือนกับการเพิ่มการวนซ้ำ:

i = 0
while True:
   print(i)
   i += 1

อันไหนมีพลังมากกว่ากัน?

Hava Siegelmann

ในรูปลักษณ์แรกการคำนวณแบบอนาล็อกนั้นเหนือกว่าระบบดิจิตอล คอมพิวเตอร์ควอนตัมเร็วกว่าคอมพิวเตอร์ Von-Neumann และชิป neuromorphic ต้องการพลังงานน้อยกว่า CPU ของ Intel นอกจากนี้จากมุมมองเชิงทฤษฎีหลายคนพูดสำหรับคอมพิวเตอร์แอนะล็อก Hava Siegelmann ได้ทำการวิจัยความสามารถระดับสูงของเครือข่ายประสาทเทียมซึ่งหมายความว่าคอมพิวเตอร์อะนาล็อกสามารถจำลองแบบดิจิตอลได้ แต่ไม่ใช่แบบอื่น ๆ ดังนั้นทำไมเราไม่ควรใช้การคำนวณแบบอะนาล็อก?

สตีเฟ่น Wolfram

เหตุผลเกี่ยวข้องกับระบบการศึกษา คณิตศาสตร์คลาสสิกที่สอนในโรงเรียนคือคณิตศาสตร์อะนาล็อก มันขึ้นอยู่กับกฎสไลด์ตารางลอการิทึมและการคิดในวงจร ในทางตรงกันข้ามการคิดในค่าที่ไม่ต่อเนื่องของอัลกอริทึมและอธิบายโลกในศูนย์และค่าที่เป็นพื้นฐานที่แตกต่างกันและนำเราไปสู่คณิตศาสตร์ชนิดใหม่ สตีเฟ่นวูล์ฟรัมอธิบายว่าการทำความเข้าใจเกี่ยวกับหุ่นยนต์อัตโนมัติเป็นขั้นตอนสำคัญในการอธิบายจักรวาลและเขาพูดถูก การละเว้นคณิตศาสตร์อะนาล็อกและการเลือกใช้ภาษาคอมพิวเตอร์ที่มีความสามารถนั้นเป็นวิธีที่ทรงพลังในการศึกษา มันไม่เพียงช่วยทำความคุ้นเคยกับคอมพิวเตอร์ แต่ยังรวมถึงสิ่งอื่น ๆ เช่นยาวรรณกรรมและเศรษฐกิจด้วย แม้ว่าเครื่องอะนาล็อกจะดีกว่าด้านเทคนิค แต่เราก็ชอบเครื่องทัวริงช้า แต่ไม่ต่อเนื่อง

สอนวิชาคณิตศาสตร์

เพื่อให้เข้าใจถึงความแตกต่างระหว่างการคำนวณแบบดิจิตอลและอนาล็อกเราจะต้องมุ่งเน้นไปที่คณิตศาสตร์ที่ใช้ในโรงเรียน หากความคิดคือการผลักดันการคำนวณแบบอะนาล็อกไปข้างหน้าคณิตศาสตร์ที่เหมาะสมจะถูกจัดกลุ่มรอบ ๆ สนามไฟฟ้าการรวมตัวและความแตกต่าง ในโรงเรียนนี้มีการสอนภายใต้คำว่า“ การวิเคราะห์ทางคณิตศาสตร์” หัวข้อนี้มีความสำคัญมากในอดีตเนื่องจากการวิเคราะห์ช่วยในการสร้างสะพานเครื่องจักรและรถยนต์ ในพีชคณิตเวกเตอร์โดเมนเหล่านี้ทั้งหมดสำหรับการอธิบายช่องว่างทางเรขาคณิตถูกนำมาใช้

หากการคำนวณแบบอะนาล็อกมีประสิทธิภาพมากทำไมทุกคนต้องการคณิตศาสตร์ดิจิทัล มันเกี่ยวข้องกับอัลกอริทึม สิ่งที่ planimeter และเครื่องวิเคราะห์ความแตกต่างไม่ได้มีให้คือความสามารถในการเขียนโปรแกรม ไม่สามารถกำหนดอัลกอริทึมและภาษาประดิษฐ์ได้ เมื่อดูประวัติของคณิตศาสตร์แสดงให้เห็นว่าอัลกอริทึม - ทฤษฎีไม่ได้เป็นเรื่องธรรมดามากในอดีต ในคณิตศาสตร์สมัยใหม่มันจะกล่าวถึงภายใต้ระยะแลมบ์ดาแคลคูลัสและปัญหาลังเล

สิ่งที่ตลกคือในครั้งแรกที่แคลคูลัสแลมดาไม่มีการใช้งานจริง ไม่จำเป็นหากใครต้องการคำนวณพื้นที่ของสะพาน ทฤษฎีอัลกอริทึมเป็นโรงเรียนความคิดเพื่อปรับปรุงการคิดเชิงวิพากษ์ มันเป็นปรัชญาที่มนุษย์ต้องการไม่ใช่ด้วยเครื่องจักร