เรขาคณิตและ AI
เมทริกซ์, ก้อน, ชั้น, กองและวรรณะเป็นสิ่งที่เราสามารถเรียกได้อย่างถูกต้องโครงสร้าง พิจารณาโทโพโลยีในบริบทนี้การออกแบบทางเรขาคณิตระดับสูงของระบบการเรียนรู้
เมื่อความซับซ้อนเพิ่มขึ้นก็มักจะมีประโยชน์ในการแสดงโครงสร้างเหล่านี้เป็นโครงสร้างกราฟกำกับ แผนภาพสถานะและผลงานของมาร์คอฟเกี่ยวกับทฤษฎีเกมเป็นสองสถานที่ซึ่งมักใช้กราฟกำกับ กราฟกำกับมีจุดยอด (มักจะมองเห็นเป็นรูปร่างปิด) และขอบมักมองเห็นเป็นลูกศรที่เชื่อมต่อรูปร่าง
นอกจากนี้เรายังสามารถเป็นตัวแทนของ GANs เป็นกราฟกำกับซึ่งผลลัพธ์ของแต่ละเน็ตไดรฟ์จะช่วยฝึกอบรมเรื่องอื่น ๆ ในลักษณะที่เป็นปฏิปักษ์ GANs คล้ายกับแถบMöbiusทอพอโลยี
เราไม่สามารถค้นพบการออกแบบและสถาปัตยกรรมใหม่ ๆ โดยไม่เข้าใจไม่เพียง แต่คณิตศาสตร์ของการมาบรรจบกันบนทางออกที่ดีที่สุดหรือการติดตาม แต่ยังรวมถึงทอพอโลยีของการเชื่อมต่อเครือข่ายที่สามารถรองรับการบรรจบกัน มันเหมือนกับการพัฒนาตัวประมวลผลครั้งแรกในขณะที่จินตนาการถึงสิ่งที่ระบบปฏิบัติการต้องการก่อนที่จะเขียนระบบปฏิบัติการ
หากต้องการดูว่าเราไม่ได้พิจารณาโทโพโลยีแบบใดเรามาดูกันว่ามีใครบ้าง
ขั้นตอนที่หนึ่ง - การอัดขึ้นรูปในมิติที่สอง
ในปี 1980 ความสำเร็จประสบความสำเร็จด้วยการขยายการออกแบบ perceptron ดั้งเดิม นักวิจัยได้เพิ่มมิติที่สองเพื่อสร้างเครือข่ายประสาทหลายชั้น การบรรจบกันอย่างมีเหตุผลนั้นเกิดขึ้นได้จากการย้อนกลับของการไล่ระดับของฟังก์ชันข้อผิดพลาดผ่านการไล่ระดับสีของฟังก์ชั่นการเปิดใช้งานซึ่งลดทอนโดยอัตราการเรียนรู้และชุบด้วย meta-parameters อื่น ๆ
ขั้นตอนที่สอง - การเพิ่มมิติให้กับสัญญาณอินพุตแบบไม่ต่อเนื่อง
เราเห็นการเกิดขึ้นของเครือข่าย convolutional โดยอาศัยเทคนิคการปรับภาพที่ปรับแต่งด้วยตนเองที่มีอยู่ในมิติที่แนะนำสำหรับอินพุตเครือข่าย: ตำแหน่งแนวตั้ง, ส่วนประกอบของสีและเฟรม มิติสุดท้ายนี้มีความสำคัญต่อ CGI การทดแทนใบหน้าและเทคนิคทางสัณฐานวิทยาอื่น ๆ ในการสร้างภาพยนตร์ร่วมสมัย หากไม่มีมันเรามีการสร้างภาพการจัดหมวดหมู่และกำจัดเสียงรบกวน
ขั้นตอนที่สาม - สแต็กของเครือข่าย
เราเห็นกองอวนประสาทโผล่ออกมาในปลายปี 1990 ซึ่งการฝึกอบรมของเครือข่ายหนึ่งถูกควบคุมโดยเครือข่ายอื่น นี่คือการแนะนำของเลเยอร์แนวความคิดทั้งในแง่ของเลเยอร์ลำดับของเซลล์ประสาทหรือในแง่ของเลเยอร์สีในรูปภาพ การฝังรากลึกชนิดนี้ไม่ได้เรียกซ้ำ มันเป็นเหมือนโลกธรรมชาติที่โครงสร้างหนึ่งเป็นอวัยวะภายในโครงสร้างชนิดอื่นที่แตกต่างกันโดยสิ้นเชิง
ขั้นตอนที่สี่ - ลำดับขั้นของเครือข่าย
เราเห็นลำดับชั้นของอวนประสาทปรากฏขึ้นบ่อยครั้งในการวิจัยที่เกิดขึ้นในช่วงปี 2000 และต้นปี 2010 (Laplacian และอื่น ๆ ) ซึ่งยังคงทำงานร่วมกันระหว่างอวนประสาทและการเปรียบเทียบสมองของสัตว์เลี้ยงลูกด้วยนม ตอนนี้เราเห็นโครงสร้างเมตาดาต้าที่ซึ่งเครือข่ายทั้งหมดกลายเป็นจุดยอดในกราฟกำกับที่แสดงถึงโทโพโลยี
ขั้นตอนที่ห้า% mdash; ออกเดินทางจากปฐมนิเทศคาร์ทีเซียน
การจัดเรียงของเซลล์ที่ไม่ใช่แบบคาร์ทีเซียนซ้ำอย่างเป็นระบบและการเชื่อมต่อระหว่างพวกเขาได้เริ่มปรากฏในวรรณคดี ยกตัวอย่างเช่นเกจ Equivariant Convolutional Networks และ Icosahedral CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) ตรวจสอบการใช้การจัดเรียงตาม icosahedron ปกติแบบนูน
สรุป
เลเยอร์มีฟังก์ชันการเปิดใช้งานที่มีมูลค่าตามปกติสำหรับเมทริกซ์จุดยอดและเมทริกซ์การลดทอนที่แมปกับชุดที่ครบถ้วนของขอบชี้นำระหว่างเลเยอร์ที่อยู่ติดกัน [1] เลเยอร์การบิดภาพมักจะอยู่ในการจัดจุดสุดยอดสองมิติพร้อมกับการลดทอนคิวบ์ที่แมปกับชุดย่อของขอบชี้นำระหว่างเลเยอร์ที่อยู่ติดกัน [2] กองซ้อนมีตาข่ายทั้งชั้นเป็นจุดยอดใน meta-direct-graph และ meta-vertices เหล่านั้นเชื่อมต่อกันในลำดับที่แต่ละขอบเป็นทั้งการฝึกอบรม meta-parameter, การเสริมแรง (สัญญาณตอบรับตามเวลาจริง) หรือการควบคุมการเรียนรู้อื่น ๆ . ลำดับชั้นของอวนสะท้อนให้เห็นถึงความคิดที่ว่าการควบคุมหลายอย่างสามารถรวมและเรียนรู้โดยตรงในระดับล่างหรือกรณีพลิกที่องค์ประกอบการเรียนรู้หลายรายการสามารถควบคุมได้โดยเครือข่ายผู้บังคับบัญชาระดับสูงขึ้นไปหนึ่งคน
การวิเคราะห์แนวโน้มในการเรียนรู้ทอพอโลยี
เราสามารถวิเคราะห์แนวโน้มในสถาปัตยกรรมการเรียนรู้ของเครื่อง เรามีสามแนวโน้มทอพอโลยี
ความลึกในมิติเวรกรรม - เลเยอร์กับการประมวลผลสัญญาณที่เอาต์พุตของการเปิดใช้งานหนึ่งชั้นจะถูกป้อนผ่านเมทริกซ์ของพารามิเตอร์การลดทอน (น้ำหนัก) ไปยังอินพุตของเลเยอร์ถัดไป เมื่อมีการควบคุมที่มากขึ้นการเริ่มต้นด้วยการลดลงของการไล่ระดับสีพื้นฐานในการกระจายกลับนั้นสามารถทำได้ในระดับความลึกที่มากขึ้น
ขนาดสัญญาณอินพุต - จากอินพุตสเกลาร์ถึงไฮเปอร์คิวบ์ (วิดีโอมีแนวนอนแนวตั้งความลึกของสีรวมถึงความโปร่งใสและกรอบ - โปรดทราบว่านี่ไม่เหมือนกับจำนวนอินพุตในความรู้สึกของ Perceptron
การพัฒนาโทโพโลยี - ทั้งสองข้างต้นเป็นคาร์ทีเซียนในธรรมชาติ มิติจะถูกเพิ่มที่มุมขวาของมิติที่มีอยู่ ในขณะที่เครือข่ายมีสายในลำดับชั้น (เช่นใน Laplacian ลำดับชั้น) และMöbiusแถบเหมือนวงกลม (เช่นใน GANs) แนวโน้มที่มีภูมิประเทศและเป็นตัวแทนที่ดีที่สุดโดยกราฟกำกับที่จุดยอดไม่ใช่เซลล์ประสาท แต่เครือข่ายขนาดเล็กของพวกเขา
โทโพโลยีที่หายไปคืออะไร
ส่วนนี้จะขยายความหมายของคำถามหัวเรื่อง
- มีเหตุผลใดบ้างที่ทำให้ meta-vertices หลายอันแต่ละอันเป็นตัวแทนของโครงข่ายประสาทสามารถจัดวางได้เช่นกันซึ่ง meta-vertices ของผู้ควบคุมหลายคนสามารถร่วมกันควบคุม meta-vertices ของพนักงานหลายคนได้หรือไม่?
- ทำไมการเผยแพร่กลับของสัญญาณข้อผิดพลาดจึงเทียบเท่ากับการตอบกลับเชิงลบที่ไม่ใช่เชิงเส้นเท่านั้น?
- ไม่สามารถใช้การทำงานร่วมกันระหว่าง meta-vertices มากกว่าการควบคุมได้
- เนื่องจากมีการใช้อวนประสาทเป็นหลักในการเรียนรู้ปรากฏการณ์ไม่เชิงเส้นทำไมจึงห้ามไม่ให้มีเส้นทางปิดประเภทอื่นในการออกแบบอวนหรือการเชื่อมต่อโครงข่าย?
- มีเหตุผลใดบ้างที่ไม่สามารถเพิ่มเสียงลงในรูปภาพเพื่อให้สามารถจัดประเภทวิดีโอคลิปได้โดยอัตโนมัติ หากเป็นเช่นนั้นบทภาพยนตร์จะทำการแยกคุณลักษณะที่เป็นไปได้ของภาพยนตร์และสามารถใช้สถาปัตยกรรมเชิงรุกเพื่อสร้างบทภาพยนตร์และสร้างภาพยนตร์โดยไม่มีระบบสตูดิโอภาพยนตร์ได้หรือไม่? โทโพโลยีนั้นมีลักษณะอย่างไรเป็นกราฟกำกับ
- แม้ว่าเซลล์ที่มีการจัดเรียงแบบมุมฉากสามารถจำลองการจัดเรียงตามปกติของจุดยอดและมุมที่ไม่ใช่มุมฉากได้หรือไม่มันมีประสิทธิภาพในการมองเห็นในคอมพิวเตอร์ที่มีการเอียงของกล้องอื่นนอกเหนือจากการบวกหรือลบ 90 องศาหรือไม่?
- มันมีประสิทธิภาพหรือไม่ในการจัดเรียงเซลล์เดี่ยว ๆ ในเครือข่ายหรือเครือข่ายเซลล์ในระบบ AI แบบตั้งฉากในระบบการเรียนรู้ที่มุ่งเน้นที่การเข้าใจภาษาธรรมชาติและการประกอบหรือการรับรู้ประดิษฐ์?
หมายเหตุ
เซลล์ประดิษฐ์ใน MLPs ใช้ฟังก์ชั่นการถ่ายโอนทางคณิตศาสตร์แบบลอยตัวหรือแบบคงที่มากกว่าการส่งสัญญาณพัลส์เคมีไฟฟ้าขึ้นอยู่กับความกว้างและความใกล้เคียงตามเกณฑ์ พวกมันไม่ใช่แบบจำลองที่เหมือนจริงของเซลล์ประสาทดังนั้นการเรียกว่าเซลล์ประสาทจุดยอดจะเป็นผู้เรียกชื่อผิดสำหรับการวิเคราะห์แบบนี้
ความสัมพันธ์ของคุณสมบัติภาพและการเปลี่ยนแปลงสัมพัทธ์ระหว่างพิกเซลในระยะใกล้จะสูงกว่าพิกเซลระยะไกล