การเรียนรู้ของเครื่องเทียบกับการระบุระบบ?


12

ใครช่วยอธิบายความแตกต่าง & ความคล้ายคลึงกันระหว่างการเรียนรู้ของเครื่องและการระบุระบบ? นี่เป็นเพียงสองชื่อในสิ่งเดียวกันหรือไม่ ในหน้านี้พวกเขาพูดว่า:

ชุมชนการเรียนรู้ของเครื่องและระบบการระบุตัวตนต้องเผชิญกับปัญหาที่คล้ายกันซึ่งต้องสร้างแบบจำลองจากการสังเกตแบบ จำกัด หรือมีเสียงดัง

ฉันยังได้อ่านบทแรก ๆ ของการจดจำรูปแบบหนังสือที่มีชื่อเสียงและการเรียนรู้ของเครื่องโดย Christopher M. Bishop จนถึงตอนนี้ข้อสรุปของฉันคือปัญหาที่การระบุระบบกำลังพยายามแก้ไขเป็นส่วนย่อยของสิ่งที่การเรียนรู้ของเครื่องพยายามแก้ไข

คำตอบ:


6

การระบุระบบเป็นศาสตร์ของการสร้างแบบจำลองพลวัตจากข้อมูลที่สังเกตได้ มีสองวิธีหลัก: การทำนายข้อผิดพลาดการระบุ (PEI) และการระบุพื้นที่ (SID) ทั้งคู่กำลังนำเสนอโมเดลพาราเมตริกซึ่งเรียกว่าโมเดลของโครงสร้างที่ตายตัว โดยปกติจะเป็นกรณีที่ผู้ใช้เลือกโครงสร้างของระบบพื้นฐาน (โดยเฉพาะอย่างยิ่งในวิธีการ PEI) หรืออย่างน้อยลำดับของระบบ (ทั้งสองวิธี) แม้ว่ามันจะไม่จำเป็น แต่ก็มีระบบการสั่งซื้อที่ต่ำ (กล่าวคือจำนวนค่าสัมประสิทธิ์พื้นฐานมีขนาดค่อนข้างเล็ก) เพราะมันมักจะถูกใช้เพื่อวัตถุประสงค์ในการควบคุมดังนั้นเราจึงต้องทำให้มันง่ายที่สุดเท่าที่จะทำได้เพื่อหลีกเลี่ยง ปัญหาการคำนวณและอื่น ๆ โมเดลนี้สามารถใช้ในการทำนายเกี่ยวกับพฤติกรรมในอนาคตของระบบที่ได้รับจากอินพุต

ในอีกทางหนึ่งการเรียนรู้ของเครื่อง (ML) มีสองสาขาหลักคือการจำแนกและอัลกอริธึมถดถอย อันหลังนี้ยังใช้เพื่อการทำนาย สองวิธีที่มีชื่อเสียงที่สุดในการเรียนรู้ของเครื่องคือ Support Vector Machines (SVM) และกระบวนการ Gaussian (GP) ความแตกต่างที่สำคัญกับเทคนิคการระบุระบบคือเทคนิค ML กำลังส่งแบบจำลองที่ไม่ใช่พารามิเตอร์ หลังหมายถึงการคาดการณ์สำหรับการป้อนข้อมูลใหม่จะได้รับเป็นฟังก์ชั่นของจุดข้อมูลที่ใช้สำหรับ "การฝึกอบรม" (การเรียนรู้การระบุ) ของรูปแบบ ดังนั้นหากเราใช้ N = 1,000 จุดข้อมูลสำหรับการฝึกอบรมการทำนายนั้นจะแสดงเป็นฟังก์ชันของจุดข้อมูลเหล่านี้ วิธีการของ ML นั้นมีความยืดหยุ่นมากกว่าเนื่องจากพวกเขาไม่ต้องการการเลือกโครงสร้างใด ๆ จากผู้ใช้ แต่พวกเขาต้องเผชิญกับข้อ จำกัด อื่น ๆ (เช่น

จนกระทั่งเมื่อไม่นานมานี้ ML และเทคนิคการระบุระบบกำลังพัฒนาอย่างอิสระ แต่ในปีหลัง ๆ นี้มีความพยายามอย่างมากในการสร้างพื้นฐานร่วม (เช่นดูกระดาษ "สี่เผชิญหน้ากับการระบุระบบ" จาก Ljung)


3

บริบท: SysID และควบคุมคนที่เข้า ML

ฉันคิดว่าคำตอบของ user110686ทำงานได้อย่างเป็นธรรมในการอธิบายความแตกต่างบางอย่าง SysID นั้นจำเป็นเกี่ยวกับตัวแบบไดนามิกจากข้อมูลอินพุต / เอาท์พุตในขณะที่ ML ครอบคลุมปัญหาในวงกว้างขึ้น แต่ความแตกต่างที่ใหญ่ที่สุดที่ฉันเห็นคือเกี่ยวกับ (a) หน่วยความจำ (จำนวนพารามิเตอร์); (b) การใช้ปลายทางของโมเดล "เรียนรู้" การระบุระบบเป็นวิธีการประมวลผลสัญญาณอย่างมากโดยพิจารณาจากการแสดงโดเมนความถี่การวิเคราะห์ความถี่และอื่น ๆ คน ML บางคนเรียกสิ่งนี้ว่า "ฟีเจอร์วิศวกรรม"

(ความทรงจำ:SysID มีความโดดเด่นมานานก่อนที่ ML จะเป็นรูปแบบการวิจัย ดังนั้นสถิติและการประมวลผลสัญญาณจึงเป็นพื้นฐานเบื้องต้นสำหรับรากฐานทางทฤษฎีและการคำนวณก็น่ากลัว ดังนั้นคนที่ทำงานกับโมเดลที่เรียบง่ายมาก (Bias-Variance tradeoff) ที่มีพารามิเตอร์น้อยมาก เรากำลังพูดถึงพารามิเตอร์ 30-40 ส่วนใหญ่และแบบจำลองเชิงเส้นส่วนใหญ่แม้ในกรณีที่ผู้คนรู้อย่างชัดเจนว่าปัญหานั้นไม่ใช่แบบเส้นตรง อย่างไรก็ตามการคำนวณตอนนี้ราคาถูกมาก แต่ SysID ยังไม่ได้ออกมาจากเปลือก ผู้คนควรเริ่มตระหนักว่าเรามีเซ็นเซอร์ที่ดีขึ้นมากในขณะนี้สามารถประมาณ 1,000 พารามิเตอร์ด้วยชุดรูปแบบที่หลากหลาย นักวิจัยบางคนพยายามใช้โครงข่ายประสาทเทียมสำหรับ SysID แต่หลายคนดูเหมือนไม่เต็มใจที่จะยอมรับสิ่งเหล่านี้ว่าเป็น "กระแสหลัก" เนื่องจากไม่มีการรับรองทางทฤษฎีมากมาย

(b) การใช้รูปแบบการเรียนรู้ขั้นสุดท้าย:ตอนนี้นี่เป็นสิ่งหนึ่งที่ SysID ได้รับถูกต้องมาก แต่อัลกอริธึม ML จำนวนมากไม่สามารถดักจับได้ เป็นสิ่งสำคัญที่ต้องตระหนักว่าสำหรับแอปพลิเคชันเป้าหมายคุณจำเป็นต้องสร้างแบบจำลองที่สามารถใช้งานได้อย่างมีประสิทธิภาพสำหรับการเพิ่มประสิทธิภาพออนไลน์โมเดลเหล่านี้จะถูกใช้เพื่อเผยแพร่การตัดสินใจควบคุมใด ๆ และเมื่อตั้งค่านี้เป็นปัญหาการควบคุมที่ดีที่สุดโมเดลจะกลายเป็นข้อ จำกัด ดังนั้นเมื่อใช้โครงสร้างแบบจำลองที่ซับซ้อนมากมันทำให้การเพิ่มประสิทธิภาพออนไลน์นั้นยากขึ้นมาก โปรดทราบว่าการตัดสินใจออนไลน์เหล่านี้ใช้เวลาไม่กี่วินาที ทางเลือกที่เสนอคือการเรียนรู้ฟังก์ชั่นคุณค่าโดยตรงในลักษณะเป็นนโยบายนอกเพื่อการควบคุมที่ดีที่สุด นี่คือการเสริมแรงการเรียนรู้โดยทั่วไปและฉันคิดว่ามีการประสานที่ดีระหว่าง SysID และ RL


1
ยินดีต้อนรับสู่วิทยาการคอมพิวเตอร์แลกเปลี่ยนแลกเปลี่ยน Aravind!
David Richerby

2

ฉันต้องการเพิ่มว่ายังมีวิธีการที่ไม่ใช้พารามิเตอร์ในการระบุระบบ ดูกล่องเครื่องมือ SysId ของ MATLAB หรือหนังสือของ Ljung วิธีการที่ไม่ใช้พารามิเตอร์มักใช้เพื่อระบุชั้นของแบบจำลองสำหรับการศึกษาพารามิเตอร์ในภายหลัง นอกจากนี้สิ่งสำคัญคือต้องแยกปัญหาการประมาณออกจากปัญหาการควบคุม (คิดว่าวน OODA) ในการระบุระบบมันมักจะเป็นเป้าหมายเพียงเพื่อกำหนดลักษณะของระบบโดยไม่มีอินพุตควบคุมเฉพาะของประเภทที่จะได้รับการออกแบบในภายหลัง ในที่สุดฉันคิดว่ามันมีประโยชน์ที่จะทราบว่าระบบมาจากมุมมองทางคณิตศาสตร์ของผู้ดำเนินการที่แมปพื้นที่ฟังก์ชั่นกับพื้นที่ฟังก์ชั่น ดังนั้นสมการเชิงอนุพันธ์มักจะเป็นชนิดของสิ่งต่าง ๆ ที่ระบุไว้และแผนที่เหล่านี้ทำหน้าที่ในการทำงาน ฟังก์ชั่นใน SysID มักจะมีฟังก์ชั่นต่อเนื่องของเวลาหรือที่เรียกว่าสัญญาณเวลาต่อเนื่อง (แต่สามารถแยกเวลาได้เช่นกัน) ดังนั้น SysID ไม่เพียง แต่พยายามแมปจำนวนจริง (หรือเวกเตอร์) กับจำนวนจริง (หรือเวกเตอร์) มันพยายามที่จะระบุตัวดำเนินการที่ดีที่สุด (LTI, LTV, ไม่ใช่เชิงเส้น ฯลฯ ) ที่แมปสัญญาณอินพุตกับสัญญาณเอาต์พุต


-2

การเรียนรู้ของเครื่อง: การสร้างแบบจำลองสำหรับรูปแบบคงที่และรูปแบบไดนามิกการระบุระบบ: มุ่งเน้นไปที่รูปแบบไดนามิกหรือกระบวนการแบบไดนามิก


1
คำตอบของคุณสั้นไปหน่อยคุณช่วยอธิบายคำตอบของคุณเล็กน้อยเพื่อให้รายละเอียดมากขึ้น - ตัวอย่างเช่นอะไรคือความแตกต่าง (ถ้ามี - ฉันไม่ใช่ผู้เชี่ยวชาญ) ระหว่างการเรียนรู้ด้วยเครื่องจักรการสร้างแบบจำลองแบบไดนามิก คุณบอกว่าการระบุระบบมุ่งเน้นไปที่การเรียนรู้ของเครื่องแบบไดนามิกในขณะที่พื้นที่กว้างมีองค์ประกอบแบบคงที่? (แค่แนวคิดสำหรับวิธีที่คุณสามารถขยายคำตอบของคุณเพื่อทำให้ดีขึ้น - บางทีพวกเขาอาจจะไม่ใช่คนที่ดี)
ลุคมาธีสันเมื่อ
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.