ทำไมโมเดลการเรียนรู้ของเครื่องถึงเรียกว่ากล่องดำ

ฉันอ่านโพสต์บล็อกนี้ชื่อ: The Financial World ต้องการเปิดกล่องดำของ AIซึ่งผู้เขียนอ้างถึงนางแบบ ML เป็น "กล่องดำ" ซ้ำ ๆ

มีการใช้คำศัพท์ที่คล้ายกันในหลายสถานที่เมื่ออ้างถึง ML model ทำไมถึงเป็นเช่นนั้น?

มันไม่เหมือนวิศวกร ML ที่ไม่รู้ว่าเกิดอะไรขึ้นในโครงข่ายประสาท เลเยอร์ทุกอันจะถูกเลือกโดยวิศวกร ML ที่รู้ว่าจะใช้ฟังก์ชั่นการเปิดใช้งานอะไรชนิดของเลเยอร์นั้นจะทำอย่างไรการแพร่กระจายของข้อผิดพลาดกลับเป็นต้น

กล่องสีดำสิ่งที่มีอะไรจะทำอย่างไรกับระดับของความเชี่ยวชาญของผู้ชม (ตราบเท่าที่ผู้ชมเป็นมนุษย์) แต่มีexplainabilityของฟังก์ชั่นรูปแบบโดยขั้นตอนวิธีการเรียนรู้ของเครื่อง

ในการถดถอยโลจิสติกมีความสัมพันธ์ที่ง่ายมากระหว่างอินพุตและเอาต์พุต บางครั้งคุณสามารถเข้าใจได้ว่าเหตุใดตัวอย่างบางรายการจึงไม่ถูกต้อง (เช่นเนื่องจากค่าของส่วนประกอบบางอย่างของเวกเตอร์อินพุตต่ำเกินไป)

เช่นเดียวกับต้นไม้การตัดสินใจ: คุณสามารถปฏิบัติตามตรรกะที่ใช้โดยต้นไม้และเข้าใจว่าเหตุใดองค์ประกอบหนึ่งจึงถูกกำหนดให้กับชั้นหนึ่งหรืออีกชั้นหนึ่ง

อย่างไรก็ตามเครือข่ายประสาทลึกเป็นตัวอย่างที่ชัดเจนของอัลกอริทึมกล่องดำ ไม่มีใครแม้แต่คนที่มีความเชี่ยวชาญมากที่สุดในโลกที่เข้าใจถึงฟังก์ชั่นที่จำลองโดยการฝึกอบรมโครงข่ายประสาทเทียม ข้อมูลเชิงลึกเกี่ยวกับเรื่องนี้สามารถให้ได้โดยตัวอย่างของฝ่ายตรงข้าม : การเปลี่ยนแปลงบางอย่างเล็กน้อย (และไม่สามารถสังเกตเห็นได้โดยมนุษย์) ในตัวอย่างการฝึกอบรมอาจทำให้เครือข่ายคิดว่ามันเป็นของฉลากที่แตกต่างกันโดยสิ้นเชิง มีเทคนิคบางอย่างในการสร้างตัวอย่างฝ่ายตรงข้ามและเทคนิคบางอย่างเพื่อปรับปรุงความทนทานต่อพวกเขา แต่เนื่องจากไม่มีใครรู้ถึงคุณสมบัติที่เกี่ยวข้องทั้งหมดของฟังก์ชั่นที่ถูกจำลองโดยเครือข่ายจึงเป็นไปได้ที่จะหาวิธีแปลกใหม่ในการสร้างมันขึ้นมา

มนุษย์นอกจากนี้ยังมีกล่องสีดำและเรายังมีความเหมาะสมที่จะเป็นตัวอย่างความขัดแย้ง

ในขณะที่ฉันเห็นด้วยกับคำตอบ ncasasในจุดส่วนใหญ่ (+1) ฉันขอแตกต่างกันบ้าง:

• ต้นไม้การตัดสินใจสามารถใช้เป็นโมเดลกล่องดำได้เช่นกัน ในความเป็นจริงฉันจะบอกว่าโดยส่วนใหญ่แล้วจะใช้เป็นรุ่นกล่องดำ หากคุณมี 10,000 คุณสมบัติและต้นไม้ที่มีความลึก 50 คุณไม่สามารถคาดหวังได้ว่ามนุษย์จะเข้าใจมันอย่างสมเหตุสมผล
• โครงข่ายประสาทเทียมสามารถเข้าใจได้ มีเทคนิคการวิเคราะห์มากมาย (ดูบทที่ 2.5 ของวิทยานิพนธ์ปริญญาโทของฉันสำหรับบางคนที่มุ่งเป้าไปที่การปรับปรุงแบบจำลอง) การวิเคราะห์การบดเคี้ยวโดยเฉพาะ (รูปที่ 2.10), การสร้างภาพตัวกรอง (รูปที่ 2.11) นอกจากนี้ควรทำไมผมเชื่อว่าท่าน? กระดาษ ( บันทึกของฉัน )

อธิบายการทำนายของแบบจำลองกล่องดำโดยการวิเคราะห์การบดเคี้ยวแฟนซี (จาก "ทำไมฉันจึงควรเชื่อใจคุณ"):

ผมอยากจะชี้ให้เห็นมิ ธ อสของรุ่น interpretability มันกำหนดแนวคิดบางประการเกี่ยวกับการตีความได้อย่างกระชับ

คำถามของคุณ

ทำไมโมเดลการเรียนรู้ของเครื่องถึงเรียกว่ากล่องดำ

ผู้คนใช้งานอย่างไร : เพราะพวกเขาไม่ได้จำลองปัญหาด้วยวิธีที่ทำให้มนุษย์สามารถพูดได้โดยตรงว่าเกิดอะไรขึ้นกับข้อมูลที่ป้อนเข้า

ความคิดส่วนตัว

ฉันไม่คิดว่าความคิดเกี่ยวกับ "โมเดลกล่องดำ" นี้สมเหตุสมผลนัก ตัวอย่างเช่นคิดถึงการพยากรณ์อากาศ คุณไม่สามารถคาดหวังว่าจะมีมนุษย์คนใดบอกว่าสภาพอากาศใดจะถูกคาดการณ์ถ้าเขาได้รับข้อมูล แต่คนส่วนใหญ่จะไม่บอกว่าแบบจำลองสภาพอากาศทางกายภาพนั้นเป็นแบบจำลองของกล่องดำ ดังนั้นความแตกต่างอยู่ที่ไหน เป็นเพียงความจริงที่ว่าแบบจำลองหนึ่งถูกสร้างขึ้นโดยใช้ข้อมูลและอีกแบบหนึ่งถูกสร้างขึ้นโดยใช้ข้อมูลเชิงลึกเกี่ยวกับฟิสิกส์หรือไม่

เมื่อคนพูดถึงกล่องดำพวกเขามักจะพูดว่ามันเป็นสิ่งที่ไม่ดี แต่มนุษย์ก็เป็นนางแบบกล่องดำด้วย ความแตกต่างที่สำคัญที่ฉันเห็นที่นี่คือคลาสของข้อผิดพลาดที่มนุษย์สร้างขึ้นนั้นง่ายต่อการคาดเดาสำหรับมนุษย์ ดังนั้นจึงเป็นปัญหาการฝึกอบรม (ตัวอย่างที่เป็นปฏิปักษ์ต่อฝ่าย NN) และปัญหาการศึกษา (สอนมนุษย์เกี่ยวกับวิธีการทำงานของ NNS)

วิธีการใช้คำว่า 'รุ่นกล่องดำ' : วิธีการที่เหมาะสมกว่าสำหรับฉันคือการเรียกปัญหาว่า "ปัญหากล่องดำ" ซึ่งคล้ายกับสิ่งที่ผู้ใช้144410 (+1) เขียน ดังนั้นโมเดลใด ๆ ที่จัดการกับปัญหาเป็นกล่องดำเท่านั้นดังนั้นสิ่งที่คุณสามารถนำเข้าและส่งออกได้ - เป็นโมเดลกล่องดำ โมเดลที่มีข้อมูลเชิงลึก (ไม่เพียง แต่คาดเดา!) เกี่ยวกับปัญหาไม่ใช่โมเดลกล่องดำ ส่วนความเข้าใจนั้นเป็นเรื่องยาก ทุกรุ่นสร้างข้อ จำกัด เกี่ยวกับฟังก์ชั่นที่เป็นไปได้ซึ่งมันสามารถเป็นแบบจำลองได้ (ใช่ฉันรู้เกี่ยวกับปัญหาการประมาณค่าแบบสากลตราบใดที่คุณใช้ NN ขนาดคงที่จะไม่มีผล) ฉันจะบอกว่าบางสิ่งเป็นข้อมูลเชิงลึกเกี่ยวกับปัญหาหากคุณรู้บางอย่างเกี่ยวกับความสัมพันธ์ของอินพุตและเอาต์พุตโดยไม่ทำให้เกิดปัญหา (โดยไม่ต้องดูข้อมูล)

สิ่งที่ตามมาจากนี้:

• โครงข่ายใยประสาทเทียมสามารถไม่ใช่ Blackbox (whitebox?)
• การถดถอยโลจิสติกสามารถเป็นรูปแบบกล่องดำ
• มันเกี่ยวกับปัญหาและความเข้าใจของคุณเกี่ยวกับมันน้อยกว่าเกี่ยวกับโมเดล

มันอธิบายความหมายของโมเดลและความสามารถในการอธิบายได้ เมื่อกำหนดเอ้าท์พุทของโมเดลที่เรียบง่ายขึ้นมันเป็นไปได้ที่จะระบุว่าแต่ละอินพุตมีส่วนต่อเอาท์พุตของโมเดลอย่างไร ตัวอย่างเช่นกับการถดถอยคุณสามารถชี้ไปที่สัมประสิทธิ์ด้วยต้นไม้การตัดสินใจที่คุณสามารถระบุแยก และด้วยข้อมูลนี้คุณสามารถได้รับกฎเพื่ออธิบายพฤติกรรมของแบบจำลอง

อย่างไรก็ตามเมื่อจำนวนพารามิเตอร์ของโมเดลเพิ่มขึ้นมันก็ยากที่จะอธิบายว่าการรวมกันของอินพุตนำไปสู่เอาต์พุตโมเดลสุดท้ายหรือกฎที่ได้มาจากพฤติกรรมของโมเดลนั้นเป็นอย่างไร พูดในอุตสาหกรรมการเงินเมื่อซีโอโอเข้ามาและถามว่า 'ดังนั้นทำไมการซื้อขายความถี่สูงของคุณถึงทำให้เศรษฐกิจล่มสลาย' เขาไม่ต้องการได้ยินว่ามันถูกสร้างขึ้นมาทำไมเขาถึงล้มละลาย มันเป็นไปได้ที่จะระบุว่าแบบจำลองนั้นถูกสร้างขึ้นมาอย่างไร แต่มันเป็นไปไม่ได้ที่จะอธิบายว่าการรวมกันของปัจจัยต่างๆที่โมเดลที่ได้รับเป็นอินพุตนำไปสู่ผลลัพธ์และนั่นคือสาเหตุที่ผู้คนกำลังพูดถึงกล่องดำ

กล่องดำหมายถึงแบบจำลองทางคณิตศาสตร์ใด ๆ ที่มีสมการที่เลือกให้เป็นแบบทั่วไปและยืดหยุ่นที่สุดเท่าที่จะเป็นไปได้โดยไม่ต้องอาศัยกฎหมายทางกายภาพ / วิทยาศาสตร์ใด ๆ

แบบจำลองกล่องสีเทาเป็นแบบจำลองทางคณิตศาสตร์ที่ส่วนหนึ่งของสมการ (ฟังก์ชันทางคณิตศาสตร์) มาจากกฎทางกายภาพที่รู้จักกัน แต่ส่วนที่เหลือจะถือว่าเป็นฟังก์ชันทั่วไปเพื่อชดเชยส่วนที่ไม่ได้อธิบาย

แบบจำลองกล่องสีขาวเป็นแบบจำลองทางคณิตศาสตร์ที่สร้างขึ้นอย่างสมบูรณ์บนกฎทางกายภาพและความเข้าใจของระบบเช่นตัวอย่างกฎการเคลื่อนที่เชิงกล (แบบจำลองของเครื่องบิน .. เป็นต้น)

ดู: https://en.wikipedia.org/wiki/Mathematical_model#A_priori_information

กล่องดำดังที่คุณทราบหมายถึงฟังก์ชั่นที่คุณรู้ว่าลายเซ็นต์ของอินพุตและเอาต์พุต แต่ไม่สามารถรู้ได้ว่ามันเป็นตัวกำหนดเอาท์พุตจากอินพุต

การใช้คำนี้เป็นคำที่ฉวัดเฉวียนไม่ถูกต้องในกรณีนี้ อาจเกินกว่าความตั้งใจหรือความสามารถของนักเขียน / ผู้เขียนที่จะรู้และเข้าใจแบบจำลอง ML แต่นั่นไม่ได้หมายความว่ามันเกินความตั้งใจหรือความสามารถของผู้อื่น วิศวกรที่สร้างโมเดล ML แต่ละรุ่นทราบดีว่ามันทำงานอย่างไรและสามารถดึงโครงสร้างการตัดสินใจตามความต้องการและเดินได้ เพียงเพราะบางคนอาจขี้เกียจเกินไปหรืออาจใช้เวลาสักครู่ในการทำเช่นนั้นไม่ได้หมายความว่าข้อมูลจะไม่พร้อมสำหรับการบริโภค

รุ่น ML ไม่ใช่กล่องดำ แต่เป็นกล่องใสที่มีขนาดใหญ่มาก

วิศวกร ML ไม่ทราบว่ามีอะไรเกิดขึ้นภายในโครงข่ายประสาท

ขออภัยที่จะโต้แย้งคุณ แต่มันเป็นเรื่องจริง พวกเขารู้ว่าเครือข่ายประสาทเทียมเรียนรู้ได้อย่างไร แต่พวกเขาไม่รู้ว่าเครือข่ายประสาทใด ๆ ที่ได้รับนั้นได้เรียนรู้อะไร ตรรกะที่เรียนรู้โดยโครงข่ายประสาทเทียมนั้นไม่อาจหยั่งรู้ได้

จุดประสงค์ของการใช้การเรียนรู้ของเครื่องคือการเรียนรู้กฎที่โปรแกรมเมอร์หรือผู้เชี่ยวชาญด้านโดเมนจะไม่คิดถึง นี่เป็นการยากที่จะเข้าใจโดยเนื้อแท้

มันคล้ายกับโปรแกรมคอมพิวเตอร์ทั่วไปที่เขียนด้วยชื่อตัวแปรตัวอักษรหนึ่งตัวไม่มีความคิดเห็นไม่มีโครงสร้างที่ชัดเจนใช้คณิตศาสตร์ที่คลุมเครือและทุกคนที่ตายไปแล้ว คุณสามารถก้าวผ่านมันในตัวดีบั๊กเกอร์ แต่มันยังห่างไกลจากความชัดเจนว่ามันทำงานอย่างไร

ไม่ค่อยมีใครใช้ปัญหาที่จะคิดออกว่าเครือข่ายประสาทเทียมทำอะไร ยกตัวอย่างเช่นอัลกอริทึมนาทีความขัดแย้งที่ถูกค้นพบโดยการวิเคราะห์เครือข่ายประสาทได้รับการฝึกฝนในN-Queens ปัญหา แต่มันก็มีงานเยอะ

ในบล็อกโพสต์ที่อ้างถึงในคำถามการอภิปรายเกี่ยวกับความจริงที่ว่าผู้เชี่ยวชาญที่พัฒนารูปแบบการเรียนรู้ของเครื่องในด้านการเงินไม่สามารถอธิบายให้ลูกค้าของพวกเขา (นักการเงินที่ไม่มีการฝึกอบรมในการเรียนรู้ของเครื่องจักร) .

นี้ออกมาแตกต่างระหว่างรุ่นที่มีกล่องสีดำเพราะของข้อมูลที่เป็นความลับอย่างแท้จริง (เช่นค่าสัมประสิทธิ์มีการเข้ารหัสใน FPGA หลักฐานการงัดแงะ) และรูปแบบที่มีการเปิด (ในแง่ที่ว่าค่าสัมประสิทธิ์เป็นที่รู้จักกัน) แต่ไม่เข้าใจกับ ผู้ชมโดยเฉพาะอย่างยิ่ง

กล่องดำแบบหลังนี้มีปัญหาเพราะลูกค้าต้องการสร้างความมั่นใจกับตัวเองว่าแบบจำลองที่คุณสร้างขึ้นนั้นมี "ความถูกต้องแบบใบหน้า" ด้วยรูปแบบอื่น ๆ เช่น Logistic Regression มันค่อนข้างง่ายที่จะดูค่าสัมประสิทธิ์และตรวจสอบว่าพวกเขามีสัญญาณบวกหรือลบที่คาดไว้ - แม้แต่ผู้ที่ไม่รู้หนังสือคณิตศาสตร์สามารถเข้าใจได้

การเรียนรู้ของเครื่องสามารถนำมาพิจารณาได้อย่างถูกต้องในกล่องดำโซลูชันสำหรับปัญหา XOR โดยใช้โครงข่ายประสาทเทียมสามารถสร้างแบบจำลองได้ แต่เมื่อจำนวนอินพุตเพิ่มขึ้นความซับซ้อนและมิติจึงเพิ่มขึ้น หากมันซับซ้อนเกินกว่าจะเข้าใจและอธิบายได้มันเป็นกล่องดำไม่ว่าเราจะคำนวณผลลัพธ์ได้หรือไม่

เราสามารถรับรู้ได้ไม่เกิน 3 มิติ แต่นี่ก็เพียงพอแล้วเพราะเราสามารถคาดการณ์ได้มากกว่านี้ในมิติที่สูงขึ้นโดยใช้แบบจำลอง 3 มิติเป็นจุดอ้างอิง เราสามารถจินตนาการถึงค่าต่ำสุดในท้องถิ่นรวมถึงส่วนของชุดข้อมูลที่เรียนรู้บางส่วน

ฉันเล่นกับความคิดมาระยะหนึ่งแล้วฉันก็สร้างอนิเมชั่นของโครงข่ายประสาทในที่ทำงานและปรับปรุงความเข้าใจเกี่ยวกับโครงข่ายประสาท ฉันสร้างอนิเมชั่นที่มีเลเยอร์ที่ซ่อนอยู่ 1 และ 2 เลเยอร์ (ส่วนใหญ่จะทำที่ 3) และพวกเขาเรียนรู้ข้อมูลอย่างไร

อนิเมชั่นนั้นช้าและแอนนิเมชั่นขวาบนที่แสดงเลเยอร์ด้านบนนั้นควรค่าแก่การรับชมคุณสามารถเพิ่มความเร็วของแอนิเมชั่นบน Youtube ได้หากต้องการการเปลี่ยนแปลงที่สำคัญสามารถเห็นได้ที่อนิเมชั่นด้านบนขวา ตาข่ายสีแดงที่ 6 นาทีและน้ำเงินส้มและแดงที่ 8:20 ทิศทางของการเปลี่ยนแปลงน้ำหนักนั้นชัดเจนในภาพเคลื่อนไหวด้านล่างซ้าย

https://www.youtube.com/watch?v=UhQJbFDtcoc

ฉันคิดว่าแนวคิดกล่องดำที่ใช้ในลักษณะนี้มาจากการทดสอบกล่องดำในการประกันคุณภาพซอฟต์แวร์และฮาร์ดแวร์ คือเมื่อคุณเลือกที่จะไม่หรือไม่สามารถดูและดูการทำงานภายในของสิ่งที่คุณกำลังทดสอบ อาจเป็นเพราะเหตุผลที่มันจะเป็น

1. ทำไม่ได้หรือเป็นไปไม่ได้ที่จะมองมัน (มันอยู่ในสภาพแวดล้อมที่ปิดผนึกและเราก็ไม่สามารถมองเข้าไปในมัน) - แต่มันก็อาจจะเป็น

2. เพราะมีโอกาสมากขึ้นในการเขียนแบบทดสอบเส็งเคร็งถ้าใครเห็นด้านใน ความเสี่ยงที่มากขึ้นของ (โดยมีหรือไม่มีเจตนา) "การทดสอบการเขียนที่ออกแบบมาเพื่อผ่าน"

การเขียนแบบทดสอบเพื่อให้เหมาะสมกับสิ่งที่กำลังทดสอบลดโอกาสในการค้นหาสิ่งใด

มันจะเป็นไปได้อย่างสมบูรณ์แบบสำหรับวิศวกรสัญญาณที่มีทักษะในการมองเข้าไปในผลงานภายในของโครงข่ายประสาทเทียมและตรวจสอบว่าคุณสมบัติใดบ้างที่ถูกเลือกสำหรับลำดับการฝึกอบรมที่เฉพาะเจาะจง

วิธีกล่องดำยากที่จะอธิบายถึง "ไม่ได้ฝึกหัด" ใครก็ตามในสาขาการเงินหรือสาขาอื่น ๆ สามารถเข้าใจพื้นฐานของการถดถอยหรือแม้แต่ต้นไม้การตัดสินใจ เริ่มพูดคุยเกี่ยวกับการสนับสนุนเครื่องเวกเตอร์ไฮเปอร์เพลนและฟังก์ชั่นซิมโมดเครือข่ายประสาทและคุณจะสูญเสียผู้ชมส่วนใหญ่