ทำไมเราต้องการ AI ที่อธิบายได้


56

หากวัตถุประสงค์ดั้งเดิมสำหรับการพัฒนา AI คือการช่วยเหลือมนุษย์ในงานบางอย่างและวัตถุประสงค์นั้นยังคงมีอยู่เราจะสนใจเรื่องการอธิบายได้อย่างไร ตัวอย่างเช่นในการเรียนรู้อย่างลึกซึ้งตราบใดที่หน่วยสืบราชการลับช่วยเราให้ดีที่สุดในความสามารถของพวกเขาและมาถึงการตัดสินใจอย่างรอบคอบทำไมเราต้องรู้ว่าหน่วยสืบราชการลับของมันทำงานอย่างไร


15
เกิดอะไรขึ้นเมื่อ AI ไม่ได้ให้คำตอบที่ดีกับคุณ? คุณพบปัญหาได้อย่างไร คุณจะตรวจสอบวิธีการแก้ปัญหาได้อย่างไรถ้าคุณไม่เข้าใจเหตุผล คุณแน่ใจได้อย่างไรว่าเราไม่ได้กลายเป็นคลิปกระดาษทั้งหมด? :)
Luaan

8
ไม่โพสต์มันเป็นคำตอบเนื่องจากฉันสงสัยว่ามันไม่เป็นไปตามมาตรฐาน แต่สมมติว่าเราถาม AI ว่าจะแก้ไขปัญหาสภาพอากาศอย่างไรและมันบอกว่า "ทำให้มหาสมุทรสกปรก" อาจจะถูกต้องและมีวิธีการบางอย่างที่จะแก้ไขสิ่งต่าง ๆ บางทีนักพัฒนาอาจเกิดข้อผิดพลาดและผลลัพธ์ที่แท้จริงน่าจะเป็น "unpollute the มหาสมุทร" คุณตั้งใจจะแยกแยะความแตกต่างระหว่างสองอย่างนี้อย่างไรถ้าไม่ใช่โดยการให้เหตุผลที่สมเหตุสมผลของ AI
Flater

5
มีคำตอบสำหรับคำถามนี้จริง ๆ ต้องการนอกเหนือจากความรู้ทั่วไปของการมีอยู่ของเทคนิค adversarial หรือไม่ ตอนนี้เป็นไปได้ที่จะทำการปรับแต่งเล็กน้อยเพื่อป้อนข้อมูลที่สร้างการเปลี่ยนแปลงที่ไม่สมส่วนอย่างมากในเอาต์พุต ในงานต่าง ๆ เช่นการรับรู้ด้วยสายตาของวัตถุซึ่งผลลัพธ์สามารถตรวจสอบได้อย่างง่ายดายกับหน่วยสืบราชการลับจริง ๆ ผลปรากฏว่าไร้สาระและไร้สติและบ่งชี้ว่าสิ่งที่ AI "เห็น" นั้นเป็นอะไรที่แตกต่างจากที่เราเห็น . หาก AI ไม่สามารถอธิบายตัวเองในกรณีดังกล่าวได้ประโยชน์ของมันจะลดลงอย่างรวดเร็ว
Mason Wheeler

1
ในขณะที่คำถามของคุณขึ้นอยู่กับความต้องการ AI ที่สามารถอธิบายได้ฉันอยากจะเสนอการอ่านที่ท้าทายมุมมองนี้ - ฉันคิดว่ามีประเด็นที่ดีมาก เหนือสิ่งอื่นใดเหตุผลหนึ่งสำหรับความต้องการในการอธิบายอาจเชื่อมโยงกับความต้องการของมนุษย์ของเราในการอธิบายระบบรอบตัวเราและจากนั้นความไว้วางใจที่สูงขึ้นของเราในระบบที่เราเข้าใจแม้ว่าระบบเหล่านี้จะมีประสิทธิภาพต่ำกว่าที่อื่น ๆ หวังว่ามันจะเพิ่มวัสดุบางอย่างสำหรับการสะท้อน - hackernoon.com/…
Elisio Quintino

2
นี่อาจเป็น resoruce เพิ่มเติมที่น่าสนใจ ผู้คนพยายามสร้างตัวจําแนกฮัสกี้กับหมาป่าจากนั้นก็ตระหนักว่าเครือข่ายไม่ได้มุ่งเน้นที่สัตว์ แต่อยู่ด้านหลังเพราะภาพทั้งหมดที่มีหิมะในพื้นหลังเป็นหมาป่า กล่าวอีกนัยหนึ่งถ้าคุณตรวจจับรถคุณต้องแน่ใจว่านั่นเป็นเพราะรถยนต์ในภาพไม่ใช่เพราะป้ายหยุดที่ด้านข้างของภาพ
jaaq

คำตอบ:


64

ตามที่โต้แย้งโดยSelvaraju และคณะ การวิวัฒนาการของ AI มีสามขั้นตอนซึ่งการตีความทั้งหมดนั้นมีประโยชน์

  1. ในระยะแรกของการพัฒนา AI เมื่อ AI อ่อนแอกว่าประสิทธิภาพของมนุษย์ความโปร่งใสสามารถช่วยให้เราสร้างแบบจำลองที่ดีขึ้นได้ มันสามารถให้ความเข้าใจที่ดีขึ้นเกี่ยวกับวิธีการทำงานของแบบจำลองและช่วยให้เราตอบคำถามสำคัญหลายข้อ ตัวอย่างเช่นสาเหตุที่รูปแบบการทำงานในบางกรณีและไม่ได้อยู่ในที่อื่นทำไมตัวอย่างบางอย่างสร้างความสับสนให้แบบจำลองมากกว่าคนอื่นทำไมรูปแบบประเภทเหล่านี้ทำงานและคนอื่น ๆ ไม่ได้ ฯลฯ

  2. เมื่อ AI ใกล้เคียงกับประสิทธิภาพของมนุษย์และโมเดล ML กำลังเริ่มนำไปใช้ในหลายอุตสาหกรรมมันสามารถช่วยสร้างความไว้วางใจให้กับโมเดลเหล่านี้ได้ ฉันจะอธิบายรายละเอียดเล็กน้อยในภายหลังเพราะฉันคิดว่ามันเป็นเหตุผลที่สำคัญที่สุด

  3. เมื่อ AI มีประสิทธิภาพสูงกว่ามนุษย์อย่างมีนัยสำคัญ (เช่น AI play Chess หรือ Go) มันสามารถช่วยในการสอนด้วยเครื่องจักร (เช่นการเรียนรู้จากเครื่องจักรเกี่ยวกับวิธีปรับปรุงประสิทธิภาพของมนุษย์ในงานเฉพาะนั้น)

ทำไมความไว้วางใจจึงสำคัญมาก

ก่อนอื่นให้ฉันยกตัวอย่างสองสามตัวอย่างของอุตสาหกรรมที่เชื่อมั่นเป็นสิ่งสำคัญที่สุด:

  • ในด้านการดูแลสุขภาพให้จินตนาการการวินิจฉัยโรคทาง Deep Neural Net สำหรับโรคเฉพาะ กล่องดำคลาสสิกNN จะเอาท์พุทไบนารี "ใช่" หรือ "ไม่" แม้ว่ามันจะมีประสิทธิภาพสูงกว่ามนุษย์ในการคาดการณ์ที่แท้จริงมันจะไร้ประโยชน์อย่างเต็มที่ในทางปฏิบัติ เกิดอะไรขึ้นถ้าหมอไม่เห็นด้วยกับการประเมินของแบบจำลองเขาไม่ควรรู้ว่าทำไมแบบจำลองนี้จึงทำนายผล บางทีมันอาจเห็นสิ่งที่แพทย์พลาด ยิ่งกว่านั้นถ้ามันทำการวินิจฉัยที่ผิดพลาด (เช่นคนป่วยถูกจัดว่ามีสุขภาพดีและไม่ได้รับการรักษาที่เหมาะสม) ใครจะเป็นผู้รับผิดชอบ: ผู้ใช้ของแบบจำลอง? โรงพยาบาล? บริษัท ที่ออกแบบโมเดล? กรอบกฎหมายที่ล้อมรอบนี้ค่อนข้างพร่ามัว

  • อีกตัวอย่างหนึ่งคือรถยนต์ที่ขับเคลื่อนด้วยตนเอง คำถามเดียวกันเกิดขึ้น: ถ้ารถชนซึ่งมีความผิด: คนขับ? ผู้ผลิตรถยนต์หรือไม่ บริษัท ที่ออกแบบ AI? ความรับผิดชอบทางกฎหมายเป็นกุญแจสำคัญสำหรับการพัฒนาของอุตสาหกรรมนี้

ในความเป็นจริงการขาดความไว้วางใจนี้มีหลายคนขัดขวางการยอมรับของ AI ในหลายสาขา (ที่มา: 1 , 2 , 3 ) ในขณะที่มีสมมติฐานที่รันอยู่ว่าผู้ใช้ระบบที่มีความโปร่งใสสามารถตีความได้หรืออธิบายได้จะมีความพร้อมในการทำความเข้าใจที่ดีขึ้นและเชื่อถือตัวแทนอัจฉริยะ (แหล่งที่มา: 1 , 2 , 3 )

ในแอปพลิเคชันในโลกแห่งความจริงหลาย ๆ คุณไม่สามารถพูดได้ว่า "ใช้งานได้ 94% ของเวลา" คุณอาจต้องให้เหตุผล ...

กฎระเบียบของรัฐบาล

รัฐบาลหลายประเทศกำลังดำเนินการอย่างช้าๆเพื่อควบคุม AI และความโปร่งใสน่าจะเป็นจุดศูนย์กลางของเรื่องทั้งหมดนี้

สิ่งแรกที่จะไปในทิศทางนี้คือสหภาพยุโรปซึ่งได้กำหนดแนวทางหลายประการที่ระบุว่า AI ควรมีความโปร่งใส (แหล่งที่มา: 1 , 2 , 3 ) ตัวอย่างเช่น GDPR ระบุว่าหากข้อมูลของบุคคลอยู่ภายใต้ระบบ "การตัดสินใจอัตโนมัติ" หรือ "การทำโปรไฟล์" เขาก็มีสิทธิ์เข้าถึง

"ข้อมูลที่มีความหมายเกี่ยวกับตรรกะที่เกี่ยวข้อง"

( มาตรา 15 EU GDPR )

ตอนนี้มันค่อนข้างพร่ามัว แต่มีจุดประสงค์ที่ชัดเจนว่าต้องการรูปแบบของการอธิบายที่ชัดเจนจากระบบเหล่านี้ แนวคิดทั่วไปที่สหภาพยุโรปกำลังพยายามผ่านคือ "ถ้าคุณมีระบบการตัดสินใจอัตโนมัติที่มีผลกระทบต่อชีวิตของผู้คนพวกเขาก็มีสิทธิ์ที่จะรู้ว่าทำไมการตัดสินใจบางอย่างเกิดขึ้น" ตัวอย่างเช่นธนาคารมี AI ที่ยอมรับและปฏิเสธการขอสินเชื่อจากนั้นผู้สมัครมีสิทธิที่จะรู้ว่าทำไมใบสมัครของพวกเขาถูกปฏิเสธ

เพื่อสรุป ...

AIs ที่อธิบายได้นั้นมีความจำเป็นเพราะ:

  • มันทำให้เรามีความเข้าใจที่ดีขึ้นซึ่งช่วยให้เราปรับปรุงพวกเขา
  • ในบางกรณีเราสามารถเรียนรู้จาก AI วิธีการตัดสินใจที่ดีขึ้นในบางงาน
  • ช่วยให้ผู้ใช้เชื่อถือ AI ซึ่งนำไปสู่การยอมรับ AI ที่กว้างขึ้น
  • AIs ที่นำไปใช้งานในอนาคต (ไม่ไกล) อาจจำเป็นต้องมี "ความโปร่งใส" มากกว่า

3
นั่นคือปัญหา (IMHO) บ่อยครั้งที่คุณไม่สามารถทดสอบกล่องดำอย่างละเอียดถี่ถ้วนและจากนั้นคุณยอมรับ (แม้แต่ในแอปพลิเคชันที่สำคัญต่อชีวิต) บางสิ่งที่ "ดูดีพอ" ในกรณีนี้สมองของมนุษย์และเราทุกคนก็ดี ถ้าเราไม่สามารถทำเพื่อเอไอเอสได้นั่นเป็นเพราะ (ข้อ จำกัด ?) ในการควบคุมของเราไม่ใช่เพราะ "การบินเครื่องบินทุกอย่างต้องได้รับการพิสูจน์ทางคณิตศาสตร์" (ไม่ใช่แม้แต่ในปัจจุบันที่ไม่มี AI) แน่นอนว่าวิธีที่คุณทดสอบ AI นั้นไม่สามารถเป็นแบบเดียวกับที่คุณทดสอบนักบินมนุษย์ได้
Adriano Repetti

9
@ZsoltSzilagy ฉันไม่ได้พูดว่าข้อบังคับของรัฐบาลเป็นสิ่งที่ไม่ดี ฉันแค่บอกว่ามันเป็นเหตุผลสำคัญที่จะพัฒนา AI ที่สามารถอธิบายได้ถ้าคุณทำงานในบางอุตสาหกรรม
Djib2011

7
อีกจุดหนึ่งที่จะเพิ่มคือความเข้มข้นของความเสี่ยง สุนัขดมกลิ่นยาอาจจะลำเอียงและคุณไม่สามารถถามได้ว่าทำไมมันถึงทำการตัดสินใจบางอย่าง แต่มันเป็นแค่สุนัขตัวเดียวจากหลายพันตัว โมเดล AI เดียวจะถูกนำไปใช้ทั่วโลกดังนั้นหากมันผิดก็จะมีผลกระทบมากขึ้น
Brendan Whiting

17
@BrendanWhiting จริงๆแล้วมันเป็นกรณีที่น่าสนใจ อะไรคือความแตกต่างระหว่างสุนัขดมกลิ่นยาเสพติดและ AI ดมกลิ่นยาเสพติด เหตุใดจึงต้องให้ AI ให้คำอธิบายในขณะที่สุนัขไม่จำเป็นต้อง ... ฉันคิดว่าความแตกต่างในกรณีแรกสุนัขเป็นเพียงเครื่องมือที่ช่วยมนุษย์ (ในกรณีนี้ตำรวจ DEA) การตัดสินใจของเขา ในที่สุดเขาก็เป็นคนรับผิดชอบมันไม่ใช่สุนัข ในทำนองเดียวกันไม่มีปัญหากับAIs ที่สนับสนุนการตัดสินใจเฉพาะกับ AIs ที่ใช้ในการตัดสินใจเท่านั้น นั่นเป็นวิธีที่ฉันคิดว่าสิ่งที่ต้องรับผิดชอบทั้งหมดนี้ในหลายโดเมนจะถูกยกเลิกในท้ายที่สุด
Djib2011

5
อาจเป็นปัญหาที่ไม่ทราบที่ไม่รู้จัก เราฝึกสัตว์มาหลายพันปีแล้วและเราค่อนข้างมั่นใจว่ามันเสถียร หากจะมีฝูงสัตว์ที่เที่ยวปล้นสะดมที่ถูกยึดครองไปทั่วโลกมันน่าจะเกิดขึ้นแล้วในตอนนี้ (แม้ว่าฉันจะชอบทฤษฎีที่ว่าสุนัขส่วนใหญ่เป็นปรสิตชนิดหนึ่ง แต่พวกมันมีวิวัฒนาการที่น่ารักมากจนเราดูแลพวกมันแทนที่จะเป็นลูกของตัวเอง)
Brendan Whiting

15

ทำไมเราต้องการ AI ที่อธิบายได้ ... ทำไมเราต้องรู้ว่า "ระบบข่าวกรองทำงานอย่างไร?"

เพราะใครก็ตามที่เข้าถึงอุปกรณ์ความสามารถและเวลาเพียงพอสามารถบังคับให้ระบบทำการตัดสินใจที่ไม่คาดคิด เจ้าของอุปกรณ์หรือบุคคลที่สามอาศัยการตัดสินใจโดยไม่มีคำอธิบายว่าทำไมการแก้ไขให้ถูกต้องจะเป็นข้อเสีย

ตัวอย่าง - บางคนอาจค้นพบ:

  • คนที่ชื่อจอห์นสมิ ธ และขอผ่าตัดหัวใจใน: เช้าวันอังคารช่วงบ่ายวันพุธหรือวันศุกร์ในวันและเดือนคี่มีโอกาส 90% ที่จะย้ายไปอยู่แถวหน้า

  • คู่ที่มีนามสกุลตัวอักษรของผู้ชายเป็นตัวอักษรแปลก ๆ ในช่วงครึ่งแรกของตัวอักษรและยื่นขอสินเชื่อกับคู่สมรสที่ชื่อแรกเริ่มต้นด้วยตัวอักษรจากจุดเริ่มต้นของตัวอักษร 40% มีแนวโน้มที่จะได้รับเงินกู้ถ้าพวกเขามี รายการที่ไม่ถูกต้องน้อยกว่า 5 รายการในประวัติเครดิตของพวกเขา

  • เป็นต้น

ขอให้สังเกตว่าตัวอย่างข้างต้นไม่ควรพิจารณาปัจจัยที่เกี่ยวข้องกับคำถามที่ถูกถาม แต่เป็นไปได้สำหรับฝ่ายตรงข้าม (ด้วยอุปกรณ์ของตัวเองหรือความรู้เกี่ยวกับอัลกอริทึม) เพื่อใช้ประโยชน์จากมัน

เอกสารต้นฉบับ :

  • " AdvHat: การโจมตีจากคู่ต่อสู้ในโลกแห่งความจริงในระบบ ArcFace Face ID " (23 ส.ค. 2019) โดย Stepan Komkov และ Aleksandr Petiushko

    • การสร้างสติกเกอร์และวางลงบนหมวกของคนโง่ระบบจดจำใบหน้า
  • "การป้องกันการโจมตีจากฝ่ายตรงข้ามผ่านการฟื้นฟูคุณสมบัติที่ยืดหยุ่น " (8 มิ.ย. 2019) โดย Tejas Borkar, Felix Heide และ Lina Karam

    • "การคาดการณ์ Deep neural network (DNN) แสดงให้เห็นว่ามีความเสี่ยงต่อการถูกรบกวนอย่างรุนแรงโดยเฉพาะอย่างยิ่งสิ่งที่เรียกว่า adversarial สากล perturbations เป็นการก่อกวนแบบภาพผู้ไม่เชื่อเรื่องพระเจ้าซึ่งสามารถเพิ่มเข้ากับภาพใด ๆ . ออกจากกลยุทธ์การป้องกันอันตรายที่มีอยู่ซึ่งทำงานในโดเมนอิมเมจเรานำเสนอการป้องกันแบบใหม่ซึ่งดำเนินการในโดเมนคุณสมบัติ DNN และป้องกันการโจมตีจากศัตรูที่เป็นสากลได้อย่างมีประสิทธิภาพแนวทางของเราระบุคุณสมบัติ convolutional ที่ผ่านการฝึกอบรมมาแล้ว เสียงรบกวนและปรับใช้หน่วยพิทักษ์ที่เปลี่ยน (สร้างใหม่) การเปิดใช้งานตัวกรอง DNN เหล่านี้ให้เป็นคุณสมบัติการลดเสียงรบกวนป้องกันการรบกวนที่มองไม่เห็นจากฝ่ายตรงข้าม "

  • " การโจมตีหนึ่งพิกเซลสำหรับการหลอกลวงเครือข่ายประสาทลึก " (3 พฤษภาคม 2019) โดย Jiawei Su, Danilo Vasconcellos Vargas และ Sakurai Kouichi

    • การเปลี่ยนแปลงหนึ่งพิกเซลอาจทำให้เกิดข้อผิดพลาดเหล่านี้:

    รูปที่ 1
    รูปที่ 1. การโจมตีหนึ่งพิกเซลที่สร้างด้วยอัลกอริทึมที่เสนอซึ่งหลอก DNN สามประเภทที่ได้รับการฝึกฝนบนชุดข้อมูล CIFAR-10 ได้สำเร็จ: เครือข่าย Convolutional ทั้งหมด (AllConv), เครือข่ายในเครือข่าย (NiN) และ VGG เลเบลของคลาสดั้งเดิมมีสีดำในขณะที่เลเบลของคลาสเป้าหมายและความเชื่อมั่นที่เกี่ยวข้องจะได้รับด้านล่าง

     

    รูปที่ 2
    รูปที่ 2. การโจมตีหนึ่งพิกเซลบนชุดข้อมูล ImageNet โดยที่พิกเซลที่แก้ไขจะถูกเน้นด้วยวงกลมสีแดง เลเบลคลาสดั้งเดิมมีสีดำในขณะที่เลเบลคลาสเป้าหมายและความเชื่อมั่นที่เกี่ยวข้องจะได้รับด้านล่าง

หากไม่มีคำอธิบายถึงวิธีการและเหตุผลในการตัดสินใจถึงการตัดสินใจไม่สามารถวางใจได้อย่างแน่นอน


1
ข้อค้นพบของการโจมตีพิกเซลเดียวและสิ่งอื่นที่คล้ายคลึงกันคือสาเหตุที่ฉันอ้างว่าการเรียนรู้ลึกไม่ได้เรียนรู้อะไรเลย
โจชัว

1
@ โจชัวมันไม่ได้เรียนรู้เช่นเดียวกับการเรียนรู้ของมนุษย์ (เข้าใจเหตุผล) แต่มันเรียนรู้ฟังก์ชั่นหลายมิติที่สามารถจำแนกภาพเหล่านี้เป็นหมวดหมู่ มันทำด้วยตัวเองแม้ว่ามันจะแก้ปัญหาด้วยวิธีที่ดีที่สุดโดยใช้กำลังดุร้ายนั่นเป็นสิ่งที่คาดหวังได้มากจากชุดโลหะและทรายจัดเรียงอย่างเรียบร้อยเพื่อให้กระแสไฟฟ้าไหลอย่างเป็นระบบ
14492

1
WRT เป็นตัวอย่างของคุณพูดว่าการให้กู้ยืมเงินแก่คู่รักที่มีสภาพขี้ขลาดไม่ได้เป็นแบบนี้โดยการป้อนข้อมูลโมเดลที่ควรให้ความสนใจ เช่นเดียวกับชื่อที่ไม่ควรป้อนให้กับ AI เพราะ AI ไม่ควรทำการคำนวณตามชื่อของผู้ร้องขอ ฉันเข้าใจประเด็นของคุณแม้ว่าอาจมีตัวอย่างที่ถูกประดิษฐ์น้อยกว่ากับจุดข้อมูลที่ AI ต้องการจริงๆ การโจมตีหนึ่งพิกเซลนั้นน่าสนใจมาก
Cruncher

@Cruncher ตัวอย่างที่มีการประดิษฐ์น้อยกว่าจะดีกว่าเสมอเมื่อมีการทำประเด็น ถ้าเงินกู้ที่ถูกปฏิเสธก่อนหน้านี้มีทั้งจำนวนเฉพาะภายใน (มากกว่า 7) และหมายเลขก่อนหน้านั้นมีสองหมายเลขที่เป็นจำนวนเฉพาะระหว่าง 17 และ 43 เป็นต้นจากนั้นคุณจะพบคนที่บอกว่าพวกเขาจะขายบางอย่างสำหรับ X ดอลลาร์ออกเงินกู้และพยายามที่จะถูกตัดสิทธิ์ทำเช่นนั้นไม่กี่ครั้งตอนนี้จะออกเงินกู้สำหรับบ้านหรือเรือ - โอกาสที่ดีขึ้น 30% และลดการปฏิเสธก่อน หากไม่มีคำอธิบายเบื้องหลังเหตุผลที่คุณต้องการเลือกเอง
Rob

@ โจชัวแน่นอนพวกเขาสามารถเรียนรู้วิธีการค้นหาหนึ่งพิกเซลโจมตีและสิ่งที่คล้ายกัน (กระดาษเชื่อมโยงที่นี่ใช้วิธีการวิวัฒนาการ แต่ฉันเห็นผลลัพธ์ที่คล้ายกันโดยใช้ GANs) ไม่มีวิธีการจัดหมวดหมู่จะสมบูรณ์แบบ วิสัยทัศน์ของมนุษย์มีความเสี่ยงต่อภาพลวงตา นี่คือเครื่องเทียบเท่า เราสามารถหาตัวอย่างที่มากขึ้นสำหรับระบบวิชันซิสเต็มเพราะพวกเขาสามารถสร้างและบันทึกการทำนายได้เร็วกว่ามนุษย์ดังนั้นเราจึงสามารถฝึกอบรมระบบอื่นเพื่อค้นหาสถานะความล้มเหลวที่ตรงกับเกณฑ์ที่กำหนด
เรย์

8

หากคุณเป็นธนาคารโรงพยาบาลหรือหน่วยงานอื่น ๆ ที่ใช้การวิเคราะห์เชิงพยากรณ์เพื่อตัดสินใจเกี่ยวกับการกระทำที่ส่งผลกระทบอย่างใหญ่หลวงต่อชีวิตของผู้คนคุณจะไม่ต้องทำการตัดสินใจที่สำคัญเพียงเพราะต้นไม้ไล่ระดับไล่ระดับสีบอกให้คุณทำเช่นนั้น ประการแรกเพราะมันเป็นความเสี่ยงและรูปแบบพื้นฐานอาจจะผิดและประการที่สองเพราะในบางกรณีก็เป็นสิ่งผิดกฎหมาย - ดูขวาคำอธิบาย


5

AI ที่สามารถอธิบายได้นั้นมักเป็นที่ต้องการเพราะ

  1. AI (โดยเฉพาะเครือข่ายประสาทเทียม) สามารถล้มเหลวอย่างมหันต์ในการทำงานตามที่ตั้งใจไว้ โดยเฉพาะอย่างยิ่งมันสามารถถูกแฮ็กหรือโจมตีด้วยตัวอย่างฝ่ายตรงข้ามหรืออาจทำการตัดสินใจผิดที่ไม่คาดคิดซึ่งผลที่ตามมาจะเป็นหายนะ (ตัวอย่างเช่นอาจนำไปสู่การเสียชีวิตของผู้คน) ตัวอย่างเช่นลองจินตนาการว่า AI มีหน้าที่กำหนดปริมาณของยาที่ต้องให้กับผู้ป่วยตามเงื่อนไขของผู้ป่วย เกิดอะไรขึ้นถ้า AI ทำคำทำนายผิดและสิ่งนี้นำไปสู่การเสียชีวิตของผู้ป่วย? ใครจะเป็นผู้รับผิดชอบต่อการกระทำดังกล่าว เพื่อที่จะยอมรับการทำนายปริมาณของ AI แพทย์จำเป็นต้องเชื่อถือAI แต่ความไว้วางใจมาพร้อมกับความเข้าใจเท่านั้นซึ่งต้องการคำอธิบาย ดังนั้นเพื่อหลีกเลี่ยงความล้มเหลวที่อาจเกิดขึ้นเช่นนี้เป็นพื้นฐานในการทำความเข้าใจการทำงานภายในของ AI เพื่อไม่ให้ตัดสินใจผิดพลาดอีกครั้ง

  2. AI มักต้องมีปฏิสัมพันธ์กับมนุษย์ซึ่งเป็นสิ่งมีชีวิต (เรามีความรู้สึก) และมักต้องการคำอธิบายหรือความมั่นใจ (เกี่ยวกับหัวข้อหรือเหตุการณ์)

  3. โดยทั่วไปมนุษย์มักจะมองหาคำอธิบายและความเข้าใจเกี่ยวกับสภาพแวดล้อมและโลกของพวกเขา โดยธรรมชาติเรามีความอยากรู้อยากเห็นและสิ่งมีชีวิตที่สำรวจ ทำไมแอปเปิ้ลถึงร่วงหล่น?


4

คำตอบนี้ง่ายมากอย่างไม่น่าเชื่อ หากคุณเป็นผู้บริหารธนาคารวันหนึ่งคุณอาจต้องลุกขึ้นยืนในศาลและอธิบายว่าเหตุใด AI ของคุณจึงปฏิเสธการจำนองให้กับคนเหล่านี้ทั้งหมด ... ที่เพิ่งเกิดขึ้นเพื่อแบ่งปันคุณสมบัติที่ได้รับการคุ้มครองภายใต้กฎหมายต่อต้านการเลือกปฏิบัติ ผู้ตัดสินจะไม่มีความสุขถ้าคุณส่งคำถามให้พึมพำบางอย่างเกี่ยวกับอัลกอริทึม หรือแย่กว่านั้นคือทำไมรถยนต์ / เครื่องบินคันนี้ถึงเสียและคุณจะป้องกันได้อย่างไรในครั้งต่อไป

นี่เป็นตัวบล็อกหลักสำหรับการนำ AI มาใช้อย่างแพร่หลายในหลายอุตสาหกรรม


1
"คำตอบ" กำลังคุยโวกรณีของคุณ ฉันอยากโหวตถ้าคุณพูดว่า "One answer ... "
John Coleman

3

อีกเหตุผลหนึ่ง: ในอนาคต AI อาจถูกใช้สำหรับงานที่มนุษย์ไม่สามารถเข้าใจได้โดยการทำความเข้าใจว่า AI ที่ให้อัลกอริทึมทำงานกับปัญหานั้นได้อย่างไรเราอาจเข้าใจธรรมชาติของปรากฏการณ์ที่กำหนด


2

นอกเหนือจากคำตอบทั้งหมดที่กล่าวถึงเหตุผลเชิงปฏิบัติที่มากขึ้นว่าทำไมเราถึงต้องการให้เอไอเอสามารถอธิบายได้ฉันต้องการเพิ่มคำตอบเชิงปรัชญาให้มากขึ้น

การทำความเข้าใจว่าสิ่งต่าง ๆ รอบตัวเราเป็นหนึ่งในพลังขับเคลื่อนหลักของวิทยาศาสตร์จากสมัยโบราณ หากคุณไม่มีความเข้าใจในการทำงานของสิ่งต่าง ๆ คุณจะไม่สามารถพัฒนาไปกว่าจุดนั้นได้ เพียงเพราะ "งานแรงโน้มถ่วง" ไม่ได้หยุดเราพยายามที่จะเข้าใจวิธีการทำงาน ในทางกลับกันความเข้าใจที่ดีขึ้นของมันนำไปสู่การค้นพบที่สำคัญหลายประการซึ่งช่วยให้เราพัฒนาเทคโนโลยีของเรา

ในทำนองเดียวกันหากเราหยุดที่ "ใช้งานได้" เราจะหยุดปรับปรุง


แก้ไข:

AI ไม่ได้เป็นเพียงแค่การสร้าง "กลไกคิด" แต่ยังผ่านพวกเขาเพื่อทำความเข้าใจว่าสมองของมนุษย์ทำงานอย่างไร AI และประสาทไปมือโดยมือ

ทั้งหมดนี้เป็นไปไม่ได้หากไม่สามารถอธิบาย AI ได้


0

ไม่ควรสันนิษฐานว่าการพัฒนา AI ได้รับแรงบันดาลใจมาจากความปรารถนาที่จะช่วยเหลือมนุษย์ มีคำอธิบายที่เป็นไปได้มากมายที่ยากพอ ๆ กันในการพิสูจน์หรือพิสูจน์หักล้าง

  • เป็นที่ทราบกันดีว่าคุณจะฝันถึงไอเดียล้ำสมัยก่อนที่ใครจะทำ
  • รับพลังล่วงหน้าจากศัตรูที่คาดคิดหรืออนาคตที่มีศักยภาพ
  • เพราะมันอาจเป็นไปได้
  • เพื่อความสนุก
  • เพราะกระทรวงกลาโหมสหรัฐอาจจะให้เงินสนับสนุนอย่างไม่มีกำหนด
  • มันเป็นอาชีพที่ดี
  • เพื่อพิสูจน์ว่าไม่มีอะไรน่าอัศจรรย์โดยเฉพาะอย่างยิ่งเกี่ยวกับสมองของมนุษย์
  • เราได้รับการว่าจ้างและให้เงินและดูเหมือนจะเป็นวิธีที่ดีในการใช้จ่าย
  • มันตัดสินใจแล้วที่จะติดตามมัน แต่พวกเราไม่มีใครจำได้ว่าทำไม

มีบางคำที่อธิบายไม่ดีในคำถามนี้ด้วยเช่นกันถึงแม้ว่ามันอาจจะยากที่จะหาคำที่ดีกว่ามาแทนที่ เราจะทำให้สิ่งเหล่านี้เป็นระเบียบได้อย่างไร

  • สำหรับความสามารถที่ดีที่สุดของพวกเขา (ระบบอัจฉริยะ) --- เราจะวัดความสามารถและเปรียบเทียบผลลัพธ์กับพวกเขาในทางใด เราพูดกับนักเรียนว่า "คุณไม่ได้สมัครเอง" แต่นั่นเป็นการสังเกตทางวิทยาศาสตร์แทบจะไม่ มันเป็นการตัดสินตามอำเภอใจตามความคาดหวังของความสำเร็จที่ไม่เป็นไปตามระบบการให้เกรดของบุคคลที่สามและการประยุกต์ใช้โดยฝ่ายอื่น ๆ
  • มาถึงการตัดสินใจอย่างรอบคอบ --- การดูแลหมายถึงวัตถุประสงค์ที่เป็นวัตถุประสงค์ของตัวเอง เรายังไม่ได้จัดทำเอกสารแพลตฟอร์มการคำนวณขั้นสูงที่เข้ารหัสระบบจริยธรรมที่นำไปใช้กับการรับรู้ที่เป็นนามธรรมของสถานการณ์เช่นในกรณีของมนุษย์ที่มีจริยธรรมซึ่งจะได้รับความหมายที่สมจริง ประตู nand ทำหน้าที่ของ nand ได้อย่างน่าเชื่อถือหรืออัลกอริธึมบางอย่างได้รับการพิสูจน์ว่ามาบรรจบกับขนาดชุดข้อมูลที่กำหนดภายใต้เงื่อนไขที่เฉพาะเจาะจงแทบจะไม่เป็นความหมายที่ขยายอย่างเต็มที่ของสิ่งที่เราเป็นเมื่อเราระมัดระวัง
  • อธิบายได้ --- นี่มันคลุมเครือเช่นกัน ในสุดขั้วการบรรจบกันในชุดของค่าพารามิเตอร์ระหว่างการลู่เข้าของเครือข่ายเทียมเป็นการอธิบาย แต่ค่าแต่ละค่าไม่ได้อธิบาย ตรงกันข้ามกับสุดขีดรายงานเต็มรูปแบบของสมมติฐานการออกแบบการทดลองการเลือกชุดของเงื่อนไขการวิเคราะห์ผลลัพธ์และข้อสรุปยังคงไม่ได้เป็นคำอธิบายที่ครบถ้วนสมบูรณ์ รายงานดังกล่าวอาจมีข้อมูลที่อธิบายการประยุกต์ใช้ความฉลาดของมนุษย์ต่ำกว่า 1% ของข้อมูลที่ระบุไว้ในรายงานการวิจัย

งานแรกในเครือข่ายประดิษฐ์ถูกวิพากษ์วิจารณ์ในวารสาร AI ของต้นปี 1990 ที่ไม่สามารถอธิบายได้บนพื้นฐานของความสามารถตรวจสอบย้อนกลับได้ ระบบการผลิต (อิงตามกฎ) ได้ทิ้งร่องรอยการตรวจสอบของกฎที่ใช้และผลของกฎก่อนหน้านี้เพื่อให้ใครบางคนสามารถรวบรวมหลักฐานที่เป็นลายลักษณ์อักษรของผลลัพธ์ สิ่งนี้มีประโยชน์ จำกัด

เมื่อพวงมาลัยถูกนำออกจากยานพาหนะและเขตอำนาจศาลบางแห่งเริ่มออกกฎหมายต่อต้านการขับขี่ของมนุษย์ในบางภูมิภาคมันจะไม่เป็นเพราะการพิสูจน์ความปลอดภัยในสถานการณ์จำลองกว่าล้านครั้งถูกเขียนขึ้น มันจะเป็นเพราะการแจกแจงของการเสียชีวิตโดยอุบัติเหตุที่บันทึกไว้, การสูญเสียอวัยวะและการทำลายทรัพย์สินอันเป็นผลมาจากไดรเวอร์ AI ที่ติดตั้งในยานพาหนะแต่ละประเภทโดยเฉพาะในช่วงเวลาที่เชื่อมั่นเพียงพอบ่งบอกถึงความปลอดภัย ในที่สุดในห้องพิจารณาคดีหรือพรรคการเมืองบางคนจะพูดแบบนี้หรือเทียบเท่า

หากเราไม่ผิดกฎหมายในการขับรถของมนุษย์ภายใต้เงื่อนไขที่ระบุไว้สำหรับภูมิภาคนี้ภายใต้การอภิปรายเรากำลังพิจารณาจำนวน X ผู้หญิงผู้ชายเด็กและคนเดินเท้าและผู้โดยสารสูงอายุต่อปีถึงตายก่อนกำหนด

การทำความเข้าใจกลไกของการกระทำและการตัดสินใจที่ทำขึ้นสำหรับกรณีเฉพาะนั้นมีประโยชน์ แต่เหตุใดการทำเช่นนั้นจึงมีประโยชน์ไม่แน่นอนเท่ากับว่าทำไม AI จึงกลายเป็นงานและการศึกษาที่มีศักยภาพ

  • มันจะน่าสนใจที่จะเปรียบเทียบระบบ AI ที่แข่งขันกันได้ในลักษณะเชิงปริมาณ
  • มันจะมีค่าทางวิชาการที่ดีในการทำความเข้าใจเกี่ยวกับความฉลาด
  • คำอธิบายที่ดีกว่าทำเพื่อกระดาษที่ดี
  • ฉันกำลังคิดดูวันหนึ่งและมาถึงวิธีที่จะอธิบายระบบบางประเภทที่ดูเหมือนจะอธิบายได้ไม่ดี

แม้ว่าความไม่สามารถตรวจสอบได้ของระบบ AI อาจเกิดขึ้นบนพื้นฐานของเหตุการณ์ทางกฎหมายและการพิจารณาคดี แต่การตัดสินใจส่วนใหญ่จะอยู่บนพื้นฐานของวิธีการตีพิมพ์และรับรู้ทางสถิติ ผู้ที่ยืนยันว่าระบบทำงานในลักษณะที่สามารถอธิบายได้อาจจะมีแรงจูงใจหรือจิตใต้สำนึกได้รับแรงจูงใจจากความสนใจในการรับรู้ว่าการครอบงำของมนุษย์นั้นเป็นชะตากรรมที่ชัดเจน มันเป็นมากกว่าการประชดประชันที่หลาย ๆ คนที่ช่วยเหลือสหรัฐและสหภาพโซเวียตในช่วงสงครามเย็นได้รับการพิจารณาว่าเป็นผู้นำการก่อการร้ายโดยผู้สืบทอดของทั้งสองฝ่ายในสงครามเย็น

คำถามที่เกี่ยวข้องและตอบได้ชัดเจนกว่าคือผู้ช่วยอัจฉริยะสามารถคาดหวังว่าจะยังคงเป็นผู้ช่วยได้ไม่สิ้นสุด การสืบสวนของผู้ช่วยเหลือที่ชาญฉลาดและตลอดไปนั้นกำลังดำเนินอยู่และเป็นที่สนใจของทุกคนตั้งแต่นักเขียนนิยายวิทยาศาสตร์และนักเขียนบทภาพยนตร์ถึงพันธมิตรทางทหาร


-1

IMHO ความต้องการที่สำคัญที่สุดสำหรับ AI ที่สามารถอธิบายได้คือการป้องกันไม่ให้เราขี้เกียจทางสติปัญญา หากเราหยุดพยายามที่จะเข้าใจว่าจะหาคำตอบได้อย่างไรเราได้มอบเกมให้กับเครื่องของเรา


เราเข้าใจว่าพวกเขาค้นหาคำตอบในระดับสูงได้อย่างไรพวกเขาเดารอบล้านครั้งจนกว่าพวกเขาจะพบรูปแบบที่มีแนวโน้ม งานทางปัญญาคือการเข้าใจว่าอะไรเป็นสาเหตุของปัญหาเหล่านั้น - เป็นคำถามที่ AI ไม่สนใจ
Zsolt Szilagy

บางครั้งก็เป็นเรื่องจริง แต่ AI บางประเภท (เช่นอัลกอริธึมทางพันธุกรรม) มักจะทำได้ดีกว่านั้นและสามารถจัดโครงสร้างเพื่อให้เบาะแสที่ดีว่าอะไรเป็นสาเหตุของรูปแบบ บางครั้งก็ชี้ให้เห็นว่า "รูปแบบที่พบในชุดข้อมูลนี้คล้ายคลึงกันมากกับรูปแบบที่พบในชุดข้อมูลอื่นนี้" สามารถให้ข้อมูลได้มากและนำไปสู่การอธิบายสาเหตุ
S. McGrew
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.