ปัญญาประดิษฐ์มีความเสี่ยงต่อการแฮ็กหรือไม่

กระดาษข้อ จำกัด ของการเรียนรู้อย่างลึกล้ำในการตั้งค่าของฝ่ายตรงข้ามสำรวจว่าเครือข่ายประสาทอาจเสียหายโดยผู้โจมตีที่สามารถจัดการชุดข้อมูลที่เครือข่ายประสาทเทียมฝึกอบรมได้ การทดลองของผู้เขียนกับโครงข่ายประสาทเทียมนั้นหมายถึงการอ่านตัวเลขที่เขียนด้วยลายมือเพื่อบ่อนทำลายความสามารถในการอ่านโดยการบิดเบือนตัวอย่างของตัวเลขที่เขียนด้วยลายมือที่เครือข่ายประสาทเทียมได้รับการฝึกฝน

ฉันกังวลว่านักแสดงที่เป็นอันตรายอาจลองแฮ็ค AI ตัวอย่างเช่น

• การปลอมแปลงยานพาหนะของตนเองเพื่อแปลความหมายสัญญาณหยุดเทียบกับการ จำกัด ความเร็ว
• ข้ามการจดจำใบหน้าเช่นสิ่งที่อยู่ในเครื่อง ATM
• การข้ามตัวกรองสแปม
• การวิเคราะห์ความเชื่อมั่นของคนโง่จากบทวิจารณ์ภาพยนตร์โรงแรม ฯลฯ
• ผ่านเครื่องมือตรวจจับความผิดปกติ
• แกล้งทำคำสั่งเสียง
• เครื่องจำแนกประเภทการเรียนรู้การทำนายทางการแพทย์

สิ่งที่มีผลต่อฝ่ายตรงข้ามอาจส่งผลกระทบต่อโลก เราจะป้องกันได้อย่างไร

AI เสี่ยงจากมุมมองด้านความปลอดภัยสองวิธีที่ฉันเห็น:

1. วิธีการแบบคลาสสิกของการใช้ประโยชน์จากข้อผิดพลาดทางโปรแกรมแบบทันทีเพื่อให้เกิดการเรียกใช้โค้ดบางอย่างบนเครื่องที่ใช้ AI หรือเพื่อดึงข้อมูล

2. การหลอกลวงโดยใช้ภาพลวงตาเอไอที่เทียบเท่ากับข้อมูลในรูปแบบเฉพาะที่ระบบได้รับการออกแบบมาเพื่อจัดการกับ

ครั้งแรกจะต้องได้รับการบรรเทาในลักษณะเดียวกับซอฟต์แวร์อื่น ๆ ฉันไม่แน่ใจว่า AI นั้นมีความเสี่ยงต่อซอฟต์แวร์นี้มากกว่าซอฟต์แวร์อื่นหรือไม่ฉันคิดว่าความซับซ้อนอาจเพิ่มความเสี่ยงเล็กน้อย

ข้อที่สองน่าจะบรรเทาได้ดีที่สุดจากทั้งการปรับแต่งระบบอย่างระมัดระวังดังที่ระบุไว้ในคำตอบอื่น ๆ แต่ยังทำให้ระบบมีความไวต่อบริบทมากขึ้น เทคนิคของฝ่ายตรงข้ามจำนวนมากขึ้นอยู่กับปัจจัยนำเข้าที่ประเมินในสุญญากาศ

โปรแกรมเมอร์กับโปรแกรมเมอร์

มันเป็น "สงครามอินฟินิตี้": โปรแกรมเมอร์และโปรแกรมเมอร์ ทุกสิ่งสามารถแฮ็กได้ การป้องกันเชื่อมโยงกับระดับความรู้ของมืออาชีพที่รับผิดชอบด้านความปลอดภัยและโปรแกรมเมอร์ในการรักษาความปลอดภัยของแอปพลิเคชัน

เช่นมีหลายวิธีในการระบุผู้ใช้ที่พยายามทำลายเมตริกที่สร้างโดยการวิเคราะห์ความเชื่อมั่น แต่มีวิธีหลีกเลี่ยงขั้นตอนเหล่านั้นเช่นกัน มันเป็นการต่อสู้ที่น่าเบื่อ

ตัวแทนกับตัวแทน

จุดที่น่าสนใจที่ @DukeZhou ที่ยกขึ้นนั้นเป็นวิวัฒนาการของสงครามนี้ซึ่งเกี่ยวข้องกับปัญญาประดิษฐ์สอง (ตัวแทน) ในกรณีนี้การต่อสู้เป็นหนึ่งในความรู้มากที่สุด แบบไหนที่ได้รับการฝึกฝนมาอย่างดีที่สุดคุณรู้หรือไม่?

อย่างไรก็ตามเพื่อให้บรรลุความสมบูรณ์แบบในเรื่องของความอ่อนแอปัญญาประดิษฐ์หรือปัญญาประดิษฐ์ขั้นสูงเกินความสามารถในการหลีกเลี่ยงมนุษย์ ราวกับว่าความรู้เกี่ยวกับการแฮ็กทั้งหมดจนถึงทุกวันนี้มีอยู่ในใจของตัวแทนนี้แล้วและเขาก็เริ่มพัฒนาวิธีการใหม่ในการหลีกเลี่ยงระบบของตัวเองและการพัฒนาความคุ้มครอง ซับซ้อนใช่มั้ย

ฉันเชื่อว่ามันยากที่จะมี AI ที่คิดว่า: "มนุษย์จะใช้ภาพถ่ายแทนการระบุใบหน้าของเขาหรือไม่"

เราจะป้องกันได้อย่างไร

มีคนคอยดูแลเครื่องจักรอยู่เสมอ แต่จะไม่ได้ผล 100% สิ่งนี้ไม่คำนึงถึงความเป็นไปได้ที่ตัวแทนสามารถปรับปรุงแบบจำลองของเขาเองเพียงอย่างเดียว

ข้อสรุป

ดังนั้นฉันคิดว่าสถานการณ์ทำงานได้ในลักษณะนี้: โปรแกรมเมอร์พยายามหลีกเลี่ยงการตรวจสอบความถูกต้องของ AI และนักพัฒนา IA ที่ได้รับความรู้ผ่านบันทึกและการทดสอบพยายามสร้างแบบจำลองที่ชาญฉลาดและปลอดภัยกว่าเพื่อลดโอกาสของความล้มเหลว

เราจะป้องกันได้อย่างไร

มีงานหลายอย่างเกี่ยวกับการตรวจสอบ AI เครื่องตรวจสอบอัตโนมัติสามารถพิสูจน์คุณสมบัติความทนทานของโครงข่ายประสาทเทียม หมายความว่าถ้าอินพุต X ของ NN นั้นรบกวนไม่เกินนั้นในขีด จำกัด ที่กำหนด in (ในบางเมตริกเช่น L2) ดังนั้น NN จะให้คำตอบเดียวกันกับมัน

การตรวจสอบดังกล่าวกระทำโดย:

• Stanford: https://arxiv.org/pdf/1702.01135.pdf
• ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
• Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
• Bosch: https://arxiv.org/pdf/1805.10265.pdf

วิธีการนี้อาจช่วยในการตรวจสอบคุณสมบัติความทนทานของโครงข่ายประสาทเทียม ขั้นตอนต่อไปคือการสร้างโครงข่ายประสาทเทียมที่ต้องการความทนทาน เอกสารข้างต้นบางส่วนยังมีวิธีการทำเช่นนั้น

มีเทคนิคต่าง ๆ ในการปรับปรุงความทนทานของเครือข่ายประสาท:

• การฝึกอบรมผู้เป็นคู่แข่ง (ดูเช่นA. Kurakin และคณะ, ICLR 2017 )

• การกลั่นแบบป้องกัน (ดูเช่นN. Papernot และคณะ, SSP 2016 )

• การป้องกัน MMSTV ( Maudry et al., ICLR 2018 )

อย่างน้อยที่สุดคนสุดท้ายก็สามารถทำให้ NN แข็งแกร่งขึ้นได้ วรรณกรรมเพิ่มเติมสามารถพบได้ที่นี่

ฉันเชื่อว่ามันเป็นระบบที่ไม่ปลอดภัย แต่ฉันไม่แน่ใจว่าฉันจะพูดสิ่งนี้ได้อย่างไรหลังจาก 20-30 ปีของการพัฒนา / วิวัฒนาการของ AI อย่างไรก็ตามมีบทความที่แสดงให้เห็นว่ามนุษย์หลอก AI (Computer Vision)

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

ปัญญาประดิษฐ์มีความเสี่ยงต่อการแฮ็กหรือไม่

พลิกคำถามของคุณสักครู่แล้วคิดว่า:

อะไรทำให้ AI มีความเสี่ยงน้อยกว่าการแฮ็คเมื่อเทียบกับซอฟต์แวร์ประเภทอื่น

ในตอนท้ายของวันซอฟต์แวร์เป็นซอฟต์แวร์และมักจะมีข้อบกพร่องและปัญหาด้านความปลอดภัย AIs มีความเสี่ยงต่อปัญหาทั้งหมดที่ไม่ใช่ซอฟต์แวร์ AI นั้นมีความเสี่ยงเนื่องจาก AI ไม่ได้ให้ภูมิต้านทานบางอย่าง

สำหรับการแก้ไขดัดแปลงเฉพาะด้าน AI นั้น AI มีความเสี่ยงที่จะได้รับข้อมูลเท็จ ฟังก์ชั่นของ AI นั้นต่างจากโปรแกรมส่วนใหญ่ซึ่งจะถูกกำหนดโดยข้อมูลที่ใช้

สำหรับตัวอย่างของโลกแห่งความเป็นจริงเมื่อไม่กี่ปีที่ผ่านมา Microsoft ได้สร้าง AI chatbot ชื่อว่า Tay ผู้คนใน Twitter ใช้เวลาน้อยกว่า 24 ชั่วโมงในการสอนให้พูดว่า "เรากำลังจะสร้างกำแพงและเม็กซิโกจะจ่ายเงินให้"

(รูปภาพที่นำมาจากบทความ Verge ที่ลิงก์ด้านล่างนี้ฉันไม่ได้รับเครดิต)

และนั่นเป็นเพียงส่วนยอดของภูเขาน้ำแข็ง

บางบทความเกี่ยวกับ Tay:

• บีบีซี
• The Verge

ตอนนี้ลองนึกภาพว่าไม่ใช่บอทแชทลองนึกว่ามันเป็นชิ้นส่วนที่สำคัญของ AI จากอนาคตที่ AI รับผิดชอบสิ่งต่าง ๆ เช่นไม่ฆ่าผู้โดยสารรถยนต์ (เช่นรถยนต์ขับเอง) หรือไม่ฆ่าผู้ป่วย ตารางปฏิบัติการ (เช่นอุปกรณ์ช่วยเหลือทางการแพทย์บางประเภท)

จริงอยู่ที่ใคร ๆ ก็หวังว่า AIs จะปลอดภัยยิ่งขึ้นต่อภัยคุกคามดังกล่าว แต่หากว่ามีใครบางคนหาวิธีที่จะเลี้ยงฝูงชนข้อมูล AI ที่เป็นเท็จโดยไม่สังเกตเห็น (แฮกเกอร์ที่ดีที่สุดไม่ทิ้งร่องรอย) ความแตกต่างระหว่างชีวิตและความตาย

ใช้ตัวอย่างของรถที่ขับด้วยตนเองลองจินตนาการว่าข้อมูลเท็จสามารถทำให้รถคิดว่าจำเป็นต้องหยุดฉุกเฉินเมื่ออยู่บนมอเตอร์เวย์ หนึ่งในแอปพลิเคชันสำหรับ AI ทางการแพทย์คือการตัดสินใจแบบเอาชีวิตหรือความตายใน ER ลองจินตนาการว่าแฮ็กเกอร์สามารถส่งเครื่องชั่งให้กับการตัดสินใจที่ผิด

เราจะป้องกันได้อย่างไร

ท้ายที่สุดขนาดของความเสี่ยงขึ้นอยู่กับว่ามนุษย์พึ่งพิง AI ได้อย่างไร ตัวอย่างเช่นหากมนุษย์ใช้วิจารณญาณของ AI และไม่เคยถามพวกเขาพวกเขาจะเปิดใจรับการจัดการทุกประเภท อย่างไรก็ตามหากพวกเขาใช้การวิเคราะห์ของ AI เป็นเพียงส่วนหนึ่งของจิ๊กซอว์มันจะกลายเป็นเรื่องง่ายที่จะเห็นเมื่อ AI ไม่ถูกต้องไม่ว่าจะเป็นโดยไม่ได้ตั้งใจหรือเป็นอันตราย

ในกรณีของผู้มีอำนาจตัดสินใจด้านการแพทย์อย่าเพิ่งเชื่อว่า AI ทำแบบทดสอบทางกายภาพและรับความเห็นจากมนุษย์ หากแพทย์สองคนไม่เห็นด้วยกับ AI ให้ส่งการวินิจฉัยของ AI ออกไป

ในกรณีของรถยนต์ความเป็นไปได้อย่างหนึ่งคือมีระบบซ้ำซ้อนหลายระบบที่ต้อง 'โหวต' เกี่ยวกับสิ่งที่ต้องทำ หากรถมี AIs หลายตัวในระบบแยกต่างหากที่ต้องลงคะแนนว่าจะต้องทำอะไรแฮ็กเกอร์จะต้องเอา AI มากกว่าหนึ่งตัวเพื่อควบคุมหรือทำให้จนมุม ที่สำคัญหาก AIs ทำงานบนระบบที่แตกต่างกันการเอารัดเอาเปรียบแบบเดียวกันกับที่ใช้ในระบบหนึ่งไม่สามารถทำได้ในอีกระบบหนึ่งเพิ่มปริมาณงานของแฮ็กเกอร์ต่อไป

ฉันเห็นด้วยกับ Akio ว่าไม่มีระบบใดที่ปลอดภัยอย่างสมบูรณ์ แต่สิ่งที่น่าสนใจคือระบบ AI นั้นมีแนวโน้มที่จะถูกโจมตีน้อยกว่าเมื่อเปรียบเทียบกับระบบเก่าเพราะความสามารถในการปรับปรุงอย่างต่อเนื่อง

เมื่อเวลาผ่านไปผู้คนจำนวนมากจะเข้ามาในสนามเพื่อนำความคิดและฮาร์ดแวร์ใหม่ ๆ มาปรับปรุงเพื่อให้พวกเขาเป็น "AI ที่แข็งแกร่ง"

ปัญญาประดิษฐ์มีความเสี่ยงต่อการแฮ็กหรือไม่

คำแนะนำ; ถ้าคุณบอกว่า AI มีความเสี่ยงฉันก็ไม่เห็นด้วยกับคุณที่นี่โดยแถลงการณ์ดังกล่าว ปัญญาประดิษฐ์แบ่งออกเป็นสามประเภทหรือขั้นตอนที่เราควรจะผ่านคือ

• ปัญญาประดิษฐ์แคบ

• ปัญญาประดิษฐ์ทั่วไป

• ปัญญาประดิษฐ์สุดยอด

ดังนั้นตามคำพูดของคุณ "ฉันกังวลว่านักแสดงที่เป็นอันตรายอาจลองแฮ็กเอไอ ..... "

จากตัวอย่างในเนื้อหาข้อความของคุณเราอยู่ในระดับปัญญาแคบ ๆ โดยที่แฮ็กเกอร์มนุษย์สามารถบิด / โค้ดที่เป็นอันตรายของเขาเพื่อบุกรุกแอปพลิเคชันดังกล่าวในระดับนี้อย่างไรก็ตามถ้าเรากระโดดตรงไปยังระดับสุดท้ายของปัญญาประดิษฐ์ หน่วยสืบราชการลับ; ถ้าเช่นนั้นมนุษย์จะไม่สามารถบุกรุกหรือแฮ็กเกอร์โปรแกรมซุปเปอร์อัจฉริยะหรือตัวแทนซุปเปอร์ไฮเทคได้ ตัวอย่างเช่น แฮ็กเกอร์มนุษย์ทำอะไรซักอย่างทีละอย่างไม่มีปัญญาหยุดปัญญาประดิษฐ์แบ่งโฟกัสและทำพนักงานจำนวนมากพร้อมกันนี่เป็นเรื่องยากที่จะคาดเดาใจที่ทำงานอย่างถูกต้อง

สำหรับข้อมูลของคุณ

อย่านำสิ่งที่สื่อพูดถึงเกี่ยวกับ AI โดยทั่วไปเพียงเพราะพวกเขาไม่รู้ว่าสิ่งใหญ่จะเกิดขึ้นนั่นคือสายพันธุ์ใหม่ที่ออกมาแข่งขันกับมนุษย์

แค่คิดอยู่ในสังคมใหม่ที่ไฮเทค ตรวจสอบความท้าทายที่ยิ่งใหญ่ในโลกไซเบอร์

หากคุณพลาดกิจกรรมนั้นขออภัยด้วย

เชาวน์ปัญญาทุกประเภทมีความเสี่ยงต่อการแฮ็คไม่ว่าจะเป็น DNA หรือจากการประดิษฐ์ ก่อนอื่นมากำหนดแฮ็ค ในบริบทนี้การแฮ็คคือการใช้ประโยชน์จากจุดอ่อนเพื่อให้ได้จุดสิ้นสุดที่เฉพาะเจาะจงซึ่งอาจรวมถึงสถานะผลประโยชน์ทางการเงินการหยุดชะงักของธุรกิจหรือรัฐบาลข้อมูลที่สามารถนำมาใช้ในการกรรโชกมือในการเจรจาธุรกิจหรือการเลือกตั้ง ของการควบคุมหรือการจัดการ

นี่คือตัวอย่างของกลยุทธ์การแฮ็กสมองและวัตถุประสงค์ทั่วไปของพวกเขา แต่ละรายการมีระบบดิจิทัลที่เทียบเท่า

• การโฆษณาชวนเชื่อของรัฐบาล - การปฏิบัติตามที่คาดการณ์ได้
• หลอกลวง - เงิน
• การปลอมแปลง - ปฏิกิริยาต่อสาธารณะที่น่าขบขัน
• เล่นม้วน - รับความไว้วางใจเพื่อรับสิทธิ์ในการเข้าถึงหรือจัดการ
• ศูนย์ปวด - หาผลประโยชน์จากการเสพติดเพื่อเพิ่มรายได้

บางคนมีความกังวลเกี่ยวกับสิ่งที่ถูกเรียกว่าภาวะเอกฐาน (The Singularity) ซึ่งหน่วยงานซอฟต์แวร์อัจฉริยะอาจสามารถแฮ็คมนุษย์และโครงสร้างทางสังคมเพื่อให้ได้มาซึ่งจุดจบ มนุษย์นั้นอาจแฮ็กตัวแทนที่ชาญฉลาดของมนุษย์คนอื่น ๆ ก็เป็นไปได้อีกอย่างหนึ่งที่ชัดเจน ฉันไม่คิดว่าข้อมูลการฝึกอบรมเป็นเพียงจุดโจมตีเดียว

• เมทริกซ์พารามิเตอร์สามารถเขียนทับได้ในลักษณะที่ตรวจจับได้ยาก
• สัญญาณการเสริมแรงสามารถดัดแปลงได้ด้วย
• มีข้อผิดพลาดที่ทราบกันดีในการเรียงสับเปลี่ยนอินพุต
• ธรรมชาติที่กำหนดขึ้นของระบบดิจิตอลสามารถถูกนำไปใช้ประโยชน์โดยผู้เรียนลึกคนอื่น ๆ โดยการทำซ้ำระบบที่ได้รับการฝึกอบรมและค้นหาจุดอ่อนของระบบแบบออฟไลน์ก่อนดำเนินการผ่านเครือข่าย

ความเป็นไปได้ที่ระบุไว้ในคำถามควรได้รับการพิจารณา แต่นี่เป็นรายการเวอร์ชันของฉัน

• การฆาตกรรมโดย AV ทำงานผิดปกติหรือปลอมแปลงระบบการระบุตัวตนในร้านขายยาหรือโรงพยาบาล
• การเบี่ยงเบนของสินค้าที่จัดส่งจำนวนมากไปยังผู้รับที่ไม่ได้ชำระเงินให้
• การฆ่าล้างเผ่าพันธุ์ทางสังคมโดยการทำให้กลุ่มบุคคลเฉพาะเจาะจงด้อยลง

วิธีเดียวที่จะป้องกันไม่ให้เกิดเหตุการณ์สูญพันธุ์ไปทั่วโลก แต่อาจมีวิธีที่จะบรรเทาได้ เช่นเดียวกับที่โปรแกรมเขียนขึ้นเพื่อค้นหาช่องโหว่ในระบบ UNIX ระบบอัจฉริยะอาจถูกคิดค้นเพื่อค้นหาช่องโหว่ในระบบอัจฉริยะอื่น ๆ แน่นอนว่ารูปแบบการเขียนโปรแกรมและระบบข้อมูลทั่วไปสามารถออกแบบได้โดยคำนึงถึงความปลอดภัยลดช่องโหว่ในระดับที่เป็นไปได้อย่างสมเหตุสมผลตั้งแต่วันแรกระบบ AI สามารถออกแบบโดยมีวัตถุประสงค์ในใจ

หากคุณปฏิบัติตามเส้นทางข้อมูลของระบบใด ๆ และพิจารณาวิธีการอ่านหรือเขียนสัญญาณ ณ จุดใด ๆ ตลอดเส้นทางคุณสามารถป้องกันจุดเข้าใช้งานเหล่านั้นล่วงหน้า เห็นได้ชัดว่าการดูแลเมื่อได้รับข้อมูลที่จะใช้สำหรับการฝึกอบรมเป็นกุญแจสำคัญในกรณีที่กล่าวถึงในคำถามนี้และการเข้ารหัสที่เหมาะสมตามเส้นทางข้อมูลเป็นสิ่งที่จำเป็นพร้อมกับทำให้แน่ใจว่าไม่มีการเข้าถึงทางกายภาพแก่บุคลากรที่ไม่ได้รับอนุญาต การตอบโต้ที่เกิดขึ้นจากความกังวลและโอกาสเหล่านี้

มีหลายวิธีในการแฮ็ค AI เมื่อฉันยังเด็กฉันคิดว่าจะเอาชนะคอมพิวเตอร์หมากรุกได้อย่างไร ฉันมักจะทำตามรูปแบบเดียวกันเสมอเมื่อคุณเรียนรู้ว่าคุณสามารถใช้ประโยชน์จากมันได้ แฮ็กเกอร์ที่ดีที่สุดในโลกคือเด็กอายุ 4 ขวบที่ต้องการบางสิ่งที่เขาจะลองทำในสิ่งที่แตกต่างกันจนกว่าเขาจะกำหนดรูปแบบในพ่อแม่ของเขา อย่างไรก็ตามรับ Ai เพื่อเรียนรู้รูปแบบของ AI และได้รับชุดค่าผสมที่กำหนดคุณสามารถคิดผลลัพธ์ นอกจากนี้ยังมีข้อบกพร่องเพียงธรรมดาหรือประตูหลังในรหัสทั้งในวัตถุประสงค์หรือโดยบังเอิญ นอกจากนี้ยังมีความเป็นไปได้ที่ AI จะแฮ็คตัวเอง มันเรียกว่าการทำงานผิดปกติจำเด็กตัวเล็ก ๆ อีกครั้ง ...

BTW วิธีง่ายๆคือการทำให้ AI ล้มเหลวอย่างปลอดภัยเสมอ ... สิ่งที่ผู้คนลืม