ทำไมเครือข่ายประสาทถูกหลอกง่าย

ฉันได้อ่านเอกสารเกี่ยวกับการสร้างภาพด้วยตนเองเพื่อ "หลอก" เครือข่ายประสาท (ดูด้านล่าง)

นี่เป็นเพราะเครือข่ายเป็นแบบจำลองความน่าจะเป็นแบบมีเงื่อนไขเท่านั้นหรือไม่? หากเครือข่ายสามารถจำลองความน่าจะเป็นแบบร่วมกรณีดังกล่าวจะยังคงเกิดขึ้นได้หรือไม่p ( y , x $p(y|x)$
$p(y,x)$

ฉันเดาภาพที่สร้างขึ้นเทียมดังกล่าวมีความแตกต่างจากข้อมูลการฝึกอบรมเพื่อให้พวกเขามีความน่าจะเป็นที่ต่ำ(x) ดังนั้นควรต่ำแม้ว่าจะสูงสำหรับภาพเหล่านี้p ( y , x ) p ( y | x $p(x)$$p(y,x)$$p(y|x)$

ปรับปรุง

ฉันลองแบบจำลองทั่วไปแล้วมันกลับกลายเป็นว่าไม่ได้มีประโยชน์ดังนั้นฉันเดาว่านี่น่าจะเป็นผลมาจาก MLE?

ฉันหมายถึงในกรณีที่ KL divergence ถูกใช้เป็นฟังก์ชันการสูญเสียค่าของโดยที่มีขนาดเล็กไม่ส่งผลกระทบต่อการสูญเสีย ดังนั้นสำหรับอิมเมจที่วางแผนไว้ซึ่งไม่ตรงกับค่าของสามารถกำหนดเองได้p d a t a ( x ) p d a t a p $p_{\theta}(x)$$p_{data}(x)$$p_{data}$$p_{\theta}$

ปรับปรุง

ฉันพบบล็อกของ Andrej Karpathy ที่แสดง

ผลลัพธ์เหล่านี้ไม่เฉพาะเจาะจงกับรูปภาพ ConvNets และไม่ใช่ "ข้อบกพร่อง" ใน Deep Learning

การอธิบายและการทดสอบตัวอย่างที่ไม่เกี่ยวข้องกับเครือข่ายโครงข่ายประสาทลึกนั้นเป็นเรื่องง่าย: การคาดคะเนความเชื่อมั่นสูงสำหรับภาพที่ไม่สามารถจดจำได้

ประเภทของแบบจำลองที่คุณอ้างถึงนั้นเรียกว่าแบบจำลอง 'กำเนิด' ซึ่งตรงข้ามกับการเลือกปฏิบัติและไม่ได้ปรับขนาดข้อมูลเป็นมิติสูง ส่วนหนึ่งของความสำเร็จของ NN ในงานภาษาคือการย้ายจากโมเดลทั่วไป (HMM) ทำโมเดลการแบ่งแยกแบบ 'มากกว่า' (เช่น MEMM ใช้การถดถอยโลจิสติกซึ่งอนุญาตให้ใช้ข้อมูลบริบทได้อย่างมีประสิทธิภาพhttps://en.wikipedia.org/ wiki / Hidden_Markov_model # Extensions )

ฉันจะเถียงว่าเหตุผลที่พวกเขาถูกหลอกนั้นเป็นปัญหาทั่วไปมากกว่า มันคือการปกครองปัจจุบันของ 'AI' ที่ขับเคลื่อนด้วย ML ตื้นกว่าวิธีการที่ซับซ้อนมากขึ้น [ในเอกสารหลายฉบับมีการกล่าวถึงว่ารุ่น ML อื่น ๆ นั้นถูกหลอกได้อย่างง่ายดาย - http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html - Ian Goodfellow

'รูปแบบภาษา' ที่มีประสิทธิภาพมากที่สุดสำหรับงานหลาย ๆ อย่างคือ 'bag of word' ไม่มีใครจะอ้างว่านี่เป็นรูปแบบของภาษามนุษย์ที่มีความหมาย มันไม่ยากเลยที่จะจินตนาการว่าแบบจำลองเหล่านี้จะหลอกได้ง่ายเช่นกัน

การมองเห็นคอมพิวเตอร์ในลักษณะเดียวกันเช่นการรับรู้วัตถุได้รับการปฏิวัติโดย 'visual bag of word' ซึ่งจะทำให้วิธีการคำนวณที่เข้มข้นยิ่งขึ้นหมดไป (ซึ่งไม่สามารถนำไปใช้กับชุดข้อมูลขนาดใหญ่ได้)

ฉันจะเถียงซีเอ็นเอ็นว่า 'ถุงภาพของคำ' ที่ดีกว่า - ในขณะที่คุณแสดงในภาพของคุณความผิดพลาดเกิดขึ้นที่คุณสมบัติระดับพิกเซล / ระดับต่ำ แม้จะมีอติพจน์ทั้งหมดไม่มีการแสดงระดับสูงในเลเยอร์ที่ซ่อนอยู่ - (ทุกคนทำผิดพลาดประเด็นก็คือบุคคลจะทำ 'ความผิดพลาด' เนื่องจากคุณสมบัติระดับสูงและจะรู้จักการ์ตูนของแมวซึ่งฉันไม่ชอบ ไม่เชื่อว่าจะ NN)

ตัวอย่างของโมเดลคอมพิวเตอร์ที่มีความซับซ้อนมากขึ้น (ซึ่งทำงานได้แย่กว่า NN) คือโมเดล 'ชิ้นส่วนที่ถอดเปลี่ยนได้'

เท่าที่ฉันรู้เครือข่ายประสาทส่วนใหญ่ไม่ได้ใช้การแจกแจงความน่าจะเป็นมาก่อนภาพอินพุต อย่างไรก็ตามคุณสามารถตีความการเลือกชุดฝึกอบรมให้เป็นการกระจายความน่าจะเป็น ในมุมมองนั้นภาพที่สร้างขึ้นเองเหล่านี้ไม่น่าจะถูกเลือกเป็นภาพในชุดทดสอบ วิธีหนึ่งในการวัด 'ความน่าจะเป็นแบบร่วม' คือการสร้างภาพแบบสุ่มแล้วติดป้าย ปัญหาจะเกิดขึ้นได้ว่า VAST ส่วนใหญ่จะไม่มีฉลาก ดังนั้นในการรับตัวอย่างที่มีป้ายกำกับจำนวนมากจะใช้เวลานานเกินไป