นี่คือปัญหาบางอย่างที่จิตใจลิงของฉันเกิดขึ้น
1.Smart! = ทุกคนรู้
การระเบิดการปรับปรุงตัวเองของ AI ทำให้มันฉลาดขึ้นและฉลาดขึ้น การมีความฉลาดไม่ได้หมายถึงการรู้ข้อเท็จจริงเพิ่มเติม ฉันคิดว่านี่เป็นข้อโต้แย้งที่พิถีพิถัน แต่ฉันคิดว่าควรจะคิด
แพทย์ที่ฉลาดมากที่ไม่รู้ประวัติของคุณอาจยังเป็นตัวเลือกที่แย่กว่าแพทย์ที่ฉลาดน้อยกว่าและมีข้อมูลที่ดีกว่า
2. มันมีไว้สำหรับมนุษย์เหรอ? มันสำหรับมนุษย์ทุกคน?
ASI ซึ่งไปถึงระดับที่สูงขึ้นไม่สามารถให้ความสนใจในความเป็นอยู่ของเรา
ASI ที่มีการควบคุมนั้นยังคงสามารถทำงานเพื่อผลประโยชน์ของคนเพียงไม่กี่คนเท่านั้นหากไม่กี่คนที่ตัดสินใจเลือกเป้าหมายที่ไม่ถูกต้องเราสามารถย้อนกลับไปได้
3 ASI รุนแรง
จิตใจทางวิทยาศาสตร์ไม่จำเป็นต้องเต็มไปด้วยความเห็นอกเห็นใจหรือความเอาใจใส่
4. เป็นคนฉลาดและไม่ฉลาด
จิตใจที่ยิ่งใหญ่ยังคงทำผิดพลาด: * ในการกำหนดเป้าหมายและ * ในการดำเนินการตามแผนเพื่อให้บรรลุ
สติปัญญาไม่รับประกันการขาด shorosightedness หรือขาดจุดบอด
5. ข้อ จำกัด
หากมีขอบเขตของการดำรงอยู่ (จำกัด ความเร็วของแสงชนิด) แล้ว AI จะถูกผูกไว้ด้วยสิ่งเหล่านี้เช่นกัน นี่อาจหมายความว่ามีบางสิ่งที่แม้แต่ ASI จะไม่ 'รับ' นอกจากนี้เนื่องจากจิตใจของเราอาจมีข้อ จำกัด ตามโครงสร้าง AI ถัดไปอาจมีข้อ จำกัด เช่นกัน - และแม้ว่าจะปรับปรุง uppn แล้วก็อาจมีข้อ จำกัด ที่ไม่สามารถหาวิธีแก้ปัญหาได้เพราะมัน 'โง่เกินไป'
6. เราจะไม่ได้รับมัน
ความเข้าใจของ ASI ในบางแง่มุมของโลกอาจไม่สามารถสื่อสารกับมนุษย์ส่วนใหญ่ได้ เราจะไม่ได้รับมัน (แม้ว่าเราจะสามารถเข้าใจทุกอย่างไม่ได้หมายความว่าเราจะเข้าใจ)
7. วิธีใช้งาน
เราอาจทำลายตัวเองและ AI ด้วยเทคโนโลยีที่ช่วยเราสร้าง ไม่จำเป็นต้องเป็นระเบิด มันอาจจะเป็น geoengineering หรือสงสัยยาเสพติด
นี่คือความรุนแรงโดยเฉพาะอย่างยิ่งเมื่อ ASI มีประสิทธิภาพอยู่แล้ว แต่ไม่แข็งแรงพอที่จะมองเห็นผลกระทบเชิงลบ (หรือเราจะเพิกเฉยต่อมัน)