เครือข่ายประสาทเทียมสามารถคำนวณ

ด้วยจิตวิญญาณของเรื่องตลกTensorflow Fizz Buzz ที่มีชื่อเสียงและปัญหา XOrฉันเริ่มคิดว่าถ้าเป็นไปได้ในการออกแบบเครือข่ายประสาทที่ใช้ฟังก์ชัน ?$y = x^2$

เมื่อพิจารณาถึงการแสดงตัวเลข (เช่นเวกเตอร์ในรูปแบบไบนารี่เพื่อให้ตัวเลข5นั้นแทน[1,0,1,0,0,0,0,...]) เครือข่ายประสาทควรเรียนรู้ที่จะคืนค่าสแควร์ - 25 ในกรณีนี้

หากฉันสามารถใช้ได้ฉันอาจใช้และโดยทั่วไปชื่อพหุนามของ x แล้วกับชุดอนุกรมฉันสามารถประมาณซึ่งจะแก้ปัญหา Fizz Buzz - เครือข่ายประสาทที่สามารถหาส่วนที่เหลือของ$y=x^2$$y=x^3$$y=\sin(x)$

เห็นได้ชัดว่าส่วนเชิงเส้นตรงของ NN จะไม่สามารถทำงานนี้ได้ดังนั้นหากเราสามารถคูณมันจะเกิดขึ้นด้วยฟังก์ชั่นการเปิดใช้งาน

คุณสามารถแนะนำไอเดียหรืออ่านเรื่องใดได้บ้าง?

โครงข่ายประสาทเทียมจะเรียกว่าเป็นฟังก์ชั่นการประมาณสากลซึ่งจะขึ้นอยู่ในทฤษฎีบทประมาณฟังก์ชั่นสากล มันระบุว่า:

ในทฤษฎีทางคณิตศาสตร์ของโครงข่ายประสาทเทียมทฤษฎีบทการประมาณแบบสากลระบุว่าเครือข่ายฟีดไปข้างหน้าด้วยชั้นซ่อนเร้นเดียวที่มีจำนวน จำกัด ของเซลล์ประสาทสามารถประมาณฟังก์ชันต่อเนื่องในชุดย่อยของ Rn ภายใต้สมมติฐานที่อ่อนในฟังก์ชันกระตุ้น

ความหมาย ANN ที่มีฟังก์ชั่นเปิดใช้งานแบบไม่เชิงเส้นสามารถแมปฟังก์ชันที่เกี่ยวข้องกับอินพุตกับเอาต์พุต ฟังก์ชัน$y = x^2$สามารถประมาณได้อย่างง่ายดายโดยใช้การถดถอย ANN

คุณสามารถค้นหาบทเรียนที่ดีที่นี่ด้วยเช่นโน๊ตบุ๊ค

นอกจากนี้เนื่องจากความสามารถดังกล่าว ANN สามารถแมปความสัมพันธ์ที่ซับซ้อนเช่นภาพและป้ายกำกับ

$f(x)=x^2$$\mathbb{R}^n$

$\mathbb{R}^n$$\mathbb{R}^n$$x$$f(x)=x^2$$\mathbb{R}$$f(x)=x^2$$x\in \mathbb{R}$

$\sin(x)$$x=0$$x\to 10000$