เครือข่ายประสาทสามารถเรียนรู้การทำงานและการทำงานของมันได้หรือไม่

ฉันเข้าใจว่าเครือข่ายนิวรัล (NNs) สามารถพิจารณาได้ว่าเป็นผู้ประมาณสากลสำหรับฟังก์ชั่นและอนุพันธ์ภายใต้สมมติฐานบางประการ (ทั้งเครือข่ายและฟังก์ชั่นโดยประมาณ) ในความเป็นจริงฉันได้ทำการทดสอบจำนวนมากเกี่ยวกับฟังก์ชั่นที่เรียบง่าย แต่ไม่สำคัญ (เช่นพหุนาม) และดูเหมือนว่าฉันสามารถประมาณพวกเขาและอนุพันธ์อันดับแรกได้เป็นอย่างดี (ตัวอย่างแสดงไว้ด้านล่าง)

อย่างไรก็ตามสิ่งที่ไม่ชัดเจนสำหรับฉันคือว่าทฤษฎีบทที่นำไปสู่การขยาย (หรืออาจจะขยาย) ไปยัง functionals และอนุพันธ์การทำงานของพวกเขา ลองพิจารณาตัวอย่างเช่นการใช้งาน:

$$\begin{equation} F[f(x)] = \int_a^b dx ~ f(x) g(x) \end{equation}$$ ด้วยการใช้งานอนุพันธ์: $$\begin{equation} \frac{\delta F[f(x)]}{\delta f(x)} = g(x) \end{equation}$$ ที่$f(x)$ขึ้นอยู่ทั้งหมดและไม่ใช่นิดบน$g(x)$) NN สามารถเรียนรู้การทำแผนที่ด้านบนและอนุพันธ์ของหน้าที่ได้หรือไม่ โดยเฉพาะอย่างยิ่งหากมีใครแยกโดเมน$x$มากกว่า$[a,b]$และให้$f(x)$(ที่จุดที่ไม่น่าสนใจ) เป็นอินพุตและ$F[f(x)]$ในฐานะที่เป็นเอาท์พุท NN สามารถเรียนรู้การทำแผนที่นี้อย่างถูกต้อง (อย่างน้อยในทางทฤษฎี)? ถ้าเป็นเช่นนั้นมันสามารถเรียนรู้อนุพันธ์ของการทำแผนที่ได้หรือไม่

ฉันได้ทำการทดสอบหลายครั้งและดูเหมือนว่า NN อาจเรียนรู้การแมป$F[f(x)]$ได้ในระดับหนึ่ง อย่างไรก็ตามในขณะที่ความถูกต้องของการทำแผนที่นี้ก็โอเค แต่ก็ไม่ได้ยอดเยี่ยม และที่น่าเป็นห่วงก็คืออนุพันธ์ของฟังก์ชันที่คำนวณได้นั้นเป็นขยะที่สมบูรณ์ (ทั้งสองอย่างนี้อาจเกี่ยวข้องกับปัญหาในการฝึกอบรมและอื่น ๆ ) ตัวอย่างที่แสดงด้านล่าง

ถ้า NN ไม่เหมาะสำหรับการเรียนรู้ฟังก์ชั่นและอนุพันธ์ของฟังก์ชั่นนั้นจะมีวิธีการเรียนรู้ด้วยเครื่องอื่นหรือไม่

ตัวอย่าง:

(1) ต่อไปนี้เป็นตัวอย่างของการประมาณฟังก์ชั่นและอนุพันธ์ของมัน: A NN ได้รับการฝึกฝนให้เรียนรู้ฟังก์ชั่น$f(x) = x^3 + x + 0.5$ในช่วง [-3,2]: ซึ่งเป็นการประมาณที่สมเหตุสมผล ถึง$df(x)/dx$ได้รับ: โปรดทราบว่าตามที่คาดไว้การประมาณ NN เป็น$f(x)$และอนุพันธ์อันดับแรกปรับปรุงด้วยจำนวนคะแนนการฝึกอบรมสถาปัตยกรรม NN เนื่องจากพบ minima ที่ดีขึ้นในระหว่างการฝึกอบรมเป็นต้น .

$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$$f(x)$$F[f(x)]$

นี่เป็นคำถามที่ดี ฉันคิดว่ามันเกี่ยวข้องกับการพิสูจน์ทางคณิตศาสตร์ในเชิงทฤษฎี ฉันทำงานกับ Deep Learning (เครือข่ายประสาทโดยทั่วไป) มาระยะหนึ่ง (ประมาณหนึ่งปี) และจากความรู้ของฉันจากเอกสารทั้งหมดที่ฉันอ่านฉันยังไม่เห็นข้อพิสูจน์เกี่ยวกับเรื่องนี้ อย่างไรก็ตามในแง่ของหลักฐานการทดลองฉันคิดว่าฉันสามารถให้ข้อเสนอแนะ

ลองพิจารณาตัวอย่างด้านล่างนี้:

ในตัวอย่างนี้ฉันเชื่อว่าผ่านเครือข่ายประสาทหลายชั้นควรจะสามารถเรียนรู้ทั้ง f (x) และ F [f (x)] ผ่านทางการเผยแพร่กลับ อย่างไรก็ตามไม่ว่าสิ่งนี้จะนำไปใช้กับฟังก์ชั่นที่ซับซ้อนมากขึ้นหรือฟังก์ชั่นทั้งหมดในจักรวาลจะต้องมีการพิสูจน์เพิ่มเติม อย่างไรก็ตามเมื่อเราพิจารณาตัวอย่างของการแข่งขัน Imagenet --- เพื่อจัดประเภทวัตถุ 1,000 ชิ้นมักใช้เครือข่ายประสาทที่ลึกมาก รุ่นที่ดีที่สุดสามารถบรรลุอัตราความผิดพลาดอย่างไม่น่าเชื่อถึง ~ 5% NN ที่ลึกดังกล่าวมีเลเยอร์ที่ไม่ใช่เชิงเส้นมากกว่า 10 เลเยอร์และนี่คือหลักฐานการทดลองที่ความสัมพันธ์ที่ซับซ้อนสามารถแสดงผ่านเครือข่ายที่ลึก [ขึ้นอยู่กับความจริงที่ว่าเรารู้ว่า NN กับ 1 เลเยอร์ที่ซ่อนอยู่สามารถแยกข้อมูลที่ไม่ใช่เชิงเส้น

แต่การเรียนรู้เพิ่มเติมว่าต้องเรียนรู้อนุพันธ์ทั้งหมดหรือไม่

ฉันไม่แน่ใจว่ามีวิธีการเรียนรู้ด้วยเครื่องจักรใด ๆ ที่สามารถเรียนรู้ฟังก์ชั่นและอนุพันธ์ของมันได้อย่างสมบูรณ์ ขอโทษด้วยกับเรื่องนั้น.

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$$F[f(x)]=\int\limits_a^bf(x)g(x)dx$$ $g(x)$$f_i(x), ~i=0,\dots,M$$F[f_i(x)]$ $$F[f(x)]= \Delta x\left[\frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}\right]$$ $$\frac{F[f(x)]}{\Delta x}=y= \frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}$$ $$f_0=a,~f_1=f(x_1),~...,~f_{N-1}=f(x_{N-1}),~f_N=b,$$ $$a<x_1<...<x_{N-1}<b,~~\Delta x=x_{j+1}-x_j$$

$M$$f_i(x),~i=1,\dots,M$$i$

$$\frac{F[f_i(x)]}{\Delta x}=y_i= \frac{f_{i0}g_0}{2}+f_{i1}g_1+...+f_{i,N-1}g_{N-1}+\frac{f_{iN}g_N}{2}$$

$g_0,\dots, g_N$

$$X=\begin{bmatrix} f_{00}/2 & f_{01} & \dots & f_{0,N-1} & f_{0N}/2 \\ f_{10}/2 & f_{11} & \dots & f_{1,N-1} & f_{1N}/2 \\ \dots & \dots & \dots & \dots & \dots\\ f_{M0}/2 & f_{M1} & \dots & f_{M,N-1} & f_{MN}/2 \end{bmatrix}$$ $y=[y_0,\dots,y_M]$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

ลองหาไซน์และโคไซน์ที่มีความถี่แตกต่างกันไปตามฟังก์ชันการฝึกของเรา การคำนวณเวกเตอร์เป้าหมาย:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

ตอนนี้เมทริกซ์ regressor:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

การถดถอยเชิงเส้น:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$

$$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x)\right)dx$$ $f_0, f_1\dots,f_N$$x$ $$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x),f'(x)\right)dx$$ $f'$$f_0, f_1\dots,f_N$$\mathcal{L}$$f_0, f_1\dots,f_N$บางคนอาจพยายามเรียนรู้ด้วยวิธีที่ไม่เป็นเชิงเส้นเช่นเครือข่ายประสาทหรือ SVM แม้ว่ามันอาจจะไม่ง่ายอย่างเช่นในกรณีของเส้นตรง