ฉันจะคำนวณคำศัพท์เดลต้าของเลเยอร์ Convolutional ได้อย่างไรเนื่องจากคำเดลต้าและน้ำหนักของเลเยอร์ Convolutional ก่อนหน้า

ฉันกำลังพยายามฝึกโครงข่ายใยประสาทเทียมด้วยชั้นสอง convolutional (c1, c2) และสองชั้นที่ซ่อนอยู่ (c1, c2) ฉันใช้วิธีการ backpropagation มาตรฐาน ใน backward pass ฉันคำนวณระยะเวลาข้อผิดพลาดของเลเยอร์ (เดลต้า) ตามข้อผิดพลาดของเลเยอร์ก่อนหน้านี้น้ำหนักของเลเยอร์ก่อนหน้าและการไล่ระดับสีของการเปิดใช้งานตามฟังก์ชั่นการเปิดใช้งานของเลเยอร์ปัจจุบัน โดยเฉพาะอย่างยิ่งเดลต้าของเลเยอร์ l มีลักษณะดังนี้:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

ฉันสามารถคำนวณการไล่ระดับสีของ c2 ซึ่งเชื่อมต่อกับเลเยอร์ปกติ ฉันแค่คูณน้ำหนักของ h1 กับเดลต้าของมัน จากนั้นฉันก็เปลี่ยนรูปร่างเมทริกซ์นั้นให้อยู่ในรูปของเอาต์พุตของ c2 แล้วคูณมันด้วยการไล่ระดับสีของฟังก์ชั่นการกระตุ้นและเสร็จ

ตอนนี้ฉันมีคำเดลต้าของ c2 - ซึ่งเป็นเมทริกซ์ขนาด 4 มิติ (featureMapSize, featureMapSize, filterNum, patternNum) นอกจากนี้ฉันมีน้ำหนัก c2 ซึ่งเป็นเมทริกซ์ 3 มิติของขนาด (filterSize, filterSize, filterNum)

ด้วยสองเทอมนี้และการไล่ระดับสีของการเปิดใช้งาน c1 ฉันต้องการคำนวณเดลต้าของ c1

เรื่องสั้นสั้น:

เมื่อกำหนดระยะเดลต้าของเลเยอร์ Convolutional ก่อนหน้านี้และน้ำหนักของเลเยอร์นั้นฉันจะคำนวณระยะเดลต้าของเลเยอร์ Convolutional ได้อย่างไร

— cdwoelk
แหล่งที่มา

ฉันแรกพบข้อผิดพลาดสำหรับชั้น convolutional ด้านล่างเพื่อความง่ายสำหรับอาร์เรย์หนึ่งมิติ (input) ซึ่งสามารถโอนไปยังหลายมิติได้อย่างง่ายดายแล้ว:

เราสมมุติเอาไว้ที่นี่ว่า $y^{l-1}$ ความยาว $N$ เป็นอินพุตของ $l-1$ -th Conv ชั้น, $m$ คือขนาดเคอร์เนลของน้ำหนัก $w$ แสดงถึงน้ำหนักแต่ละครั้งด้วย $w_i$ และผลลัพธ์คือ $x^l$ .
ดังนั้นเราสามารถเขียน (บันทึกการรวมจากศูนย์):

x_{ผม}^{ล.} = Σ_{a = 0}^{ม. - 1} W_{a} Y_{a + ผม}^{ล. - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$ ที่ไหน

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$ และ

f

$f$ ฟังก์ชั่นการเปิดใช้งาน (เช่น sigmoidal) ด้วยสิ่งนี้เราสามารถพิจารณาฟังก์ชันข้อผิดพลาดได้

E

$E$ และฟังก์ชันข้อผิดพลาดที่เลเยอร์ convolutional (หนึ่งในเลเยอร์ก่อนหน้าของคุณ) ที่กำหนดโดย

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$ . ตอนนี้เราต้องการทราบการพึ่งพาของข้อผิดพลาดในหนึ่งตุ้มน้ำหนักในเลเยอร์ก่อนหน้า:

\frac{\partial E}{\partial W_{a}} = Σ_{a = 0}^{ยังไม่มีข้อความ - ม.} \frac{\partial E}{\partial x_{ผม}^{ล.}} \frac{\partial x_{ผม}^{ล.}}{\partial W_{a}} = Σ_{a = 0}^{ยังไม่มีข้อความ - ม.} \frac{\partial E}{\partial W_{a}} Y_{ผม + a}^{ล. - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$
ที่เรามีผลรวมมากกว่าการแสดงออกทั้งหมดที่

w_{a}

$w_a$ เกิดขึ้นซึ่งก็คือ

N - m

$N-m$ . โปรดทราบว่าเรารู้คำสุดท้ายเกิดขึ้นจากข้อเท็จจริงที่ว่า

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$ ซึ่งคุณสามารถดูได้จากสมการแรก
ในการคำนวณการไล่ระดับสีเราจำเป็นต้องรู้เทอมแรกซึ่งสามารถคำนวณได้โดย:

\frac{\partial E}{\partial x_{ผม}^{ล.}} = \frac{\partial E}{\partial Y_{ผม}^{ล.}} \frac{\partial Y_{ผม}^{ล.}}{\partial x_{ผม}^{ล.}} = \frac{\partial E}{\partial Y_{ผม}^{ล.}} \frac{\partial}{\partial x_{ผม}^{ล.}} ฉ (x_{ผม}^{ล.})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$ โดยที่เทอมแรกอีกครั้งเป็นข้อผิดพลาดในเลเยอร์ก่อนหน้าและ

f

$f$ ฟังก์ชั่นการเปิดใช้งานแบบไม่เชิงเส้น

การมีเอนทิตีที่จำเป็นทั้งหมดเราสามารถคำนวณข้อผิดพลาดและเผยแพร่กลับไปยังเลเยอร์ที่มีค่าได้อย่างมีประสิทธิภาพ:

δ_{a}^{ล. - 1} = \frac{\partial E}{\partial Y_{ผม}^{ล. - 1}} = Σ_{a = 0}^{ม. - 1} \frac{\partial E}{\partial x_{ผม - a}^{ล.}} \frac{\partial x_{ผม - a}^{ล.}}{\partial Y_{ผม}^{ล. - 1}} = Σ_{a = 0}^{ม. - 1} \frac{\partial E}{\partial x_{ผม - a}^{ล.}} W_{a}^{ฉ ล. ผม พี พี อี d}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$ โปรดทราบว่าขั้นตอนสุดท้ายนั้นสามารถเข้าใจได้ง่ายเมื่อเขียนลงไป

x_{i}^{l}

$x_i^l$ -s wrt the

y_{i}^{l - 1}

$y_i^{l-1}$ -s

f l i p p e d

$flipped$ หมายถึง maxtrix น้ำหนัก transposed (

T

$T$ )

ดังนั้นคุณสามารถคำนวณข้อผิดพลาดในเลเยอร์ถัดไปได้โดย (ในรูปแบบเวคเตอร์):

δ^{ล.} = (W^{ล.})^{T} δ^{ล. + 1} ฉ^{'} (x^{ล.})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

ซึ่งจะกลายเป็นชั้น convolutional และ subsampling:

δ^{ล.} = ยู พี s a ม. พี ล. อี ((W^{ล.})^{T} δ^{ล. + 1}) ฉ^{'} (x^{ล.})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$ ที่ไหน

u p s a m p l e

$upsample$ การดำเนินการเผยแพร่ข้อผิดพลาดผ่านเลเยอร์สูงสุดร่วมกัน

โปรดเพิ่มหรือแก้ไขฉัน!

สำหรับการอ้างอิงดู:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

และสำหรับการติดตั้ง C ++ (โดยไม่ต้องมีการติดตั้ง): https://github.com/nyanp/tiny-cnn#supported-networks

— Leow
แหล่งที่มา