Softmax layer ในเครือข่ายประสาท

43

ฉันพยายามที่จะเพิ่มเลเยอร์ softmax ให้กับเครือข่ายประสาทที่ได้รับการฝึกอบรมเกี่ยวกับ backpropagation ดังนั้นฉันจึงพยายามคำนวณการไล่ระดับสี

เอาต์พุต softmax คือโดยที่คือหมายเลขเซลล์ประสาทเอาท์พุท $h_j = \frac{e^{z_j}}{\sum{e^{z_i}}}$ $j$

ถ้าฉันได้มันมาฉันก็จะได้

$\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j)$

คล้ายกับการถดถอยโลจิสติก อย่างไรก็ตามนี่เป็นสิ่งที่ผิดเนื่องจากการตรวจสอบการไล่ระดับสีของฉันล้มเหลว

ผมทำอะไรผิดหรือเปล่า? ฉันคิดว่าฉันต้องคำนวณ cross cross เช่นกัน (เช่น ) แต่ฉันไม่แน่ใจว่าจะทำอย่างไรและรักษามิติการไล่ระดับสีไว้ เหมือนกันดังนั้นจึงจะเหมาะสำหรับกระบวนการเผยแพร่กลับ $\frac{\partial{h_j}}{\partial{z_k}}$

neural-networks

— Ran
แหล่งที่มา

3

คุณควรปรับปรุงชื่อคำถามของคุณเนื่องจากไม่ได้พูดถึงการเพิ่มเลเยอร์ softmax ทั่วไปให้กับ NN เนื่องจากคำถามของคุณมีความเฉพาะเจาะจงเกี่ยวกับวิธีตรวจสอบการไล่ระดับสีล้มเหลว ฉันขอแนะนำอย่างยิ่งให้เปลี่ยนชื่อเป็น "ทำไม backpropagation หยุดทำงานอย่างถูกต้องเมื่อฉันเพิ่มเลเยอร์ softmax ไปยัง Neural Network ของฉัน"

— Charlie Parker

43

ฉันรู้สึกไม่ดีเล็กน้อยเกี่ยวกับการให้คำตอบของตัวเองสำหรับเรื่องนี้เพราะมันค่อนข้างดีที่จับโดยอะมีบาและ Juampa ยกเว้นบางทีสัญชาตญาณสุดท้ายเกี่ยวกับวิธีที่Jacobian สามารถลดกลับไปเป็นเวกเตอร์

คุณได้รับการไล่ระดับสีในแนวทแยงของเมทริกซ์จาโคเบียนอย่างถูกต้องซึ่งคุณต้องบอกว่า

${\partial h_i \over \partial z_j}= h_i(1-h_j)\;\;\;\;\;\;: i = j$

และตามที่อะมีบากล่าวไว้คุณต้องได้รับการบันทึกในแนวทแยงของยาโคเบียนซึ่งเป็นผล

${\partial h_i \over \partial z_j}= -h_ih_j\;\;\;\;\;\;: i \ne j$

คำจำกัดความของแนวคิดทั้งสองนี้สามารถรวมกันได้อย่างสะดวกโดยใช้โครงสร้างที่เรียกว่าKronecker Deltaดังนั้นคำจำกัดความของการไล่ระดับสีจะกลายเป็น

${\partial h_i \over \partial z_j}= h_i(\delta_{ij}-h_j)$

ดังนั้น Jacobian จึงเป็นเมทริกซ์ $\left[J \right]_{ij}=h_i(\delta_{ij}-h_j)$

ข้อมูลทั้งหมดจนถึงจุดนี้ได้รับการคุ้มครองโดยอะมีบาและ juampa แล้ว แน่นอนว่าปัญหาคือเราต้องได้รับข้อผิดพลาดในการป้อนข้อมูลจากข้อผิดพลาดของผลลัพธ์ที่คำนวณแล้ว เนื่องจากการไล่ระดับสีของข้อผิดพลาดเอาท์พุทขึ้นอยู่กับอินพุตทั้งหมดดังนั้นการไล่ระดับสีของอินพุตจึงเป็น $\nabla h_i$ $x_i$

$[\nabla x]_k = \sum\limits_{i=1} \nabla h_{i,k}$

เมื่อพิจารณาจากเมทริกซ์จาโคเบียนที่กำหนดไว้ด้านบนสิ่งนี้จะถูกนำมาใช้เล็กน้อยเป็นผลคูณของเมทริกซ์และเวกเตอร์ข้อผิดพลาดเอาต์พุต:

$\vec{\sigma_l} = J\vec{\sigma_{l+1}}$

หากเลเยอร์ softmax เป็นเลเยอร์เอาท์พุทของคุณให้รวมเข้ากับโมเดล Cross-Entropy Cost ทำให้การคำนวณง่ายขึ้น

$\vec{\sigma_l} = \vec{h}-\vec{t}$

โดยที่เป็นเวกเตอร์ของฉลากและเป็นเอาต์พุตจากฟังก์ชัน softmax ไม่เพียง แต่เป็นรูปแบบที่ทำให้สะดวกเท่านั้น แต่ยังมีประโยชน์อย่างมากจากจุดยืนความมั่นคงเชิงตัวเลข $\vec{t}$ $\vec{h}$

— Mranz
แหล่งที่มา

ด้วย , คือ ? (เพียงพยายามทำให้เข้าใจว่า 'การไล่ระดับสี' คืออะไรในกรณีนี้)

\vec{σ_{l}} = (σ_{l, 1}, σ_{l, 2}, . . ., σ_{l, k})

$\vec{\sigma_l} = (\sigma_{l,1}, \sigma_{l,2}, ..., \sigma_{l,k})$

σ_{l, j} = \frac{\partial C}{\partial z_{j}}

$\sigma_{l,j} = \frac{\partial C}{\partial z_j}$

— Alexandre Holden Daly

ใช่ถูกต้องแล้ว

— Mranz

มีใครบ้างที่โปรดอธิบายว่าเดลต้าตัวพิมพ์เล็กใน Delta Kronecker คืออะไรและจะคำนวณได้อย่างไร

— danijar

ฉันติดปัญหานี้มาระยะหนึ่งแล้ว เพื่อชี้แจง คุณมีเวกเตอร์ (softmax ก่อน) แล้วคุณคำนวณ softmax เนื่องจากค่าของ softmax ขึ้นอยู่กับค่าอินพุตทั้งหมดจึงจำเป็นต้องใช้เมทริกซ์ jacobian จริง จากนั้นคุณใช้เมทริกซ์จาโคเบียนและผลรวมลดจำนวนแถวเพื่อให้ได้เวกเตอร์แถวเดียวซึ่งคุณใช้สำหรับการไล่ระดับสีตามปกติ ทั้งหมดนี้ถูกต้อง 100% หรือไม่

— harveyslash

14

อนุพันธ์ผิด มันควรจะเป็น,

\frac{\partial h_{j}}{\partial z_{k}} = h_{j} δ_{k j} - h_{j} h_{k}

$\frac{\partial h_{j}}{\partial z_{k}} = h_{j}\delta_{kj}-h_{j}h_{k}$

ตรวจสอบการคำนวณของคุณอีกครั้ง นอกจากนี้การแสดงออกที่ได้รับจากอะมีบาสำหรับการข้ามเอนโทรปีไม่ถูกต้องทั้งหมด สำหรับชุดตัวอย่างข้อมูลที่ดึงมาจากคลาสแตกต่างกันจะอ่าน $C$

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n})

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n})$

โดยที่ superindex รันบนชุดตัวอย่างคือค่าขององค์ประกอบ k-th ของเป้าหมายสำหรับตัวอย่าง n-th นี่มันจะสันนิษฐานว่าคุณกำลังใช้รูปแบบที่ 1 ของการเข้ารหัส C, ที่อยู่,{n} ในกรณีเช่นนี้ค่า t ทั้งหมดจะเป็นศูนย์ยกเว้นส่วนประกอบที่เป็นตัวแทนของคลาสที่เกี่ยวข้อง $t_{k}^{n}$ $t_{k}^{n}$

โปรดทราบว่าค่าคงที่ ดังนั้นการย่อฟังก์ชันนี้ให้เท่ากับการย่อขนาดให้เล็กที่สุด

- \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln y_{k} (x^{n}) + \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln t_{k}^{n} = - \sum_{n} \sum_{k = 1}^{C} t_{k}^{n} \ln \frac{y_{k} (x^{n})}{t_{k}^{n}}

$-\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln y_{k}(\boldsymbol{x}^{n}) + \sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln t_{k}^{n} = -\sum_{n}\sum_{k=1}^{C}t_{k}^{n}\ln \frac{y_{k}(\boldsymbol{x}^{n})}{t_{k}^{n}}$

ซึ่งมีข้อได้เปรียบที่จาโคเบียนใช้ในรูปแบบที่สะดวกมากกล่าวคือ

\frac{\partial E}{\partial z_{j}} = h_{j} - t_{j}

$\frac{\partial E}{\partial z_{j}} = h_{j}-t_{j}$

ฉันจะแนะนำให้คุณได้รับสำเนาของบิชอปของโครงข่ายประสาทเทียมสำหรับการจดจำรูปแบบ IMHO ยังคงเป็นหนังสือที่ดีที่สุดในเครือข่ายประสาท

— jpmuc
แหล่งที่มา

14

แต่ละเอาต์พุตของ softmax ขึ้นอยู่กับอินพุตทั้งหมดดังนั้นการไล่ระดับสีจึงเป็นเมทริกซ์จาโคเบียนทั้งหมด คุณได้อย่างถูกต้องคำนวณแต่คุณยังต้องถ้าk ฉันเดาว่าถ้าคุณสามารถรับนิพจน์แรกได้คุณควรจะสามารถหานิพจน์ที่สองได้อย่างง่ายดายเช่นกัน $\partial_j h_j = \frac{\partial h_j}{\partial z_j}=h_j(1-h_j)$ $\partial_k h_j=-h_jh_k$ $j \neq k$

ฉันไม่แน่ใจว่าคุณเห็นปัญหาอะไรกับการส่งสัญญาณย้อนกลับ: ในเลเยอร์ softmax คุณมีเอาต์พุตและอินพุตดังนั้นข้อผิดพลาดจากแต่ละเอาต์พุตควรแพร่กระจายไปยังแต่ละอินพุตและนั่นคือเหตุผลที่คุณต้องการยาโคบเบียนทั้งหมด ในทางกลับกันคุณมักจะมีฟังก์ชั่นต้นทุนที่เกี่ยวข้องกับเอาต์พุต softmax เช่นที่เป็นผลลัพธ์ที่คุณต้องการ (เมื่อคุณจำแนกประเภทแล้วบ่อยครั้งที่หนึ่งในนั้นเท่ากับ 1 , และอื่น ๆ ถึง 0) จากนั้นในความเป็นจริงคุณมีความสนใจในซึ่งสามารถคำนวณได้ด้วยกฎลูกโซ่ทำให้เกิดนิพจน์ที่เรียบร้อยและแน่นอนเวกเตอร์ (ไม่ใช่เมทริกซ์) $j$ $j$

C = - \sum_{j} t_{j} \log h_{j},

$C=-\sum_j t_j \log h_j,$

t_{j}

$t_j$

\frac{\partial C}{\partial z_{j}}

$\frac{\partial C}{\partial z_j}$

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

1

ฉันจะพยายามอธิบายปัญหาของฉันให้ดีขึ้นตามตัวอย่างของบทเรียนนี้ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithmฉันต้องใช้องค์ประกอบที่ชาญฉลาดคูณน้ำหนักและเดลต้าด้วยอนุพันธ์ (ขั้นตอนที่ 3) ดังนั้นถ้าฉันมีเมทริกซ์จาโคเบียนเต็มขนาดก็ไม่พอดี ขอบคุณ

— Ran

คุณรู้วิธีดำเนินการต่อหรือไม่ถ้าไม่ใช่ softmax แต่เป็นเลเยอร์ที่ซ่อนอยู่ตามปกติ ลองจินตนาการว่าแต่ละหน่วยในเลเยอร์นี้ได้รับอินพุตจากทุกยูนิตของเลเยอร์ก่อนหน้า (เช่นเลเยอร์นี้คือ "เชื่อมต่อเต็มที่") ซึ่งโดยปกติจะเป็นกรณี จากนั้นคุณต้องย้อนกลับเผยแพร่ความผิดพลาดกลับไปที่เลเยอร์นี้และอนุพันธ์ก็สร้างเมทริกซ์ของจาโคเบียน หากคุณสับสนเกี่ยวกับวิธีการทำสิ่งนั้นความสับสนของคุณจะไม่เกี่ยวข้องกับ softmax

— อะมีบากล่าวว่า Reinstate Monica

1

ฉันนำมันมาใช้กับเลเยอร์เชิงเส้นและแบบซิกม์ได้สำเร็จเพราะอนุพันธ์เป็นเวกเตอร์ดังนั้นฉันจึงไม่มีปัญหากับมิติ

— Ran

ขออภัย Ran บางทีฉันแค่โง่ แต่ถ้าคุณมีเลเยอร์ sigmoid เชื่อมต่อกับเลเยอร์ก่อนหน้าอย่างสมบูรณ์แล้วเอาต์พุต (หรืออินพุต) ไปยังแต่ละหน่วยจะมีอนุพันธ์ที่เกี่ยวข้องกับการเชื่อมต่อขาเข้าจากแต่ละหน่วยบน เลเยอร์ก่อนหน้านั่นคืออนุพันธ์ทั้งหมดเป็นเมทริกซ์ 2D, n'est-ce pas?

j

$j$

i

$i$

— อะมีบาพูดว่า Reinstate Monica