อ้างอิงจากบันทึกของหลักสูตรสแตนฟอร์ดเกี่ยวกับเครือข่ายประสาทเทียมเพื่อการจดจำภาพย่อหน้าบอกว่า:

"น่าเสียดายที่หน่วย ReLU นั้นบอบบางในระหว่างการฝึกและสามารถ" ตาย "ได้ตัวอย่างเช่นการไล่ระดับสีขนาดใหญ่ที่ไหลผ่านเซลล์ประสาท ReLU อาจทำให้น้ำหนักนั้นอัปเดตในลักษณะที่เซลล์ประสาทจะไม่เปิดใช้งานบน datapoint ใด ๆ อีก เกิดขึ้นแล้วการไล่ระดับสีที่ไหลผ่านหน่วยจะเป็นศูนย์จากจุดนั้นตลอดไปนั่นคือหน่วย ReLU สามารถตายอย่างไม่สามารถกลับคืนได้ในระหว่างการฝึกอบรมเนื่องจากพวกเขาสามารถชนกับข้อมูลได้มากมายตัวอย่างเช่นคุณอาจพบว่า 40 % ของเครือข่ายของคุณอาจเป็น "ตาย" (เช่นเซลล์ประสาทที่ไม่เคยเปิดใช้งานในชุดข้อมูลการฝึกอบรมทั้งหมด) หากอัตราการเรียนรู้สูงเกินไปหากตั้งค่าอัตราการเรียนรู้ที่เหมาะสมจะทำให้เกิดปัญหาน้อยลง "

การตายของเซลล์ประสาทที่นี่หมายถึงอะไร

คุณช่วยกรุณาอธิบายคำอธิบายที่เข้าใจง่ายด้วยคำศัพท์ที่ง่ายขึ้นได้ไหม

ReLU "dead" จะส่งออกค่าเดียวกันเสมอ (ศูนย์ขณะที่มันเกิดขึ้น แต่นั่นไม่ใช่สิ่งสำคัญ) สำหรับอินพุตใด ๆ อาจเป็นเพราะการเรียนรู้คำศัพท์อคติเชิงลบขนาดใหญ่สำหรับน้ำหนักของมัน

ในทางกลับกันนั่นหมายความว่าจะไม่มีบทบาทในการแยกแยะระหว่างอินพุต สำหรับการจัดหมวดหมู่คุณสามารถมองเห็นสิ่งนี้เป็นระนาบการตัดสินใจนอกข้อมูลอินพุตที่เป็นไปได้ทั้งหมด

เมื่อ ReLU สิ้นสุดลงในสถานะนี้มันไม่น่าจะกู้คืนได้เนื่องจากฟังก์ชั่นการไล่ระดับสีที่ 0 เป็น 0 ดังนั้นการเรียนรู้ทางลาดแบบลาดลงจะไม่เปลี่ยนน้ำหนัก "รั่ว" ReLUs ที่มีการไล่ระดับสีเป็นบวกเล็ก ๆ สำหรับอินพุตลบ ( y=0.01xเมื่อ x <0 พูด) เป็นความพยายามหนึ่งในการแก้ไขปัญหานี้และให้โอกาสในการกู้คืน

เซลล์ประสาท sigmoid และ tanh สามารถทนทุกข์ทรมานจากปัญหาที่คล้ายกันเช่นค่าของพวกเขาอิ่มตัว แต่อย่างน้อยก็มีการไล่ระดับสีเล็ก ๆ น้อย ๆ ให้พวกเขาสามารถกู้คืนในระยะยาว

ตรวจสอบลักษณะของ ReLU (หน่วยเชิงเส้นเชิงเส้น) ดู:

$x_n$

$$z_n=\sum_{i=0}^k w_i a^n_i$$ $w_i$$a^n_i$$x_n$$ReLU = max(0,z_n)$

สมมติว่าเป็นการวัดความผิดพลาดที่ง่ายมาก

$$error = ReLU - y$$

$$\frac{\partial error}{\partial z_n} = \delta_n = \left\{ \begin{array}{c l} 1 & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$ $w_j$ $$\nabla error = \frac{\partial error}{\partial w_j}=\frac{\partial error}{\partial z_n} \times \frac{\partial z_n}{\partial w_j} = \delta_n \times a_j^n = \left\{ \begin{array}{c 1} a_j^n & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$

$=$$x_n$

$x_n$$x_*$

$z_n < 0$

$ReLU=max(0.1x,x)$

เซลล์ประสาท ReLU เอาต์พุตเป็นศูนย์และมีศูนย์อนุพันธ์สำหรับอินพุตลบทั้งหมด ดังนั้นหากน้ำหนักในเครือข่ายของคุณมักนำไปสู่การป้อนข้อมูลเชิงลบในเซลล์ประสาท ReLU เซลล์ประสาทนั้นไม่ได้มีส่วนร่วมในการฝึกอบรมของเครือข่ายอย่างมีประสิทธิภาพ ในทางคณิตศาสตร์การทำเกรเดียนต์ของการปรับปรุงน้ำหนักที่มาจากเซลล์ประสาทนั้นจะเป็นศูนย์เสมอ (ดูรายละเอียดทางคณิตศาสตร์สำหรับภาคผนวก)

$L(W)$$L$$L$$W$$L$

โดยทั่วไปสิ่งที่เกิดขึ้นนั้นขึ้นอยู่กับว่าข้อมูลไหลผ่านเครือข่ายอย่างไร คุณสามารถจินตนาการได้ว่าเมื่อการฝึกอบรมดำเนินไปเรื่อย ๆ เซลล์ประสาทที่สร้างคุณค่าสามารถลอยไปมาและทำให้เป็นไปได้ที่น้ำหนักจะฆ่าการไหลของข้อมูลทั้งหมดผ่านบางส่วน (บางครั้งพวกเขาอาจออกจากการกำหนดค่าที่ไม่พึงประสงค์เหล่านี้เนื่องจากการอัปเดตน้ำหนักก่อนหน้านี้ในเครือข่าย แต่!) ฉันสำรวจความคิดนี้ในบล็อกโพสต์เกี่ยวกับการเริ่มต้นน้ำหนัก - ซึ่งสามารถนำไปสู่ปัญหานี้ - และความสัมพันธ์กับการไหลของข้อมูล ฉันคิดว่าจุดของฉันที่นี่สามารถแสดงโดยพล็อตจากบทความนั้น:

พล็อตแสดงการเปิดใช้งานใน 5 เลเยอร์ Multi-Layer Perceptron พร้อมการเปิดใช้งาน ReLU หลังจากผ่านไปหนึ่งครั้งผ่านเครือข่ายด้วยกลยุทธ์การเริ่มต้นที่แตกต่างกัน คุณจะเห็นว่าขึ้นอยู่กับการกำหนดค่าน้ำหนักผลลัพธ์ของเครือข่ายของคุณสามารถถูกปิดได้

ภาคผนวกทางคณิตศาสตร์

$L$$x_j^{(i)}$$j$$i$$f(s) = \max(0, s)$$s^{(i)}_j$$(i+1)$$i$$(i+1)$

$$\frac{\partial L}{\partial w_{jk}^{(i)}} = \frac{\partial L}{\partial x_k^{(i+1)}} \frac{\partial x_k^{(i+1)}}{\partial w_{jk}^{(i)}}\,.$$

คำแรกทางด้านขวาสามารถคำนวณซ้ำได้ ที่สองทางด้านขวาเป็นสถานที่แห่งเดียวที่เกี่ยวข้องโดยตรงกับน้ำหนักและสามารถแยกย่อยเป็น$w_{jk}^{(i)}$

$$\begin{align*} \frac{\partial{x_k^{(i+1)}}}{\partial w_{jk}^{(i)}} &= \frac{\partial{f(s^{(i)}_j)}}{\partial s_j^{(i)}} \frac{\partial s_j^{(i)}}{\partial w_{jk}^{(i)}} \\ &=f'(s^{(i)}_j)\, x_j^{(i)}. \end{align*}$$

จากนี้คุณจะเห็นได้ว่าหากผลลัพธ์เป็นลบเสมอน้ำหนักที่นำไปสู่เซลล์ประสาทจะไม่ได้รับการปรับปรุงและเซลล์ประสาทไม่ได้มีส่วนช่วยในการเรียนรู้

จะเจาะจงมากขึ้นในภาษาในขณะที่การไล่ระดับสีท้องถิ่นของ ReLU (ซึ่งคือ ) คูณการไล่ระดับสีที่ไหลกลับเนื่องจากการแพร่กระจายกลับผลของการไล่ระดับสีที่อัปเดตอาจเป็นจำนวนลบมาก (ถ้าการไล่ระดับที่ไหล - back เป็นจำนวนลบจำนวนมาก)$1$

การไล่ระดับสีเชิงลบที่มีขนาดใหญ่ที่มีขนาดใหญ่นั้นสร้างเชิงลบขนาดใหญ่เมื่ออัตราการเรียนรู้ค่อนข้างใหญ่ดังนั้นจะระงับการอัปเดตที่จะเกิดขึ้นในเซลล์ประสาทนี้เนื่องจากแทบจะเป็นไปไม่ได้ที่จะใส่จำนวนบวกจำนวนมาก เสีย" w_iW $w_i$$w_i$

"Dying ReLU" หมายถึงเซลล์ประสาทที่ผลลัพธ์ 0 สำหรับข้อมูลของคุณในชุดการฝึกอบรม สิ่งนี้เกิดขึ้นเนื่องจากผลรวมของน้ำหนัก * อินพุตในเซลล์ประสาท (หรือเรียกอีกอย่างว่าการเปิดใช้งาน ) จะกลายเป็น <= 0 สำหรับรูปแบบอินพุตทั้งหมด สิ่งนี้ทำให้ ReLU ส่งออก 0 เนื่องจากอนุพันธ์ของ ReLU เป็น 0 ในกรณีนี้ไม่มีการอัพเดตน้ำหนักและเซลล์ประสาทค้างที่เอาต์พุต 0

สิ่งที่ควรทราบ:

1. การตาย ReLU ไม่ได้หมายความว่าผลผลิตของเซลล์ประสาทจะยังคงเป็นศูนย์ในเวลาทดสอบเช่นกัน ขึ้นอยู่กับความแตกต่างของการกระจายนี้อาจจะใช่หรือไม่ใช่ก็ได้
2. การตายของ ReLU ไม่ใช่การตายอย่างถาวร หากคุณเพิ่มข้อมูลการฝึกอบรมใหม่หรือใช้รูปแบบการฝึกอบรมล่วงหน้าสำหรับการฝึกอบรมใหม่เซลล์ประสาทเหล่านี้อาจเริ่มต้นใหม่
3. ในทางเทคนิคการตาย ReLU ไม่จำเป็นต้องส่งออก 0 สำหรับข้อมูลการฝึกอบรมทั้งหมด มันอาจเกิดขึ้นที่มันส่งออกที่ไม่เป็นศูนย์สำหรับข้อมูลบางส่วน แต่จำนวนของยุคไม่เพียงพอที่จะย้ายน้ำหนักอย่างมีนัยสำคัญ