เหตุใดการเปิดใช้งานที่ไม่อยู่กึ่งกลางจึงไม่เกิดปัญหาในการกระจายข้อความ?

ฉันอ่านที่นี่ต่อไปนี้:

เอาท์พุท sigmoid จะไม่เป็นศูนย์เป็นศูนย์กลาง สิ่งนี้ไม่เป็นที่พึงปรารถนาเนื่องจากเซลล์ประสาทในชั้นถัดไปของการประมวลผลในเครือข่ายประสาท (เพิ่มเติมในเร็ว ๆ นี้) จะได้รับข้อมูลที่ไม่ได้อยู่กึ่งกลาง เรื่องนี้มีผลกระทบต่อการเปลี่ยนแปลงในระหว่างการสืบเชื้อสายการไล่ระดับสีเพราะถ้าข้อมูลที่เข้ามาในเซลล์ประสาทเป็นบวกเสมอ (เช่น $x > 0$ elementwise ใน )) จากนั้นการไล่ระดับน้ำหนักที่ จะระหว่าง backpropagation ทั้งหมดเป็นบวกหรือลบทั้งหมด (ขึ้นอยู่กับความชันของการแสดงออกทั้งหมด $f = w^Tx + b$ $w$ $f$ ) สิ่งนี้สามารถแนะนำพลวัตซิกซิกซิกที่ไม่พึงประสงค์ในการปรับปรุงการไล่ระดับสีสำหรับตุ้มน้ำหนัก อย่างไรก็ตามโปรดสังเกตว่าเมื่อมีการเพิ่มการไล่ระดับสีเหล่านี้ข้ามชุดข้อมูลการปรับปรุงขั้นสุดท้ายสำหรับตุ้มน้ำหนักอาจมีสัญญาณตัวแปรซึ่งจะช่วยบรรเทาปัญหานี้ได้บ้าง ดังนั้นนี่เป็นความไม่สะดวก แต่มีผลกระทบรุนแรงน้อยกว่าเมื่อเทียบกับปัญหาการเปิดใช้งานอิ่มตัวด้านบน

ทำไมจะมีทั้งหมด (elementwise) นำไปสู่การบวกทั้งหมดหรือการไล่ระดับสีทั้งหมดในทางลบต่อ ? $x>0$ $w$

neural-networks deep-learning backpropagation

— Amelio Vazquez-Reina
แหล่งที่มา

ฉันยังมีคำถามเดียวกันกับการดูวิดีโอ CS231n

— สถานีรถไฟใต้ดินจับคู่

ฉ = Σ W_{ผม} x_{ผม} + ข

$f=\sum w_ix_i+b$

\frac{d ฉ}{d W_{ผม}} = x_{ผม}

$\frac{df}{dw_i}=x_i$

\frac{d L}{d W_{ผม}} = \frac{d L}{d ฉ} \frac{d ฉ}{d W_{ผม}} = \frac{d L}{d ฉ} x_{ผม}

$\frac{dL}{dw_i}=\frac{dL}{df}\frac{df}{dw_i}=\frac{dL}{df}x_i$

$x_i>0$ $\dfrac{dL}{dw_i}$ $\dfrac{dL}{df}$

$w_1$ $w_2$

หากเป้าหมายของเราเกิดขึ้นที่ภาคตะวันออกเฉียงเหนือเราสามารถไปในรูปแบบซิกแซกเพื่อไปที่นั่นได้เหมือนกับที่จอดรถคู่ขนานในพื้นที่แคบ ๆ (ให้อภัยรูปวาดของฉัน)

ดังนั้นฟังก์ชั่นการเปิดใช้งานทั้งหมดที่เป็นบวกหรือลบทั้งหมด (relu, sigmoid) อาจเป็นเรื่องยากสำหรับการปรับให้เหมาะสมแบบไล่ระดับสี เพื่อแก้ปัญหานี้เราสามารถทำให้ข้อมูลปกติเป็นศูนย์ได้โดยไม่ต้องเป็นศูนย์เช่นเดียวกับการทำให้เป็นมาตรฐานแบบกลุ่ม / ชั้น

ฉ = Σ W_{ผม} (x_{ผม} + ข_{ผม}) .

$f=\sum w_i(x_i+b_i).$

\frac{d L}{d W_{ผม}} = \frac{d L}{d ฉ} (x_{ผม} - ข_{ผม})

$\frac{dL}{dw_i}=\frac{dL}{df}(x_i-b_i)$

x_{i}

$x_i$

— dontloo
แหล่งที่มา

โปรดแก้ไขให้ฉันถ้าฉันผิด แต่ไม่ควรเปลี่ยนค่าของ dL / df เป็น x เช่น xT เนื่องจากเราจะใช้แนวคิดของ Jacobin ที่นี่

— chinmay

f

$f$

w^{T} x + b

$w^Tx+b$

L

$L$

w

$w$

x

$x$

ใช่มันเป็นตัวพิมพ์ใหญ่จากจุดสิ้นสุดของฉัน ฉันหมายถึง df / dw .... แต่ฉันคิดว่ามันขึ้นกับเวกเตอร์ x และถ้ามันเป็นเวกเตอร์แถวหรือเวกเตอร์คอลัมน์

— chinmay

d L / d f

$d L/d f$

@floyd hi ฉันเพิ่งเพิ่มการอัปเดตสำหรับคำถามของคุณ

— dontlo