ความแตกต่างระหว่างน้ำหนักสุทธิของระบบประสาทและอัตราการเรียนรู้

ในบริบทของโครงข่ายประสาทเทียมอะไรคือความแตกต่างระหว่างอัตราการเรียนรู้และการลดน้ำหนัก?

neural-networks terminology

คำตอบ:

161

อัตราการเรียนรู้เป็นพารามิเตอร์ที่กำหนดว่าขั้นตอนการอัปเดตมีผลต่อค่าปัจจุบันของตุ้มน้ำหนักเท่าใด ในขณะที่การลดน้ำหนักเป็นคำเพิ่มเติมในกฎการอัปเดตน้ำหนักที่ทำให้น้ำหนักลดลงเป็นศูนย์ชี้แจงหากไม่มีการกำหนดเวลาการปรับปรุงอื่น ๆ

สมมุติว่าเรามีฟังก์ชั่นค่าใช้จ่ายหรือข้อผิดพลาดที่เราต้องการลดให้น้อยที่สุด โคตรลาดชันบอกให้เราแก้ไขน้ำหนักในทิศทางของโคตรลาดชันใน : ที่เป็นอัตราการเรียนรู้และถ้ามันมีขนาดใหญ่คุณจะมีการปรับเปลี่ยนขนาดใหญ่ตามลําดับของน้ำหนัก (โดยทั่วไปก็ไม่ควรจะมีขนาดใหญ่เกินไปมิฉะนั้นคุณจะแหกขั้นต่ำในท้องถิ่นในการทำงานของค่าใช้จ่ายของคุณ) $E(\mathbf{w})$ $\mathbf{w}$ $E$

w_{i} \leftarrow w_{i} - η \frac{\partial E}{\partial w_{i}},

$\begin{equation} w_i \leftarrow w_i-\eta\frac{\partial E}{\partial w_i}, \end{equation}$

η

$\eta$

w_{i}

$w_i$

เพื่อ จำกัด จำนวนพารามิเตอร์ฟรีในโมเดลของคุณอย่างมีประสิทธิภาพเพื่อหลีกเลี่ยงการปรับตัวมากเกินไปคุณสามารถกำหนดฟังก์ชั่นค่าใช้จ่ายเป็นประจำได้ วิธีง่ายๆในการทำเช่นนั้นคือการแนะนำค่าเฉลี่ยแบบเกาส์เป็นศูนย์ก่อนน้ำหนักซึ่งเทียบเท่ากับการเปลี่ยนฟังก์ชันต้นทุนเป็น2} ในทางปฏิบัติสิ่งนี้จะลงโทษน้ำหนักที่มากและ จำกัด เสรีภาพในโมเดลของคุณได้อย่างมีประสิทธิภาพ พารามิเตอร์การทำให้เป็นมาตรฐานตัวกำหนดวิธีที่คุณแลกเปลี่ยนราคาเดิมกับการลงโทษน้ำหนักจำนวนมาก $\widetilde{E}(\mathbf{w})=E(\mathbf{w})+\frac{\lambda}{2}\mathbf{w}^2$ $\lambda$ $E$

ใช้การไล่ระดับสีแบบลาดชันกับฟังก์ชันต้นทุนใหม่นี้ที่เราได้รับ: คำใหม่มาจากการทำให้เป็นปกติจะทำให้น้ำหนักสลายตามสัดส่วนกับขนาดของมัน

w_{i} \leftarrow w_{i} - η \frac{\partial E}{\partial w_{i}} - η λ w_{i} .

$\begin{equation} w_i \leftarrow w_i-\eta\frac{\partial E}{\partial w_i}-\eta\lambda w_i. \end{equation}$

- η λ w_{i}

$-\eta\lambda w_i$

— mrig
แหล่งที่มา

ขอบคุณสำหรับคำอธิบายที่เป็นประโยชน์ คำถาม: ในแพ็คเกจ "nnet" R มีพารามิเตอร์ที่ใช้ในการฝึกอบรมของโครงข่ายประสาทเทียมที่เรียกว่า "ผุ" คุณรู้หรือไม่ว่าการสลายตัวสอดคล้องกับแลมบ์ดาของคุณหรือไปยังเอ * ของคุณแลมบ์ดา?

— Andrea Ianni ௫

ฉันจะเพิ่มการลดน้ำหนักนั้นเป็นสิ่งเดียวกันกับการทำให้เป็นปกติของ L2 สำหรับผู้ที่คุ้นเคยในภายหลัง

— Sergei

@ Sergei ไม่โปรดหยุดการเผยแพร่ข้อมูลที่ผิดนี้! นี่เป็นจริงในกรณีพิเศษของวานิลลา SGD เท่านั้น ดูการแก้ไขการลดน้ำหนักของกระดาษอดัม

— LucasB

เพื่อชี้แจง: ในเวลาที่เขียนเอกสาร PyTorch สำหรับอดัมใช้คำว่า "การสลายตัวของน้ำหนัก" (เรียกว่า "L2 โทษ") โดยอ้างอิงจากสิ่งที่ฉันคิดว่าผู้เขียนเหล่านั้นเรียกระเบียบ L2 ถ้าฉันเข้าใจถูกต้องคำตอบนี้อ้างถึง SGD โดยไม่มีโมเมนตัมซึ่งทั้งสองนั้นเทียบเท่ากัน

— Dylan F

นอกจากคำตอบของ @ mrig (+1) สำหรับแอปพลิเคชันเครือข่ายประสาทจำนวนมากการใช้อัลกอริธึมการเพิ่มประสิทธิภาพขั้นสูงนั้นดีกว่าเช่น Levenberg-Marquardt (เครือข่ายขนาดกลางขนาดเล็ก) หรือสัดส่วนการไล่ระดับคอนจูเกตคอนจูเกต เครือข่าย) เนื่องจากสิ่งเหล่านี้จะเร็วกว่ามากและไม่จำเป็นต้องตั้งค่าอัตราการเรียนรู้ (อัลกอริทึมทั้งสองปรับอัตราการเรียนรู้โดยใช้ความโค้งเช่นเดียวกับการไล่ระดับสี) แพคเกจเครือข่ายหรือไลบรารีโครงข่ายประสาทที่เหมาะสมใด ๆ จะมีการใช้งานหนึ่งในวิธีการเหล่านี้แพ็คเกจใด ๆ ที่ไม่น่าจะล้าสมัย ฉันใช้ NETLAB libary สำหรับ MATLAB ซึ่งเป็นชุดที่ยอดเยี่ยม

— Dikran Marsupial
แหล่งที่มา

สิ่งที่เกี่ยวกับการเพิ่มประสิทธิภาพตาม Rprop algos? พวกเขาจะกองขึ้นได้อย่างไร

— พลังงาน

ฉันคิดว่าคนส่วนใหญ่ใช้ตัวแปร rprop + momentum เช่น RMSProp, adagrad, SGD + nesterov ดูระดับ cs231

— facuq

แน่นอนมันขึ้นอยู่กับใบสมัครของคุณ แต่สำหรับชุดข้อมูล / เครือข่ายขนาดใหญ่ที่ทันสมัยตอนนี้ฉันคิดว่าผู้คนกำลังค้นหาอัลกอริทึมเหล่านั้นที่ฉันกล่าวถึงเหมาะสมกว่า

— facuq

@DikranMarsupial อาจเป็นเพราะทุกวันนี้ (เกือบห้าปีหลังจากคำตอบของคุณ) คนมักจะใช้อดัมแทน?

— วิทยาศาสตร์คอมพิวเตอร์

แน่นอนคำตอบนี้ล้าสมัยมาก อัลกอริธึมเหล่านี้ไม่สามารถใช้งานได้จริงกับขนาดของโมเดลและชุดข้อมูลที่เป็นปกติในปัจจุบันและแพ็คเกจที่ใช้กันอย่างแพร่หลายซึ่งแน่นอนว่าไม่ล้าสมัยขาดอัลกอริธึมเหล่านี้

— LucasB

ฉันพูดง่ายๆ:

learning_rate:มันควบคุมความเร็วของแบบจำลองโครงข่ายประสาทเทียมที่เรียนรู้ปัญหาอย่างรวดเร็วหรือช้า

อ้างอิง: https://machinelearningmastery.com/learning-rate-for-deep-learning-neural-networks/

wight_decay:มันเป็นเทคนิคการทำให้เป็นมาตรฐานที่ใช้เพื่อหลีกเลี่ยงการปรับตัวมากเกินไป

อ้างอิง: https://metacademy.org/graphs/concepts/weight_decay_neural_networks

— Ketan Vishwakarma
แหล่งที่มา