ตอนนี้ผมอ่านหนังสือเล่มหนึ่งชื่อ"Hands-on เครื่องการเรียนรู้กับ Scikit เรียนรู้และ TensorFlow"และในบทที่ 11 ก็มีคำอธิบายต่อไปนี้ในคำอธิบายของ ELU (การชี้แจง Relu)

ประการที่สามฟังก์ชั่นนั้นราบรื่นทุกที่รวมถึงรอบ z = 0 ซึ่งจะช่วยเร่งความเร็วการไล่ระดับสีเนื่องจากมันจะไม่เด้งซ้ายและขวามากเท่ากับ z = 0

zหมายถึงแกน x บนกราฟข้างต้น ผมเข้าใจอนุพันธ์เป็นไปอย่างราบรื่นตั้งแต่เส้นมีเส้นโค้งและในดินแดนที่เป็นตราสารอนุพันธ์จะไม่เท่ากับz < 00

อย่างไรก็ตามทำไมเป็นกรณีที่ถ้าฟังก์ชั่น "ราบรื่นทุกที่รวมถึงรอบ z = 0" มันจะเพิ่มความเร็วในการไล่ระดับสี

ฉันเดาว่ามันเป็นเพราะอนุพันธ์เนื่องจาก ReLU มีอนุพันธ์ไม่ต่อเนื่องที่ 0 ดังนั้นถ้าคุณใช้คำจำกัดความ:

$$f' \approx \frac{f(x+\epsilon) -f(x-\epsilon)}{2 \epsilon}$$

และ $x$ อยู่ใกล้กับ 0 มากคุณจะได้รับ 'การกระโดด' เหล่านั้นจำนวนมาก

เบื้องต้น: มีสามคุณลักษณะของฟังก์ชั่นที่เกี่ยวข้องที่นี่: ต่อเนื่อง, ต่อเนื่องและแตกต่างกัน Relu เป็นอย่างต่อเนื่องและน๊อตต่อเนื่องไม่อนุพันธ์ที่ Z = 0 relu ชี้แจงหรือ ELU เป็นทั้งสามของคุณลักษณะเหล่านั้น

ความแตกต่างหรือการไล่ระดับสีช่วยให้คุณมีทิศทาง เมื่ออนุพันธ์ของฟังก์ชั่นไม่ได้ถูกกำหนด ณ จุดหนึ่งทิศทางของการไล่ระดับสีจะไม่แน่นอนที่จุดนั้น

เมื่อใช้การไล่ระดับสีแบบลาดชันเราต้องการแก้ไขพารามิเตอร์อย่างต่อเนื่องเช่นฟังก์ชั่นการสูญเสียลดลงอย่างต่อเนื่องซึ่งเป็นเช่นเดียวกับการบอกว่าเราต้องการที่จะย้ายลงไปสู่ระดับต่ำสุด

เมื่ออนุพันธ์ของฟังก์ชันการสูญเสียไม่ได้กำหนดในบางจุดการไล่ระดับสีจะไม่แน่นอน ซึ่งหมายความว่าการไล่ระดับสีที่ลาดเอียงอาจเคลื่อนไปในทิศทางที่ผิด ขนาดของความล่าช้าที่เกิดจากความไม่แน่นอนนี้ขึ้นอยู่กับอัตราการเรียนรู้และพารามิเตอร์ไฮเปอร์อื่น ๆ โดยไม่คำนึงถึงพารามิเตอร์ไฮเปอร์ - สถิติอนุพันธ์ที่ไม่ได้กำหนดใน RELU ที่ z = 0 ทำให้การบรรจบกันของการลดลงของการไล่ระดับสีช้าลง

การเป็นเร็วขึ้นหรือต่ำลงเป็นคำที่เกี่ยวข้องและจะต้องเข้าใจในบริบทของสิ่งที่มันเปรียบเทียบ ดังนั้นเพื่อที่จะเข้าใจสิ่งนี้เราต้องพิจารณาก่อนว่าการไล่ระดับสีแบบเกลาทำงานกับฟังก์ชันการเปิดใช้งานประเภทอื่นได้อย่างไร

ตัวอย่างการตั้งค่า

พิจารณา MLP ด้วย $n$ เลเยอร์ที่ซ่อนของขนาดหนึ่ง

$z_1 = W_1 x + b_1$

$a_1 = f(z_1)$

...

$z_n = W_n a_{n-1} + b_n$

$y = f(z_n)$

ที่ไหน $f$ เป็นฟังก์ชั่นการเปิดใช้งาน

Tanh และ Sigmoid - หายไปไล่ระดับสี

สมมติ $f$คือฟังก์ชันการเปิดใช้งาน Tanh หรือ Sigmoid อนุพันธ์ของฟังก์ชันเหล่านั้นถูกล้อมรอบระหว่าง -1 ถึง 1 หรือเป็นทางการ$f'(x) \in (-1, 1)$ สำหรับใด ๆ $x$.

สิ่งนี้ทำให้เกิดปัญหาที่สำคัญมากในการเรียนรู้อย่างลึกซึ้งที่เรียกว่า "ปัญหาการไล่สีจาง" ลองพิจารณาที่มาของ$y$ WRT $W_1$. ตามกฎลูกโซ่เรามี

$$\frac{df}{dW_1} = \frac{df}{dW_{n}} \frac{dW_{n}}{dW_{n-1}} ... \frac{dW_{2}}{dW_{1}}$$

และสำหรับใด ๆ $0 < i < n$สังเกตว่า

$$\frac{dX_{i}}{dX_{i-1}} = f'(W_{i-1}a_{i-2} + b_{i-1}) \times a_{i-2} \in (-1, 1)$$

(คำแรกอยู่ระหว่าง $(-1, 1)$ เพราะ $f'$ ถูกผูกไว้ตามที่กล่าวไว้ก่อนหน้าและ $a_{i-2}$ ยังอยู่ระหว่าง $(-1, 1)$ สควอชเป็นค่าอินพุต)

ดังนั้น $\frac{df}{dW_1}$นั้นเป็นผลคูณของจำนวนเทอมแต่ละอันอยู่ระหว่าง (0, 1) ยิ่งใหญ่$n$ (เครือข่ายที่ลึกขึ้น) เป็นคำที่เราต้องการคูณและเป็นผลมาจาก $\frac{df}{dW_1}$จะเล็กลงอย่างชี้แจง เพราะความสัมพันธ์ชี้แจงนี้การไล่ระดับสีอย่างรวดเร็วกลายเป็นขนาดเล็กเพื่อให้เราได้อย่างมีประสิทธิภาพสามารถพิจารณาเป็นศูนย์ ผลที่ตามมาของการไม่มีการไล่ระดับสีเป็นศูนย์นั้นไม่มีการเรียนรู้ใด ๆ เกิดขึ้นเพราะกฎการอัปเดตของเราสำหรับการไล่ระดับสีขึ้นอยู่กับการไล่ระดับสีนั้น

RELU และ Dead Neuron

Relu ถูกประดิษฐ์ขึ้นเพื่อจัดการกับปัญหาการไล่ระดับสีที่หายไปเพราะอนุพันธ์ของมันมักจะเป็น 1 เสมอ $a_i > 0$ ดังนั้นเมื่อ $f$ RELU คือเรา:

$$\frac{dX_{i}}{dX_{i-1}} = a_{i-2}$$ $$\frac{df}{dW_1} = a_1 a_2 a_3 ... a_{n-1}$$

ทุกอย่างดีและดีเมื่อ $x > 0$ แต่ทุกสิ่งจะกระจุย $x < 0$ครั้งนี้ไม่เพียง แต่การไล่ระดับสีใกล้กับศูนย์มากเท่านั้น แต่ยังเป็นศูนย์ที่บริสุทธิ์ เมื่อเซลล์ประสาทมาถึงที่นั่นแล้วก็ไม่มีโอกาสที่จะกลับมาเลย นั่นเป็นสาเหตุที่สิ่งนี้เรียกว่าปัญหา "Dead Neuron"

รั่ว RELU และ ELU

Leaky RELU และ ELU คือการพัฒนาตามธรรมชาติหลังจาก RELU พวกเขามีความคล้ายคลึงกับ RELU เช่นอนุพันธ์เท่ากับ 1 เมื่อ$x > 0$ แต่หลีกเลี่ยง "เซลล์ประสาทที่ตายแล้ว" โดยหลีกเลี่ยงศูนย์อนุพันธ์เมื่อใด $x<1$.

ฉันเสนอราคากระดาษต้นฉบับสำหรับความแตกต่างระหว่างทั้งสอง

ในขณะที่ LReLUs และ PReLUs มีค่าเป็นลบเช่นกันพวกเขาไม่มั่นใจว่าสถานะการปิดการทำงานของสัญญาณรบกวนที่แข็งแกร่ง ELU อิ่มตัวถึงค่าลบด้วยอินพุตที่เล็กลงและจึงลดความแปรปรวนและข้อมูลที่แพร่กระจายไปข้างหน้า

คำอธิบายที่ใช้งานง่ายมีลักษณะดังต่อไปนี้ ใน ELU เมื่อใดก็ตามที่ x เล็กพอไล่ระดับก็เล็กมากและอิ่มตัว (เช่นเดียวกับ Tanh และ Sigmoid) การไล่ระดับสีขนาดเล็กหมายความว่าอัลกอริทึมการเรียนรู้สามารถมุ่งเน้นไปที่การปรับแต่งน้ำหนักอื่น ๆ โดยไม่ต้องกังวลเกี่ยวกับการโต้ตอบกับเซลล์ประสาทที่อิ่มตัว

พิจารณาพหุนามของระดับ 2 ซึ่งสามารถแสดงเป็นพื้นผิวเรียบในพื้นที่ 3 มิติ ในการค้นหาค่าต่ำสุดในพื้นที่นั้นขั้นตอนวิธีการลดความลาดชันจะต้องพิจารณาความชันทั้งในทิศทาง x และ y หากการไล่ระดับสีเป็นลบทั้งในทิศทาง x และทิศทาง y ก็ไม่ชัดเจนว่าทางไหนดีกว่า ดังนั้นจึงมีเหตุผลที่จะเลือกเส้นทางในระหว่าง แต่ถ้าเรารู้ทุกอย่างแล้วว่าแบน (ศูนย์การไล่ระดับสี) ในทิศทาง x แล้วมันจะกลายเป็นเรื่องไร้สมองที่จะไปในทิศทาง y หรือในคำอื่น ๆ คุณค้นหาพื้นที่เล็กลงมาก

หมายเหตุพิเศษ

ในการเรียนรู้ลึกมีการเรียกร้องมากมายโดยไม่มีหลักฐานเชิงประจักษ์เพียงพอหรือความเข้าใจในเชิงลึกเพื่อสนับสนุน ในกรณีของ ELU ในขณะที่มันอาจเป็นจริงที่มันส่งผลให้เกิดการรวมกันของชุดข้อมูลบางอย่างเร็วขึ้น แต่ก็อาจเป็นความจริงที่ทำให้อัลกอริทึมการเรียนรู้ติดอยู่ที่ค่าสูงสุดในท้องถิ่นสำหรับชุดข้อมูลอื่น เรายังไม่รู้มากพอ

ฉันมีความคิดที่เข้าใจได้ง่ายว่าทำไมฟังก์ชั่นที่ราบรื่นนั้นเร็วกว่าในการเพิ่มประสิทธิภาพ แต่ไม่มีข้อพิสูจน์ทางคณิตศาสตร์หรืออะไรเลย

การไล่ระดับสีจะคำนวณหาอนุพันธ์ของฟังก์ชั่นการเปิดใช้งานเพื่อกำหนดการเปลี่ยนแปลงน้ำหนัก เมื่อฟังก์ชั่นการเปิดใช้งานมีการตัดอย่างหนัก (เช่นที่ z = 0 สำหรับ ReLu) การเปิดใช้งานของหน่วยสามารถเปลี่ยนแปลงอย่างรุนแรง (เช่นเสมอหรือเป็นศูนย์เสมอ) สำหรับจุดข้อมูลเฉพาะเมื่อเปลี่ยนน้ำหนัก

น้ำหนักอื่น ๆ จำเป็นต้องมีความเชี่ยวชาญในพฤติกรรมที่แตกต่างอย่างสิ้นเชิงของหน่วยที่เฉพาะเจาะจงสำหรับจุดข้อมูลเฉพาะ อย่างไรก็ตามหากพฤติกรรมของหน่วยเปลี่ยนไปอย่างรุนแรงอีกครั้งในช่วงยุคถัดไปที่เครือข่ายยังคงปรับไปสู่การเปลี่ยนแปลงในยุคก่อนหน้านี้

ด้วยฟังก์ชั่นที่ราบรื่นไม่มีการเปลี่ยนแปลงที่รุนแรง และทำให้เครือข่ายสามารถค่อยๆเสถียรขึ้น