ทำไมฟังก์ชั่น sigmoid มาตรฐานแบบพฤตินัยจึงได้รับความนิยมในเครือข่ายนิวรัลและการถดถอยโลจิสติก$\frac{1}{1+e^{-x}}$

ทำไมเราไม่ใช้ฟังก์ชั่นที่เปลี่ยนแปลงได้อื่น ๆ อีกมากมายด้วยเวลาการคำนวณที่เร็วขึ้นหรือการสลายตัวที่ช้ากว่า ไม่กี่ตัวอย่างในวิกิพีเดียเกี่ยวกับฟังก์ชั่น sigmoid หนึ่งในรายการโปรดของฉันกับการสลายตัวช้าและการคำนวณอย่างรวดเร็ว|}$\frac{x}{1+|x|}$

แก้ไข

คำถามนั้นแตกต่างจากรายการฟังก์ชั่นการเปิดใช้งานที่ครอบคลุมในเครือข่ายนิวรัลที่มีข้อดี / ข้อเสียเนื่องจากฉันสนใจเพียงแค่ 'ทำไม' และสำหรับ sigmoid เท่านั้น

การอ้างอิงตัวเองจากคำตอบนี้ไปยังคำถามอื่น:

ในส่วนที่ 4.2 ของการจดจำรูปแบบและการเรียนรู้ของเครื่องจักร (Springer 2006) อธิการแสดงให้เห็นว่า logit เกิดขึ้นตามธรรมชาติในรูปแบบของการแจกแจงความน่าจะเป็นด้านหลังในการรักษาแบบเบส์สองประเภท จากนั้นเขาก็ยังแสดงให้เห็นว่าสิ่งเดียวกันนี้เป็นคุณสมบัติการกระจายแบบไม่ต่อเนื่องเช่นเดียวกับส่วนย่อยของตระกูลการแจกแจงแบบเลขชี้กำลัง สำหรับการจัดหมวดหมู่หลายคลาส logit จะสรุปฟังก์ชั่นเอ็กซ์โปเนนเชียลหรือ softmax ปกติ

สิ่งนี้อธิบายว่าทำไม sigmoid นี้ถูกใช้ในการถดถอยโลจิสติก

เกี่ยวกับเครือข่ายนิวรัลโพสต์ในบล็อกนี้อธิบายถึงความไม่เชิงเส้นที่แตกต่างกันรวมถึง logit / softmax และ probit ที่ใช้ในโครงข่ายประสาทเทียมสามารถได้รับการตีความทางสถิติและแรงจูงใจ แนวคิดพื้นฐานคือโครงข่ายประสาทหลายชั้นสามารถถูกมองว่าเป็นลำดับชั้นของตัวแบบเชิงเส้นทั่วไป ตามนี้ฟังก์ชั่นการเปิดใช้งานเป็นฟังก์ชั่นการเชื่อมโยงซึ่งจะสอดคล้องกับสมมติฐานการกระจายที่แตกต่างกัน

เหตุผลหนึ่งที่ฟังก์ชั่นนี้อาจดูเหมือน "เป็นธรรมชาติ" มากกว่าที่อื่นคือมันเกิดขึ้นเป็นค่าผกผันของพารามิเตอร์แบบบัญญัติของการแจกแจงเบอร์นูลลี: (ฟังก์ชั่นของภายในเลขชี้กำลังเรียกว่าพารามิเตอร์ canonical)

บางทีเหตุผลที่น่าสนใจมากขึ้นมาจากทฤษฎีสารสนเทศที่ฟังก์ชั่น sigmoid สามารถมาเป็นรูปแบบเอนโทรปีสูงสุด พูดโดยประมาณฟังก์ชั่น sigmoid ถือว่าโครงสร้างที่น้อยที่สุดและสะท้อนให้เห็นถึงสถานะทั่วไปของความไม่รู้เกี่ยวกับแบบจำลองพื้นฐาน

ฉันถามตัวเองด้วยคำถามนี้มาหลายเดือนแล้ว คำตอบของ CrossValidated และ Quora แสดงรายการคุณสมบัติที่ดีของฟังก์ชัน sigmoid ของ logistic แต่ทั้งหมดดูเหมือนว่าเราจะเดาฟังก์ชันนี้ได้อย่างชาญฉลาด สิ่งที่ฉันพลาดคือเหตุผลในการเลือก ในที่สุดผมก็พบว่าหนึ่งในส่วน 6.2.2.2 ของ"ลึกการเรียนรู้" หนังสือโดย Bengio (2016) ในคำพูดของฉัน:

ในระยะสั้นเราต้องการลอการิทึมของเอาท์พุทของแบบจำลองนั้นเหมาะสำหรับการปรับให้เหมาะสมแบบไล่ระดับตามความน่าจะเป็นของบันทึกข้อมูลการฝึกอบรม

แรงจูงใจ

• เราต้องการรูปแบบเชิงเส้น แต่เราไม่สามารถใช้โดยตรงเป็นinfty)$z = w^T x + b$$z \in (-\infty, +\infty)$
• สำหรับการจำแนกประเภทก็จะทำให้ความรู้สึกที่จะถือว่าการกระจาย Bernoulli และรูปแบบของพารามิเตอร์ใน\$\theta$$P(Y=1) = \theta$
• ดังนั้นเราต้องทำแผนที่จากถึงเพื่อทำการจำแนก$z$$(-\infty, +\infty)$$[0, 1]$

ทำไมฟังก์ชัน sigmoid ของโลจิสติกส์?

ตัดกับผลตอบแทนถัวเฉลี่ยลาดศูนย์สำหรับนอก1] เราต้องการการไล่ระดับสีที่แข็งแกร่งเมื่อใดก็ตามที่การทำนายของแบบจำลองไม่ถูกต้องเนื่องจากเราแก้ปัญหาการถดถอยโลจิสติกด้วยการไล่ระดับสี สำหรับการถดถอยโลจิสติกไม่มีวิธีแก้ปัญหาแบบปิด$z$$P(Y=1|z) = max\{0, min\{1, z\}\}$$z$$[0, 1]$

ฟังก์ชันลอจิสติกมีคุณสมบัติที่ดีของการไล่ระดับสีแบบไม่คงที่เมื่อการทำนายแบบจำลองไม่ถูกต้องเนื่องจากเราใช้การประมาณความน่าจะเป็นสูงสุดเพื่อให้พอดีกับแบบจำลอง ดังแสดงด้านล่าง:

เพื่อประโยชน์ที่เป็นตัวเลขการประมาณความน่าจะเป็นสูงสุดสามารถทำได้โดยการลดความน่าจะเป็นในเชิงลบของข้อมูลการฝึกอบรม ดังนั้นฟังก์ชันต้นทุนของเราคือ:

เนื่องจากเราสามารถมุ่งเน้นไปที่กรณี ดังนั้นคำถามคือวิธีการรูปแบบที่กำหนดว่าเรามีB$P(Y=0 | z) = 1-P(Y=1|z)$$Y=1$$P(Y=1 | z)$$z = w^T x + b$

ข้อกำหนดที่ชัดเจนสำหรับฟังก์ชั่นการทำแผนที่ถึงคือ:$f$$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$ควรเป็น wrt แบบสมมาตรแบบหมุนได้ , เช่น , ดังนั้นการพลิกสัญญาณของคลาสจึงไม่มีผลต่อฟังก์ชันต้นทุน$(0, 0.5)$$f(-x) = 1-f(x)$
• $f$ควรจะไม่ลดลงต่อเนื่องและ differentiable

ความต้องการเหล่านี้ได้รับการปฏิบัติตาม rescaling ฟังก์ชั่น sigmoid ทั้งและเติมเต็มพวกเขา อย่างไรก็ตามฟังก์ชั่น sigmoid นั้นแตกต่างกันไปตามพฤติกรรมของพวกมันในระหว่างการปรับแต่งแบบไล่ระดับสีตามความน่าจะเป็นของล็อก เราสามารถเห็นความแตกต่างโดยเสียบฟังก์ชั่นโลจิสติกเข้ากับฟังก์ชันต้นทุนของเรา$f(z) = \frac{1}{1 + e^{-z}}$$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$$f(z) = \frac{1}{1 + e^{-z}}$

ความอิ่มตัวของ$Y=1$

สำหรับและค่าใช้จ่ายของตัวอย่างที่ไม่ได้จัดประเภทเดียว (เช่น ) คือ:$P(Y=1|z) = \frac{1}{1 + e^{-z}}$$Y=1$$m=1$

เราจะเห็นว่ามีเป็นองค์ประกอบเชิงเส้น-zตอนนี้เราสามารถดูสองกรณี:$-z$

• เมื่อมีขนาดใหญ่ทำนายรูปแบบของถูกต้องตั้งแต่ 1 ในฟังก์ชั่นค่าใช้จ่ายที่ asymptotes ระยะขนาดใหญ่Zดังนั้นจึงเป็นการยกเลิกออกไปซึ่งนำไปสู่ค่าใช้จ่ายโดยประมาณเป็นศูนย์สำหรับตัวอย่างนี้และการไล่ระดับสีอ่อน นั่นเป็นเหตุผลที่แบบจำลองนั้นทำนายคลาสที่ถูกต้องอยู่แล้ว$z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• เมื่อมีขนาดเล็ก ( แต่มีขนาดใหญ่) ทำนายรูปแบบก็คือไม่ถูกต้องตั้งแต่ 1 ในฟังก์ชั่นค่าใช้จ่ายที่ asymptotes ระยะสำหรับขนาดเล็กและZดังนั้นค่าใช้จ่ายโดยรวมสำหรับตัวอย่างนี้คือประมาณหมายถึงการไล่ระดับสี WRTคือประมาณ-1สิ่งนี้ทำให้ง่ายสำหรับโมเดลในการแก้ไขการทำนายที่ผิดโดยอิงจากการไล่ระดับสีแบบคงที่ที่ได้รับ แม้จะมีขนาดเล็กมากก็ไม่มีความอิ่มตัวเกิดขึ้นซึ่งจะทำให้การไล่ระดับสีหายไป$z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$

ความอิ่มตัวของ$Y=0$

ด้านบนเราเพ่งความสนใจไปที่กรณี สำหรับฟังก์ชั่นค่าใช้จ่ายจะทำงานแบบอะนาล็อกโดยมีการไล่ระดับสีที่แข็งแกร่งเฉพาะเมื่อการทำนายแบบจำลองไม่ถูกต้อง$Y=1$$Y=0$

นี่คือฟังก์ชันต้นทุนสำหรับ :$J(z)$$Y=1$

มันเป็นฟังก์ชั่น softplus พลิกแนวนอน สำหรับมันเป็นฟังก์ชั่น softplus$Y=0$

ทางเลือก

คุณพูดถึงทางเลือกในการฟังก์ชั่น sigmoid โลจิสติกเช่น|} ปกตินี้จะหมายถึงว่าเราจำลอง|}$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

ระหว่าง MLE ฟังก์ชันต้นทุนสำหรับจะเป็น$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$ ,

ซึ่งมีลักษณะเช่นนี้:

คุณสามารถมองเห็นว่าการไล่ระดับสีของฟังก์ชั่นค่าใช้จ่ายที่ได้รับการปรับตัวลดลงและอ่อนแอสำหรับ\$z \rightarrow - \infty$

เนื่องจากคำถามเดิมกล่าวถึงปัญหาการไล่ระดับสีแบบเน่าเปื่อยฉันต้องการเพิ่มให้สำหรับเลเยอร์ระดับกลาง (ซึ่งคุณไม่จำเป็นต้องตีความการเปิดใช้งานในฐานะความน่าจะเป็นระดับหรือผลลัพธ์การถดถอย) ดังนั้นความไม่เชิงเส้นอื่น ๆ ที่โดดเด่นที่สุดคือฟังก์ชั่นวงจรเรียงกระแส (เช่นในReLUs ) ซึ่งเป็นเส้นตรงข้ามโดเมนบวกและเป็นศูนย์มากกว่าลบ ข้อดีอย่างหนึ่งของพวกเขาคือพวกมันมีปัญหาการไล่ระดับสีแบบเน่าเปื่อยน้อยกว่าเนื่องจากอนุพันธ์นั้นมีค่าคงที่ในโดเมนที่เป็นบวก ReLU ได้กลายเป็นที่นิยมจนถึงจุดที่ sigmoids อาจไม่สามารถเรียกมาตรฐาน de-พฤตินัยอีกต่อไป

Glorot และคณะ (2011) เครือข่ายนิวรัลรีไฟเออร์เบาบางลึก