ฟังก์ชั่น Softmax vs Sigmoid ในลอจิสติกลอจิก

62

อะไรคือตัวเลือกของฟังก์ชั่น (Softmax vs Sigmoid) ในลอจิสติกลักษณนาม?

สมมติว่ามี 4 ชั้นเรียนเอาท์พุท แต่ละฟังก์ชั่นด้านบนให้ความน่าจะเป็นของแต่ละคลาสเป็นเอาต์พุตที่ถูกต้อง ดังนั้นอันไหนที่จะใช้สำหรับลักษณนาม

— จักร
แหล่งที่มา

16

ฟังก์ชั่น softmax นั้นไม่ได้เป็นเพียงแค่ซิกเนออยด์ทั่วไปดังนั้นจึงไม่ชัดเจนเลยว่าคุณหมายถึงอะไรโดย "softmax กับ sigmoid"

— dsaxton

2

มันเป็นกรณีที่มี sigmoid เมื่อเราใช้ sigmoid คลาสหนึ่งจะมีความน่าจะเป็นและอีกอันมีความน่าจะเป็น1)

\exp (β^{T} x) / (\exp (β^{T} x) + 1)

$\exp(\beta^T x) / (\exp(\beta^T x) + 1)$

1 / (\exp (β^{T} x) + 1)

$1 / (\exp(\beta^T x) + 1)$

— dsaxton

3

โปสเตอร์ Reddit กำลังสร้างความแตกต่างที่ฉันคิดว่าผิดหรืออย่างน้อยก็ไม่เกี่ยวข้อง ไม่ว่าหนึ่งในชั้นเรียนมีน้ำหนักหนึ่งหรือไม่เป็นเพียงเรื่องของการเลื่อนระดับคะแนนซึ่งไม่มีผลต่อความน่าจะเป็น

— dsaxton

2

สำเนาซ้ำที่เป็นไปได้ของการถดถอยโลจิสติกแบบไบนารีและพหุนาม

— Franck Dernoncourt

3

"มันไม่ชัดเจนเลยว่าคุณหมายถึงอะไร" softmax กับ sigmoid ""ใต้ชื่อมีเนื้อหาของคำถาม - ง่ายที่จะพลาด นอกจากนี้ยังเป็นชื่อที่ดีในการส่งคำสั่ง google เพื่อมาที่นี่เพื่อตอบสิ่งที่ถูกถาม

— ไมเคิล

77

ฟังก์ชั่น sigmoidจะใช้สำหรับการถดถอยโลจิสติกสองชั้นในขณะที่ฟังก์ชั่น softmaxจะใช้สำหรับการถดถอยโลจิสติก multiclass (aka Maxent ถดถอยโลจิสติกพหุนาม, ถดถอย softmax, เอนโทรปีสูงสุดลักษณนาม)

ในการถดถอยโลจิสติกสองระดับโพรบที่คาดการณ์มีดังนี้โดยใช้ฟังก์ชัน sigmoid:

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β_{0} \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = 1 - Pr (Y_{i} = 0) = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta_0 \cdot \mathbf{X}_i}} \, \\ \Pr(Y_i=1) &= 1 - \Pr(Y_i=0) = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \end{align}$

ในการถดถอยโลจิสติกหลายคลาสด้วยคลาสความน่าจะเป็นที่คาดการณ์มีดังนี้โดยใช้ฟังก์ชัน softmax: $K$

\begin{aligned} Pr (Y_{i} = k) & = \frac{e^{β_{k} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=k) &= \frac{e^{\boldsymbol\beta_k \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} \, \\ \end{align}$

เราสามารถสังเกตได้ว่าฟังก์ชั่น softmax เป็นส่วนเสริมของฟังก์ชั่น sigmoid ไปยังกรณีหลายชั้นดังที่อธิบายไว้ด้านล่าง ลองดูการถดถอยโลจิสติกหลายคลาสด้วยคลาส : $K=2$

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{β_{0} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{0} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{e^{(β_{0} - β_{1}) \cdot X_{i}}}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = \frac{e^{β_{1} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{1} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{1}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i}}{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta \cdot \mathbf{X}_i}} \\ \, \\ \Pr(Y_i=1) &= \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{1}{e^{(\boldsymbol\beta_0-\boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \, \\ \end{align}$

กับbeta_1) เราเห็นว่าเราได้รับความน่าจะเป็นเช่นเดียวกับในการถดถอยสองระดับโดยใช้ฟังก์ชัน sigmoid Wikipediaจะขยายเพิ่มเติมอีกเล็กน้อย $\boldsymbol\beta = - (\boldsymbol\beta_0 - \boldsymbol\beta_1)$

— Franck Dernoncourt
แหล่งที่มา

1

ฉันไร้เดียงสาในเรื่องนี้ แต่ฉันเห็นเวลานี้มากβ = - (β0 − β1) คำอธิบายที่เป็นไปได้คืออะไร? เท่าที่ฉันรู้ใน Sigmoids βจะเป็นเวกเตอร์ และพวกเขามักจะเป็นหนึ่งสำหรับวิ่ง ถ้าอย่างนั้นทำไมβ0และβ1มาถึงในรูปภาพ?

— Ishan Bhatt

1

@IshanBhatt ความคิดเห็นนี้อาจช่วยได้

— Tom Hale

แปลกพอฉันยังคงสามารถที่จะถอยหลัง multiclasses ใช้เพียง sigmoid :)

— datdinhquoc

15

อันที่จริงแล้วพวกเขามีความเท่าเทียมกันในแง่ที่ว่าสามารถเปลี่ยนเป็นอีกแบบหนึ่งได้

สมมติว่าข้อมูลของคุณแสดงโดย vectorของมิติโดยพลการและคุณสร้างตัวจําแนกแบบไบนารีสําหรับมันโดยใช้การแปลงเลียนแบบตามด้วย softmax: $\boldsymbol{x}$

(\begin{matrix} z_{0} \\ z_{1} \end{matrix}) = (\begin{matrix} w_{0}^{T} \\ w_{1}^{T} \end{matrix}) x + (\begin{matrix} b_{0} \\ b_{1} \end{matrix}),

$\begin{equation} \begin{pmatrix} z_0 \\ z_1 \end{pmatrix} = \begin{pmatrix} \boldsymbol{w}_0^T \\ \boldsymbol{w}_1^T \end{pmatrix}\boldsymbol{x} + \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}, \end{equation}$

P (C_{i} | x) = softmax (z_{i}) = \frac{e^{z_{i}}}{e^{z_{0}} + e^{z_{1}}}, i \in {0, 1} .

$\begin{equation} P(C_i | \boldsymbol{x}) = \text{softmax}(z_i)=\frac{e^{z_i}}{e^{z_0}+e^{z_1}}, \, \, i \in \{0,1\}. \end{equation}$

ลองเปลี่ยนเป็นตัวแยกประเภทไบนารีเทียบเท่าที่ใช้ sigmoid แทน softmax ครั้งแรกของทั้งหมดที่เราต้องตัดสินใจว่าน่าจะเป็นที่เราต้องการ sigmoid เพื่อการส่งออก (ซึ่งอาจจะเป็นสำหรับการเรียนหรือ ) ทางเลือกนี้เป็นพลอย่างแน่นอนและดังนั้นผมจึงเลือกระดับC_0จากนั้นลักษณนามของฉันจะอยู่ในรูปแบบ: $C_0$ $C_1$ $C_0$

z^{'} = w^{' T} x + b^{'},

$\begin{equation} z' = \boldsymbol{w}'^T \boldsymbol{x} + b', \end{equation}$

P (C_{0} | x) = σ (z^{'}) = \frac{1}{1 + e^{- z^{'}}},

$\begin{equation} P(C_0 | \boldsymbol{x}) = \sigma(z')=\frac{1}{1+e^{-z'}}, \end{equation}$

P (C_{1} | x) = 1 - σ (z^{'}) .

$\begin{equation} P(C_1 | \boldsymbol{x}) = 1-\sigma(z'). \end{equation}$

ตัวแยกประเภทจะเท่ากันถ้าความน่าจะเป็นเหมือนกันดังนั้นเราต้องกำหนด:

σ (z^{'}) = softmax (z_{0})

$\begin{equation} \sigma(z') = \text{softmax}(z_0) \end{equation}$

เปลี่ยน ,และโดยการแสดงออกของพวกเขาในแง่ของและและการทำตรงไปตรงมาบางส่วน พีชคณิตยักย้ายคุณอาจตรวจสอบว่ามีความเสมอภาคเหนือถ้าหากและได้รับจาก: $z_0$ $z_1$ $z'$ $\boldsymbol{w}_0,\boldsymbol{w}_1, \boldsymbol{w}', b_0, b_1, b'$ $\boldsymbol{x}$ $\boldsymbol{w}'$ $b'$

w^{'} = w_{0} - w_{1},

$\begin{equation} \boldsymbol{w}' = \boldsymbol{w}_0-\boldsymbol{w}_1, \end{equation}$

b^{'} = b_{0} - b_{1} .

$\begin{equation} b' = b_0-b_1. \end{equation}$

— D ...
แหล่งที่มา

@ เป็นไรฉันถ้าคุณถามว่าแล้วคุณไม่เข้าใจคำอธิบายของฉัน ให้ฉันแก้ไขปัญหาเฉพาะของคุณ: ถ้าคุณบอกฉันว่าคุณจะให้อาหารข้อมูลของคุณไป sigmoid แล้วมันต้องเป็นหมายเลขหนึ่งมิติxเมื่อให้อาหารมันจะ sigmoid คุณจะได้รับความน่าจะเป็นของเป็นหนึ่งในสองชั้นเรียนของคุณตัวอย่างเช่น :(x) จากนั้นน่าจะเป็นของอยู่ในคือ(x) ตอนนี้เรามาแทนที่ sigmoid ของคุณด้วย softmax (ยังมีต่อ).

x

$x$

x

$x$

C_{0}

$C_0$

P (C_{0} | x) = σ (x)

$P(C_0|x)=σ(x)$

x

$x$

C_{1}

$C_1$

P (C_{1} | x) = 1 - P (C_{0} | x) = σ (x)

$P(C_1|x)=1−P(C_0|x)=σ(x)$

— ...

(ต่อเนื่อง) ในการใช้ softmax กับปัญหาการจำแนกประเภทกับสองคลาสคุณต้องมีข้อมูลมิติเดียวของคุณเพื่อแปลงเป็นเวกเตอร์สองมิติ ดังนั้นเราจำเป็นต้องกำหนดและเรา ลองเลือก 1 ตั้งแต่ต้องตอบสนองเรามีดังนั้น 0 ขณะนี้เรามีและ 0 ใช้นี้ทันทีที่คุณสามารถตรวจสอบว่า(z_0)

w_{0}

$w_0$

w_{1}

$w_1$

w_{0} = 1

$w_0=1$

w_{1}

$w_1$

w' = w_{0} - w_{1}

$w′=w_0−w_1$

1 = 1 - w_{1}

$1=1−w_1$

w_{1} = 0

$w_1=0$

z_{0} = w_{0} x = x

$z_0=w_0x=x$

z_{1} = w_{1} x = 0

$z_1=w_1x=0$

σ (x) = softmax (z_{0})

$σ(x)=\text{softmax}(z_0)$

— ...

ยิ่งกว่านั้นการรวมกันของและที่สอดคล้องกับ (นั่นคือ ) จะนำไปสู่ผลลัพธ์เดียวกัน นี่แสดงว่า softmax มีพารามิเตอร์ที่ซ้ำซ้อนหนึ่งพารามิเตอร์ แม้ว่าสิ่งนี้อาจดูโง่ แต่ในความเป็นจริงมันเป็นคุณสมบัติที่น่าสนใจเพราะมันช่วยให้การปรับค่าพารามิเตอร์ของเป็นมาตรฐานซึ่งส่งเสริมเสถียรภาพเชิงตัวเลขของอัลกอริทึมการเรียนรู้และการอนุมาน แต่นี่เป็นเพียงความคิดเห็นเป็นพิเศษก็ไม่ได้เป็นสิ่งสำคัญที่จะตอบคำถามของคุณ :)

w_{0}

$w_0$

w_{1}

$w_1$

w^{'} = w_{0} - w_{1}

$w'=w_0-w_1$

1 = w_{1} - w_{0}

$1=w_1-w_0$

w_{i}

$w_i$

— D ...

ขอบคุณมาก. ฉันเข้าใจแล้ว. ในความคิดเห็นครั้งแรกของคุณน่าจะเป็นอาจจะ(x) ตอนนี้ฉันเข้าใจสิ่งที่เป็นความคิดที่อยู่เบื้องหลังการเปลี่ยนแปลง

P (C_{1} | x)

$P(C_1|x)$

1 - σ (x)

$1-\sigma(x)$

— null

ดีใจที่คุณเข้าใจ;) ใช่มันพิมพ์ผิดก็เห็นได้ชัดว่าควรจะเป็น(x) ขอบคุณที่ชี้นำ!

P (C_{1} | x) = 1 - σ (x)

$P(C_1|x)=1 - \sigma(x)$

— ...

8

ฉันสังเกตว่าผู้คนมักจะถูกนำไปยังคำถามนี้เมื่อค้นหาว่าจะใช้ sigmoid vs softmax ในเครือข่ายประสาท หากคุณเป็นหนึ่งในคนที่สร้างลักษณนามเครือข่ายประสาทเทียมนี่คือวิธีการตัดสินใจว่าจะใช้ sigmoid หรือ softmax กับค่าเอาต์พุตดิบจากเครือข่ายของคุณ:

หากคุณมีปัญหาการจำแนกประเภทฉลากหลายป้าย = มี "คำตอบที่ถูกต้อง" มากกว่าหนึ่ง = = ผลลัพธ์ไม่ได้เกิดขึ้นพร้อมกันโดยเฉพาะให้ใช้ฟังก์ชั่น sigmoid ในแต่ละผลลัพธ์ดิบโดยอิสระ sigmoid จะช่วยให้คุณมีโอกาสสูงในการเรียนทั้งหมดของพวกเขาบางคนหรือไม่มีพวกเขา ตัวอย่าง: การจำแนกโรคในภาพเอ็กซ์เรย์ทรวงอก ภาพอาจมีโรคปอดบวมถุงลมโป่งพองและ / หรือมะเร็งหรือไม่มีการค้นพบเหล่านั้น
หากคุณมีปัญหาการจำแนกประเภทหลายคลาส = มี "คำตอบที่ถูกต้อง" เพียงตัวเดียว = ผลลัพธ์ที่ได้จะไม่เกิดร่วมกันดังนั้นให้ใช้ฟังก์ชั่น softmax softmax จะบังคับใช้ว่าผลรวมของความน่าจะเป็นของคลาสเอาต์พุตของคุณมีค่าเท่ากับหนึ่งดังนั้นเพื่อเพิ่มความน่าจะเป็นของคลาสใดคลาสหนึ่งโมเดลของคุณจะต้องลดความน่าจะเป็นอย่างน้อยหนึ่งคลาสอื่น ๆ ตัวอย่าง: การจำแนกรูปภาพจากชุดข้อมูล MNIST ของตัวเลขที่เขียนด้วยลายมือ รูปภาพหนึ่งหลักมีตัวตนที่แท้จริงเพียงตัวเดียว - รูปภาพไม่สามารถเป็น 7 และ 8 ในเวลาเดียวกัน

การอ้างอิง: สำหรับคำอธิบายโดยละเอียดมากขึ้นว่าควรใช้ sigmoid vs. softmax ในการออกแบบเครือข่ายประสาทรวมถึงการคำนวณตัวอย่างโปรดดูบทความนี้: "การจำแนก: Sigmoid vs. Softmax"

— veritessa
แหล่งที่มา

-1

การเพิ่มคำตอบก่อนหน้าทั้งหมด - ฉันต้องการพูดถึงความจริงที่ว่าปัญหาการจำแนกประเภทหลายคลาสสามารถลดลงเป็นปัญหาการจำแนกเลขฐานสองหลายโดยใช้วิธี "one-vs-all" เช่นมี C sigmoids (เมื่อ C คือจำนวน คลาส) และตีความทุก sigmoid ให้เป็นความน่าจะเป็นที่อยู่ในคลาสนั้นหรือไม่และรับความน่าจะเป็นสูงสุด

ตัวอย่างเช่นในตัวอย่างหลักของ MNIST คุณสามารถใช้ softmax หรือสิบซิกก็ได้ อันที่จริงนี่คือสิ่งที่ Andrew Ng ทำในหลักสูตร Coursera ML ของเขา คุณสามารถตรวจสอบได้ที่นี่วิธีที่ Andrew Ng ใช้ 10 sigmoids สำหรับการจัดหมวดหมู่หลายคลาส (ดัดแปลงจาก Matlab เป็น Python โดยฉัน) และนี่คือการปรับแบบ softmax ของฉันใน python

นอกจากนี้ยังเป็นที่น่าสังเกตว่าในขณะที่ฟังก์ชั่นเทียบเท่า (สำหรับวัตถุประสงค์ของการจำแนกประเภทหลายคลาส) พวกเขาต่างกันเล็กน้อยในการใช้งาน (โดยเฉพาะอย่างยิ่งเกี่ยวกับอนุพันธ์ของพวกเขาและวิธีการแสดง y)

ข้อได้เปรียบที่ยิ่งใหญ่ของการใช้การจำแนกประเภทไบนารีหลายรายการ (เช่น Sigmoids) ในการจำแนกประเภทหลายคลาสเดี่ยว (เช่น Softmax) - คือถ้า Softmax ของคุณมีขนาดใหญ่เกินไป (เช่นถ้าคุณกำลังใช้คำเดียวที่ร้อนแรง ) - มันไม่มีประสิทธิภาพในการฝึก สิ่งที่คุณสามารถทำได้คือนำส่วนเล็ก ๆ ของชุดฝึกอบรมของคุณไปใช้เพื่อฝึกเพียงส่วนเล็ก ๆ ของ sigmoids ของคุณ นี่คือแนวคิดหลักที่อยู่เบื้องหลังการสุ่มตัวอย่างเชิงลบ

— David Refaeli
แหล่งที่มา

ฟังก์ชั่นไม่เทียบเท่ากันเนื่องจากเครือข่าย softmax ถูก จำกัด ให้สร้างการแจกแจงความน่าจะเป็นในคลาสที่เป็นเอาท์พุต: เวกเตอร์ไม่เป็นลบและผลรวมถึง 1 หน่วย sigmoid ไม่เป็นลบ แต่สามารถรวมกับจำนวนใดก็ได้ ระหว่าง 0 ถึง ; มันไม่ใช่การแจกแจงความน่าจะเป็นที่ถูกต้อง ความแตกต่างนี้มีความสำคัญต่อการจำแนกลักษณะของทั้งสองฟังก์ชันที่แตกต่างกัน

C

$C$

C

$C$

— Reinstate Monica

คำจำกัดความของคุณเทียบเท่าคืออะไร? Mine คือ: คุณสามารถใช้สำหรับการจำแนกประเภทหลายคลาสได้โดยไม่มีปัญหาใด ๆ นอกจากนี้ - การจำแนกประเภทหลายคลาสใด ๆ ที่ใช้ softmax สามารถเปลี่ยนเป็นการจำแนกประเภทไบนารีหนึ่งเดียวกับทุกประเภทที่ใช้ sigmoids ทำไมฉันถึงต้องสนใจการแจกแจงของผลรวมที่เป็น 1?

— David Refaeli

0, 1, 2, \dots, C

$0, 1, 2, \dots , C$

ฉันหลงทาง สำหรับวัตถุประสงค์ในทางปฏิบัติทั้งหมดที่ฉันรู้ sigmoids หลายรายการ = 1 softmax ฉันยังเพิ่มกรณีของการสุ่มตัวอย่างเชิงลบโดยที่ sigmoids หลายอันนั้นมีความได้เปรียบมากกว่า softmax

— David Refaeli