การสร้างแรงจูงใจหน่วยเอาท์พุท sigmoid ในเครือข่ายประสาทเทียมเริ่มต้นด้วยความน่าจะเป็นของบันทึกที่ไม่เป็นเส้นตรงใน

12

แบ็คกราวน์:ฉันกำลังศึกษาบทที่ 6 ของ Deep Learning โดย Ian Goodfellow และ Yoshua Bengio และ Aaron Courville ในส่วน 6.2.2.2 (หน้า 182 จาก 183 ซึ่งสามารถดูได้ที่นี่ ) การใช้ sigmoid เพื่อส่งออกเป็นแรงจูงใจ $P(y=1|x)$

เพื่อสรุปเนื้อหาบางส่วนที่พวกเขาปล่อยให้เป็นเซลล์ประสาทเอาท์พุทก่อนที่จะมีการเปิดใช้งานโดยที่คือผลลัพธ์ของเลเยอร์ที่ซ่อนอยู่ก่อนหน้านี้คือเวกเตอร์ของน้ำหนักและเป็นสเกลาร์สเกลา เวกเตอร์อินพุตถูกเขียนแทน (ซึ่งคือฟังก์ชันของ) และค่าเอาต์พุตจะแสดงเป็นโดยที่คือฟังก์ชัน sigmoid หนังสือมีความประสงค์ที่จะแจกแจงความน่าจะเป็นเหนือโดยใช้ค่า

z = w^{T} h + b

$z = w^Th+b$

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$ . จากย่อหน้าที่สองของหน้า 183:

เราละเว้นการพึ่งพาสำหรับช่วงเวลาที่จะหารือถึงวิธีการเดสายตะวันออกเฉียงเหนือการกระจายความน่าจะเป็นในช่วงโดยใช้ค่าZsigmoid สามารถสร้างแรงจูงใจได้โดยสร้างการแจกแจงความน่าจะเป็นแบบไม่ปกติซึ่งไม่ได้รวมกับ 1 จากนั้นเราสามารถหารด้วยค่าคงที่ที่เหมาะสมเพื่อให้ได้การแจกแจงความน่าจะเป็นที่ถูกต้อง หากเราเริ่มต้นด้วยการสันนิษฐานว่าความน่าจะเป็นของการบันทึกที่ไม่เป็นปกตินั้นเป็นเชิงเส้นในและเราสามารถยกกำลังเพื่อให้ได้ความน่าจะเป็นที่ไม่ปกติ จากนั้นเราจะทำให้เป็นมาตรฐานเพื่อดูว่าสิ่งนี้ทำให้การแจกแจงแบบเบอนูลลี่ควบคุมโดยการแปลง sigmoidal ของ z: $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

คำถาม:ฉันสับสนเกี่ยวกับสองสิ่งโดยเฉพาะอย่างยิ่งสิ่งแรก:

สมมติฐานเริ่มต้นมาจากที่ไหน เป็นความน่าจะเป็นเชิงเส้นล็อก unnormalized ทำไมและ ? ใครสามารถให้ฉันบางสถานการณ์ในการที่ผู้เขียนเริ่มต้นด้วย ? $y$ $z$ $\log\tilde P(y) = yz$
บรรทัดสุดท้ายทำตามอย่างไร

neural-networks deep-learning

— HBeel
แหล่งที่มา

8

$y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

$y=0$ $y=1$ $y=0$

ต่อไปเรากำลังใช้การยกกำลังกับความน่าจะเป็นลอการิทึมแบบไม่ปกติเพื่อให้ได้ความน่าจะเป็นแบบไม่ปกติ

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

ต่อไปเราจะทำการปรับความน่าจะเป็นแบบปกติให้หารความน่าจะเป็นแบบผิดปกติแต่ละตัวด้วยผลรวมของความน่าจะเป็นแบบผิดปกติที่เป็นไปได้ทั้งหมด

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

$P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

$(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

$\sigma$ $P(y)$

— itdxer
แหล่งที่มา

y = 0

$y=0$

y = 1

$y=1$

y = 1

$y=1$

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

ฉันเห็นว่าเป็นคำถามที่น่าสนใจจริง ๆ ฉันไม่ได้ใส่ใจกับคำแถลงนี้เมื่อฉันอ่านคำถามเป็นครั้งแรก ตอนนี้มันก็ดูแปลกสำหรับฉันเช่นกัน ปัญหาหนึ่งคือตัวแปร y y และฉันไม่แน่ใจว่าจะตรวจสอบคุณสมบัติของฟังก์ชันเชิงเส้นภายใต้สถานการณ์เหล่านี้ได้อย่างไร ฉันเดาว่ามันจะสมเหตุสมผลถ้าคุณถามคำถามแยกต่างหากบางทีใครบางคนสามารถอธิบายคุณได้ว่าทำไมมันถูกเขียนด้วยวิธีนี้

— itdxer

2

ฉันพบว่าส่วนของหนังสือเล่มนี้ท้าทายที่จะติดตามและคำตอบข้างต้นโดย itdxer สมควรได้รับเวลาพอสมควรที่จะเข้าใจเช่นกันสำหรับคนที่ไม่คล่องแคล่วในเรื่องความน่าจะเป็นและความคิดทางคณิตศาสตร์ ฉันทำมันโดยการอ่านคำตอบย้อนหลังดังนั้นเริ่มด้วย sigmoid ของ z

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

และลองติดตามกลับไปที่

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

จากนั้นมันก็สมเหตุสมผลว่าทำไมพวกเขาเริ่มอธิบายด้วย yz - โดยการออกแบบเช่นเดียวกับขั้นสุดท้าย

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

โดยการก่อสร้างช่วยให้ได้รับ -1 สำหรับ y = 0 และ 1 สำหรับ y = 1 ซึ่งเป็นค่าที่เป็นไปได้เพียงอย่างเดียวของ y ภายใต้ Bernoulli

— Jakub Jurek
แหล่งที่มา

0

ต่อไปนี้เป็นวลีที่เป็นทางการมากกว่าที่จะดึงดูดผู้ที่มีภูมิหลังทางทฤษฎี

$Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

เรามีห่วงโซ่ของความหมายดังนี้

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

$\{0,1\}$ $\{-1,1\}$

— Gabriel Romon
แหล่งที่มา