รายการฟังก์ชันต้นทุนที่ใช้ในเครือข่ายประสาทเทียมพร้อมกับแอปพลิเคชัน

133

ฟังก์ชั่นค่าใช้จ่ายทั่วไปคืออะไรในการประเมินประสิทธิภาพของเครือข่ายประสาทเทียม

รายละเอียด

(อย่าลังเลที่จะข้ามส่วนที่เหลือของคำถามนี้ความตั้งใจของฉันที่นี่เป็นเพียงเพื่อให้ความกระจ่างเกี่ยวกับสัญกรณ์ที่อาจใช้คำตอบเพื่อช่วยให้ผู้อ่านทั่วไปเข้าใจได้มากขึ้น)

ฉันคิดว่ามันจะมีประโยชน์ที่จะมีรายการฟังก์ชั่นค่าใช้จ่ายทั่วไปควบคู่ไปกับวิธีที่ใช้ในการปฏิบัติ ดังนั้นหากผู้อื่นสนใจสิ่งนี้ฉันคิดว่าวิกิชุมชนน่าจะเป็นวิธีที่ดีที่สุดหรือเราสามารถลบมันได้หากไม่อยู่ในหัวข้อ

เอกสาร

ดังนั้นในการเริ่มต้นฉันต้องการนิยามสัญลักษณ์ที่เราใช้เมื่ออธิบายสิ่งเหล่านี้ดังนั้นคำตอบที่เข้ากันได้ดี

สัญกรณ์นี้เป็นจากหนังสือ Neilsen ของ

เครือข่าย Feedforward Neural เป็นเซลล์ประสาทหลายชั้นเชื่อมต่อกัน จากนั้นก็จะใส่เข้าไปในอินพุตนั้น "เล็ดลอด" ผ่านเครือข่ายแล้วเครือข่ายประสาทจะส่งคืนเวกเตอร์เอาต์พุต

อีกอย่างเป็นทางการโทรเปิดใช้งาน (aka เอาท์พุท) ของเซลล์ประสาทในชั้นที่เป็นองค์ประกอบในการป้อนข้อมูลเวกเตอร์ $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

จากนั้นเราสามารถเชื่อมโยงอินพุตของเลเยอร์ถัดไปกับก่อนหน้านี้ผ่านความสัมพันธ์ต่อไปนี้:

$a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j)$

ที่ไหน

เป็นฟังก์ชั่นการเปิดใช้งาน $\sigma$

มีน้ำหนักจากที่เซลล์ประสาทในชั้นกับเซลล์ประสาทในชั้น $w^i_{jk}$ $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$

อคติของเซลล์ประสาทในชั้นและ $b^i_j$ $j^{th}$ $i^{th}$

หมายถึงค่าการเปิดใช้งานของเซลล์ประสาทในเลเยอร์ $a^i_j$ $j^{th}$ $i^th$

บางครั้งที่เราเขียนที่จะเป็นตัวแทนในคำอื่น ๆ ค่ากระตุ้นการทำงานของเซลล์ประสาทก่อนที่จะใช้ฟังก์ชั่นการเปิดใช้งาน $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

ป้อนคำอธิบายรูปภาพที่นี่

สำหรับโน้ตที่กระชับยิ่งขึ้นเราสามารถเขียนได้

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

การใช้สูตรนี้ในการคำนวณการส่งออกของเครือข่าย feedforward ที่สำหรับการป้อนข้อมูลบางอย่างตั้งแล้วคำนวณ , , ... , ที่ m เป็นจำนวนชั้น $I \in \mathbb{R}^n$ $a^1 = I$ $a^2$ $a^3$ $a^m$

บทนำ

ฟังก์ชั่นค่าใช้จ่ายเป็นการวัดว่า "ดีแค่ไหน" เครือข่ายประสาทเทียมที่ได้รับจากตัวอย่างการฝึกอบรมและผลลัพธ์ที่คาดหวัง นอกจากนี้ยังอาจขึ้นอยู่กับตัวแปรเช่นน้ำหนักและอคติ

ฟังก์ชั่นค่าใช้จ่ายเป็นค่าเดียวไม่ใช่เวกเตอร์เพราะให้คะแนนว่าเครือข่ายประสาทเทียมทำได้ดีเพียงใด

ฟังก์ชันต้นทุนเป็นของฟอร์มโดยเฉพาะ

C (W, B, S^{r}, E^{r})

$C(W, B, S^r, E^r)$

$W$ $B$ $S^r$ $E^r$ $y^i_j$ $z^i_j$ $j$ $i$ $W$ $B$ $S^r$

$\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{i})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^i_j)$

ซึ่งยังสามารถเขียนเป็นเวกเตอร์ผ่านทาง

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{i})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^i)$

เราจะจัดให้มีการไล่ระดับของฟังก์ชั่นค่าใช้จ่ายในแง่ของสมการที่สอง แต่ถ้าใครต้องการที่จะพิสูจน์ผลลัพธ์เหล่านี้ด้วยตัวเองแนะนำให้ใช้สมการแรกเพราะมันทำงานได้ง่ายขึ้น

ข้อกำหนดเกี่ยวกับฟังก์ชันต้นทุน

ที่จะใช้ใน backpropagation ฟังก์ชั่นค่าใช้จ่ายจะต้องตอบสนองความสองคุณสมบัติ:

$C$

C = \frac{1}{n} \sum_{x} C_{x}

$C=\frac{1}{n} \sum\limits_x C_x$

$C_x$ $x$

นี่จึงช่วยให้เราสามารถคำนวณการไล่ระดับสี (เทียบกับน้ำหนักและอคติ) สำหรับตัวอย่างการฝึกอบรมเดียวและเรียกใช้การไล่ระดับสีไล่ระดับ

$C$ $a^L$

$a^i_j$ $z^i_j$

$0\leq a^L_j \leq 1$ $j$ $\sqrt{a^L_j}$ $a^L_j \geq 0$

machine-learning neural-networks

— Phylliida
แหล่งที่มา

นี่คือเว็บไซต์ถาม - ตอบและรูปแบบของโพสต์นี้ไม่เหมาะกับที่ คุณควรใส่เนื้อหาส่วนใหญ่ไว้ในคำตอบและทิ้งคำถามไว้ (เช่นรายการฟังก์ชันต้นทุนที่ใช้ใน NNs คืออะไร)

— Roger Fan

ตกลงดีกว่าไหม ฉันคิดว่าคำจำกัดความมีความสำคัญมิฉะนั้นคำตอบที่คลุมเครือสำหรับผู้ที่ไม่คุ้นเคยกับคำศัพท์ที่นักเขียนใช้

— Phylliida

แต่ถ้าคำตอบที่ต่างออกไปใช้สัญกรณ์หรือคำศัพท์ต่างกัน

— Roger Fan

แนวคิดก็คือทุกคนใช้คำศัพท์เดียวกันที่นี่และหากมันแตกต่างกันเราแปลงมันเป็นสิ่งนี้ดังนั้นคำตอบ "พอดี" กับแต่ละอื่น ๆ แต่ฉันคิดว่าฉันสามารถนำชิ้นส่วนนั้นออกได้ถ้าคุณคิดว่ามันไม่มีประโยชน์

— Phylliida

ฉันแค่คิดว่ารายละเอียดของคำถามนั้นไม่จำเป็นหรือเกี่ยวข้องจริงๆ ดูเหมือนจะมากเกินไปและ จำกัด แต่นั่นเป็นเพียงฉัน

— Roger Fan

คำตอบ:

นี่คือสิ่งที่ฉันเข้าใจ ส่วนใหญ่ทำงานได้ดีที่สุดเมื่อกำหนดค่าระหว่าง 0 ถึง 1

ต้นทุนกำลังสอง

ยังเป็นที่รู้จักค่าเฉลี่ยกำลังสองข้อผิดพลาด , ความน่าจะเป็นสูงสุดและข้อผิดพลาดรวมกำลังสองนี้ถูกกำหนดให้เป็น:

C_{M S T} (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C_{MST}(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

$r$

\nabla_{a} C_{M S T} = (a^{L} - E^{r})

$\nabla_a C_{MST} = (a^L - E^r)$

ค่าใช้จ่ายข้ามเอนโทรปี

ยังเป็นที่รู้จักกันในนามBernoulli ลบบันทึกความน่าจะเป็นและBinary Cross-Entropy

C_{C E} (W, B, S^{r}, E^{r}) = - \sum_{j} [E_{j}^{r} ln a_{j}^{L} + (1 - E_{j}^{r}) ln (1 - a_{j}^{L})]

$C_{CE}(W, B, S^r, E^r) = -\sum\limits_j [E^r_j \text{ ln } a^L_j + (1 - E^r_j) \text{ ln }(1-a^L_j)]$

$r$

\nabla_{a} C_{C E} = \frac{(a^{L} - E^{r})}{(1 - a^{L}) (a^{L})}

$\nabla_a C_{CE} = \frac{(a^L - E^r)}{(1-a^L)(a^L)}$

ต้นทุนแบบยกกำลัง

$\tau$

C_{E X P} (W, B, S^{r}, E^{r}) = τ \exp (\frac{1}{τ} \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2})

$C_{EXP}(W, B, S^r, E^r) = \tau\text{ }\exp(\frac{1}{\tau} \sum\limits_j (a^L_j - E^r_j)^2)$

$\text{exp}(x)$ $e^x$

$r$

\nabla_{a} C = \frac{2}{τ} (a^{L} - E^{r}) C_{E X P} (W, B, S^{r}, E^{r})

$\nabla_a C = \frac{2}{\tau}(a^L- E^r)C_{EXP}(W, B, S^r, E^r)$

$C_{EXP}$ $C_{EXP}$

ระยะทาง Hellinger

C_{H D} (W, B, S^{r}, E^{r}) = \frac{1}{\sqrt{2}} \sum_{j} (\sqrt{a_{j}^{L}} - \sqrt{E_{j}^{r}})^{2}

$C_{HD}(W, B, S^r, E^r) = \frac{1}{\sqrt{2}}\sum\limits_j(\sqrt{a^L_j}-\sqrt{E^r_j})^2$

$0$ $1$

$r$

\nabla_{a} C = \frac{\sqrt{a^{L}} - \sqrt{E^{r}}}{\sqrt{2} \sqrt{a^{L}}}

$\nabla_a C = \frac{\sqrt{a^L}-\sqrt{E^r}}{\sqrt{2}\sqrt{a^L}}$

Kullback – Leibler divergence

ยังเป็นที่รู้จักข้อมูล Divergence , ข้อมูลกำไร , เอนโทรปีสัมพัทธ์ , KLICหรือKL Divergence (ดูที่นี่ )

D_{K L} (P ‖ Q) = \sum_{i} P (i) \ln \frac{P (i)}{Q (i)}

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \ln\frac{P(i)}{Q(i)}$

$D_{\mathrm{KL}}(P\|Q)$ $Q$ $P$ $P=E^i$ $Q=a^L$ $a^i_j$ $E^i_j$

C_{K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}}

$C_{KL}(W, B, S^r, E^r)=\sum\limits_jE^r_j \log \frac{E^r_j}{a^L_j}$

$P=E^i$ $Q=a^L$

$r$

\nabla_{a} C = - \frac{E^{r}}{a^{L}}

$\nabla_a C = -\frac{E^r}{a^L}$

Kullback – Leibler divergence ทั่วไป

จากที่นี่

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}} - \sum_{j} (E_{j}^{r}) + \sum_{j} (a_{j}^{L})

$C_{GKL}(W, B, S^r, E^r)=\sum\limits_j E^r_j \log \frac{E^r_j}{a^L_j} -\sum\limits_j(E^r_j) + \sum\limits_j(a^L_j)$

$r$

\nabla_{a} C = \frac{a^{L} - E^{r}}{a^{L}}

$\nabla_a C = \frac{a^L-E^r}{a^L}$

ระยะทาง Itakura – Saito

นอกจากนี้จากที่นี่

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} (\frac{E_{j}^{r}}{a_{j}^{L}} - \log \frac{E_{j}^{r}}{a_{j}^{L}} - 1)

$C_{GKL}(W, B, S^r, E^r)= \sum_j \left(\frac {E^r_j}{a^L_j} - \log \frac{E^r_j}{a^L_j} - 1 \right)$

$r$

\nabla_{a} C = \frac{a^{L} - E^{r}}{{(a^{L})}^{2}}

$\nabla_a C = \frac{a^L-E^r}{\left(a^L\right)^2}$

$\left(\left(a^L\right)^2\right)_j = a^L_j \cdot a^L_j$ $\left( a^L\right) ^2$ $a^L$

— Phylliida
แหล่งที่มา

ขอบคุณสำหรับการแบ่งปันคุณสามารถพิจารณาสิ่งเหล่านี้ได้: github.com/torch/nn/blob/master/doc/criterion.md

— Yannis Assael

คุณมีความผิดพลาดเล็ก ๆ ในส่วนของอนุพันธ์ข้ามเอนโทรปีมันควรจะเป็นa*(1-a)ไม่ได้a*(1+a)

— Amro

นอกจากนี้ยังเป็นการดีที่จะแสดงฟังก์ชั่นการสูญเสียพินบอลเพื่อลดปริมาณข้อผิดพลาดแทนที่จะลดข้อผิดพลาดโดยเฉลี่ย ใช้มากในระบบสนับสนุนการตัดสินใจ

— Ricardo Cruz

ฉันจะดูกราฟสำหรับสิ่งเหล่านี้ได้ที่ไหน

— coiso

\neq

$\neq$

\neq

$\neq$

ไม่มีชื่อเสียงที่จะแสดงความคิดเห็น แต่มีข้อผิดพลาดในการลงชื่อเข้าใช้ในการไล่ระดับสี 3 ครั้งล่าสุด

\begin{aligned} C & = \sum_{j} E_{j} \log (E_{j} / a_{j}) \\ = \sum_{j} E_{j} \log (E_{j}) - E_{j} \log (a_{j}) \\ d C & = - \sum_{j} E_{j} d \log (a_{j}) \\ = - \sum_{j} (E_{j} / a_{j}) d a_{j} \\ \nabla_{a} C & = \frac{- E}{a} \end{aligned}

$\eqalign{ C &= \sum_j E_j\log(E_j/a_j) \cr &= \sum_j E_j\log(E_j) - E_j\log(a_j) \cr\cr dC &= -\sum_j E_j\,\,d\log(a_j) \cr &= -\sum_j (E_j/a_j)\,da_j \cr\cr \nabla_a C &= \frac{-E}{a} \cr\cr }$ ข้อผิดพลาดของสัญญาณเดียวกันนี้ปรากฏใน Generalized KL divergence

\begin{aligned} C & = \sum_{j} (E_{j} / a_{j}) - \log (E_{j} / a_{j}) - 1 \\ = \sum_{j} (E_{j} / a_{j}) - \log (E_{j}) + \log (a_{j}) - 1 \\ d C & = \sum_{j} (- E_{j} / a_{j}^{2}) d a_{j} + d \log (a_{j}) \\ = \sum_{j} (1 / a_{j}) d a_{j} - (E_{j} / a_{j}^{2}) d a_{j} \\ = \sum_{j} (a_{j} - E_{j}) / a_{j}^{2} d a_{j} \\ \nabla_{a} C & = \frac{a - E}{(a)^{2}} \end{aligned}

$\eqalign{ C &= \sum_j (E_j/a_j) - \log(E_j/a_j) - 1 \cr &= \sum_j (E_j/a_j) - \log(E_j) + \log(a_j) -1 \cr\cr dC &= \sum_j (-E_j/a^2_j)\,da_j + d\log(a_j) \cr &= \sum_j (1/a_j)\,da_j - (E_j/a^2_j)\,da_j \cr &= \sum_j (a_j-E_j)/a^2_j\,\,\,da_j \cr\cr \nabla_a C &= \frac{a-E}{(a)^2} \cr }$

— ตรงไปตรงมา
แหล่งที่มา