ทำไมค่าเฉลี่ยความคลาดเคลื่อนกำลังสองเป็นค่าเอนโทรปีระหว่างการกระจายเชิงประจักษ์กับแบบจำลองเกาส์เซียน?

28

ใน 5.5 การเรียนรู้เชิงลึก (โดย Ian Goodfellow, Yoshua Bengio และ Aaron Courville) กล่าวไว้ว่า

การสูญเสียใด ๆ ที่ประกอบด้วยความน่าจะเป็นบันทึกเชิงลบคือการข้ามเอนโทรปีระหว่างการแจกแจงเชิงประจักษ์ที่กำหนดโดยชุดการฝึกอบรมและการแจกแจงความน่าจะเป็นที่กำหนดโดยแบบจำลอง ยกตัวอย่างเช่นค่าเฉลี่ยความคลาดเคลื่อนกำลังสองคือการข้ามเอนโทรปีระหว่างการแจกแจงเชิงประจักษ์และแบบจำลองเกาส์เซียน

ฉันไม่สามารถเข้าใจว่าทำไมพวกเขาถึงเทียบเท่าและผู้เขียนไม่ขยายในจุด

machine-learning normal-distribution cross-entropy

— Mufei Li
แหล่งที่มา

32

ให้ข้อมูลเป็นx_n) เขียนสำหรับการแจกแจงเชิงประจักษ์ ตามคำนิยามสำหรับฟังก์ชั่นใด ๆ , $\mathbf{x}=(x_1, \ldots, x_n)$ $F(\mathbf{x})$ $f$

E_{F (x)} [f (X)] = \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$

ปล่อยให้โมเดลมีความหนาแน่นโดยที่ถูกกำหนดไว้บนส่วนรองรับของโมเดล การข้ามเอนโทรปีของและถูกกำหนดให้เป็น $M$ $e^{f(x)}$ $f$ $F(\mathbf{x})$ $M$

\begin{matrix} (1) & H (F (x), M) = - E_{F (x)} [\log (e^{f (X)}] = - E_{F (x)} [f (X)] = - \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) . \end{matrix}

$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$

สมมติว่าเป็นตัวอย่างสุ่มอย่างง่ายโอกาสในการลบของมันคือ $x$

\begin{matrix} (2) & - \log (L (x)) = - \log \prod_{i = 1}^{n} e^{f (x_{i})} = - \sum_{i = 1}^{n} f (x_{i}) \end{matrix}

$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$

โดยอาศัยคุณสมบัติของลอการิทึม (พวกเขาแปลงผลิตภัณฑ์เป็นผลรวม) การแสดงออกคือคงที่ครั้งการแสดงออก(1)เนื่องจากฟังก์ชั่นการสูญเสียถูกใช้ในสถิติโดยการเปรียบเทียบเท่านั้นมันจึงไม่มีความแตกต่างว่าหนึ่งคือค่าคงที่ (บวก) คูณด้วยค่าอื่น ในแง่นี้ความน่าจะเป็นของบันทึกเชิงลบ "เป็น" การข้ามเอนโทรปีในใบเสนอราคา $(2)$ $n$ $(1)$

ใช้จินตนาการเพิ่มขึ้นอีกเล็กน้อยเพื่อแสดงให้เห็นถึงการยืนยันที่สองของใบเสนอราคา การเชื่อมต่อกับข้อผิดพลาดกำลังสองนั้นชัดเจนเพราะสำหรับ "แบบเกาส์เซียน" ที่ทำนายค่าที่จุดค่าที่จุดใด ๆ นั้นคือ $p(x)$ $x$ $f$

f (x; p, σ) = - \frac{1}{2} (\log (2 π σ^{2}) + \frac{(x - p (x))^{2}}{σ^{2}}),

$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$

ซึ่งเป็นข้อผิดพลาดยกกำลังสองแต่ rescaled โดยและเปลี่ยนจากการทำงานของ\ วิธีหนึ่งในการแก้ไขใบเสนอราคาให้ถูกต้องคือถือว่ามันไม่ได้พิจารณาส่วนหนึ่งของ "model" -จะต้องพิจารณาจากข้อมูล ในกรณีนั้นความแตกต่างระหว่างค่าเฉลี่ยความคลาดเคลื่อนกำลังสองจะแปรผันตามความแตกต่างระหว่างความเอนโทรไขว้หรือความน่าจะเป็นของล็อก $(x-p(x))^2$ $1/(2\sigma^2)$ $\sigma$ $\sigma$ $\sigma$

(โดยทั่วไปแม้ว่ามีความเหมาะสมเป็นส่วนหนึ่งของกระบวนการสร้างแบบจำลองซึ่งในกรณีนี้ใบเสนอราคาจะไม่ถูกต้องนัก) $\sigma = \sigma(x)$

— whuber
แหล่งที่มา

1

1 มีสองข้อเสนอแนะ - สามารถใช้แทนเพื่อหลีกเลี่ยงความสับสนกับ() ประการที่สองคือการประมาณการที่สุดของจะไปเป็น 2 เมื่อคุณเสียบและเพิ่มมันคุณจะได้รับ(k) คล้ายกับสูตรประเภท AIC ...

g ()

$g ()$

f ()

$f ()$

F ()

$F ()$

σ^{2}

$\sigma^2$

k \sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}

$k\sum_{i=1}^n \left (x_i - p (x_i)\right)^2$

- \frac{1}{2} \log [\sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}] + h (k)

$-\frac {1}{2}\log\left [\sum_{i=1}^n \left (x_i - p (x_i)\right)^2\right] +h(k)$

— ความน่าจะเป็นทาง

@probabilityislogic ฉันเลือกคู่และเพราะพวกเขาจะเป็นตัวแทนของปริมาณที่เกี่ยวข้องอย่างใกล้ชิด

F

$F$

f

$f$

— whuber

สวัสดีฉันคิดว่านี่ใช้กับการกระจายเชิงเส้นเท่านั้น ในปัญหาการกระจายแบบไม่เชิงเส้นฉันคิดว่าเรายังคงสามารถใช้ MSE เป็นฟังก์ชันต้นทุนได้ใช่ไหม

— ไลไลลาย

5

สำหรับผู้อ่านหนังสือการเรียนรู้ลึกฉันต้องการที่จะเพิ่มให้กับคำตอบที่ได้รับการยอมรับที่ดีที่ผู้เขียนอธิบายคำสั่งของพวกเขาในรายละเอียดในส่วน 5.5.1 คือตัวอย่าง: การถดถอยเชิงเส้นเป็นโอกาสสูงสุด

ที่นั่นพวกเขาแสดงรายการข้อ จำกัด ที่กล่าวถึงในคำตอบที่ยอมรับ:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ ใหญ่) ฟังก์ชั่นให้การทำนายค่าเฉลี่ยของเกาส์เซียน ในตัวอย่างนี้เราถือว่าความแปรปรวนได้รับการแก้ไขเป็นค่าคงที่ที่ผู้ใช้เลือก $\hat{y}(x; w)$ $\sigma^2$

จากนั้นพวกเขาแสดงให้เห็นว่าการย่อขนาดของ MSE ให้สอดคล้องกับค่าประมาณความน่าจะเป็นสูงสุดและทำให้การข้ามเอนโทรปีระหว่างการกระจายเชิงประจักษ์และลง $p(y|x)$

— Kilian Batzner
แหล่งที่มา