ฟังก์ชันการสูญเสียใดที่ถูกต้องสำหรับการถดถอยโลจิสติก

30

ฉันอ่านเกี่ยวกับฟังก์ชั่นการสูญเสียสองรุ่นสำหรับการถดถอยโลจิสติกส์ซึ่งเป็นรุ่นใดที่ถูกต้องและเพราะเหตุใด

จากMachine Learning , Zhou ZH (ภาษาจีน), ด้วย : $\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$

$\begin{matrix} (1) & l (β) = \sum_{i = 1}^{m} (- y_{i} β^{T} x_{i} + \ln (1 + e^{β^{T} x_{i}})) \end{matrix}$ $l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$
จากหลักสูตรวิทยาลัยของฉันด้วย : $z_i = y_if(x_i)=y_i(w^Tx_i + b)$

$\begin{matrix} (2) & L (z_{i}) = \log (1 + e^{- z_{i}}) \end{matrix}$ $L(z_i)=\log(1+e^{-z_i}) \tag 2$

ฉันรู้ว่าอันแรกคือการสะสมของตัวอย่างทั้งหมดและอันที่สองสำหรับตัวอย่างเดียว แต่ฉันอยากรู้มากขึ้นเกี่ยวกับความแตกต่างในรูปแบบของฟังก์ชันการสูญเสียสองอย่าง อย่างใดฉันมีความรู้สึกว่าพวกเขาจะเทียบเท่า

logistic loss-functions

— xtt
แหล่งที่มา

31

ความสัมพันธ์จะเป็นดังนี้:(z_i) $l(\beta) = \sum_i L(z_i)$

กำหนดฟังก์ชั่นโลจิสติกเป็นZ}} พวกเขามีคุณสมบัติที่(z) หรือในคำอื่น ๆ : $f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$ $f(-z) = 1-f(z)$

\frac{1}{1 + e^{z}} = \frac{e^{- z}}{1 + e^{- z}} .

$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$

หากคุณนำทั้งสองฝ่ายกลับมาใช้บันทึกที่คุณได้รับ:

\ln (1 + e^{z}) = \ln (1 + e^{- z}) + z .

$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$

ลบจากทั้งสองด้านและคุณควรเห็นสิ่งนี้: $z$

- y_{i} β^{T} x_{i} + l n (1 + e^{y_{i} β^{T} x_{i}}) = L (z_{i}) .

$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$

แก้ไข:

ในขณะนี้ฉันกำลังอ่านคำตอบนี้อีกครั้งและสับสนเกี่ยวกับวิธีที่ฉันได้รับให้เท่ากับTx_i}) อาจมีการพิมพ์ผิดในคำถามเดิม $-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$ $-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

แก้ไข 2:

ในกรณีที่ไม่มีการพิมพ์ผิดในคำถามต้นฉบับ @ManelMorales ดูเหมือนจะถูกต้องเพื่อดึงความสนใจไปที่ข้อเท็จจริงที่ว่าเมื่อฟังก์ชั่นความน่าจะเป็นสามารถเขียนเป็นเนื่องจากทรัพย์สินที่(z) ฉันกำลังเขียนอีกครั้งมันแตกต่างกันที่นี่เพราะเขาแนะนำกำกวมใหม่ในสัญกรณ์z_iส่วนที่เหลือต่อไปนี้โดยการลบล็อกโอกาสสำหรับแต่ละการเข้ารหัส ดูคำตอบของเขาด้านล่างสำหรับรายละเอียดเพิ่มเติม $y \in \{-1,1\}$ $P(Y_i=y_i) = f(y_i\beta^Tx_i)$ $f(-z) = 1 - f(z)$ $z_i$ $y$

— เทย์เลอร์
แหล่งที่มา

41

OP ผิดพลาดเชื่อว่าความสัมพันธ์ระหว่างสองฟังก์ชั่นนี้เกิดจากจำนวนตัวอย่าง (เช่นเดียวกับทั้งหมด) อย่างไรก็ตามความแตกต่างที่เกิดขึ้นจริงเป็นเพียงวิธีที่เราเลือกฉลากการฝึกอบรมของเรา

ในกรณีของการจำแนกไบนารีเราอาจกำหนดฉลากหรือการ y $y=\pm1$ $y=0,1$

ตามที่ได้มีการระบุไว้แล้วฟังก์ชันลอจิสติกเป็นตัวเลือกที่ดีเนื่องจากมีรูปแบบของความน่าจะเป็นคือและเป็น\ หากเราเลือกฉลากเราอาจมอบหมาย $\sigma(z)$ $\sigma(-z)=1-\sigma(z)$ $\sigma(z)\in (0,1)$ $z\rightarrow \pm \infty$ $y=0,1$

\begin{aligned} P (y = 1 | z) & = σ (z) = \frac{1}{1 + e^{- z}} \\ P (y = 0 | z) & = 1 - σ (z) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$

ซึ่งสามารถเขียนได้มากขึ้นดานเป็น{1-y} $\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$

มันง่ายกว่าที่จะเพิ่มความน่าจะเป็นบันทึก การเพิ่มโอกาสในการบันทึกให้มากที่สุดนั้นเหมือนกับการลดความน่าจะเป็นในการลบบันทึก สำหรับตัวอย่างหลังจากทำการลอการิทึมธรรมชาติและการทำให้เข้าใจง่ายเราจะพบว่า: $m$ $\{x_i,y_i\}$

\begin{aligned} l (z) = - \log (\prod_{i}^{m} P (y_{i} | z_{i})) = - \sum_{i}^{m} \log (P (y_{i} | z_{i})) = \sum_{i}^{m} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \end{aligned}

$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$

แหล่งที่มาเต็มรูปแบบและข้อมูลเพิ่มเติมสามารถพบได้ในสมุดบันทึก jupyterนี้ ในทางกลับกันเราอาจใช้ป้ายกำกับแทน มันค่อนข้างชัดเจนแล้วว่าเราสามารถมอบหมาย $y=\pm 1$

P (y | z) = σ (y z) .

$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$

นอกจากนี้ยังเป็นที่ชัดเจนว่า(-z) ทำตามขั้นตอนเดียวกับก่อนที่เราจะย่อขนาดในกรณีนี้ฟังก์ชั่นการสูญเสีย $\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$

\begin{aligned} L (z) = - \log (\prod_{j}^{m} P (y_{j} | z_{j})) = - \sum_{j}^{m} \log (P (y_{j} | z_{j})) = \sum_{j}^{m} \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$

ในกรณีที่ขั้นตอนสุดท้ายตามมาหลังจากเราใช้ส่วนกลับซึ่งถูกเหนี่ยวนำโดยเครื่องหมายลบ ในขณะที่เราไม่ควรถือเอาสองรูปแบบนี้เนื่องจากในแต่ละรูปแบบมีค่าแตกต่างกัน แต่ทั้งสองแบบนี้เทียบเท่ากัน: $y$

\begin{aligned} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \equiv \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$

กรณีเป็นเรื่องเล็กน้อยที่จะแสดง หากดังนั้นทางด้านซ้ายมือและทางด้านขวามือ $y_i=1$ $y_i \neq 1$ $y_i=0$ $y_i=-1$

ในขณะที่อาจมีเหตุผลพื้นฐานว่าทำไมเรามีสองรูปแบบที่แตกต่างกัน (ดูทำไมมีสองสูตร / การสูญเสียลอจิสติกที่แตกต่างกัน? ) เหตุผลหนึ่งที่จะเลือกอดีตคือการพิจารณาในทางปฏิบัติ ในอดีตเราสามารถใช้คุณสมบัติเพื่อคำนวณและเล็กน้อยซึ่งทั้งสองอย่างนี้มีความจำเป็นสำหรับการวิเคราะห์คอนเวอร์เจนซ์ (เช่นเพื่อกำหนดความนูนของฟังก์ชันการสูญเสียโดยการคำนวณ Hessian ) $\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$ $\nabla l(z)$ $\nabla^2l(z)$

— มานูเอลโมราเลส
แหล่งที่มา

ฟังก์ชั่นการสูญเสียโลจิสติกเป็นนูนหรือไม่?

— user85361

2

Log reg IS convex แต่ไม่ใช่ -convex ดังนั้นเราจึงไม่สามารถกำหนดได้ว่าระยะทางของการไล่ระดับสีจะมาบรรจบกันได้อย่างไร เราสามารถปรับรูปแบบของเพื่อให้มันนูนอย่างยิ่งโดยเพิ่มคำว่า normalization: ด้วยค่าคงที่ กำหนดฟังก์ชันใหม่ของเราให้เป็น stเป็น -strongly นูนและตอนนี้เราสามารถพิสูจน์ลู่ผูกพันของL'น่าเสียดายที่ตอนนี้เรากำลังลดฟังก์ชั่นที่แตกต่างออกไป! โชคดีที่เราสามารถแสดงให้เห็นว่าคุณค่าของฟังก์ชั่นที่ดีที่สุดของฟังก์ชั่นการทำให้เป็นปกตินั้นใกล้เคียงกับค่าที่เหมาะสมที่สุดของต้นฉบับ

l (z)

$l(z)$

α

$\alpha$

l

$l$

λ

$\lambda$

l^{'} (z) = l (z) + λ ‖ z ‖^{2}

$l'(z)=l(z)+\lambda\|z\|^2$

l^{'} (z)

$l'(z)$

λ

$\lambda$

l^{'}

$l'$

— Manuel Morales

สมุดบันทึกที่คุณอ้างถึงหายไปฉันได้รับการพิสูจน์อีกครั้ง: statlect.com/fundamentals-of-statistics/ …

— Domi.Zhang

2

ฉันพบว่านี่เป็นคำตอบที่มีประโยชน์ที่สุด

— mohit6up

@ManuelMorales คุณมีลิงค์ไปยังค่าที่เหมาะสมของฟังก์ชั่นปกติที่อยู่ใกล้กับต้นฉบับหรือไม่?

— Mark

19

ฉันได้เรียนรู้ฟังก์ชันการสูญเสียสำหรับการถดถอยโลจิสติกดังนี้

โลจิสติกการถดถอยดำเนินการจัดหมวดหมู่ไบนารีและเพื่อให้ผลฉลากเป็นไบนารี 0 หรือ 1 Letจะเป็นไปได้ว่าการส่งออกไบนารี 1 ที่ได้รับการป้อนข้อมูลคุณลักษณะเวกเตอร์xค่าสัมประสิทธิ์คือน้ำหนักที่อัลกอริทึมพยายามเรียนรู้ $P(y=1|x)$ $y$ $x$ $w$

P (y = 1 | x) = \frac{1}{1 + e^{- w^{T} x}}

$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$

เนื่องจากการถดถอยโลจิสติกเป็นไบนารีความน่าจะเป็นเป็นเพียง 1 ลบเทอมข้างบน $P(y=0|x)$

P (y = 0 | x) = 1 - \frac{1}{1 + e^{- w^{T} x}}

$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$

ฟังก์ชั่นการสูญเสียคือผลรวมของ (A) เอาต์พุตคูณด้วยและ (B) เอาต์พุตคูณด้วยสำหรับตัวอย่างการฝึกอบรมหนึ่งข้อสรุป มากกว่าตัวอย่างการฝึกอบรม $J(w)$ $y=1$ $P(y=1)$ $y=0$ $P(y=0)$ $m$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log P (y = 1) + (1 - y^{(i)}) \log P (y = 0)

$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$

โดยที่ระบุฉลากในข้อมูลการฝึกอบรมของคุณ ถ้าเช่นการฝึกอบรมมีป้ายชื่อของแล้วออกจากตัวตั้งในสถานที่ด้านซ้าย แต่ทำให้ตัวตั้งที่ถูกต้องกับกลายเป็น0ในทางตรงกันข้ามถ้าเช่นการฝึกอบรมมีแล้วตัวตั้งที่เหมาะสมกับระยะยังคงอยู่ในสถานที่ แต่ตัวตั้งซ้ายจะกลายเป็น0ความน่าจะเป็นบันทึกใช้สำหรับการคำนวณที่ง่าย $y^{(i)}$ $i^{th}$ $1$ $y^{(i)}=1$ $1-y^{(i)}$ $0$ $y=0$ $1-y^{(i)}$ $0$

หากเราแทนที่และด้วยนิพจน์ก่อนหน้าเราจะได้รับ: $P(y=1)$ $P(y=0)$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log (\frac{1}{1 + e^{- w^{T} x}}) + (1 - y^{(i)}) \log (1 - \frac{1}{1 + e^{- w^{T} x}})

$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$

คุณสามารถอ่านเพิ่มเติมเกี่ยวกับรูปแบบนี้ในทั้งเอกสารประกอบการบรรยาย Stanford

— stackoverflowuser2010
แหล่งที่มา

คำตอบนี้ยังให้มุมมองที่เกี่ยวข้องบางอย่างที่นี่

— GeoMatt22

6

นิพจน์ที่คุณมีไม่ใช่การสูญเสีย (ที่จะย่อเล็กสุด) แต่เป็นโอกาสในการบันทึก (ที่จะขยายให้ใหญ่สุด)

— xenocyon

2

@xenocyon จริง - สูตรเดียวกันนี้มักเขียนด้วยเครื่องหมายลบที่ใช้กับการรวมแบบเต็ม

— Alex Klibisz

1

แทนที่จะเป็น Mean Squared Error เราใช้ฟังก์ชั่นต้นทุนที่เรียกว่า Cross-Entropy หรือที่เรียกว่า Log Loss การสูญเสียข้ามเอนโทรปีสามารถแบ่งออกเป็นสองฟังก์ชั่นค่าใช้จ่ายแยกต่างหาก: หนึ่งสำหรับ y = 1 และหนึ่งสำหรับ y = 0

\begin{aligned} j (θ) & = \frac{1}{m} \sum_{i = 1}^{m} C o s t (h_{θ} (x^{(i)}), y^{(i)}) \\ C o s t (h_{θ} (x), y) & = - \log (h_{θ} (x)) & i f y & = 1 \\ C o s t (h_{θ} (x), y) & = - \log (1 - h_{θ} (x)) & i f y & = 0 \end{aligned}

$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$

เมื่อเรารวบรวมพวกเขาเรามี:

j (θ) = \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x)^{(i)})]

$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$

คูณด้วยและในสมการข้างต้นเป็นเคล็ดลับส่อเสียดที่ช่วยให้เราใช้สมการเดียวกันในการแก้ปัญหาสำหรับทั้งและกรณี หากด้านแรกจะถูกยกเลิก หากด้านที่สองจะถูกยกเลิก ในทั้งสองกรณีเราจะดำเนินการตามที่เราต้องการเท่านั้น $y$ $(1−y)$ $y=1$ $y=0$ $y=0$ $y=1$

หากคุณไม่ต้องการใช้การforวนซ้ำคุณสามารถลองแบบเวกเตอร์ของสมการข้างต้น

\begin{aligned} h & = g (X θ) \\ J (θ) & = \frac{1}{m} \cdot (- y^{T} \log (h) - (1 - y)^{T} \log (1 - h)) \end{aligned}

$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$

คำอธิบายทั้งหมดสามารถเป็นมุมมองในการเรียนรู้เครื่อง Cheatsheet

— Emanuel Fontelles
แหล่งที่มา