ไล่ระดับสีสำหรับฟังก์ชั่นการสูญเสียโลจิสติก

ฉันจะถามคำถามที่เกี่ยวข้องกับคนนี้

ฉันพบตัวอย่างของการเขียนฟังก์ชันการสูญเสียที่กำหนดเองสำหรับ xgboost ที่นี่ :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

ฟังก์ชั่นการสูญเสียโลจิสติกคือ

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

โดยที่ $P$ คืออัตราต่อรองและ $y$ คือป้ายกำกับ (0 หรือ 1)

คำถามของฉันคือวิธีการที่เราจะได้รับการไล่ระดับสี (อนุพันธ์แรก) ก็เท่ากับความแตกต่างระหว่างค่าความจริงและความน่าจะเป็นที่คาดการณ์ไว้ (คำนวณจากบันทึกอัตราต่อรองเป็นpreds <- 1/(1 + exp(-preds)))?

— Ogurtsov
แหล่งที่มา

คุณควรใช้การสูญเสียข้อผิดพลาดกำลังสองเพื่อให้ได้ สัญกรณ์ของคุณสับสนและควรกำหนดไว้ในโพสต์ หาก

คือความเสี่ยงที่คาดการณ์ไว้การสูญเสีย

เป็นสิ่งที่คุณต้องการ ฉันสับสนเพราะเราไม่เคยใช้

เพื่อหมายถึงอัตราต่อรอง

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

ได้รับการแก้ไขไปยังเมืองหลวงP

มันเป็นอัตราต่อรองและมีการทำเครื่องหมายอย่างชัดเจนในคำถาม ฉันรู้ว่าการไล่ระดับสีสำหรับฟังก์ชั่นการสูญเสีย

คือ

แต่มันเป็นการสูญเสียแบบตารางไม่ใช่ลอจิสติก

p

$p$

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov

เมื่อคุณพูดว่า "การไล่ระดับสี" คุณหมายถึงการไล่ระดับสีอะไร ความชันของการสูญเสีย? มันเป็นความสัมพันธ์ทางคณิตศาสตร์อย่างง่าย ๆ ว่าถ้าอนุพันธ์ของนิพจน์เป็นผลต่างเชิงเส้นแล้วนิพจน์นั้นเป็นผลต่างกำลังสองหรือการสูญเสียข้อผิดพลาดกำลังสอง

— AdamO

ใช่มันคือทั้งหมดที่เกี่ยวกับการไล่ระดับสีของการสูญเสีย มันง่ายเมื่อฟังก์ชันการสูญเสียเป็นข้อผิดพลาดกำลังสอง ในกรณีนี้ฟังก์ชั่นการสูญเสียคือการสูญเสียโลจิสติก ( en.wikipedia.org/wiki/LogitBoost ) และฉันไม่พบการติดต่อระหว่างการไล่ระดับสีของฟังก์ชั่นนี้และตัวอย่างรหัสที่กำหนด

— Ogurtsov

คำตอบของฉันสำหรับคำถามของฉัน: ใช่มันสามารถแสดงให้เห็นว่าการไล่ระดับสีสำหรับการสูญเสียโลจิสติกเท่ากับความแตกต่างระหว่างค่าจริงและความน่าจะเป็นที่คาดการณ์ คำอธิบายสั้น ๆ ก็พบว่าที่นี่

อันดับแรกการสูญเสียของโลจิสติกส์เป็นเพียงความน่าจะเป็นบันทึกเชิงลบดังนั้นเราจึงสามารถเริ่มต้นด้วยนิพจน์สำหรับความเป็นไปได้ในการบันทึก ( หน้า 74 - การแสดงออกนี้เป็นความน่าจะเป็นบันทึกเองไม่ใช่เชิงลบ

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

อนุพันธ์อันดับแรกที่ได้รับโดยใช้ Wolfram Alpha:

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

หลังจากเปลี่ยนเครื่องหมายเรามีการแสดงออกสำหรับการไล่ระดับสีของฟังก์ชันการสูญเสียโลจิสติก:

p_{i} - y_{i}

$p_{i}-y_{i}$

— Ogurtsov
แหล่งที่มา

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$