การจำแนกประเภทด้วยการไล่ระดับสีแบบไล่ระดับ: วิธีการทำนายใน [0,1]

17

คำถาม

ฉันกำลังดิ้นรนเพื่อทำความเข้าใจว่าการทำนายนั้นจะอยู่ในช่วง $[0,1]$ เมื่อทำการจำแนกไบนารีด้วยการไล่ระดับสีแบบค่อยเป็นค่อยไป

สมมติว่าเรากำลังทำงานกับปัญหาการจำแนกเลขฐานสองและฟังก์ชันวัตถุประสงค์ของเราคือการสูญเสียบันทึก $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ โดยที่ $y$ คือตัวแปรเป้าหมาย $\in \{0,1\}$ และ $H$ คือโมเดลปัจจุบันของเรา

เมื่อการฝึกอบรมผู้เรียนที่อ่อนแอต่อไป $h_i$ ดังกล่าวว่ารูปแบบใหม่ของเราคือ $H_i = H_{i-1} + h_i$ สิ่งที่เป็นกลไกที่ควรจะให้ $H_i \in [0,1]$ ? หรืออาจเป็นคำถามที่เกี่ยวข้องมากกว่านี้มีกลไกแบบนี้หรือไม่?

ข้อมูลเพิ่มเติมเกี่ยวกับสิ่งที่ฉันทำ

ฉันกำลังพยายามเพิ่มการไล่ระดับสีโดยใช้ต้นไม้การถดถอย สิ่งที่ฉันทำเพื่อหลีกเลี่ยงมันคือการคูณด้วยปัจจัยเช่นนี้ไม่ไปต่ำกว่าศูนย์หรือสูงกว่าหนึ่งและฉันเลือกในช่วงนี้ที่ย่อเล็กสุด ฟังก์ชั่นการสูญเสีย $h_i$ $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

นี่ทำให้เกิดปัญหาต่อไปนี้: หลังจากรอบฉันมีจุดหนึ่งที่จำแนกอย่างสมบูรณ์และแบ่งที่ดีที่สุดที่มีการผลักลักษณนามในทิศทางของการไล่ระดับสีต้องการผลักดันจุดนี้เหนือจุดหนึ่งซึ่งฉันแน่ใจว่าจะไม่เกิดขึ้นโดย การตั้งค่า 0ดังนั้นการวนซ้ำครั้งถัดไปทั้งหมดจะเลือกการแบ่งที่เหมือนกันและเหมือนกัน $c = 0$ $c = 0$

ฉันลองใช้ระเบียบปฏิบัติทั่วไป

ลดอัตราการเรียนรู้โดยการคูณโดย 0.01นี่เป็นเพียงความล่าช้าของปัญหา $c$ $\mu = 0.01$
การสุ่มตัวอย่างพื้นที่คุณลักษณะ แต่บางจุดนั้นง่ายต่อการจำแนกพวกมันทำเครื่องหมายในเกือบทุกช่องใน "นี่เป็นค่าบวกหรือไม่" รูปแบบและ "การแบ่งที่ดี" เกือบทุกรายการแสดงพฤติกรรมนี้

ผมคิดว่านี่ไม่ได้เป็นปัญหาของพารามิเตอร์และควรจะมีมากขึ้นเสียงวิธีการที่จะแก้ไขปัญหานี้ ฉันไม่ได้ละทิ้งความเป็นไปได้ที่การใช้งานของฉันจะพัง แต่ฉันไม่พบสิ่งใดที่เป็นปัญหานี้

สิ่งที่เราจัดการในบริบทของการสูญเสียโลจิสติกควรเป็นความน่าจะเป็นดังนั้นเราจะหลีกเลี่ยงได้อย่างไร

สัญชาตญาณของฉันคือการวางแบบจำลองที่เรากำลังสร้าง, , ในฟังก์ชัน sigmoid ซึ่งมันถูก จำกัด ไว้ที่และฉันเดาว่ามันจะใช้ได้ แต่ฉันอยากรู้ว่ามีวิธีแก้ปัญหาอื่นหรือไม่ เนื่องจากการเพิ่มระดับความลาดชันดูเหมือนจะใช้อย่างประสบความสำเร็จในงานการจำแนกประเภทจึงควรมีโซลูชัน "ที่ถูกต้อง" (เช่นพร้อมด้วยเหตุผล) $H$ $[0,1]$

logistic classification boosting

— วิงค์
แหล่งที่มา

คุณอาจต้องการให้

เป็นแบบหลายค่าใน

จะทำงานร่วมกับผู้เชี่ยวชาญคนอื่น ๆ ของคุณ

H

$H$

\ln (H)

$\ln(H)$

— Alex R.

22

ฉันชอบที่จะคิดแบบนี้คล้ายคลึงกับกรณีของตัวแบบเชิงเส้นและการขยายไปยัง GLMs (ตัวแบบเชิงเส้นทั่วไป)

ในโมเดลเชิงเส้นเราพอดีฟังก์ชันเชิงเส้นเพื่อทำนายการตอบสนองของเรา

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

เพื่อสรุปสถานการณ์อื่น ๆ เราขอแนะนำฟังก์ชั่นลิงค์ซึ่งเปลี่ยนส่วนเชิงเส้นของแบบจำลองไปเป็นสเกลของการตอบสนอง (ในทางเทคนิคนี่คือลิงค์ผกผัน แต่ฉันคิดว่ามันง่ายกว่าที่คิดแบบนี้เปลี่ยนตัวทำนายเชิงเส้น เป็นการตอบสนองมากกว่าเปลี่ยนการตอบสนองเป็นการทำนายเชิงเส้น)

ตัวอย่างเช่นโมเดลโลจิสติกใช้ฟังก์ชัน sigmoid (หรือ logit)

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

และการถดถอยปัวซองใช้ฟังก์ชันเลขชี้กำลัง

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

ในการสร้างความคล้ายคลึงกับการเพิ่มความลาดชันเราจะแทนที่ส่วนเชิงเส้นของโมเดลเหล่านี้ด้วยผลรวมของต้นไม้ที่เพิ่มขึ้น ตัวอย่างเช่นกรณี gaussian (คล้ายกับการถดถอยเชิงเส้น) กลายเป็นที่รู้จักกันดี

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

ที่เป็นลำดับของผู้เรียนที่อ่อนแอของเรา กรณีทวินามคล้ายคลึงกับการถดถอยโลจิสติกส์ (ตามที่คุณบันทึกไว้ในคำตอบ) $h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

และการส่งเสริมปัวส์ซองนั้นคล้ายคลึงกับการถดถอยปัวซอง

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

คำถามยังคงอยู่ว่าจะมีวิธีใดที่จะเหมาะสมกับโมเดลที่ได้รับการปรับปรุงเหล่านี้เมื่อมีการเชื่อมโยงกับฟังก์ชั่นการเชื่อมโยง? สำหรับกรณี gaussian ที่การเชื่อมโยงคือฟังก์ชั่นเอกลักษณ์ตัวอักษรที่ได้ยินบ่อยๆของผู้เรียนที่อ่อนแอที่เหมาะสมกับส่วนที่เหลือของรูปแบบการทำงานในปัจจุบันทำงานออกมา เคล็ดลับคือการเขียนฟังก์ชันการสูญเสียที่ถูกย่อให้เล็กสุดเป็นฟังก์ชันของเส้นตรงเป็นส่วนหนึ่งของรูปแบบ (เช่นเป็นส่วนหนึ่งของการกำหนด GLM) ที่ $\sum_i \beta_i x_i$

ตัวอย่างเช่นการสูญเสียแบบทวินามมักจะพบว่าเป็น

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

ที่นี่การสูญเสียเป็นหน้าที่ของค่าที่คาดการณ์ในระดับเดียวกับการตอบสนองและคือการแปลงแบบไม่เป็นเชิงเส้นของตัวทำนายเชิงเส้น $p_i$ $p_i$ $L_i$ ฉันแต่เราสามารถแสดงสิ่งนี้เป็นฟังก์ชั่นของอีกครั้ง (ในกรณีนี้หรือที่เรียกว่าอัตราต่อรองบันทึก) $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

จากนั้นเราสามารถใช้ความชันของเรื่องนี้เทียบกับและเพิ่มเพื่อลดปริมาณนี้โดยตรง $L$

ในตอนท้ายเมื่อเราต้องการสร้างการคาดการณ์สำหรับผู้ใช้เราจะใช้ฟังก์ชันลิงก์กับลำดับสุดท้ายของผู้เรียนที่อ่อนแอเพื่อใช้การทำนายในระดับเดียวกับการตอบสนอง ในขณะที่ปรับโมเดลให้เหมาะสมเราทำงานภายในสเกลเชิงเส้นตลอดเวลา

— Matthew Drury
แหล่งที่มา

2

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

@ matthew-drury คุณช่วยเพิ่มแสงในส่วน multinomial K-class ของ K-class ของอัลกอริทึมเดียวกันที่ความคิดที่คล้ายกันถูกขยายให้ทำงานได้หรือไม่?

— MixCoded

6

หลังจากการวิจัยบางอย่างดูเหมือนว่าสัญชาตญาณของฉันและความคิดเห็นของ Alex R.ถูกต้อง

เพื่อสร้างแบบจำลองอย่างต่อเนื่องโดยมีการคาดการณ์ใน $[0,1]$ หนึ่งสามารถใส่รูปแบบ $H$ เป็นฟังก์ชันลอจิสติก (Wikipedia)เช่นนั้น $H \in \mathbb{R}$ , เรามี

\frac{1}{1 + {อี}^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$ ขั้นตอนการไล่ระดับสีที่เพิ่มขึ้นนั้นใช้อนุพันธ์เทียบกับ

H

$H$ และอัปเดตโมเดลราวกับว่าฟังก์ชันลอจิสติกเป็นส่วนหนึ่งของฟังก์ชันต้นทุนและใช้งานได้

สิ่งนี้ได้ถูกเสนอไว้ในบทความการถดถอยลอจิสติกของสารเติมแต่ง: มุมมองทางสถิติของการส่งเสริมโดย Friedman, Hastie และ Tibshirani เพื่อสร้างLogitBoost (Wikipedia)ซึ่งเป็นการปรับAdaBoost (Wikipedia)ให้เข้ากับ Logistic Loss

In very basic terms, if it is possible to go from linear regression to logistic regression by the addition of a sigmoid, then it also works to convert regression boosting to classification boosting.

— Winks
แหล่งที่มา