ต้องการความช่วยเหลือในการทำความเข้าใจข้อเสนอจุดแยกโดยประมาณของ xgboost

พื้นหลัง:

ในxgboost ย้ำพยายามเพื่อให้พอดีกับต้นไม้ฉเสื้อมากกว่าทุกnตัวอย่างซึ่งช่วยลดการดังต่อไปนี้วัตถุประสงค์:$t$$f_t$$n$

$$\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)]$$

ที่เป็นลำดับแรกและอนุพันธ์ลำดับที่สองในช่วงก่อนหน้านี้ประมาณค่าที่ดีที่สุดของเราY (จากการย้ำT - 1 ):$g_i, h_i$$\hat{y}$$t-1$

• $g_i=d_{\hat{y}}l(y_i, \hat{y})$
• $h_i=d^2_{\hat{y}}l(y_i, \hat{y})$

และคือฟังก์ชันการสูญเสียของเรา$l$

---

คำถาม (ในที่สุด):

เมื่อมีการสร้างและเมื่อพิจารณาจากคุณลักษณะเฉพาะkในการแยกเฉพาะที่พวกเขาใช้การแก้ปัญหาต่อไปนี้ในการประเมินผู้สมัครเพียงบางส่วนแยก: พวกเขาจัดเรียงตัวอย่างทั้งหมดของพวกเขาโดยx k , ข้ามรายการที่เรียงลำดับและผลรวมของพวกเขาสองอนุพันธ์ชั่วโมงฉัน พวกเขาคิดว่าเป็นผู้สมัครที่แยกเฉพาะเมื่อรวมการเปลี่ยนแปลงมากกว่าε ทำไมเป็นแบบนั้น ???$f_t$$k$$x_k$$h_i$$\epsilon$

คำอธิบายที่พวกเขาให้ฉัน:

พวกเขาอ้างว่าเราสามารถเขียนสมการก่อนหน้าได้เช่น:

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - g_i/h_i]^2 + constant$$

และฉันล้มเหลวในการติดตามพีชคณิต - คุณสามารถแสดงให้เห็นว่าทำไมมันเท่ากัน?

แล้วพวกเขาก็อ้างว่า "นี่คือการสูญเสียน้ำหนักกำลังสองที่แน่นอนด้วยฉลากและน้ำหนักh i " - คำแถลงที่ฉันเห็นด้วย แต่ฉันไม่เข้าใจว่ามันเกี่ยวข้องกับอัลกอริธึมการสมัครแยกที่พวกเขาใช้อยู่อย่างไร ..$gi/hi$$h_i$

ขอขอบคุณและขออภัยถ้ามันยาวเกินไปสำหรับฟอรัมนี้

ฉันจะไม่ลงรายละเอียด แต่สิ่งต่อไปนี้จะช่วยให้คุณเข้าใจความคิด

พวกเขาใช้Quantiles (Wikipedia)เพื่อกำหนดตำแหน่งที่จะแยก หากคุณมี 100 จุดแยกที่เป็นไปได้ (เรียงลำดับ) คุณสามารถลองใช้จุดแยก10 แบบที่มีคุณสมบัติ{ x 10 , x 20 , ⋯ , x 90 }และมีการประมาณที่ดีอยู่แล้ว นี่คือสิ่งที่εพารามิเตอร์จะทำ พวกเขาพิจารณาจุดแตกหักเมื่อจุดแยกมีจุดอีก∼ ϵ Nใต้จุดแยกสุดท้าย ถ้าϵ = $\{x_1, \cdots, x_{100}\}$$10$$\{x_{10}, x_{20}, \cdots, x_{90}\}$$\epsilon$$\sim \epsilon N$$\epsilon = 0.01$คุณจะจบลงด้วยจุดแยกเป็นขนาดใหญ่กว่า{ 1 % , 2 % , . . , 99 % }ของจุดอื่น ๆ พวกเขาไม่ได้พิจารณาแยกใหม่เมื่อ "ผลรวมที่มีการเปลี่ยนแปลงมากกว่าε " แต่เมื่อจำนวนของจุดภายใต้จุดปัจจุบันมีขนาดใหญ่โดยεกว่าคนสุดท้าย$\sim 100$$\{1\%, 2\%, ..., 99\%\}$$\epsilon$$\epsilon$

ทีนี้ถ้าคุณมีคะแนนต่อเนื่องมากมายที่แยกออกมาได้ดีมันอาจไม่มีประโยชน์ที่จะแยกระหว่างพวกเขา คุณต้องการแยกส่วนของชุดข้อมูลของคุณที่ไม่ถูกต้องส่วนที่ยากต่อการเรียนรู้ เมื่อต้องการทำเช่นนั้นพวกเขาใช้น้ำหนักถ่วง นี่คือที่ที่น้ำหนักมีบทบาท -quantile แรกจะไม่เป็นจุดแรกที่ใหญ่กว่า10 %ของคะแนน แต่จุดแรกที่มากกว่า10 %ของน้ำหนัก$10$$10\%$$10\%$

เพียงเพิ่มส่วนพีชคณิตใน @Winks คำตอบ:

สมการที่สองควรมีเครื่องหมายเป็นตรงกันข้ามเช่นเดียวกับใน:

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - (-g_i/h_i)]^2 + constant = \sum_{i=1}^n\frac{1}{2}h_i[f_t^2(x_i) + 2\frac{f_t(x_i)g_i}{h_i} + (g_i/h_i)^2] = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i) + \frac{gi^2}{2h_i}]$$

ระยะเวลาที่ผ่านมาเป็นค่าคงที่แน่นอน: จำไว้ว่าและชั่วโมงฉันจะถูกกำหนดโดยย้ำก่อนหน้านี้เพื่อให้พวกเขาคงกำลังเมื่อพยายามที่จะตั้งค่าเอฟที$g_i$$h_i$$f_t$

ดังนั้นตอนนี้เราสามารถอ้างสิทธิ์ "นี่คือการสูญเสียน้ำหนักกำลังสองที่ตรงกับป้ายกำกับและน้ำหนักh i "$-gi/hi$$h_i$

เครดิตไปที่ Yaron และ Avi จากทีมของฉันเพื่ออธิบายเรื่องนี้

แล้วพวกเขาก็อ้างว่า "นี่คือการสูญเสียน้ำหนักกำลังสองที่ตรงกับป้ายกำกับ gi / higi / hi และน้ำหนัก hihi" - คำแถลงที่ฉันเห็นด้วย แต่ฉันไม่เข้าใจว่ามันเกี่ยวข้องกับอัลกอริธึมการสมัครแยกที่พวกเขาใช้อย่างไร .

1. หากมีเพียงตัวอย่างเดียวและคุณกำลังปรับ$w$ที่$t-t_h$$w* = -gi/hi$$(ft - -(gi/hi))^2$

2. ตอนนี้คุณมีชุดข้อมูลทั้งหมด ในกรณีที่ฟังก์ชั่นการสูญเสียมีอนุพันธ์ที่สองเหมือนกันที่$w*$จะกลายเป็น$-avg(gi)/const$$-sigma(gi)/sigma(hi)$$w*$$hi$$gi$$w*$$hi$

$hi$