คำถามติดแท็ก taylor-series

ยกตัวอย่างเช่นใช้ฟังก์ชันวัตถุประสงค์ของโมเดล XGBoost ในการวนซ้ำ 'th:tเสื้อt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(เสื้อ)=Σผม=1nℓ(Yผม,Y^ผม(เสื้อ-1)+ฉเสื้อ(xผม))+Ω(ฉเสื้อ)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) ที่เป็นฟังก์ชั่นการสูญเสียเป็น 'เอาท์พุทต้นไม้ TH และเป็นกู หนึ่งในขั้นตอนสำคัญ (มากมาย) สำหรับการคำนวณที่รวดเร็วคือการประมาณ:ℓℓ\ellftฉเสื้อf_ttเสื้อtΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), โดยที่และเป็นอนุพันธ์อันดับหนึ่งและสองของฟังก์ชันการสูญเสียgigig_ihihih_i สิ่งที่ฉันขอคือข้อโต้แย้งที่น่าเชื่อถือเพื่อทำให้เข้าใจผิดว่าเหตุใดการประมาณข้างต้นจึงทำงาน: 1) XGBoost ที่มีการประมาณด้านบนเปรียบเทียบกับ XGBoost กับฟังก์ชั่นวัตถุประสงค์ได้อย่างไร สิ่งที่น่าสนใจพฤติกรรมที่มีลำดับสูงกว่าจะหายไปในการประมาณ? 2) มันค่อนข้างยากที่จะเห็นภาพ (และขึ้นอยู่กับฟังก์ชั่นการสูญเสีย) แต่ถ้าฟังก์ชั่นการสูญเสียมีองค์ประกอบลูกบาศก์ขนาดใหญ่แล้วการประมาณอาจจะล้มเหลว มันเป็นวิธีการที่ไม่ก่อให้เกิดปัญหาสำหรับ XGBoost?

28 optimization  loss-functions  boosting  xgboost  taylor-series 

ฉันตั้งใจอ่านบทความ (ทางเศรษฐศาสตร์) ซึ่งมีการประมาณต่อไปนี้:เข้าสู่ระบบ( E( X) )เข้าสู่ระบบ⁡(E(X))\log(E(X)) เข้าสู่ระบบ( E( X) ) ≈ E( บันทึก( X) ) + 0.5 v a r ( บันทึก( X) )เข้าสู่ระบบ⁡(E(X))≈E(เข้าสู่ระบบ⁡(X))+0.5โวลต์aR(เข้าสู่ระบบ⁡(X))\log(E(X)) \approx E(\log(X))+0.5 \mathrm{var}(\log(X)) , ซึ่งผู้เขียนบอกว่าแน่นอนถ้า X เป็นบันทึกปกติ (ซึ่งฉันรู้) สิ่งที่ฉันไม่รู้คือวิธีการประมาณนี้ ฉันพยายามคำนวณลำดับที่สองโดยประมาณของ Taylor และสิ่งที่ฉันคิดไว้คือนิพจน์นี้: เข้าสู่ระบบ( E( X) ) ≈ E( บันทึก( X) ) + 0.5 v a r …

11 lognormal  approximation  taylor-series