Quantile regression: Function loss

ฉันกำลังพยายามทำความเข้าใจกับการถดถอยเชิงปริมาณ แต่สิ่งหนึ่งที่ทำให้ฉันต้องทนทุกข์คือทางเลือกของฟังก์ชั่นการสูญเสีย

$\rho_\tau(u) = u(\tau-1_{\{u<0\}})$

ฉันรู้ว่าความคาดหวังขั้นต่ำของเท่ากับ -quantile แต่อะไรคือเหตุผลเชิงสัญชาตญาณที่จะเริ่มต้นด้วยฟังก์ชั่นนี้? ฉันไม่เห็นความสัมพันธ์ระหว่างการลดฟังก์ชั่นนี้และควอนไทล์ ใครสามารถอธิบายให้ฉันได้ไหม$\rho_\tau(y-u)$$\tau\%$

ฉันเข้าใจคำถามนี้ว่าขอความเข้าใจว่าจะเกิดฟังก์ชั่นการสูญเสียใด ๆที่ก่อให้เกิดควอไทล์ที่กำหนดเป็นตัวลดการสูญเสียไม่ว่าการกระจายนั้นจะเป็นอย่างไร มันจะไม่เป็นที่น่าพอใจจากนั้นเพียงแค่ทำการวิเคราะห์ซ้ำในWikipediaหรือที่อื่น ๆ ที่แสดงให้เห็นว่าฟังก์ชั่นการสูญเสียนี้ทำงานได้ดี

เริ่มจากสิ่งที่คุ้นเคยและเรียบง่าย

สิ่งที่คุณกำลังพูดถึงคือการหา "สถานที่" เมื่อเทียบกับการกระจายหรือชุดของข้อมูลF มันเป็นที่รู้จักกันดีเช่นค่าเฉลี่ยของˉ xจะลดค่ากำลังสองที่คาดไว้ให้เหลือน้อยที่สุด นั่นคือมันเป็นค่าที่$x^{*}$$F$$\bar x$

$$\mathcal{L}_F(\bar x)=\int_{\mathbb{R}} (x - \bar x)^2 dF(x)$$

มีขนาดเล็กที่สุด ฉันได้ใช้เครื่องหมายนี้เพื่อเตือนเราว่ามาจากการสูญเสียว่ามันจะถูกกำหนดโดยFแต่ที่สำคัญที่สุดก็ขึ้นอยู่กับจำนวนˉ x$\mathcal{L}$$F$$\bar x$

วิธีมาตรฐานในการแสดงให้เห็นว่าลดขนาดใด ๆ ฟังก์ชั่นเริ่มต้นด้วยการแสดงให้เห็นถึงความคุ้มค่าของฟังก์ชั่นไม่ได้ลดลงเมื่อx *มีการเปลี่ยนแปลงโดยนิด ๆ หน่อย ๆ ค่าดังกล่าวเรียกว่าจุดวิกฤติของฟังก์ชัน$x^{*}$$x^{*}$

สิ่งที่ชนิดของฟังก์ชั่นการสูญเสียจะส่งผลให้เปอร์เซ็นต์F - 1 ( α )เป็นจุดสำคัญ? การสูญเสียสำหรับมูลค่านั้นจะเป็น$\Lambda$$F^{-1}(\alpha)$

$$\mathcal{L}_F(F^{-1}(\alpha)) = \int_{\mathbb{R}} \Lambda(x-F^{-1}(\alpha))dF(x)=\int_0^1\Lambda\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.$$

สำหรับเรื่องนี้จะเป็นจุดวิกฤติอนุพันธ์ของมันจะต้องเป็นศูนย์ เนื่องจากเราแค่พยายามที่จะหาทางแก้ปัญหาบางอย่างเราจะไม่หยุดการทำงานชั่วคราวเพื่อดูว่ากิจวัตรถูกต้องตามกฎหมาย: เราจะวางแผนที่จะตรวจสอบรายละเอียดทางเทคนิค (เช่นว่าเราจริงๆสามารถแยกความแตกต่าง , ฯลฯ ) ในตอนท้าย ดังนั้น$\Lambda$

$$\eqalign{0 &=\mathcal{L}_F^\prime(x^{*})= \mathcal{L}_F^\prime(F^{-1}(\alpha))= -\int_0^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du \\ &= -\int_0^{\alpha} \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du -\int_{\alpha}^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.\tag{1} }$$

ทางด้านซ้ายมืออาร์กิวเมนต์ของเป็นค่าลบในขณะที่ทางด้านขวาจะเป็นค่าบวก นอกเหนือจากนั้นเรามีการควบคุมค่าเล็กน้อยของอินทิกรัลเหล่านี้เพราะFอาจเป็นฟังก์ชันการแจกแจงใด ๆ ดังนั้นความหวังเดียวของเราคือการทำให้Λ ′ขึ้นอยู่กับเครื่องหมายของการโต้แย้งเท่านั้นและไม่เช่นนั้นจะต้องคงที่$\Lambda$$F$$\Lambda^\prime$

ซึ่งหมายความจะค่เชิงเส้นอาจมีความลาดชันที่แตกต่างกันไปทางด้านซ้ายและด้านขวาของศูนย์ เห็นได้ชัดว่ามันควรจะลดลงเป็นศูนย์เดิน - มันเป็นหลังจากที่ทุกการสูญเสียและไม่ได้กำไร นอกจากนี้ rescaling Λโดยคงที่จะไม่เปลี่ยนแปลงคุณสมบัติของมันดังนั้นเราอาจจะรู้สึกอิสระที่จะกำหนดความลาดเอียงซ้ายมือ- 1 ให้τ > 0เป็นความชันทางขวา จากนั้น( 1 )ลดความซับซ้อนลงไป$\Lambda$$\Lambda$$-1$$\tau \gt 0$$(1)$

$$0 = \alpha - \tau (1 - \alpha),$$

ซึ่งโซลูชันที่ไม่เหมือนใครคือผลคูณที่เป็นบวก

$$\Lambda(x) = \cases{-x, \ x \le 0 \\ \frac{\alpha}{1-\alpha}x, \ x \ge 0.}$$

$1-\alpha$

$\Lambda$

$$\rho_\tau(X-m) = (X-m)(\tau-1_{(X-m<0)}) = \begin{cases} \tau |X-m| & if \; X-m \ge 0 \\ (1 - \tau) |X-m| & if \; X-m < 0) \end{cases}$$

If you want to get an intuitive sense of why minimizing this loss function yields the $\tau$th quantile, it's helpful to consider a simple example. Let $X$ be a uniform random variable between 0 and 1. Let's also choose a concrete value for $\tau$, say, $0.25$.

So now the question is why would this loss function be minimized at $m=0.25$? Obviously, there's three times as much mass in the uniform distribution to the right of $m$ than there is to the left. And the loss function weights the values larger than this number at only a third of the weight given to values less than it. Thus, it's sort of intuitive that the scales are balanced when the $\tau$th quantile is used as the inflection point for the loss function.