L1 ถดถอยประมาณค่ามัธยฐานในขณะที่ประมาณการถดถอย L2 หมายถึงอะไร

24

ดังนั้นฉันจึงถูกถามคำถามที่มาตรการกลาง L1 (เช่น Lasso) และ L2 (เช่นการถดถอยสัน) ประเมิน คำตอบคือ L1 = ค่ามัธยฐานและ L2 = ค่าเฉลี่ย มีเหตุผลแบบนี้หรือไม่? หรือว่าจะต้องมีการกำหนดทางพีชคณิต? ถ้าเป็นเช่นนั้นฉันจะทำยังไงต่อ

— Bstat
แหล่งที่มา

4

โดย L1 / L2 คุณหมายถึงหน้าที่วัตถุประสงค์หรือข้อ จำกัด ? หากฟังก์ชันวัตถุประสงค์แล้วใช่ข้อผิดพลาด L1 จะถูกย่อให้เล็กสุดด้วยค่ามัธยฐานตามเงื่อนไขและ L2 หมายถึงเงื่อนไขตามเงื่อนไข หากข้อ จำกัด (สันเขา / บ่วงบาศหมายถึงอะไร) นี่เป็นวิธีที่ผิดที่จะคิดเกี่ยวกับสิ่งนี้ "มาตรการกลาง" ของพวกเขาจะยังคงเล็งหาค่าเฉลี่ยเงื่อนไข แต่มีบทลงโทษที่แตกต่างกันในβ

β

$\beta$

— muratoa

24

มีคำอธิบายทางเรขาคณิตอย่างง่าย ๆ ว่าเหตุใดฟังก์ชันการสูญเสีย L1 จึงให้ค่ามัธยฐาน

จำได้ว่าเรากำลังทำงานในมิติเดียวดังนั้นลองจินตนาการว่าจำนวนบรรทัดกระจายไปในแนวนอน เขียนจุดข้อมูลแต่ละจุดบนบรรทัดตัวเลข วางนิ้วของคุณที่ใดที่หนึ่งในบรรทัด; นิ้วของคุณจะเป็นค่าประมาณของผู้สมัครปัจจุบัน

สมมติว่าคุณเลื่อนนิ้วไปทางขวาเล็กน้อยพูดหน่วยไปทางขวา เกิดอะไรขึ้นกับการสูญเสียทั้งหมด? ถ้านิ้วของคุณอยู่ระหว่างจุดข้อมูลสองจุดและคุณเลื่อนข้ามจุดข้อมูลคุณจะเพิ่มการสูญเสียทั้งหมดโดยสำหรับจุดข้อมูลแต่ละจุดทางด้านซ้ายของนิ้วของคุณและลดลงโดยสำหรับแต่ละจุดข้อมูลไป ทางขวาของนิ้วของคุณ ดังนั้นหากมีจุดข้อมูลทางด้านขวาของนิ้วมากกว่าด้านซ้ายการเลื่อนนิ้วไปทางขวาจะเป็นการลดการสูญเสียทั้งหมด กล่าวอีกนัยหนึ่งถ้าจุดข้อมูลมากกว่าครึ่งอยู่ทางด้านขวาของนิ้วคุณควรเลื่อนนิ้วไปทางขวา $\delta$ $\delta$ $\delta$

สิ่งนี้นำไปสู่การที่คุณเลื่อนนิ้วของคุณไปยังจุดที่จุดข้อมูลครึ่งหนึ่งอยู่บนจุดนั้นและอีกครึ่งอยู่ทางขวา จุดนั้นคือค่ามัธยฐาน

นั่นคือ L1 และค่ามัธยฐาน น่าเสียดายที่ฉันไม่มีคำอธิบายที่เหมือนกัน "ปรีชาญาณไม่มีพีชคณิต" ที่คล้ายกันสำหรับ L2 และค่าเฉลี่ย

— ใบสำคัญแสดงสิทธิอนุพันธ์
แหล่งที่มา

7

หากเรากำลังพูดถึงการประมาณจุดอย่างง่ายมันก็คือแคลคูลัสตรงไปตรงมา

\frac{d}{d β} \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β)^{2} = - 2 \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β) = 0 \Rightarrow β = \frac{1}{n} \sum_{i} y_{i}

$\frac{d}{d \beta} \frac{1}{n}\sum_{i=1}^n (y_i - \beta)^2 = -2\frac{1}{n}\sum_{i=1}^n(y_i - \beta) = 0 \Rightarrow \beta = \frac{1}{n}\sum_i y_i$

— muratoa

3

@ Muratoa ใช่ฉันรู้แคลคูลัสที่ได้มา แต่คำถามถามเฉพาะสำหรับคำอธิบายที่มุ่งเน้นไปที่สัญชาตญาณและหลีกเลี่ยงพีชคณิต ฉันคิดว่าผู้ถามคำถามรู้ถึงแคลคูลัสที่ได้รับมาแล้ว แต่กำลังมองหาบางอย่างที่ให้สัญชาตญาณมากขึ้น

— DW

ฉันคิดว่า OP กล่าวถึงการถดถอยซึ่งแสดงว่าเขากำลังพูดถึงการประมาณของ y ที่ได้รับ x ซึ่งเป็นค่าเฉลี่ยแบบมีเงื่อนไขโดยใช้กำลังสองน้อยที่สุดและค่ามัธยฐานแบบมีเงื่อนไขสำหรับข้อผิดพลาดสัมบูรณ์เฉลี่ย คำอธิบายเดียวกันควรใช้งานได้ แต่ปัญหาแตกต่างกันเล็กน้อย คำอธิบายแคลคูลัสสำหรับค่าเฉลี่ยนั้นค่อนข้างชัดเจนและตรงไปตรงมา บางทีคำอธิบายสำหรับค่าเฉลี่ยนั้นสามารถให้ในลักษณะเดียวกันกับ DW สำหรับค่ามัธยฐาน ค่าเฉลี่ยตัวอย่างคือการประมาณแบบไม่เอนเอียงสำหรับค่าเฉลี่ยประชากร

— Michael R. Chernick

ในขณะที่คุณย้ายค่าประมาณออกจากตัวอย่างหมายถึงความคลาดเคลื่อนกำลังสองเฉลี่ยเปลี่ยนไปเนื่องจากการเพิ่มขึ้นของอคติ ความคลาดเคลื่อนกำลังสองเฉลี่ยเพิ่มขึ้นจริง d

เมื่อการประมาณเพิ่ม d เข้ากับค่าเฉลี่ยตัวอย่างเป็นค่าประมาณของผู้สมัคร

^{2}

$^2$

— Michael R. Chernick

11

พีชคณิตรุ่นที่รวดเร็วและสกปรกที่มอบให้โดย muratoa นั้นมีอยู่สำหรับเคส L1 สังเกตว่ายกเว้นเมื่อ

, อนุพันธ์ของ

wrt

คือ

β = y_{i}

$\beta = y_i$

| y_{i} - β |

$| y_i -\beta |$

β

$\beta$

ที่เป็น

ถ้า

และ

ถ้า

ฉัน

ดังนั้น

- s g n (y_{i} - β)

$-\mathrm{sgn}(y_i-\beta)$

- 1

$-1$

β < y_{i}

$\beta < y_i$

+ 1

$+1$

β > y_{i}

$\beta > y_i$

ยกเว้นเมื่อ

\frac{d}{d β} \frac{1}{n} \sum_{i} | y_{i} - β | = - \frac{1}{n} \sum_{i} s g n (y_{i} - β)

$\frac{\mathrm{d}}{\mathrm{d}\beta} \,\frac{1}{n}\sum_i | y_i -\beta | = -\frac{1}{n}\,\sum_i \mathrm{sgn}(y_i-\beta)$

เป็น

ฉัน

หายอนุพันธ์เมื่อมีหมายเลขเดียวกันของแง่บวกและลบในหมู่

ซึ่งพูดประมาณเกิดขึ้นเมื่อ

เป็นค่าเฉลี่ยของ

ฉัน

β

$\beta$

y_{i}

$y_i$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

— Yves

17

คำอธิบายนี้เป็นผลรวมของความคิดเห็นของMuratoaและYvesเกี่ยวกับคำตอบของ DW แม้ว่าจะขึ้นอยู่กับแคลคูลัส แต่ฉันพบว่าตรงไปตรงมาและเข้าใจง่าย

สมมติว่าเราได้และต้องการได้ค่าประมาณใหม่ขึ้นอยู่กับพวกเขา การสูญเสียที่น้อยที่สุดนั้นเกิดขึ้นเมื่อเราพบซึ่งทำให้อนุพันธ์ของการสูญเสียเป็นศูนย์ $y_1, y_2, ... y_k$ $\beta$ $\beta$

การสูญเสีย L1

L 1 = \frac{1}{k} Σ_{ผม = 1}^{k} | Y_{ผม} - β |

$L1=\frac{1}{k}\sum_{i=1}^k|y_i-\beta|$

คือ 1 เมื่อ

\frac{\partial L_{1}}{\partial β} = - \frac{1}{k} Σ_{ผม = 1}^{k} s ก. n (Y_{ผม} - β)

$\frac{\partial L_1}{\partial\beta}=-\frac{1}{k}\sum_{i=1}^k sgn(y_i-\beta)$

s g n (y_{i} - β)

$sgn(y_i-\beta)$

, -1 เมื่อ

β

เท่ากับอนุพันธ์ 0 เมื่อมีหมายเลขเดียวกันของแง่บวกและลบในหมู่

ซึ่งหมายความ

ควรจะแบ่งของ

ฉัน

y_{i} > β

$y_i>\beta$

y_{i} < β

$y_i<\beta$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

การสูญเสีย L2

L 2 = \frac{1}{k} Σ_{ผม = 1}^{k} (Y_{ผม} - β)^{2}

$L2=\frac{1}{k}\sum_{i=1}^k(y_i-\beta)^2$

\frac{\partial L_{2}}{\partial β} = - \frac{2}{k} Σ_{ผม = 1}^{k} (Y_{ผม} - β)

$\frac{\partial L_2}{\partial\beta}=-\frac{2}{k}\sum_{i=1}^k(y_i-\beta)$

ดังนั้นเพื่อลดการสูญเสีย L2,

ควรจะเป็นค่าเฉลี่ยของ

ฉัน

\frac{\partial L_{2}}{\partial β} = 0 \to β = \frac{1}{k} Σ_{ผม = 1}^{k} Y_{ผม}

$\frac{\partial L_2}{\partial\beta}=0\rightarrow\beta=\frac{1}{k}\sum_{i=1}^k y_i$

β

$\beta$

y_{i}

$y_i$

— chefwen
แหล่งที่มา

3

การเพิ่มคำตอบของ DW ด้วยตัวอย่างที่เป็นประโยชน์ยิ่งขึ้น (สำหรับฟังก์ชัน L2 loss เช่นกัน):

ลองนึกภาพหมู่บ้านเล็ก ๆ ที่สร้างจากบ้าน 4 หลังใกล้กัน (เช่น 10 เมตร) ที่ 1 กิโลเมตรจากนั้นคุณมีบ้านที่แยกได้มาก ตอนนี้คุณมาถึงเมืองนั้นและต้องการสร้างบ้านของคุณเองที่ไหนสักแห่ง คุณต้องการที่จะอยู่ใกล้กับบ้านหลังอื่นและเป็นเพื่อนกับทุกคน พิจารณาทั้งสองสถานการณ์ทางเลือก:

คุณตัดสินใจที่จะอยู่ในตำแหน่งที่ระยะทางเฉลี่ยไปยังบ้านใด ๆ มีขนาดเล็กที่สุด (เช่นการลดฟังก์ชั่นการสูญเสีย L1)
- หากคุณวางบ้านไว้ที่ใจกลางหมู่บ้านคุณจะอยู่ห่างจากบ้าน 4 หลังประมาณ 10 เมตรและห่างจากบ้าน 1 กิโลเมตรซึ่งจะให้ระยะทางเฉลี่ยประมาณ 200 เมตร (10 + 10 + 10 + 10 + 1,000 / 5)
- หากคุณวางบ้านของคุณห่างจากหมู่บ้าน 500 เมตรคุณจะอยู่ห่างจากบ้าน 5 หลังประมาณ 500 เมตรซึ่งจะช่วยให้คุณได้ระยะทางเฉลี่ย 500 เมตร
- หากคุณวางบ้านของคุณถัดจากบ้านเดี่ยวคุณจะอยู่ห่างจากหมู่บ้าน 1 กิโลเมตร (บ้าน 4 หลัง) และห่างจากบ้าน 1 หลังประมาณ 10 เมตรซึ่งจะให้ระยะทางโดยเฉลี่ยประมาณ 800 เมตร
ดังนั้นระยะทางเฉลี่ยต่ำสุด 100 เมตรจึงมาถึงได้โดยการสร้างบ้านในหมู่บ้าน โดยเฉพาะคุณจะสร้างบ้านกลางบ้านทั้ง 4 หลังเพื่อให้ได้ระยะทางเฉลี่ยไม่กี่เมตร และปรากฎว่าจุดนี้คือ " จุดมัธยฐาน " ซึ่งคุณจะได้รับโดยใช้สูตรค่ามัธยฐาน
คุณตัดสินใจที่จะใช้แนวทางประชาธิปไตย คุณถามเพื่อนบ้านทั้งห้าคนในอนาคตของคุณในตำแหน่งที่ต้องการสำหรับบ้านใหม่ของคุณ พวกเขาทั้งหมดชอบคุณและต้องการให้คุณอยู่ใกล้พวกเขา ดังนั้นพวกเขาทั้งหมดระบุตำแหน่งที่ต้องการเป็นจุดถัดจากบ้านของตนเอง คุณใช้ค่าเฉลี่ยของตำแหน่งที่โหวตทั้งหมดของเพื่อนบ้านทั้งห้าของคุณและผลลัพธ์คือ "200 เมตรจากหมู่บ้าน" (คะแนนเฉลี่ย: 0 + 0 + 0 + 0 + 0 + 1000/5 = 200) ซึ่งเป็น " จุดเฉลี่ย " ของบ้านทั้ง 5 หลังที่คุณจะได้รับในทำนองเดียวกันโดยใช้สูตรเฉลี่ย และสถานที่นี้กลายเป็นสิ่งเดียวกันกับที่เลียนแบบผลรวมของระยะทางกำลังสอง (เช่นฟังก์ชัน L2 loss) ลองทำคณิตศาสตร์เพื่อดู:
- ณ สถานที่นี้ผลรวมของระยะทางกำลังสองคือ: 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 800 ^ 2 = 800 000
- ถ้าเราสร้างบ้านในใจกลางหมู่บ้านผลรวมของระยะทางกำลังสองของเราจะเป็น: 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 1,000 ^ 2 = 1 000 000
- ถ้าเราสร้างสร้างบ้านที่ห่างจากหมู่บ้าน 100 เมตร (เช่นใน 1) ผลรวมของระยะทางกำลังสองคือ: 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 900 ^ 2 = 850 000
- ถ้าเราสร้างบ้านที่ห่างจากบ้านเดี่ยว 100 เมตรผลรวมของระยะทางกำลังสองคือ: 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 100 ^ 2 = 3 250 000

ใช่มันเป็นเรื่องที่น่าสนใจที่จะสังเกตว่าบิตตอบโต้โดยสังเขปเมื่อเราลดผลรวมของระยะทางเราไม่ได้อยู่ใน "กลาง" ในแง่ของค่าเฉลี่ย แต่ในความหมายของ มัธยฐาน นี่เป็นส่วนหนึ่งของสาเหตุที่ OLS ซึ่งเป็นหนึ่งในโมเดลการถดถอยที่ได้รับความนิยมมากที่สุดใช้ข้อผิดพลาดกำลังสองแทนที่จะเป็นข้อผิดพลาดสัมบูรณ์

— Jonathan Zimmermann
แหล่งที่มา

1

นอกจากคำตอบที่โพสต์แล้ว (ซึ่งเป็นประโยชน์กับฉันมาก!) มีคำอธิบายทางเรขาคณิตสำหรับการเชื่อมต่อระหว่างบรรทัดฐาน L2 และค่าเฉลี่ย

ในการใช้สัญลักษณ์เดียวกับchefwenสูตรสำหรับการสูญเสีย L2 คือ:

L 2 = \frac{1}{k} Σ_{ผม = 1}^{k} (Y_{ผม} - β)^{2}

$L2 = \frac{1}{k} \sum^{k}_{i=1} (y_i - \beta)^2$

$\beta$ $L2$ $k$ และการเอาสแควร์รูททั้งสองรักษาลำดับไว้

\sqrt{Σ_{ผม = 1}^{k} (Y_{ผม} - β)^{2}}

$\sqrt { \sum^{k}_{i=1} (y_i - \beta)^2 }$

$y$ $k$ $y$ $\vec{\beta} = (\beta, \beta, ..., \beta)$

$\beta$ $y$ $\vec{\beta}$ $\vec{\beta}$ $\vec{1} = (1, 1, ..., 1)$ $y$ $\vec{1}$

$k = 2$ $y = (2, 6)$ $\vec{1}$ $(4, 4)$ ตามที่เราคาดไว้

$k > 2$

\begin{aligned} \vec{β} & = {Proj}_{\vec{1}} Y \\ = \frac{Y \cdot \vec{1}}{| \vec{1} |^{2}} \vec{1} \\ β & = \frac{Σ_{ผม = 1}^{k} Y_{ผม}}{k} \end{aligned}

$\begin{alignat}{2} \vec{\beta} &= \operatorname{proj}_{\vec{1}}{y} \\ &= \frac{y \cdot \vec{1}}{|\vec{1}|^2}\vec{1} \\ \beta &= \frac{\sum^k_{i=1} y_i}{k} \end{alignat}$

— paul
แหล่งที่มา