เหตุใดการถดถอยโลจิสติกจึงสร้างแบบจำลองที่ได้รับการสอบเทียบอย่างดี

ฉันเข้าใจว่าเหตุผลหนึ่งที่การถดถอยโลจิสติกส์ใช้บ่อยในการทำนายอัตราการคลิกผ่านบนเว็บคือมันสร้างแบบจำลองที่ได้รับการสอบเทียบอย่างดี มีคำอธิบายทางคณิตศาสตร์ที่ดีสำหรับเรื่องนี้หรือไม่?

regression logistic

— lsankar4033
แหล่งที่มา

การถดถอยโลจิสติกทำขึ้นเพื่อทำนายความน่าจะเป็น -> ซึ่งนำไปสู่การคาดการณ์ที่สอบเทียบแล้วหากไม่เหมาะสม ในขณะที่เครื่องมากที่สุดรูปแบบการเรียนรู้ที่ไม่ได้คาดการณ์Probabilités แต่เรียน - และมีการบิดบางอย่างที่จะมาหลอกprobabilitésจากคาดการณ์เหล่านี้ -> จึงทราบการสอบเทียบอย่างดี

— ชาร์ลส์

ฉันควรอธิบายให้ชัดเจนในคำถาม แต่คำถามของฉันเกี่ยวกับสาเหตุที่ LR มีประโยชน์มากในการทำนายความน่าจะเป็น

— lsankar4033

เป็นเรื่องที่น่าสังเกตว่าคุณสามารถใส่การถดถอยโลจิสติกส์กับผลลัพธ์ของลักษณนามที่มีการสอบเทียบไม่ดีเพื่อให้ได้แบบจำลองที่ได้รับการสอบเทียบ สิ่งนี้เรียกว่า Platt Scaling en.wikipedia.org/wiki/Platt_scaling

— generic_user

คำตอบ:

ใช่.

ที่คาดการณ์ความน่าจะเป็นเวกเตอร์จากความพึงพอใจการถดถอยโลจิสติกสมการเมทริกซ์ $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

โดยที่คือเมทริกซ์การออกแบบและคือเวกเตอร์การตอบสนอง นี้สามารถถูกมองว่าเป็นคอลเลกชันของสมการเชิงเส้นหนึ่งที่เกิดขึ้นจากคอลัมน์ของการออกแบบเมทริกซ์แต่ละX $X$ $y$ $X$

โดยเฉพาะคอลัมน์สกัดกั้น (ซึ่งเป็นแถวในเมทริกซ์ transposed) สมการเชิงเส้นที่เกี่ยวข้องคือ

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

ดังนั้นความน่าจะเป็นเฉลี่ยที่คาดการณ์โดยรวมจึงเท่ากับค่าเฉลี่ยของการตอบสนอง

โดยทั่วไปสำหรับคอลัมน์คุณลักษณะไบนารีสมการเชิงเส้นที่เกี่ยวข้องคือ $x_{ij}$

\sum_{i} x_{i j} (p_{i} - y_{i}) = \sum_{i ∣ x_{i j} = 1} (p_{i} - y_{i}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

ดังนั้นผลรวม (และด้วยเหตุนี้เฉลี่ย) ของความน่าจะเป็นที่คาดการณ์ไว้เท่ากับผลรวมของการตอบสนองแม้ในขณะที่มีความเชี่ยวชาญในการระเบียนเหล่านั้นที่ 1 $x_{ij} = 1$

— Matthew Drury
แหล่งที่มา

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

ใช่ p เป็นรูปแบบนั้น สมการแรกมาจากการตั้งค่าอนุพันธ์ของฟังก์ชันการสูญเสียให้เป็นศูนย์

— Matthew Drury

ที่อยู่นี้เพียงการสอบเทียบในขนาดใหญ่ซึ่งไม่ใช่สิ่งที่เราต้องการ: การสอบเทียบในขนาดเล็ก

— Frank Harrell

@ FrankHarrell สนใจที่จะทำอย่างละเอียด? ฉันไม่เคยได้ยินคำศัพท์เหล่านี้มาก่อน

— Matthew Drury

มีประวัติอันยาวนานในการคาดคะเนความน่าจะเป็นวรรณคดีที่จัดทำโดย US Weather Service 1950 - นั่นคือสิ่งที่คะแนน Brier ถูกใช้ครั้งแรก การสอบเทียบแบบตัวเล็กหมายความว่าหากดูที่ความเสี่ยงที่คาดการณ์ไว้ที่ 0.01, 0.02, ... , 0.99 แต่ละสิ่งเหล่านี้มีความถูกต้องเช่นทุกครั้งที่ความเสี่ยงที่คาดการณ์ไว้คือ 0.4 ผลที่เกิดขึ้นประมาณ 0.4 เวลา. ฉันเรียกว่า "การสอบเทียบแบบตัวย่อ" ขั้นตอนต่อไป: สำหรับผู้ชายที่การคาดคะเนคือ 0.4 คือผลลัพธ์ปัจจุบัน 0.4 ของเวลาสำหรับผู้หญิง

— Frank Harrell

ฉันคิดว่าฉันสามารถให้คำอธิบายที่เข้าใจง่ายแก่คุณดังนี้

J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
m

y^{(i)}

$y^{(i)}$

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$

α

$\alpha$

$\theta_j$

\frac{\partial J (θ)}{\partial θ_{j}} = \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x^{(i)}) - y^{(i)}] x_{j}^{(i)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{j}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{j}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

นั่นหมายความว่าหากแบบจำลองได้รับการฝึกอบรมอย่างสมบูรณ์ความน่าจะเป็นที่คาดการณ์ที่เราได้รับสำหรับชุดการฝึกอบรมจะกระจายตัวออกไปดังนั้นสำหรับแต่ละคุณลักษณะผลรวมของค่าถ่วงน้ำหนัก (ทั้งหมด) ของคุณลักษณะนั้นจะเท่ากับผลรวมของค่าของคุณลักษณะนั้น ของกลุ่มตัวอย่างที่เป็นบวก

$\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{0}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{0}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{i = 1}^{m} p^{(i)} = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

เราสามารถเห็นได้อย่างชัดเจนว่าการถดถอยโลจิสติกนั้นได้รับการสอบเทียบอย่างดี

การอ้างอิง: โมเดลเชิงเส้นล็อกและฟิลด์สุ่มแบบมีเงื่อนไขโดย Charles Elkan

— เลิร์นเนอจาง
แหล่งที่มา