คุณสมบัติของการถดถอยโลจิสติก

เรากำลังทำงานกับการถดถอยแบบโลจิสติกส์และเราได้ตระหนักว่าความน่าจะเป็นโดยประมาณโดยเฉลี่ยเท่ากับสัดส่วนของตัวอย่างในตัวอย่าง นั่นคือค่าเฉลี่ยของค่าติดตั้งเท่ากับค่าเฉลี่ยของตัวอย่าง

ใครช่วยอธิบายเหตุผลให้ฉันหรือให้ข้อมูลอ้างอิงกับฉันที่ฉันสามารถหาการสาธิตนี้ได้?

พฤติกรรมที่คุณสังเกตเป็นกรณี "ทั่วไป" ในการถดถอยโลจิสติก แต่ไม่เป็นความจริงเสมอไป มันยังคงมีอยู่ทั่วไปมากขึ้น (ดูด้านล่าง) มันเป็นผลมาจากการบรรจบกันของข้อเท็จจริงสามประการที่แยกกัน

1. ทางเลือกของการสร้างแบบจำลองอัตราเดิมพันเป็นฟังก์ชันเชิงเส้นของตัวทำนาย
2. การใช้โอกาสสูงสุดในการประเมินค่าสัมประสิทธิ์ในแบบจำลองการถดถอยโลจิสติกและ
3. การรวมคำดักจับในโมเดล

หากไม่มีข้อใดข้อหนึ่งข้างต้นค่าเฉลี่ยความน่าจะเป็นโดยประมาณจะไม่ตรงกับสัดส่วนของความน่าจะเป็นในตัวอย่าง

อย่างไรก็ตาม (เกือบ) ซอฟต์แวร์เชิงสถิติทั้งหมดใช้การประมาณค่าความน่าจะเป็นสูงสุดสำหรับโมเดลดังกล่าวดังนั้นในทางปฏิบัติรายการ 1 และ 2 มักปรากฏอยู่เสมอและรายการ 3 มักปรากฏอยู่ยกเว้นในกรณีพิเศษ

รายละเอียดบางอย่าง

ในกรอบการถดถอยโลจิสติกโดยทั่วไปเราสังเกตผลของการทดลองทวินามอิสระที่มีความน่าจะเป็นฉัน ขอให้ปีฉันจะตอบสนองข้อสังเกต โอกาสทั้งหมดคือ L = n ∏ i = 1 p y ฉันฉัน ( 1 - p i ) 1 - y ฉัน = n ∏ i = 1 exp ( y i log ( p i / ( 1 - p $p_i$$y_i$ และเพื่อให้เข้าสู่ระบบความน่าจะเป็น ℓ = n Σฉัน= 1 Y ฉันเข้าสู่ระบบ( P ฉัน/ ( 1 - P ฉัน ) ) + n Σฉัน= 1ล็อก( 1 - P ฉัน

$$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$$ $$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$$

ตอนนี้เรามีเวกเตอร์ของการพยากรณ์สำหรับแต่ละการสังเกตและจากข้อเท็จจริงที่ 1 ข้างต้นโลจิสติก posits แบบการถดถอยที่ บันทึกหน้า$\newcommand{\x}{\mathbf x}\x_i$ สำหรับบางคนที่ไม่รู้จักเวกเตอร์ของพารามิเตอร์β หมายเหตุ: โดยการจัดเรียงนี้เราได้รับที่หน้าฉัน = 1 / ( 1 + E - β T xฉัน )

$$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$$ $\beta$$p_i = 1/(1+e^{-\beta^T \x_i})$

ใช้โอกาสสูงสุดเพื่อให้พอดีกับรูปแบบ (Fact 2) อัตราผลตอบแทนชุดของสมการเพื่อแก้ปัญหาจากการพิจารณา 0 สังเกตว่า ∂ $\partial \ell / \partial \beta = 0$

$$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$$ $$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$$ $\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$

$\x_i$$j$$i$$\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$

การจำลอง

$R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

กรณีทั่วไป : ตามที่กล่าวถึงข้างต้นคุณสมบัติที่การตอบสนองหมายถึงเท่ากับค่าเฉลี่ยที่คาดการณ์ไว้โดยทั่วไปในชั้นเรียนของตัวแบบเชิงเส้นทั่วไปที่พอดีโดยความเป็นไปได้สูงสุดโดยใช้ฟังก์ชันลิงก์แบบบัญญัติและรวมถึงการสกัดกั้นใน แบบ

อ้างอิง

การอ้างอิงที่ดีสำหรับทฤษฎีที่เกี่ยวข้องมีดังต่อไปนี้

1. A. Agresti (2002), การวิเคราะห์ข้อมูลอย่างละเอียด , 2nd ed., Wiley
2. P. McCullagh และ JA Nelder (1989), โมเดลเชิงเส้นทั่วไป , 2nd ed., Chapman & Hall (ข้อความจากผู้แต่งดั้งเดิมของวิธีการทั่วไป)