ฟังก์ชั่นที่มีอิทธิพลและ OLS

ฉันพยายามที่จะเข้าใจว่าการทำงานของฟังก์ชั่นมีอิทธิพลอย่างไร มีคนอธิบายได้ในบริบทของการถดถอย OLS แบบง่าย ๆ

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

ที่ฉันต้องการฟังก์ชั่นที่มีอิทธิพลสำหรับ\ $\beta$

regression least-squares

— stevejb
แหล่งที่มา

ยังไม่มีคำถามเฉพาะที่นี่: คุณต้องการดูวิธีการคำนวณฟังก์ชั่นอิทธิพลหรือไม่? คุณต้องการตัวอย่างเชิงประจักษ์ที่เฉพาะเจาะจงหรือไม่? คำอธิบายแบบฮิวริสติกของความหมายของอะไร

— whuber

หากคุณมองกระดาษ 1986 ของ Frank Critchley "มีอิทธิพลต่อฟังก์ชั่นในองค์ประกอบหลัก" (จำไม่ได้ว่าชื่อที่แน่นอนของกระดาษ) เขากำหนดหน้าที่อิทธิพลสำหรับการถดถอยปกติที่นี่ (ซึ่งอาจจะใช่หรือไม่ใช่พิสูจน์คำตอบของฉันผิด)

— ความน่าจะเป็นทางคณิตศาสตร์

คำตอบ:

ฟังก์ชั่นมีอิทธิพลต่อการมีพื้นเป็นเครื่องมือวิเคราะห์ที่สามารถใช้ในการประเมินผล (หรือ "อิทธิพล") ในการลบข้อสังเกตเกี่ยวกับคุณค่าของสถิติที่โดยไม่ต้องใหม่คำนวณว่าสถิติ พวกเขายังสามารถใช้ในการสร้างการประมาณค่าความแปรปรวนแบบซีโมติก หากมีอิทธิพลเท่ากับแล้วแปรปรวน asymptotic เป็น{n} $I$ $\frac{I^2}{n}$

วิธีที่ฉันเข้าใจฟังก์ชั่นอิทธิพลมีดังนี้ คุณมีอะไรบางอย่าง CDF ทฤษฎีแสดงโดย{i}) สำหรับ OLS แบบง่ายคุณมี $F_{i}(y)=Pr(Y_{i}<y_{i})$

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$ โดยที่เป็น CDF มาตรฐานทั่วไปและคือความแปรปรวนของข้อผิดพลาด ตอนนี้คุณสามารถแสดงให้เห็นว่าสถิติใด ๆ ที่จะเป็นฟังก์ชั่นของ CDF นี้ดังนั้นสัญกรณ์ (เช่นฟังก์ชั่นบางส่วนของ ) ตอนนี้สมมติว่าเราเปลี่ยนฟังก์ชั่นโดย "นิด ๆ หน่อย ๆ " เป็นที่ไหนและ{n-1} ดังนั้นหมายถึง CDF ของข้อมูลโดยลบจุดข้อมูล "ith" เราสามารถทำชุดเทย์เลอร์ของ

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$ เกี่ยวกับ 0 สิ่งนี้ให้:

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

โปรดทราบว่าดังนั้นเราจึงได้รับ: $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

อนุพันธ์ย่อยที่นี่เรียกว่าฟังก์ชันอิทธิพล ดังนั้นนี่จึงหมายถึงการแก้ไข "ลำดับแรก" โดยประมาณที่จะทำกับสถิติเนื่องจากการลบการสังเกต "ith" โปรดทราบว่าในการถดถอยส่วนที่เหลือไม่ได้ไปที่ศูนย์ asymtotically ดังนั้นนี่เป็นการประมาณการเปลี่ยนแปลงที่คุณอาจได้รับ ตอนนี้เขียนเป็น: $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

ดังนั้นเบต้าเป็นหน้าที่ของสองสถิติ: ความแปรปรวนของ X และความแปรปรวนร่วมระหว่าง X และ Y สถิติทั้งสองนี้มีการแสดงในแง่ของ CDF เป็น:

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$ และ โดยที่

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

ในการลบการสังเกต ith เราจะแทนที่ในทั้งอินทิกรัลเพื่อให้: $F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V a r (X)_{(i)} = \int (X - μ_{x (i)})^{2} d F_{(i)} = \int (X - μ_{x} + ζ (x_{i} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

ไม่สนใจเงื่อนไขของและทำให้เราเข้าใจง่ายขึ้น: ในทำนองเดียวกันสำหรับความแปรปรวนร่วม $\zeta^{2}$

V a r (X)_{(i)} \approx V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C o v (X, Y)_{(i)} \approx C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

ดังนั้นตอนนี้เราสามารถแสดงเป็นหน้าที่ของ\นี่คือ: $\beta_{(i)}$ $\zeta$

β_{(i)} (ζ) \approx \frac{C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]}{V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

ตอนนี้เราสามารถใช้ซีรี่ส์ Taylor:

β_{(i)} (ζ) \approx β_{(i)} (0) + ζ {[\frac{\partial β_{(i)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

ทำให้สิ่งนี้ง่ายขึ้น:

β_{(i)} (ζ) \approx β - ζ [\frac{(x_{i} - μ_{x}) (y_{i} - μ_{y})}{V a r (X)} - β \frac{(x_{i} - μ_{x})^{2}}{V a r (X)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

และเสียบค่าสถิติ , , , และเราได้รับ: $\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(i)} \approx β - \frac{x_{i} - \bar{x}}{n - 1} [\frac{y_{i} - \bar{y}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} - β \frac{x_{i} - \bar{x}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

และคุณสามารถดูว่าผลกระทบของการลบการสังเกตเพียงครั้งเดียวสามารถประมาณได้อย่างไรโดยไม่ต้องปรับโมเดลให้เหมาะสม นอกจากนี้คุณยังสามารถดูวิธีการที่ x เท่ากับค่าเฉลี่ยมีอิทธิพลต่อความลาดชันของเส้นไม่มี คิดเกี่ยวกับสิ่งนี้และคุณจะเห็นว่ามันสมเหตุสมผล คุณยังสามารถเขียนได้อย่างชัดเจนมากขึ้นในแง่ของค่ามาตรฐาน (ในทำนองเดียวกันสำหรับ y): $\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(i)} \approx β - \frac{\tilde{x_{i}}}{n - 1} [\tilde{y_{i}} \frac{s_{y}}{s_{x}} - \tilde{x_{i}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— probabilityislogic
แหล่งที่มา

ดังนั้นเรื่องราวเกี่ยวกับอิทธิพลของจุดข้อมูลเพิ่มเติมหรือไม่ ฉันคุ้นเคยกับการตอบสนองแบบแรงกระตุ้นสำหรับข้อมูลอนุกรมเวลามากขึ้นในบริบททางสถิติอิทธิพลทั้งหมดจะอธิบายโดยผลกระทบเล็กน้อยหรือ (ทางเลือกที่ดีกว่า) ค่าสัมประสิทธิ์เบต้าจากการถดถอยแบบมาตรฐาน ฉันต้องการบริบทมากขึ้นเพื่อตัดสินคำถามและคำตอบ แต่อันนี้ดีฉันคิดว่า (+1 ยังไม่ได้ แต่รอ)

— Dmitrij Celov

@dmitrij - นั่นคือสิ่งที่บอกเป็นนัย (หรือสิ่งที่ฉันอนุมาน) จากลิงก์ - มันเกี่ยวกับคุณสมบัติความทนทานของสถิติ ฟังก์ชั่น Influence นั้นทั่วไปมากกว่าจุดข้อมูล 1 จุดเล็กน้อยคุณสามารถกำหนดฟังก์ชันเดลต้าให้เป็นผลรวมของพวกมันอีกครั้ง ฉันคิดว่ามันเป็น "Jacknife ราคาถูก" ในระดับหนึ่ง - เพราะคุณไม่จำเป็นต้องปรับโมเดลให้เหมาะสม

— ความน่าจะเป็นทางการ

นี่คือวิธีทั่วไปสุดยอดในการพูดคุยเกี่ยวกับฟังก์ชั่นอิทธิพลของการถดถอย ครั้งแรกฉันจะจัดการวิธีหนึ่งในการนำเสนอฟังก์ชั่นอิทธิพล:

สมมติว่าคือการกระจายบน\ฟังก์ชันการกระจายปนเปื้อน ,สามารถกำหนดเป็น: ที่เป็นตัวชี้วัดความน่าจะเป็นในซึ่งน่าจะเป็น 1 กำหนดให้และ 0 ถึงองค์ประกอบอื่น ๆ ทั้งหมดของ\ $F$ $\Sigma$ $F_\epsilon(x)$

F_{ϵ} (x) = (1 - ϵ) F + ϵ δ_{x}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

จากนี้เราสามารถกำหนดฟังก์ชั่นอิทธิพลได้อย่างง่ายดาย:

ฟังก์ชั่นอิทธิพลของที่ ,หมายถึง: $\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, F} (x) = lim_{ϵ \to 0} \frac{\hat{θ} (F_{ϵ} (x)) - \hat{θ} (F)}{ϵ}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

จากที่นี่มันเป็นไปได้ที่จะเห็นว่าฟังก์ชั่นที่มีอิทธิพลเป็นอนุพันธ์กาโตว์ของที่ในทิศทางของ\สิ่งนี้ทำให้การตีความของฟังก์ชั่นอิทธิพล (สำหรับฉัน) ชัดเจนขึ้นเล็กน้อย: ฟังก์ชั่นอิทธิพลจะบอกคุณถึงผลกระทบที่การสังเกตโดยเฉพาะมีต่อตัวประมาณ $\hat\theta$ $F$ $\delta_x$

การประมาณค่า OLS เป็นวิธีแก้ไขปัญหา:

\hat{θ} = \arg min_{θ} E [(Y - X θ)^{T} (Y - X θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

ลองนึกภาพการกระจายที่ปนเปื้อนซึ่งทำให้มีน้ำหนักเพิ่มขึ้นเล็กน้อยเมื่อสังเกต : $(x,y)$

{\hat{θ}}_{ϵ} = \arg min_{θ} (1 - ϵ) E [(Y - X θ)^{T} (Y - X θ)] + ϵ (y - x θ)^{T} (y - x θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

รับเงื่อนไขการสั่งซื้อครั้งแรก:

{(1 - ϵ) E [X^{T} X] + ϵ x^{T} x} {\hat{θ}}_{ϵ} = (1 - ϵ) E [X^{T} Y] + ϵ x^{T} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

เนื่องจากฟังก์ชันอิทธิพลเป็นเพียงอนุพันธ์ของ Gateaux เราจึงสามารถพูดได้ว่า:

- (E [X^{T} X] + x^{T} x) {\hat{θ}}_{ϵ} + E [X^{T} X] ψ_{θ} (x, y) = - E [X^{T} Y] + x^{T} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

ที่ ,ดังนั้น: $\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (x, y) = E [X^{T} X]^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

ตัวอย่างที่ จำกัด ของฟังก์ชันอิทธิพลนี้คือ:

ψ_{θ} (x, y) = {(\frac{1}{N} \sum_{i} X_{i}^{T} X_{i})}^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

โดยทั่วไปฉันพบกรอบงานนี้ (ทำงานกับฟังก์ชั่นอิทธิพลเป็นอนุพันธ์ของ Gateaux) ง่ายต่อการจัดการ

— jayk
แหล่งที่มา