22

ประโยคแรกของหน้าวิกินี้อ้างว่า "ในเศรษฐมิติปัญหาเอ็นเอ็นจีนิตี้เกิดขึ้นเมื่อตัวแปรอธิบายมีความสัมพันธ์กับคำผิดพลาด1 "

คำถามของฉันคือสิ่งนี้จะเกิดขึ้นได้อย่างไร? การถดถอยแบบเบต้าไม่ได้ถูกเลือกเช่นนี้เพราะข้อผิดพลาดคือมุมฉากกับพื้นที่คอลัมน์ของเมทริกซ์การออกแบบหรือไม่

regression

— พลเมืองของภาคเหนือ
แหล่งที่มา

9

เบต้าการถดถอยถูกเลือกเพื่อให้ส่วนที่เหลือเป็นมุมฉากกับพื้นที่คอลัมน์ของเมทริกซ์การออกแบบ และนี่อาจให้ค่าประมาณที่น่ากลัวของเบต้าจริงหากคำผิดพลาดนั้นไม่ได้ตั้งฉากกับพื้นที่คอลัมน์ของเมทริกซ์การออกแบบ! (เช่นถ้าแบบจำลองของคุณไม่ตรงตามสมมติฐานที่จำเป็นในการประมาณค่าสัมประสิทธิ์โดยการถดถอย)

— Matthew Gunn

3

ความตั้งฉากของข้อผิดพลาดและพื้นที่คอลัมน์ของเมทริกซ์การออกแบบไม่ใช่คุณสมบัติของวิธีการประมาณค่าของคุณ (เช่นการถดถอยกำลังสองน้อยที่สุดธรรมดา) มันเป็นสมบัติของโมเดล (เช่น

y_{i} = a + b x_{i} + ϵ_{i}

$y_i = a + b x_i + \epsilon_i$ )

— Matthew Gunn

ฉันคิดว่าการแก้ไขของคุณควรเป็นคำถามใหม่เพราะคุณดูเหมือนจะเปลี่ยนสิ่งที่คุณต้องการอย่างมาก คุณสามารถลิงค์กลับไปที่หน้านี้ได้ตลอดเวลา (ฉันคิดว่าคุณต้องใช้คำพูดให้ดีขึ้นเช่นกัน - เมื่อคุณเขียน "สิ่งที่จะเกิดผลกระทบ" แล้วฉันไม่ชัดเจนเกี่ยวกับผลกระทบของอะไร ?) โปรดทราบว่าการถามคำถามใหม่โดยทั่วไปจะสร้างความสนใจมากขึ้น สำหรับคุณมากกว่าการแก้ไขที่มีอยู่

— Silverfish

28

คุณกำลังทำให้คำ "ข้อผิดพลาด" ทั้งสองประเภทแตกต่างกัน วิกิพีเดียมีบทความเกี่ยวกับความแตกต่างระหว่างข้อผิดพลาดและส่วนที่เหลือนี้

ในการถดถอย OLS ที่เหลือ มีการรับประกันที่แน่นอนที่จะ uncorrelated กับตัวแปรสมมติว่าการถดถอยมีระยะตัด $\hat \varepsilon$

แต่ข้อผิดพลาด "true" ดีอาจจะมีความสัมพันธ์กับพวกเขาและนี่คือสิ่งที่นับเป็น endogeneity $\varepsilon$

เพื่อให้สิ่งต่าง ๆ ง่ายขึ้นพิจารณาตัวแบบการถดถอย (คุณอาจเห็นสิ่งนี้อธิบายว่าเป็น " กระบวนการสร้างข้อมูล " หรือ "DGP" ซึ่งเป็นแบบจำลองทางทฤษฎีที่เราสมมติว่าจะสร้างมูลค่าของ ): $y$

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

ไม่มีเหตุผลในหลักการว่าทำไมไม่สามารถมีความสัมพันธ์กับในรูปแบบของเรามาก แต่เราจะชอบมันจะไม่ละเมิด OLS มาตรฐานสมมติฐานในลักษณะนี้ ยกตัวอย่างเช่นมันอาจเป็นไปได้ว่าขึ้นอยู่กับตัวแปรอื่น ๆ ที่ได้รับการละเว้นจากแบบจำลองของเรานี้และได้รับการจดทะเบียนเป็นระยะรบกวน (คนเป็นที่ที่เราก้อนในทุกสิ่งอื่น ๆ นอกเหนือจากที่มีผลต่อ ) หากตัวแปรที่ละเว้นนี้มีความสัมพันธ์กับดังนั้นจะสัมพันธ์กับและเรามี endogeneity (โดยเฉพาะอคติที่ละเว้นตัวแปร ) $x$ $\varepsilon$ $y$ $\varepsilon$ $x$ $y$ $x$ $\varepsilon$ $x$

เมื่อคุณประเมินโมเดลการถดถอยของคุณกับข้อมูลที่มีอยู่เราจะได้รับ

y_{i} = {\hat{β}}_{1} + {\hat{β}}_{2} x_{i} + {\hat{ε}}_{i}

$y_i = \hat \beta_1 + \hat \beta_2 x_i + \hat \varepsilon_i$

เนื่องจากวิธีการ OLS งาน * คลาดเคลื่อนจะ uncorrelated กับxแต่นั่นไม่ได้หมายความว่าเราต้องหลีกเลี่ยง endogeneity - มันก็หมายความว่าเราไม่สามารถตรวจสอบได้โดยการวิเคราะห์ความสัมพันธ์ระหว่างและซึ่งจะเป็น (ถึงข้อผิดพลาดตัวเลข) ศูนย์ และเนื่องจากสมมติฐานของ OLS ถูกละเมิดเราจึงไม่รับประกันคุณสมบัติที่ดีเช่นความไม่เอนเอียงอีกต่อไปเราจึงสนุกกับ OLS มาก เราคาดจะลำเอียง $\hat \varepsilon$ $x$ $\hat \varepsilon$ $x$ $\hat \beta_2$

ความจริงที่ว่าเป็น uncorrelated กับดังนี้ทันทีจาก "สมการปกติ" เราใช้ในการเลือกประมาณการที่ดีที่สุดของเราสำหรับค่าสัมประสิทธิ์ $(*)$ $\hat \varepsilon$ $x$

หากคุณไม่คุ้นเคยกับการตั้งค่าเมทริกซ์และฉันยึดติดกับรูปแบบ bivariate ที่ใช้ในตัวอย่างของฉันด้านบนผลรวมของกำลังสองที่เหลือคือและเพื่อหาสิ่งที่ดีที่สุดและ $S(b_1, b_2) = \sum_{i=1}^n \varepsilon_i^2 = \sum_{i=1}^n (y_i-b_1 - b_2 x_i)^2$ $b_1 = \hat \beta_1$ ที่ทำให้สิ่งนี้เล็กลงเราจะพบสมการปกติก่อนอื่นเงื่อนไขลำดับแรกสำหรับการสกัดกั้นโดยประมาณ: $b_2 = \hat \beta_2$

\frac{\partial S}{\partial b_{1}} = \sum_{i = 1}^{n} - 2 (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_1} = \sum_{i=1}^n -2(y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n \hat \varepsilon_i = 0$

ซึ่งแสดงให้เห็นว่าผลรวม (และด้วยเหตุนี้ค่าเฉลี่ย) ของเหลือเป็นศูนย์ดังนั้นสูตรสำหรับความแปรปรวนระหว่างและตัวแปรแล้วลดไป $\hat \varepsilon$ $x$ ฉันเราเห็นว่านี่เป็นศูนย์โดยพิจารณาเงื่อนไขการสั่งซื้อครั้งแรกสำหรับความชันโดยประมาณซึ่งก็คือ $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$

\frac{\partial S}{\partial b_{2}} = \sum_{i = 1}^{n} - 2 x_{i} (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} x_{i} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_2} = \sum_{i=1}^n -2 x_i (y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n x_i \hat \varepsilon_i = 0$

หากคุณกำลังใช้ในการทำงานร่วมกับเมทริกซ์ที่เราสามารถพูดคุยนี้เพื่อถดถอยพหุคูณด้วยการกำหนด ; เงื่อนไขแรกเพื่อลดที่ดีที่สุดคือ: $S(b) = \varepsilon' \varepsilon = (y-Xb)'(y-Xb)$ $S(b)$ $b = \hat \beta$

\frac{d S}{d b} (\hat{β}) = \frac{d}{d b} (y^{'} y - b^{'} X^{'} y - y^{'} X b + b^{'} X^{'} X b) |_{b = \hat{β}} = - 2 X^{'} y + 2 X^{'} X \hat{β} = - 2 X^{'} (y - X \hat{β}) = - 2 X^{'} \hat{ε} = 0

$\frac{dS}{db}(\hat\beta) = \frac{d}{db}\bigg(y'y - b'X'y - y'Xb + b'X'Xb\bigg)\bigg|_{b=\hat\beta} = -2X'y + 2X'X\hat\beta = -2X'(y - X\hat\beta) = -2X'\hat \varepsilon = 0$

ซึ่งหมายความว่าแต่ละแถวของและด้วยเหตุนี้คอลัมน์ของแต่ละเป็นฉากกับεแล้วถ้าการออกแบบเมทริกซ์มีคอลัมน์ของคน (ซึ่งเกิดขึ้นถ้าแบบจำลองของคุณมีระยะตัด) เราต้องมีดังนั้นที่เหลือมีผลรวมศูนย์และศูนย์เฉลี่ย แปรปรวนระหว่างและตัวแปรเป็นอีกครั้งที่ $X'$ $X$ $\hat \varepsilon$ $X$ $\sum_{i=1}^n \hat \varepsilon_i = 0$ $\hat \varepsilon$ $x$ และตัวแปรรวมอยู่ในรูปแบบของเราที่เรารู้ว่าจำนวนนี้เป็นศูนย์เพราะเป็นมุมฉากกับคอลัมน์ของเมทริกซ์ออกแบบทุก จึงมีความแปรปรวนเป็นศูนย์และศูนย์ความสัมพันธ์ระหว่างและตัวแปรใด ๆ ทำนายx $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$ $x$ $\hat \varepsilon$ $\hat \varepsilon$ $x$

หากคุณต้องการมุมมองทางเรขาคณิตมากขึ้นในสิ่งที่ปรารถนาของเราที่โกหกใกล้เคียงเป็นไปได้ที่จะในชนิดพีทาโกรัสของวิธีการและความจริงที่ว่าเป็นข้อ จำกัด ไปยังพื้นที่คอลัมน์ของการออกแบบเมทริกซ์ , ควรเป็นการประมาณการมุมฉากของสังเกตบนพื้นที่คอลัมน์นั้น ดังนั้นเวกเตอร์ของคลาดเคลื่อนเป็นมุมฉากกับคอลัมน์ของทุกรวมทั้งเวกเตอร์ของคนที่ $\hat y$ $y$ $\hat y$ $X$ $\hat y$ $y$ $\hat \varepsilon = y - \hat y$ $X$ $\mathbf{1_n}$ ถ้าคำว่าดักรวมอยู่ในโมเดล เมื่อก่อนนี้หมายถึงผลรวมของค่าตกค้างเป็นศูนย์ดังนั้นมุมฉากของเวกเตอร์ที่เหลือกับคอลัมน์อื่น ๆ ของทำให้มั่นใจได้ว่ามันไม่ได้มีความสัมพันธ์กับตัวทำนายแต่ละตัว $X$

Vectors in subject space of multiple regression

แต่ไม่มีอะไรที่เราได้ทำที่นี่พูดอะไรเกี่ยวกับข้อผิดพลาดที่แท้จริงεสมมติว่ามีคำที่ตัดในรูปแบบของเราคลาดเคลื่อนจะ uncorrelated เฉพาะกับเป็นผลทางคณิตศาสตร์ของลักษณะที่เราเลือกที่จะประเมินค่าสัมประสิทธิ์การถดถอยβวิธีที่เราเลือกของเราส่งผลกระทบต่อค่าคาดการณ์ของเราและด้วยเหตุที่เหลือของเรา Yถ้าเราเลือกโดย OLS เราจะต้องแก้สมการปกติและบังคับใช้เหล่านี้ที่เหลือโดยประมาณของเรา $\varepsilon$ $\hat \varepsilon$ $x$ $\hat \beta$ $\hat \beta$ $\hat y$ $\hat \varepsilon = y - \hat y$ $\hat \beta$ จะ uncorrelated กับxทางเลือกของเราของส่งผลกระทบต่อแต่ไม่และด้วยเหตุนี้การเรียกเก็บไม่มีเงื่อนไขในข้อผิดพลาดจริง)มันจะเป็นความผิดพลาดที่จะคิดว่าได้อย่างใด "ได้รับมรดก" uncorrelatedness กับจากสมมติฐานที่ OLSควรจะ uncorrelated กับxความไม่สัมพันธ์กันเกิดขึ้นจากสมการปกติ $\hat \varepsilon$ $x$ $\hat \beta$ $\hat y$ $\mathbb{E}(y)$ $\varepsilon = y - \mathbb{E}(y)$ $\hat \varepsilon$ $x$ $\varepsilon$ $x$

— สีเงิน
แหล่งที่มา

1

ไม่คุณ

หมายถึงการถดถอยโดยใช้ข้อมูลประชากร? หรือมันหมายถึงอะไรอย่างแม่นยำ?

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

— พลเมืองของภาคเหนือ

@user1559897 Yes, some textbooks will call this the "population regression line" or PRL. It's the underlying theoretical model for the population; you may also see this called the "data generating process" in some sources. (I tend to be a bit careful about saying it is the "regression on the population"... if you have a finite population, e.g. 50 states of the USA, that you perform the regression on, then this isn't quite true. If you are actually running a population on some data in your software, you are really talking about the estimated version of the regression, with the "hats")

— Silverfish

I think i see what you are saying. If i understand you correctly, the error term in the model

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$ could have non-zero expectation as well because it is a theoretical generating process, not a ols regression.

— denizen of the north

This is a great answer from statistical inference perspective. What do you think the effect would be if prediction accuracy is the primary concern? See the edit of the post.

— denizen of the north

16

Simple example:

Let $x_{i,1}$ be the number of burgers I buy on visit $i$
Let $x_{i,2}$ be the number of buns I buy.
Let $b_1$ be the price of a burger
Let $b_2$ be the price of a bun.
Independent of my burger and bun purchases, let me spend a random amount $a + \epsilon_i$ where $a$ is a scalar and $\epsilon_i$ is a mean zero random variable. We have $\operatorname{E}[\epsilon_i | X] = 0$ .
Let $y_i$ be my spending on a trip to the grocery store.

The data generating process is:

y_{i} = a + b_{1} x_{i, 1} + b_{2} x_{i, 2} + ϵ_{i}

$y_i = a + b_1x_{i,1} + b_2x_{i,2} + \epsilon_i$

If we ran that regression, we would get estimates $\hat{a}$ , $\hat{b}_1$ , and $\hat{b}_2$ , and with enough data, they would converge on $a$ , $b_1$ , and $b_2$ respectively.

(Technical note: We need a little randomness so we don't buy exactly one bun for each burger we buy at every visit to the grocery store. If we did this, $x_1$ and $x_2$ would be collinear.)

An example of omitted variable bias:

Now let's consider the model:

y_{i} = a + b_{1} x_{i, 1} + u_{i}

$y_i = a + b_1x_{i,1} + u_i$

Observe that $u_i = b_2x_{i,2} + \epsilon_i$ . Hence

\begin{aligned} Cov (x_{1}, u) & = Cov (x_{1}, b_{2} x_{2} + ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) + Cov (x_{1}, ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) \end{aligned}

$\begin{align*} \operatorname{Cov}(x_{1}, u) &= \operatorname{Cov}(x_1,b_2x_2 + \epsilon )\\ &= b_2 \operatorname{Cov}(x_{1},x_2) + \operatorname{Cov}(x_{1},\epsilon) \\ &= b_2 \operatorname{Cov}(x_{1},x_2) \end{align*}$

Is this zero? Almost certainly not! The purchase of burgers $x_1$ and the purchase of buns $x_2$ are almost certainly correlated! Hence $u$ and $x_1$ are correlated!

What happens if you tried to run the regression?

If you tried to run:

y_{i} = \hat{a} + {\hat{b}}_{1} x_{i, 1} + {\hat{u}}_{i}

$y_i = \hat{a} + \hat{b}_1 x_{i,1} + \hat{u}_i$

Your estimate $\hat{b}_1$ would almost certainly be a poor estimate of $b_1$ because the OLS regression estimates $\hat{a}, \hat{b}, \hat{u}$ would be constructed so that $\hat{u}$ and $x_1$ are uncorrelated in your sample. But the actual $u$ is correlated with $x_1$ in the population!

What would happen in practice if you did this? Your estimate $\hat{b}_1$ of the price of burgers would ALSO pickup the price of buns. Let's say every time you bought a $1 burger you tended to buy a $0.50 bun (but not all the time). Your estimate of the price of burgers might be $1.40. You'd be picking up the burger channel and the bun channel in your estimate of the burger price.

— Matthew Gunn
แหล่งที่มา

I like your burger bun example. You explained the problem from the perspective of statistical inference, ie inferring the effect of burger on price. Just wondering what the effect would be if all I care about is prediction, i.e prediction MSE on a test dataset? The intuition is that it is not going to be as good, but is there any theory to make it more precise? (this introduced more bias, but less variance, so the overall effect is not apparent to me. )

— denizen of the north

1

@user1559897 If you just care about predicting spending, then predicting spending using the number of burgers and estimating

{\hat{b}}_{1}

$\hat{b}_1$ as around $1.40 might work pretty well. If you have enough data, using the number of burgers and buns would undoubtedly work better. In short samples,

L_{1}

$L_1$ regularlization (LASSO) might send one of the coefficients

b_{1}

$b_1$ or

b_{2}

$b_2$ to zero. I think you're correctly recognizing that what you're doing in regression is estimating a conditional expectation function. My point is for that that function to capture causal effects, you need additional assumptions.

— Matthew Gunn

3

สมมติว่าเรากำลังสร้างการถดถอยของน้ำหนักสัตว์บนความสูงของมัน เห็นได้ชัดว่าน้ำหนักของปลาโลมาจะถูกวัดแตกต่างกัน (ในขั้นตอนที่แตกต่างกันและการใช้เครื่องมือที่แตกต่างกัน) จากน้ำหนักของช้างหรืองู ซึ่งหมายความว่าข้อผิดพลาดของโมเดลจะขึ้นอยู่กับความสูงเช่นตัวแปรอธิบาย พวกเขาสามารถพึ่งพาได้หลายวิธี ตัวอย่างเช่นบางทีเราอาจประเมินน้ำหนักช้างสูงเกินไปเล็กน้อยและประเมินค่างูต่ำเกินไปเล็กน้อย

ดังนั้นที่นี่เราสร้างขึ้นว่ามันง่ายที่จะจบลงด้วยสถานการณ์เมื่อข้อผิดพลาดมีความสัมพันธ์กับตัวแปรอธิบาย ตอนนี้ถ้าเราไม่สนใจเรื่องนี้และดำเนินการถดถอยตามปกติเราจะสังเกตเห็นว่าการถดถอยเหลือจะไม่มีความสัมพันธ์กับเมทริกซ์ออกแบบ นี่เป็นเพราะด้วยการออกแบบการถดถอยทำให้กองกำลังตกค้างไม่เกี่ยวข้องกัน โปรดทราบว่ายังเหลืออยู่ไม่ข้อผิดพลาดที่พวกเขากำลังประมาณการของข้อผิดพลาด ดังนั้นไม่ว่าข้อผิดพลาดนั้นจะมีความสัมพันธ์หรือไม่กับตัวแปรอิสระการประเมินข้อผิดพลาด (ส่วนที่เหลือ) จะไม่ได้ถูกนำมาคำนวณโดยการสร้างสมการถดถอย

— Aksakal
แหล่งที่มา

ระยะเวลาข้อผิดพลาดการถดถอยจะสัมพันธ์กับตัวแปรอธิบายได้อย่างไร

Simple example:

An example of omitted variable bias:

What happens if you tried to run the regression?