สมมติฐานกำลังสองน้อยที่สุด

สมมติสัมพันธ์เชิงเส้นต่อไปนี้: โดยที่เป็นตัวแปรที่ขึ้นต่อกันเป็นตัวแปรอิสระเดี่ยวและเป็นคำผิดพลาด$Y_i = \beta_0 + \beta_1 X_i + u_i$$Y_i$$X_i$$u_i$

ตาม Stock & Watson (Introduction to Econometrics; บทที่ 4 ) ข้อสมมติฐานกำลังสองน้อยที่สามคือช่วงเวลาที่สี่ของและนั้นไม่ใช่ศูนย์และ จำกัดinfty)$X_i$$u_i$$(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$

ฉันมีสามคำถาม:

1. ฉันไม่เข้าใจบทบาทของสมมติฐานนี้อย่างเต็มที่ OLS ลำเอียงและไม่สอดคล้องกันหรือไม่หากสมมติฐานนี้ไม่ถือหรือเราต้องการสมมติฐานนี้ในการอนุมาน

2. การเขียนสต็อคและวัตสัน "สมมติฐานนี้จำกัดความน่าจะเป็นของการวาดภาพการสังเกตด้วยค่าขนาดใหญ่มากของหรือ " อย่างไรก็ตามสัญชาตญาณของฉันก็คือสมมติฐานนี้มาก เรามีปัญหาหรือไม่ถ้าเรามีค่าผิดปกติจำนวนมาก (เช่นช่วงเวลาที่สี่มีขนาดใหญ่) แต่ถ้าค่าเหล่านี้ยังคง จำกัด ? โดยวิธีการ: คำจำกัดความพื้นฐานเป็นสิ่งที่ผิด?$X_i$$u_i$

3. เราสามารถจัดรูปแบบใหม่ได้ดังนี้: "kurtosis ของและนั้นไม่ใช่ศูนย์และ จำกัด "$X_i$$u_i$

คุณไม่จำเป็นต้องมีข้อสมมติฐานในช่วงเวลาที่ 4 เพื่อความสอดคล้องของตัวประมาณค่า OLS แต่คุณจำเป็นต้องมีข้อสมมติฐานในช่วงเวลาที่สูงขึ้นของ$x$ และ $\epsilon$ สำหรับค่าปกติเชิงเส้นกำกับและประมาณค่าอย่างสม่ำเสมอว่าเมทริกซ์ความแปรปรวนร่วมซีโมติกเป็นอย่างไร

ในบางแง่มุมนั่นคือจุดทางคณิตศาสตร์และทางเทคนิคไม่ใช่จุดที่ใช้งานได้จริง สำหรับ OLS จะทำงานได้ดีในกลุ่มตัวอย่างที่ จำกัด ในบางแง่มุมต้องมากกว่าสมมติฐานขั้นต่ำที่จำเป็นในการบรรลุความมั่นคงเชิงเส้นหรือเชิงบรรทัดฐานเช่น$n \rightarrow \infty$.

เงื่อนไขที่เพียงพอสำหรับความสอดคล้อง:

หากคุณมีสมการการถดถอย:

$$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$$

ตัวประมาณ OLSสามารถเขียนเป็น: $\hat{\mathbf{b}}$

$$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$$

เพื่อความสอดคล้องคุณจะต้องสามารถใช้กฎของตัวเลขขนาดใหญ่ของ Kolmogorov หรือในกรณีของอนุกรมเวลาที่มีการพึ่งพาอนุกรมสิ่งที่คล้ายกับทฤษฎีบท Ergodic ของ Karlin และ Taylor เพื่อ:

$$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$$

สมมติฐานอื่น ๆ ที่จำเป็นคือ:

• $\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$นั้นเต็มยศและเมทริกซ์นั้นกลับด้านได้
• regressors มีการกำหนดไว้อย่างเคร่งครัดหรือภายนอกเพื่อให้{0}$\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

จากนั้นและคุณได้รับ$\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$$\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

หากคุณต้องการทฤษฎีบทขีด จำกัด กลางเพื่อนำไปใช้แล้วคุณจะต้องตั้งสมมติฐานเกี่ยวกับช่วงเวลาที่สูงขึ้นเช่นที่\ ทฤษฎีขีด จำกัด กลางคือสิ่งที่ให้คุณเป็นค่าปกติเชิงเส้นกำกับของและช่วยให้คุณสามารถพูดคุยเกี่ยวกับข้อผิดพลาดมาตรฐาน สำหรับช่วงเวลาที่สองอยู่คุณจำเป็นต้องมีช่วงเวลาที่ 4 ของและอยู่ คุณต้องการยืนยันว่าที่ไหน$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$\mathbf{g_i} = \mathbf{x}_i \epsilon_i$$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$x$$\epsilon$$\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$$\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ขวา] เพื่อให้การทำงานต้องมีขอบเขตแน่นอน$\Sigma$

การอภิปรายที่ดี (ซึ่งมีแรงจูงใจในโพสต์นี้) จะได้รับในฮายาชิของเศรษฐ (ดูเพิ่มเติมที่ 149 สำหรับช่วงเวลาที่ 4 และการประมาณค่าความแปรปรวนร่วม)

อภิปรายผล:

ข้อกำหนดเหล่านี้ในช่วงเวลาที่ 4 อาจเป็นจุดทางเทคนิคมากกว่าจุดที่ใช้งานได้จริง คุณอาจจะไม่ได้พบกับการกระจายทางพยาธิวิทยาที่นี่เป็นปัญหาในข้อมูลทุกวัน? มันเป็นเรื่องธรรมดาสามัญหรือข้อสันนิษฐานอื่น ๆ ของ OLS ที่จะผิดไป

คำถามที่แตกต่างที่ไม่ต้องสงสัยตอบที่อื่นใน Stackexchange คือตัวอย่างที่คุณต้องการสำหรับกลุ่มตัวอย่างที่ จำกัด เพื่อให้ได้ผลลัพธ์ที่ใกล้เคียงที่สุด มีความรู้สึกที่ค่าผิดปกติที่ยอดเยี่ยมนำไปสู่การบรรจบกันช้า ตัวอย่างเช่นลองประเมินค่าเฉลี่ยของการแจกแจงแบบปกติที่มีความแปรปรวนสูงมาก ค่าเฉลี่ยตัวอย่างเป็นค่าประมาณค่าเฉลี่ยที่สอดคล้องกันของค่าเฉลี่ยของประชากร แต่ในกรณีบันทึกปกติที่มีความเคอร์ติสเกินบ้า ฯลฯ ... (ตามลิงค์) ผลลัพธ์ตัวอย่าง จำกัด มีค่าค่อนข้างมาก

อนันต์กับอนันต์เป็นความแตกต่างที่สำคัญอย่างมากในวิชาคณิตศาสตร์ นั่นไม่ใช่ปัญหาที่คุณพบในสถิติประจำวัน ปัญหาการปฏิบัติมีมากขึ้นในหมวดหมู่ขนาดเล็กและขนาดใหญ่ ความแปรปรวน, เคิร์ตซีอุสและอื่น ๆ ... เล็กพอที่จะทำให้ฉันสามารถประมาณค่าได้ตามขนาดตัวอย่างใช่หรือไม่

ตัวอย่างทางพยาธิวิทยาที่ตัวประมาณ OLS มีความสอดคล้อง แต่ไม่ปกติ

พิจารณา:

$$y_i = b x_i + \epsilon_i$$ ไหนแต่ถูกดึงมาจากเสื้อกับการกระจาย 2 องศาอิสระจึง\ ประมาณการ OLS มาบรรจบกันน่าจะเป็นแต่การกระจายตัวอย่างสำหรับประมาณการ OLSไม่ได้กระจาย ด้านล่างคือการแจกแจงเชิงประจักษ์สำหรับจาก 10,000 การจำลองของการถดถอยโดยมีการสังเกต 10,000 ครั้ง$x_i \sim \mathcal{N}(0,1)$$\epsilon_i$$\mathrm{Var}(\epsilon_i) = \infty$$b$$\hat{b}$$\hat{b}$

การกระจายของไม่ปกติหางมีน้ำหนักมาก แต่ถ้าคุณเพิ่มระดับความอิสระเป็น 3 เพื่อให้ช่วงเวลาที่สองของมีอยู่แล้วขีด จำกัด กลางจะถูกนำมาใช้และคุณจะได้รับ: $\hat{b}$$\epsilon_i$

รหัสที่จะสร้างมัน:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

1. นี่เป็นข้อสมมติฐานที่เพียงพอ แต่ไม่ใช่ [1] น้อยที่สุด OLS ไม่ได้ลำเอียงภายใต้เงื่อนไขเหล่านี้ แต่ก็ไม่สอดคล้องกัน คุณสมบัติ asymptotic ของ OLS จะพังเมื่อสามารถมีอิทธิพลอย่างมากและ / หรือถ้าคุณสามารถได้รับส่วนที่เหลือที่มีขนาดใหญ่มาก คุณอาจไม่ได้พบกับการนำเสนออย่างเป็นทางการของทฤษฎีบทขีด จำกัด กลางของ Lindeberg Feller แต่นั่นคือสิ่งที่พวกเขากำลังพูดถึงที่นี่พร้อมกับช่วงเวลาที่สี่และเงื่อนไขของ Lindeberg บอกเราโดยพื้นฐานในสิ่งเดียวกัน: ไม่มีคะแนนอิทธิพลมากเกินไป คะแนน [2]$X$

2. การวางรากฐานทางสถิติเหล่านี้ทำให้เกิดความสับสนอย่างมากเมื่อต้มลงเพื่อการใช้งานจริง ไม่มีคำนิยามของค่าผิดปกติมันเป็นแนวคิดที่ใช้งานง่าย เพื่อให้เข้าใจอย่างถ่องแท้การสังเกตจะต้องเป็นจุดยกระดับสูงหรือจุดอิทธิพลที่มีอิทธิพลสูงเช่นหนึ่งที่การวินิจฉัยการลบ (DF เบต้า) มีขนาดใหญ่มากหรือระยะทาง Mahalanobis ในตัวทำนายนั้นมีขนาดใหญ่ นั่นเป็นเพียงคะแนน Z) แต่ให้กลับไปสู่เรื่องจริง: ถ้าฉันทำการสำรวจแบบสุ่มของผู้คนและรายได้ของครอบครัวและจาก 100 คน 1 ในตัวอย่างที่ฉันเป็นเศรษฐีการคาดเดาที่ดีที่สุดของฉันคือเศรษฐีเป็นตัวแทนของ 1% ของประชากร . ในการบรรยาย biostatistcs อาจารย์ใหญ่เหล่านี้จะกล่าวถึงและเน้นว่าเครื่องมือวินิจฉัยใด ๆ ที่เป็นหลักสำรวจ [3]ไม่ใช่ "การวิเคราะห์ที่ยกเว้นค่าผิดปกติคือสิ่งที่ฉันเชื่อ" เป็น "การลบจุดหนึ่งเปลี่ยนการวิเคราะห์ของฉันอย่างสิ้นเชิง"

3. Kurtosis เป็นปริมาณสเกลซึ่งขึ้นอยู่กับช่วงเวลาที่สองของการแจกแจง แต่การสันนิษฐานของความแปรปรวนที่ไม่เป็นศูนย์สำหรับค่าเหล่านี้เป็นสิ่งที่ไม่มีนัยใด ๆ เพราะมันเป็นไปไม่ได้สำหรับคุณสมบัตินี้ที่จะถือในช่วงเวลาที่สี่ โดยทั่วไปแล้วใช่ แต่โดยรวมแล้วฉันไม่เคยตรวจสอบ kurtosis หรือช่วงเวลาที่สี่ ฉันไม่พบพวกเขาที่จะเป็นประโยชน์หรือใช้งานง่าย ในวันนี้เมื่อพล็อตฮิสโตแกรมหรือสแกตเตอร์กระจายออกมาจากนิ้วมือของมันมันทำให้เราต้องใช้สถิติการวินิจฉัยเชิงคุณภาพกราฟิกโดยการตรวจสอบแปลงเหล่านี้

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html