ตัวอย่างของตัวประมาณค่าที่สอดคล้องและเอนเอียง?

13

นิ่งงันจริงๆในอันนี้ ฉันต้องการตัวอย่างหรือสถานการณ์ที่ตัวประมาณค่า B จะสอดคล้องและลำเอียง

mathematical-statistics estimation econometrics

3

นี่เป็นคลาสหรือไม่?

— Glen_b -Reinstate Monica

5

ฉันคิดว่าสเปคล่าช้าที่คุณกำลังมองหาตัวอย่างอนุกรมเวลาเปลี่ยนสิ่งนี้ให้เป็นคำถามที่แตกต่างเพราะมันจะทำให้คำตอบที่ยอดเยี่ยมที่ให้ไว้นั้นไม่ถูกต้อง แต่นี่เป็นเรื่องดี - คุณสามารถถามคำถามใหม่ได้

— Sycorax พูดว่า Reinstate Monica

6

ฉันเห็นคุณได้เปลี่ยนคำถามของคุณ เนื่องจากมีคำตอบหลายข้อที่จัดการกับคำถามก่อนหน้าของคุณแล้วฉันขอแนะนำให้คุณเปลี่ยนกลับและโพสต์คำถามใหม่โดยเฉพาะสำหรับรุ่นอนุกรมเวลา

— JohnK

3

เป็นเรื่องที่น่าแปลกใจที่แม้ว่าคุณจะถามหาตัวประมาณค่าเวลาที่เกี่ยวข้อง แต่ก็ไม่มีใครพูดถึง OLS สำหรับ AR (1) เครื่องมือประมาณนั้นลำเอียง แต่ก็สอดคล้องกันและมันค่อนข้างง่ายที่จะแสดง (และ googling จะให้ข้อมูลมากมายเกี่ยวกับเรื่องนี้) แก้ไข: ก็จะปรากฏเป็นคำขออนุกรมเวลาเป็นยังปลายซึ่งจะอธิบายการขาดของคำตอบดังกล่าว ...

— hejseb

2

นี่เป็นตัวอย่างเล็ก ๆ น้อย ๆ สวย:

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$ ,

ϵ \neq 0

$\epsilon \neq 0$ 0

— dsaxton

24

ตัวอย่างที่ง่ายที่สุดที่ฉันนึกได้คือความแปรปรวนตัวอย่างที่มาจากสัญชาตญาณของพวกเราส่วนใหญ่นั่นคือผลรวมของการเบี่ยงเบนกำลังสองหารด้วย $n$ แทน $n-1$ :

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

มันง่ายที่จะแสดงว่า $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ และตัวประมาณนั้นมีอคติ แต่สมมติว่าความแปรปรวน จำกัด $\sigma^2$ สังเกตว่าอคตินั้นมีค่าเท่ากับศูนย์เป็น $n \to \infty$ เพราะ

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

นอกจากนี้ยังสามารถแสดงให้เห็นว่าความแปรปรวนของประมาณการมีแนวโน้มที่จะเป็นศูนย์และเพื่อให้ลู่ประมาณการในค่าเฉลี่ยตาราง ดังนั้นจึงยังบรรจบกันในความน่าจะเป็น

— JohnK
แหล่งที่มา

1

นี่เป็นตัวอย่างที่มีประโยชน์แม้ว่ามันอาจใช้การตีความที่ค่อนข้างอ่อนแอของ "ลำเอียง" ที่นี่ (ซึ่งใช้ค่อนข้างคลุมเครือในคำถามตัวเอง) เราสามารถขอสิ่งที่แข็งแกร่งกว่าได้เช่นลำดับของตัวประมาณที่สอดคล้องกัน แต่ด้วยอคติที่ไม่หายไปแม้จะไม่แสดงอาการ

— พระคาร์ดินัล

@cardinal ความลำเอียงจะต้องหายไปอย่างไม่มีอาการเพื่อให้ผู้ประมาณค่าสอดคล้องกันใช่ไหม

— JohnK

3

Nope (ดูสตรีมความคิดเห็นเพื่อดูรายละเอียดเพิ่มเติม)

— พระคาร์ดินัล

ฉันจะคิดว่ามันจะเป็นประโยชน์โทรประมาณการของคุณ

มากกว่า

เป็น

ส่วนใหญ่มักหมายถึงการประมาณการที่เป็นกลางขณะ

มักจะหมายถึง MLE

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— หน้าผา AB

@CliffAB ใช่นี้คือสิ่งที่ดัชนี

หมายถึงผลรวมของส่วนเบี่ยงเบน squared ถูกหารด้วย

แทนของเดิม

1

n

$n$

n

$n$

n - 1

$n-1$

— JohnK

9

ตัวอย่างง่ายๆจะได้รับการประเมินพารามิเตอร์ให้สังเกต IID $\theta > 0$ $n$ ] $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

ให้ }สำหรับทุก ๆเรามี (ดังนั้นตัวประมาณจึงลำเอียง) แต่ในขีด จำกัด มันจะเท่ากับด้วยความน่าจะเป็นที่หนึ่ง (เพื่อให้สอดคล้องกัน) $\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

— เอเดรีย
แหล่งที่มา

7

พิจารณาใด ๆ ที่เป็นกลางและสอดคล้องประมาณการและลำดับบรรจบถึง 1 ( ความจำเป็นที่จะไม่สุ่ม) และแบบฟอร์ม nมันลำเอียง แต่มีความสอดคล้องกันตั้งแต่รวมเป็น 1 $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

จากวิกิพีเดีย:

การพูดอย่างหลวม ๆ ตัวประมาณของพารามิเตอร์ถูกกล่าวว่าสอดคล้องกันถ้ามันมาบรรจบกันในความน่าจะเป็นกับมูลค่าที่แท้จริงของพารามิเตอร์: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

ทีนี้จำได้ว่าความเอนเอียงของตัวประมาณนั้นถูกกำหนดเป็น:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

อคตินั้นไม่เป็นศูนย์จริง ๆ และการลู่เข้าในความน่าจะเป็นยังคงเป็นจริง

— RUser4512
แหล่งที่มา

ฉันขอขอบคุณคำตอบและคำอธิบาย ตอนนี้ฉันมีความเข้าใจที่ดีขึ้น ขอบคุณ

— Jimmy Wiggles

คำตอบนี้ต้องเป็นผู้เยาว์แก้ไขขึ้นที่จุดเริ่มต้นที่จะทำให้เห็นได้ชัดว่าไม่เป็นกลางใด ๆ

จะทำ ลำดับตัวประมาณค่าดั้งเดิมต้องสอดคล้องกัน

T_{n}

$T_n$

— พระคาร์ดินัล

3

ในการตั้งค่าอนุกรมเวลาที่มีตัวแปรตามที่ล้าหลังรวมอยู่ใน regressor ตัวประมาณ OLS จะสอดคล้องกัน แต่ลำเอียง เหตุผลของเรื่องนี้ก็คือว่าในเพื่อที่จะแสดง unbiasedness ของ OLS ประมาณการเราต้อง exogeneity เข้มงวดนั่นคือข้อผิดพลาด, , ในช่วงเวลาไม่เกี่ยวข้องกับ regressors ทั้งหมดในช่วงเวลาทั้งหมด อย่างไรก็ตามในการที่จะแสดงให้เห็นความสอดคล้องของ OLS ประมาณการเราจะต้อง exogeneity contemporanous,คือว่าคำว่าข้อผิดพลาดในช่วงเวลาเป็น uncorrelated กับ regressors ที่ในช่วงเวลาทีพิจารณาโมเดล AR (1): $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ $t$ ด้วยนับจากนี้เป็นต้นไป $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

แรกฉันแสดงว่า exogeneity ที่เข้มงวดไม่ได้ถือในรูปแบบที่มีตัวแปรขึ้นอยู่กับ lagged รวมเป็น regressor ลองดูความสัมพันธ์ระหว่างและ $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

ถ้าเราสมมติว่ามีความเป็นเอกฐานลำดับคือคำว่าข้อผิดพลาดในช่วงเวลาเป็น uncorrelated กับ regressors ในช่วงเวลาก่อนหน้านี้และปัจจุบันทั้งหมดแล้วในระยะแรกข้างต้นจะหายไป สิ่งที่ชัดเจนจากด้านบนคือยกเว้นว่าเรามีความเป็นจริงอย่างเข้มงวดความคาดหวัง $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ 0แต่ก็ควรมีความชัดเจนว่า exogeneity สมัยไม่ถือ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

ทีนี้เรามาดูความเอนเอียงของ OLS estimator เมื่อประเมินโมเดล AR (1) ที่ระบุข้างต้น ประมาณการ OLS ของ , จะได้รับเป็น: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

$E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

$plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

$T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

$p$ $\hat{\rho}$

— Plissken
แหล่งที่มา