ความแตกต่างระหว่างตัวประมาณที่สอดคล้องกันและตัวประมาณที่ไม่เอนเอียงคืออะไร?

125

ฉันแปลกใจจริงๆที่ไม่มีใครถามคำถามนี้แล้ว ...

เมื่อพูดถึงเครื่องมือประมาณสองคำที่ใช้บ่อยคือ "สอดคล้อง" และ "ไม่เอนเอียง" คำถามของฉันง่าย: อะไรคือความแตกต่าง?

คำจำกัดความทางเทคนิคที่แม่นยำของคำเหล่านี้มีความซับซ้อนอย่างเป็นธรรมและมันเป็นเรื่องยากที่จะได้รับความรู้สึกที่ใช้งานง่ายสำหรับสิ่งที่พวกเขาหมายถึง ฉันจินตนาการได้ว่าตัวประมาณที่ดีและตัวประมาณที่แย่ แต่ฉันมีปัญหาในการดูว่าตัวประมาณตัวใดสามารถสนองเงื่อนไขหนึ่งได้และไม่ใช่อีกตัว

unbiased-estimator estimators consistency

— MathematicalOrchid
แหล่งที่มา

คุณได้ดูตัวเลขแรกในบทความ Wikipedia เกี่ยวกับตัวประมาณที่สอดคล้องกันซึ่งอธิบายถึงความแตกต่างนี้โดยเฉพาะหรือไม่?

— whuber

ฉันอ่านบทความเกี่ยวกับความสอดคล้องและความเอนเอียงแล้ว แต่ฉันยังไม่เข้าใจความแตกต่าง (ตัวเลขที่คุณอ้างถึงการอ้างสิทธิ์ว่าตัวประมาณมีความสอดคล้องกัน แต่เอนเอียง แต่ไม่ได้อธิบายว่าทำไม )

— MathematicalOrchid

ส่วนใดของคำอธิบายที่คุณต้องการความช่วยเหลือ คำบรรยายใต้ภาพชี้ให้เห็นว่าแต่ละตัวประมาณค่าในลำดับนั้นมีความลำเอียงและยังอธิบายว่าทำไมลำดับจึงสอดคล้อง คุณต้องการคำอธิบายว่าอคติในการประมาณเหล่านี้มีความชัดเจนจากตัวเลขได้อย่างไร

— whuber

+1 กระทู้แสดงความคิดเห็นต่อหนึ่งคำตอบเหล่านี้ส่องสว่างมากทั้งสิ่งที่เปิดเผยเกี่ยวกับหัวข้อและเป็นตัวอย่างที่น่าสนใจว่าชุมชนออนไลน์สามารถทำงานเพื่อเปิดเผยและแก้ไขความเข้าใจผิดได้อย่างไร

— whuber

ที่เกี่ยวข้อง: stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

คำตอบ:

126

หากต้องการกำหนดสองคำโดยไม่ใช้ภาษาทางเทคนิคมากเกินไป:

ตัวประมาณมีความสอดคล้องกันหากขนาดตัวอย่างเพิ่มขึ้นค่าประมาณ (ผลิตโดยตัวประมาณค่า) จะ "รวมค่า" เข้ากับมูลค่าที่แท้จริงของพารามิเตอร์ที่ประมาณไว้ จะมีความแม่นยำมากขึ้นเล็กน้อย - ความสอดคล้องหมายความว่าเมื่อขนาดของตัวอย่างเพิ่มขึ้นการกระจายตัวตัวอย่างของตัวประมาณจะเข้มข้นขึ้นที่ค่าพารามิเตอร์จริง
ตัวประมาณจะไม่เอนเอียงหากโดยเฉลี่ยแล้วจะกระทบกับค่าพารามิเตอร์จริง นั่นคือค่าเฉลี่ยของการกระจายตัวตัวอย่างของตัวประมาณค่าเท่ากับค่าพารามิเตอร์จริง
ทั้งสองไม่เท่ากัน: ความเอนเอียงเป็นข้อความเกี่ยวกับมูลค่าที่คาดหวังของการกระจายตัวตัวอย่างของตัวประมาณ ความสอดคล้องเป็นข้อความเกี่ยวกับ "ที่การกระจายตัวตัวอย่างของตัวประมาณเกิดขึ้น" เมื่อขนาดตัวอย่างเพิ่มขึ้น

แน่นอนว่าเป็นไปได้สำหรับเงื่อนไขหนึ่งที่จะทำให้พอใจ แต่ไม่ใช่อย่างอื่น - ฉันจะยกตัวอย่างสองตัวอย่าง สำหรับทั้งสองตัวอย่างพิจารณาตัวอย่างจากประชากร $X_1, ..., X_n$ $N(\mu, \sigma^2)$

เป็นกลาง แต่ไม่สอดคล้อง:สมมติว่าคุณกำลังประเมิน\จากนั้นเป็นประมาณการที่เป็นกลางจากตั้งแต่\ แต่ไม่สอดคล้องกันเนื่องจากการแจกแจงไม่เข้มข้นมากขึ้นเมื่อขนาดตัวอย่างเพิ่มขึ้น - มันจะเป็นเสมอ ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
ที่สอดคล้องกัน แต่ไม่เป็นกลาง:สมมติว่าคุณกำลังประเมิน 2 ตัวประมาณค่าความน่าจะเป็นสูงสุดคือโดยที่คือค่าเฉลี่ยตัวอย่าง มันเป็นความจริงที่ว่า herefore,ซึ่งได้มาโดยใช้ข้อมูลที่นี่ ดังนั้นจะมีอคติสำหรับขนาดตัวอย่างใด ๆ ที่ จำกัด เราสามารถหาได้อย่างง่ายดายว่าจากข้อเท็จจริงเหล่านี้เราสามารถเห็นได้ว่า การกระจายของ $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ มีมากขึ้นและมีความเข้มข้นมากกว่าที่เป็นเพิ่มขึ้นขนาดของกลุ่มตัวอย่างตั้งแต่เฉลี่ยบรรจบเพื่อและความแปรปรวนบรรจบไป0( หมายเหตุ:นี่ถือเป็นการพิสูจน์ความมั่นคงโดยใช้อาร์กิวเมนต์เดียวกับที่ใช้ในคำตอบที่นี่ ) $\sigma^2$ $\sigma^2$ $0$

— มาโคร
แหล่งที่มา

(+1) ไม่ใช่ MLE ทั้งหมดที่สอดคล้องกัน: ผลลัพธ์ทั่วไปคือมีลำดับที่สอดคล้องกันในลำดับของ MLEs เพื่อความสอดคล้องที่เหมาะสมต้องมีข้อกำหนดเพิ่มเติมเล็กน้อยเช่นการระบุตัวบุคคล ตัวอย่างของ MLE ที่ไม่สอดคล้องกันนั้นจะพบได้ในโมเดลข้อผิดพลาดในตัวแปรบางตัว (ซึ่ง "สูงสุด" กลายเป็นจุดอานม้า)

— MånsT

ELE MLEs ที่ฉันพูดถึงอาจไม่ใช่ตัวอย่างที่ดีเนื่องจากฟังก์ชันความน่าจะเป็นถูก จำกัด และไม่มีค่าสูงสุด พวกเขาเป็นตัวอย่างที่ดีเกี่ยวกับวิธีการที่ ML สามารถล้มเหลวได้ :) ฉันขอโทษที่ฉันไม่สามารถให้ลิงก์ที่เกี่ยวข้องได้ในตอนนี้ - ฉันอยู่ระหว่างพักร้อน

— MånsT

ขอบคุณ @ MånsT เงื่อนไขที่จำเป็นถูกระบุไว้ในลิงค์ แต่ไม่ชัดเจนจากถ้อยคำ

— มาโคร

เพียงแค่สังเกตด้าน: พื้นที่พารามิเตอร์ไม่แน่นอนที่มีขนาดกะทัดรัดในกรณีนี้ในทางตรงกันข้ามกับเงื่อนไขที่ลิงค์ว่าไม่เป็นบันทึกของความน่าจะเป็นเว้า WRTตัวเอง แน่นอนว่าผลลัพธ์ความสอดคล้องยังคงมีอยู่แน่นอน

σ^{2}

$\sigma^2$

— พระคาร์ดินัล

คุณพูดถูกแล้ว @ cardinal ฉันจะลบข้อมูลอ้างอิงนั้น มันชัดเจนเพียงพอที่และแต่ฉันไม่อยากหลงทาง จุดด้วยการเปลี่ยนนี้ในการออกกำลังกายในการพิสูจน์ความสอดคล้องของที่ 2

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— มาโคร

ความสอดคล้องของตัวประมาณหมายความว่าเมื่อขนาดตัวอย่างใหญ่ขึ้นการประมาณจะยิ่งเข้าใกล้มูลค่าที่แท้จริงของพารามิเตอร์มากขึ้น ความเอนเอียงเป็นสมบัติตัวอย่าง จำกัด ที่ไม่ได้รับผลกระทบจากการเพิ่มขนาดตัวอย่าง การประมาณการจะไม่เอนเอียงหากค่าที่คาดหวังเท่ากับค่าพารามิเตอร์จริง สิ่งนี้จะเป็นจริงสำหรับทุกขนาดตัวอย่างและเป็นจริงในขณะที่ความสอดคล้องเป็นแบบซีมโทติคและมีค่าเท่ากันโดยประมาณและไม่แน่นอน

ในการบอกว่าตัวประมาณไม่เอนเอียงหมายความว่าถ้าคุณเอาตัวอย่างขนาดจำนวนมากและคำนวณการประมาณการในแต่ละครั้งค่าเฉลี่ยของการประมาณทั้งหมดเหล่านี้จะใกล้เคียงกับค่าพารามิเตอร์จริงและจะเข้าใกล้มากขึ้นตามจำนวนครั้งที่คุณเพิ่มขึ้น . ค่าเฉลี่ยตัวอย่างมีความสอดคล้องและไม่เอนเอียง ค่าประมาณตัวอย่างของค่าเบี่ยงเบนมาตรฐานจะเอนเอียง แต่สอดคล้องกัน $n$

อัปเดตหลังจากการสนทนาในความคิดเห็นด้วย @cardinal และ @Macro:ตามที่อธิบายไว้ด้านล่างมีกรณีทางพยาธิวิทยาที่เห็นได้ชัดว่ามีความแปรปรวนไม่จำเป็นต้องไปที่ 0 เพื่อให้ตัวประมาณมีความสอดคล้องกันและอคติไม่จำเป็นต้องไป 0 เช่นกัน

— Michael Chernick
แหล่งที่มา

@MichaelChernick +1 สำหรับคำตอบของคุณ แต่เกี่ยวกับความคิดเห็นของคุณแปรปรวนของประมาณการที่สอดคล้องกันไม่จำเป็นต้องไปที่0ตัวอย่างเช่นถ้าเป็นตัวอย่างจาก ,จากนั้นเป็นตัวประมาณที่สอดคล้องกันของแต่สำหรับทุกn

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator: (+2) อคติไม่จำเป็นต้องลดลงถึงศูนย์เช่นกันแม้ว่าจะมีค่าเฉลี่ยสำหรับแต่ละ

n

$n$

— สำคัญ

Michael คำตอบของคุณค่อนข้างดี ฉันคิดว่าความสับสนนั้นได้รับการแนะนำจากความคิดเห็นแรกของคุณซึ่งนำไปสู่การมีสองข้อความที่เป็นเท็จและเป็นไปได้ที่จะเกิดความสับสน (อันที่จริงนักเรียนหลายคนเดินออกไปจากเบื้องต้นระดับสถิติที่จบการศึกษาได้อย่างแม่นยำความเข้าใจผิดเหล่านี้เนื่องจากการวาดภาพที่ไม่ดีระหว่างโหมดที่แตกต่างของการบรรจบกันและความหมายของพวกเขาความคิดเห็นล่าสุดของคุณอาจจะถูกนำไปเป็นเพียงเล็กน้อยในด้านที่รุนแรง..)

— พระคาร์ดินัล

ขออภัยสองประโยคแรกในความคิดเห็นแรกของคุณและความคิดเห็นที่สองทั้งหมดเป็นเท็จ แต่ฉันเกรงว่าจะไม่เกิดผลหากคุณพยายามโน้มน้าวใจคุณให้รู้ข้อเท็จจริงเหล่านี้

— พระคาร์ดินัล

นี่เป็นตัวอย่างที่ไร้สาระ แต่เป็นตัวอย่างที่เรียบง่าย ความคิดคือการอธิบายสิ่งที่ผิดพลาดและสาเหตุ มันไม่ได้มีการใช้งานจริง ตัวอย่าง : พิจารณาโมเดล iid ทั่วไปด้วยช่วงเวลาที่ จำกัด ปล่อยโดยที่เป็นอิสระจากและแต่ละอันที่มีความน่าจะเป็นและเป็นศูนย์มิฉะนั้นด้วยโดยพลการ จากนั้นไม่เอนเอียงมีความแปรปรวนล้อมรอบด้านล่างด้วยและ

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ เกือบจะแน่นอน (มันสอดคล้องกันอย่างยิ่ง) ฉันออกจากการออกกำลังกายในกรณีที่เกี่ยวกับอคติ

— พระคาร์ดินัล

-5

ความสอดคล้อง: อธิบายได้ดีมากก่อน [เมื่อขนาดของกลุ่มตัวอย่างเพิ่มขึ้นค่าประมาณ (ผลิตโดยผู้ประมาณค่า) "มาบรรจบกัน" เป็นค่าที่แท้จริงของพารามิเตอร์ที่ถูกประเมิน]

ความเป็นกลาง: เป็นไปตามสมมติฐาน 1-5 MLR ที่รู้จักกันในทฤษฎีบทเกาส์ - มาร์คอฟ

เชิงเส้น
การสุ่มตัวอย่าง
ศูนย์คาดหวังข้อผิดพลาดหมายถึงเงื่อนไข
ไม่มี collinearity ที่สมบูรณ์แบบ
homoskedasticity

จากนั้นตัวประมาณจะบอกว่าเป็น BLUE (ตัวประมาณค่าแบบไม่มีเส้นตรงที่ดีที่สุด

— Nikolina Langura
แหล่งที่มา