อะไรคือความสัมพันธ์ระหว่างตัวประมาณและตัวประมาณ?

21

estimation terminology estimators

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

5

"ในสถิติตัวประมาณเป็นกฎสำหรับการคำนวณการประมาณของปริมาณที่กำหนดตามข้อมูลที่สังเกต: ดังนั้นกฎและผลลัพธ์ (การประมาณ) จึงแตกต่าง" (บรรทัดแรกของบทความ Wikipedia en.wikipedia.org/wiki/Estimator )

— whuber

+1 ฉันตอบคำถามนี้ (แม้จะมีคำตอบที่มีการกำหนดอย่างดีในหน้า Wikipedia ที่ชัดเจน) เพราะความพยายามครั้งแรกในการตอบคำถามที่นี่ได้ชี้ไปที่รายละเอียดปลีกย่อยบางอย่าง

— whuber

@ เมื่อไรฉันสามารถพูดได้ว่าการประมาณพารามิเตอร์โมเดลเป็นตัวประมาณหรือไม่

— อะโวคาโด

2

@loganecolss ตัวประมาณเป็นฟังก์ชันทางคณิตศาสตร์ นั่นคือความแตกต่างจากค่า (ประมาณการ) มันอาจบรรลุสำหรับชุดข้อมูลใด ๆ วิธีหนึ่งที่จะชื่นชมความแตกต่างคือการทราบว่าชุดของข้อมูลบางอย่างจะสร้างการประมาณเดียวกันของความชันในการถดถอยเชิงเส้นโดยใช้ตัวประมาณที่แตกต่างกัน(เช่นความน่าจะเป็นสูงสุดหรือซ้ำอย่างน้อย หากไม่มีการแยกการประมาณที่แตกต่างจากตัวประมาณที่ใช้ในการสร้างการประมาณเหล่านั้นเราจะไม่สามารถเข้าใจสิ่งที่คำพูดนั้นพูดได้

— whuber

@ โฮเบอร์ถึงแม้จะมีชุดข้อมูลหนึ่งชุดตัวประมาณที่ต่างกันก็สามารถให้ค่าประมาณต่างกันใช่มั้ย

D

$D$

— อะโวคาโด

13

EL Lehmann ในทฤษฎีการประมาณแต้มแบบคลาสสิกของเขาตอบคำถามนี้ใน pp 1-2

ขณะนี้การสังเกตได้รับการตั้งสมมติฐานว่าเป็นค่าที่ใช้โดยตัวแปรสุ่มซึ่งสันนิษฐานว่าเป็นไปตามการแจกแจงความน่าจะเป็นร่วม, , เป็นของคลาสที่รู้จักกันบางส่วน ... $P$

... ขอให้เราชำนาญในการประมาณค่า ... สมมติว่าเป็นฟังก์ชันที่มีคุณค่าจริง ๆ ที่นิยามไว้ในคลาสที่มีการแจกแจงและเราต้องการทราบค่าของ [ไม่ว่าการกระจายตัวจริงจะเป็นอะไรใน ผลกระทบ ] น่าเสียดายที่และดังนั้นจึงไม่รู้จักอย่างไรก็ตามข้อมูลที่สามารถใช้ในการขอรับการประมาณการของค่าที่หนึ่งหวังจะใกล้เคียงกับtheta) $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

ในคำพูด: ตัวประมาณค่าเป็นขั้นตอนทางคณิตศาสตร์ที่แน่นอนซึ่งมีตัวเลข ( ค่าประมาณ ) สำหรับชุดข้อมูลที่เป็นไปได้ใด ๆ ที่ปัญหาเฉพาะสามารถสร้างขึ้นได้ หมายเลขนั้นมีไว้เพื่อแสดงคุณสมบัติตัวเลขที่แน่นอน ( ) ของกระบวนการสร้างข้อมูล เราอาจเรียกสิ่งนี้ว่า $g(\theta)$

ตัวประมาณไม่ได้เป็นตัวแปรสุ่ม: มันเป็นเพียงฟังก์ชันทางคณิตศาสตร์ อย่างไรก็ตามการประมาณที่สร้างขึ้นนั้นขึ้นอยู่กับข้อมูลซึ่งตัวมันเองถูกจำลองเป็นตัวแปรสุ่ม สิ่งนี้ทำให้การประมาณค่า (คิดว่าขึ้นอยู่กับข้อมูล) เป็นตัวแปรสุ่มและการประมาณค่าเฉพาะสำหรับชุดข้อมูลเฉพาะจะกลายเป็นการรับรู้ของตัวแปรสุ่มนั้น

หนึ่งใน (ธรรมดา) สามัญสูตรสองน้อยที่สุดข้อมูลที่ประกอบด้วยคู่สั่งซื้อy_i) ได้รับการกำหนดโดยการทดลอง (พวกเขาสามารถเป็นปริมาณของยาเสพติดยาเป็นต้น) แต่ละ (การตอบสนองกับยาเสพติดเป็นต้น) จะถือว่ามาจากการกระจายความน่าจะเป็นที่เป็นปกติ แต่มีไม่รู้จักเฉลี่ยและทั่วไปแปรปรวน 2 นอกจากนี้มันจะสันนิษฐานว่าหมายถึงการที่เกี่ยวข้องกับผ่านสูตรx_i พารามิเตอร์ทั้งสามนี้ - , และ $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ --determine การกระจายพื้นฐานของสำหรับค่าใด ๆx_iดังนั้นใด ๆคุณสมบัติของการกระจายที่สามารถจะคิดว่าเป็นฟังก์ชั่นของbeta_1) ตัวอย่างของคุณสมบัติดังกล่าวคือจุดตัด , ความชัน , ค่าของ , หรือแม้แต่ค่าเฉลี่ยที่ค่าซึ่ง (ตามสูตรนี้ ) จะต้อง\ $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

ในบริบท OLS นี้ไม่ใช่ตัวอย่างของการประมาณค่าจะเป็นขั้นตอนการคาดเดาค่าของถ้าถูกกำหนดให้เท่ากับ 2 นี่ไม่ใช่ตัวประมาณเนื่องจากค่าของนี้เป็นแบบสุ่ม (ในลักษณะที่แยกจากกันโดยสิ้นเชิง ความสุ่มของข้อมูล): มันไม่ใช่คุณสมบัติ (ตัวเลขแน่นอน) ของการแจกแจงแม้ว่ามันจะเกี่ยวข้องกับการแจกแจงนั้น (อย่างที่เราเพิ่งเห็นแม้ว่าความคาดหวังของสำหรับเท่ากับสามารถประมาณได้) $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

ในสูตรของเลห์มันน์เกือบทุกสูตรสามารถเป็นตัวประมาณค่าของเกือบทุกคุณสมบัติ ไม่มีการเชื่อมโยงทางคณิตศาสตร์โดยธรรมชาติระหว่างตัวประมาณและตัวประมาณ อย่างไรก็ตามเราสามารถประเมินล่วงหน้าโอกาสที่ผู้ประเมินจะใกล้เคียงกับปริมาณที่ตั้งใจจะประเมิน วิธีการทำเช่นนี้และวิธีการใช้ประโยชน์จากพวกเขาเป็นหัวข้อของทฤษฎีการประมาณ

— whuber
แหล่งที่มา

1

(+1) การตอบกลับที่แม่นยำและละเอียดมาก

— chl

2

ฟังก์ชั่นของตัวแปรสุ่มนั้นไม่ได้เป็นตัวแปรสุ่มด้วยหรือไม่?

— jsk

@jsk ผมคิดว่าแตกต่างที่ผมพยายามที่จะทำให้ที่นี่อาจจะชี้แจงโดยพิจารณาองค์ประกอบของฟังก์ชั่น

ฟังก์ชั่นแรกคือตัวแปรสุ่ม

; อันที่สอง (เรียกว่า

) เรียกว่าตัวประมาณที่นี่และการจัดองค์ประกอบของสอง

คือ "การประมาณ" หรือ "ขั้นตอนการประมาณค่า" ซึ่งเป็น - ตามที่คุณพูดถูก - สุ่ม ตัวแปร.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber ในโพสต์ของคุณคุณพูดว่า "ตัวประมาณไม่ได้เป็นตัวแปรสุ่ม" ฉันพยายามแก้ไขการโพสต์ของคุณเพื่อชี้แจงจุดที่คุณและฉันดูเหมือนจะเห็นด้วย แต่ดูเหมือนว่ามีคนปฏิเสธการแก้ไขของฉัน บางทีพวกเขาอาจต้องการแก้ไขของคุณ!

— jsk

ขอให้เรายังคงอภิปรายนี้ในการแชท

— whuber

7

ในระยะสั้น:ตัวประมาณเป็นฟังก์ชันและการประมาณเป็นค่าที่สรุปตัวอย่างที่สังเกตได้

ประมาณการเป็นฟังก์ชั่นที่แมตัวอย่างที่สุ่มประมาณการพารามิเตอร์:

โปรดทราบว่าประมาณการของnตัวแปรสุ่มเป็นตัวแปรสุ่มΘตัวอย่างเช่นตัวประมาณคือค่าเฉลี่ยตัวอย่าง:

\hat{Θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

ประมาณการ

เป็นผลมาจากการใช้ฟังก์ชั่นการประมาณการพิมพ์เล็กที่สังเกตตัวอย่าง

:

\bar{X} = \frac{1}{n} \sum_{n = 1}^{n} X_{i}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

ตัวอย่างเช่นการประมาณการของกลุ่มตัวอย่างที่สังเกต

\hat{θ} = t (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{n = 1}^{n} x_{i}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— คนอิสระ
แหล่งที่มา

ตัวประมาณค่าเป็น RV ในขณะที่ค่าประมาณคงที่

— Partendan Rajendran

ข้อสรุปของคุณไม่ขัดแย้งกับ @ whuber หรือไม่ ที่นี่คุณบอกว่าตัวประมาณคือ RV แต่คนพูดว่าอย่างอื่น

— Partendan Rajendran

ใช่ฉันไม่เห็นด้วยกับคำสั่ง @ whuber ของ "ตัวประมาณไม่ได้เป็นตัวแปรสุ่ม: มันเป็นเพียงฟังก์ชั่นทางคณิตศาสตร์" ฟังก์ชั่นของตัวแปรสุ่มก็เป็นตัวแปรสุ่มเช่นกัน onlinecourses.science.psu.edu/stat414/node/128

— ฟรีแมน

3

มันอาจจะเป็นประโยชน์ในการแสดงคำตอบของ whuber ในบริบทของตัวแบบการถดถอยเชิงเส้น สมมติว่าคุณมีข้อมูล bivariate และคุณใช้ Ordinary Least Squares เพื่อสร้างโมเดลต่อไปนี้:

Y = 6X + 1

ณ จุดนี้คุณสามารถใช้ค่าของ X ใด ๆ เสียบเข้ากับรูปแบบและคาดการณ์ผลที่วายในแง่นี้คุณอาจคิดว่าของแต่ละองค์ประกอบของรูปแบบทั่วไปของรูปแบบ ( mx + B ) รวมประมาณ ข้อมูลตัวอย่าง (ซึ่งคุณน่าจะเสียบเข้ากับโมเดลทั่วไปเพื่อคำนวณค่าเฉพาะสำหรับmและBด้านบน) ให้พื้นฐานที่คุณสามารถหาค่าประมาณสำหรับmและBตามลำดับ

สอดคล้องกับคะแนนของ @ whuber ในเธรดของเราด้านล่างค่าใด ๆ ของYตัวประมาณค่าแบบใดชุดหนึ่งที่คุณสร้างขึ้นคือในบริบทของการถดถอยเชิงเส้นซึ่งคิดว่าเป็นค่าที่ทำนายไว้

(แก้ไข - สองสามครั้ง - เพื่อแสดงความคิดเห็นด้านล่าง)

— ashaw
แหล่งที่มา

1

คุณได้กำหนดตัวทำนายไว้เป็นอย่างดี มันค่อนข้างละเอียด (แต่สำคัญ) แตกต่างจากตัวประมาณ ตัวประมาณในบริบทนี้เป็นสูตรกำลังสองน้อยที่สุดที่ใช้ในการคำนวณพารามิเตอร์ 1 และ 6 จากข้อมูล

— whuber

อืมฉันไม่ได้หมายความอย่างนั้น @whuber แต่ฉันคิดว่าความคิดเห็นของคุณแสดงให้เห็นถึงความกำกวมที่สำคัญในภาษาของฉันที่ฉันไม่ได้สังเกตเห็นมาก่อน ประเด็นหลักที่นี่คือคุณสามารถนึกถึงรูปแบบทั่วไปของสมการ Y = mX + B (ตามที่ใช้ด้านบน) เป็นตัวประมาณในขณะที่ค่าคาดการณ์ที่สร้างขึ้นโดยตัวอย่างที่เฉพาะเจาะจงของสูตรนั้น (เช่น 1 + 6X) ประมาณการ ให้ฉันพยายามที่จะแก้ไขย่อหน้าข้างต้นเพื่อจับภาพที่แตกต่าง ...

— ashaw

btw ฉันพยายามอธิบายสิ่งนี้โดยไม่แนะนำสัญลักษณ์ "หมวก" ที่ฉันได้พบในการอภิปรายในตำราเรียนส่วนใหญ่เกี่ยวกับแนวคิดนี้ บางทีนั่นอาจเป็นเส้นทางที่ดีกว่าใช่ไหม?

— ashaw

2

ฉันคิดว่าคุณได้ตีสื่อที่ดีระหว่างความถูกต้องและด้านเทคนิคในคำตอบเดิมของคุณ: รักษามันไว้! คุณไม่จำเป็นต้องใส่หมวก แต่ถ้าคุณสามารถแสดงให้เห็นว่าตัวประมาณมีความแตกต่างจากสิ่งอื่นที่มีลักษณะคล้ายกันนั่นจะเป็นประโยชน์มากที่สุด แต่โปรดทราบความแตกต่างระหว่างการทำนายค่า Y และการประมาณพารามิเตอร์เช่นม.หรือข Y สามารถตีความได้ว่าเป็นตัวแปรสุ่ม m และ b ไม่ใช่ (ยกเว้นในการตั้งค่าแบบเบย์)

— whuber

เป็นจุดที่ดีมากในแง่ของพารามิเตอร์เมื่อเทียบกับค่าที่นั่น กำลังแก้ไขอีกครั้ง ...

— Ashaw

0

สมมติว่าคุณได้รับข้อมูลบางส่วนและคุณมีตัวแปรที่สังเกตได้บางอย่างที่เรียกว่า theta ตอนนี้ข้อมูลของคุณอาจมาจากการกระจายของข้อมูลสำหรับการกระจายนี้มีค่าที่สอดคล้องกันของทีต้าที่คุณอนุมานซึ่งเป็นตัวแปรสุ่ม คุณสามารถใช้ MAP หรือค่าเฉลี่ยสำหรับการคำนวณค่าประมาณของตัวแปรสุ่มนี้ทุกครั้งที่การกระจายข้อมูลของคุณเปลี่ยนแปลง ดังนั้นตัวแปรสุ่มทีต้าจึงเป็นที่รู้จักกันในชื่อการประมาณค่าซึ่งเป็นค่าเดียวของตัวแปรที่ไม่ได้รับการตรวจสอบสำหรับข้อมูลบางประเภท

ในขณะที่ตัวประมาณคือข้อมูลของคุณซึ่งเป็นตัวแปรสุ่ม สำหรับประเภทที่แตกต่างกันของการกระจายคุณมีประเภทที่แตกต่างกันของข้อมูลและทำให้คุณมีการประเมินที่แตกต่างกันและทำให้นี้ตัวแปรสุ่มที่สอดคล้องกันจะเรียกว่าประมาณการ

— Ankur Kothari
แหล่งที่มา