เหตุใดสถิติที่เพียงพอจึงมีข้อมูลทั้งหมดที่จำเป็นในการคำนวณค่าประมาณของพารามิเตอร์

ฉันเพิ่งเริ่มเรียนสถิติและไม่สามารถเข้าใจความพอเพียงได้ เพื่อให้แม่นยำยิ่งขึ้นฉันไม่เข้าใจวิธีแสดงให้เห็นว่าสองย่อหน้าต่อไปนี้เทียบเท่ากัน:

โดยประมาณให้ชุด X ของข้อมูลกระจายแบบอิสระที่เหมือนกันซึ่งมีเงื่อนไขในพารามิเตอร์ที่ไม่รู้จัก stat สถิติที่เพียงพอคือฟังก์ชัน T (X) ซึ่งมีค่าประกอบด้วยข้อมูลทั้งหมดที่จำเป็นในการคำนวณการประมาณค่าพารามิเตอร์ใด ๆ

สถิติ T (X) เพียงพอสำหรับพารามิเตอร์พื้นฐานθอย่างแม่นยำหากการแจกแจงความน่าจะเป็นแบบมีเงื่อนไขของข้อมูล X, เมื่อได้รับสถิติ T (X) ไม่ได้ขึ้นอยู่กับพารามิเตอร์θ

(ฉันใช้คำพูดจากสถิติที่เพียงพอ )

แม้ว่าฉันจะเข้าใจข้อความที่สองและฉันสามารถใช้ทฤษฎีบทการแยกตัวประกอบเพื่อแสดงว่าสถิติที่กำหนดนั้นเพียงพอ แต่ฉันไม่สามารถเข้าใจได้ว่าทำไมสถิติที่มีคุณสมบัติเช่นนี้มีคุณสมบัติที่มัน "มีข้อมูลทั้งหมดที่จำเป็นในการคำนวณใด ๆ การประมาณของพารามิเตอร์ " ฉันไม่ได้มองหาหลักฐานที่เป็นทางการซึ่งจะช่วยแก้ไขความเข้าใจของฉันต่อไป

ในการสรุปคำถามของฉันคือ: ทำไมทั้งสองข้อความจึงเทียบเท่ากัน? ใครสามารถให้คำอธิบายที่เข้าใจง่ายเพื่อความเท่าเทียมของพวกเขา

sufficient-statistics

— gcoll
แหล่งที่มา

แนวคิดหลักที่ใช้งานง่ายคือบางครั้งคุณไม่จำเป็นต้องดูตัวอย่างทั้งหมดเนื่องจากคุณสามารถค้นหาสถิติที่สรุปข้อมูลทั้งหมดที่ต้องการจากตัวอย่าง ยกตัวอย่างเช่นการแจกแจงทวินาม: สิ่งที่คุณต้องรู้สำหรับแบบจำลองของคุณคือผลรวมของความสำเร็จ คุณจะไม่สูญเสียคุณค่าใด ๆ ถ้าฉันเพียงบอกคุณว่าแทนที่จะแสดงให้คุณเห็นทั้งชุดของค่าตัวอย่าง\}

\sum_{i}^{n} x_{i} = c

$\sum_{i}^{n} x_i = c$

x = {1, 0, 0, 1, 0, 1, . . .}

$x = \{1, 0, 0, 1, 0, 1, ... \}$

— mugen

ฉันเข้าใจว่าทำไมฉันจึงต้องการสถิติที่เพียงพอและวิธีแสดงให้เห็นว่าผลรวมของความสำเร็จเป็นสถิติที่เพียงพอสำหรับ p ในกระบวนการ Bernoulli สิ่งที่ฉันไม่เข้าใจคือเหตุผลว่าทำไมสถิติเช่นนี้ที่อธิบายไว้ในวรรคสองมีข้อมูลทั้งหมดที่จำเป็นในการคำนวณค่าประมาณของพารามิเตอร์

— gcoll

พูดอย่างเคร่งครัดใบเสนอราคาครั้งแรกผิดปกติ มีตัวประมาณจำนวนมากที่สามารถคำนวณได้จากชุดข้อมูลทั้งหมดซึ่งไม่สามารถคำนวณได้จากสถิติที่เพียงพอเพียงอย่างเดียว นั่นเป็นเหตุผลหนึ่งที่ทำให้คำพูดเริ่มต้น "คร่าว ๆ " อีกเหตุผลหนึ่งก็คือมันไม่ได้ให้คำจำกัดความเชิงปริมาณหรือเข้มงวดของ "ข้อมูล" เนื่องจากมีการให้ลักษณะที่ถูกต้องมากขึ้น (แต่ยังคงใช้งานง่าย) ได้ในวรรคก่อนแม้ว่าจะมีปัญหาเล็กน้อยกับการเสนอราคานี้ในบริบทที่เหมาะสม

— whuber

มีการเชื่อมต่อกับโอกาสสูงสุดและเป็นข้อมูลที่จำเป็นในความเป็นไปได้สูงสุด

— Kamster

ตามความคิดเห็นของ whuber และ @Kamster ฉันอาจมีความเข้าใจที่ดีขึ้น เมื่อเราพูดว่าสถิติที่เพียงพอมีข้อมูลทั้งหมดที่จำเป็นในการคำนวณการประมาณค่าพารามิเตอร์ใด ๆ เราหมายถึงว่ามันเพียงพอที่จะคำนวณตัวประมาณความน่าจะเป็นสูงสุด (ซึ่งเป็นฟังก์ชันของสถิติที่เพียงพอทั้งหมด) หรือไม่ นี่เป็นเรื่องจริงปัญหาทั้งหมดเกี่ยวข้องกับการนิยาม (ไม่ใช่) ของ "ข้อมูล" ตามที่แนะนำและคำถามของฉันก็ได้รับคำตอบ

— gcoll

คำตอบ:

การติดตามความคิดเห็นของ @whuber และ @Kamster ฉันอาจมีความเข้าใจที่ดีขึ้น เมื่อเราพูดว่าสถิติที่เพียงพอมีข้อมูลทั้งหมดที่จำเป็นในการคำนวณการประมาณค่าพารามิเตอร์สิ่งที่เราหมายถึงจริงก็คือมันเพียงพอที่จะคำนวณตัวประมาณโอกาสสูงสุด (ซึ่งเป็นฟังก์ชันของสถิติที่เพียงพอทั้งหมด)

เนื่องจากฉันตอบคำถามของฉันเองและดังนั้นฉันจึงไม่แน่ใจ 100% ของคำตอบฉันจะไม่ทำเครื่องหมายว่าถูกต้องจนกว่าฉันจะได้รับคำติชม กรุณาเพิ่มความคิดเห็นใด ๆ และลงคะแนนถ้าคุณคิดว่าฉันผิด / ไม่แน่นอน / ฯลฯ ...

(แจ้งให้เราทราบหากสิ่งนี้ไม่เข้ากันกับมารยาททาง SE เป็นคำถามแรกของฉันฉันขอความเมตตาของคุณถ้าฉันละเมิดกฎใด ๆ )

— gcoll
แหล่งที่มา

ในขณะที่ฉันกำลังศึกษาเกี่ยวกับความพอเพียงฉันพบคำถามของคุณเพราะฉันต้องการเข้าใจสัญชาตญาณเกี่ยวกับสิ่งที่ฉันรวบรวมได้จากสิ่งที่ฉันคิดขึ้นมา (แจ้งให้เราทราบว่าคุณคิดอย่างไรถ้าฉันทำผิดพลาด ฯลฯ )

Let จะเป็นตัวอย่างที่สุ่มจากการกระจาย Poisson ที่มีค่าเฉลี่ย 0 $X_1,\ldots,X_n$ $\theta>0$

เรารู้ว่าเป็นสถิติที่เพียงพอสำหรับเนื่องจากการแจกแจงเงื่อนไขของให้เป็นอิสระจากในคำอื่น ๆ ไม่ได้ ขึ้นอยู่กับθ $T({\bf{X}})=\sum_{i=1}^{n} X_i$ $\theta$ $X_1,\ldots,X_n$ $T({\bf{X}})$ $\theta$ $\theta$

ตอนนี้สถิติรู้ว่าและสร้าง $A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$ ค่าสุ่มจากการกระจายนี้: $n=400$

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

สำหรับค่าสถิติ $A$ ได้สร้างขึ้นเขาจะนำผลรวมของมันมาใช้และขอให้นักสถิติดังต่อไปนี้: $B$

"ฉันมีค่าตัวอย่างเหล่านี้นำมาจากการแจกแจงแบบปัวซงรู้ว่า $x_1,\ldots,x_n$ คุณจะบอกอะไรฉันเกี่ยวกับการกระจายตัวนี้" $\sum_{i=1}^{n} x_i = y = 4068$

ดังนั้นรู้เพียงว่า (และความจริงที่ว่าตัวอย่างเกิดขึ้นจากการแจกแจงปัวซง) เพียงพอสำหรับนักสถิติ $\sum_{i=1}^{n} x_i = y = 4068$ $B$ จะพูดอะไรเกี่ยวกับ ? เนื่องจากเรารู้ว่านี่เป็นสถิติที่เพียงพอเราจึงรู้ว่าคำตอบคือ "ใช่" $\theta$

ในการรับความสนใจบางอย่างเกี่ยวกับความหมายของสิ่งนี้ให้ทำดังต่อไปนี้ (นำมาจาก Hogg & Mckean & Craig ของ "สถิติเบื้องต้นทางคณิตศาสตร์" ของ Craig, ฉบับที่ 7, แบบฝึกหัด 7.1.9):

" ตัดสินใจสร้างการสังเกตการณ์ปลอมซึ่งเขาเรียกว่า (ดังที่เขารู้ว่าพวกเขาอาจจะไม่เท่ากับค่าดั้งเดิม) ดังต่อไปนี้เขาตั้งข้อสังเกตว่าความน่าจะเป็นตามเงื่อนไขของปัวซองอิสระ ตัวแปรสุ่มเท่ากับ , ให้ , คือ $B$ $z_1,z_2,\ldots,z_n$ $x$ $Z_1,Z_2\ldots,Z_n$ $z_1,z_2,\ldots,z_n$ $\sum z_i = y$

\frac{\frac{θ^{Z_{1}} {อี}^{- θ}}{Z_{1}!} \frac{θ^{Z_{2}} {อี}^{- θ}}{Z_{2}!} \dots \frac{θ^{Z_{n}} {อี}^{- θ}}{Z_{n}!}}{\frac{n θ^{Y} {อี}^{- n θ}}{Y!}} = \frac{Y!}{Z_{1}! Z_{2}! \dots Z_{n}!} {(\frac{1}{n})}^{Z_{1}} {(\frac{1}{n})}^{Z_{2}} \dots {(\frac{1}{n})}^{Z_{n}}

$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$

ตั้งแต่มีการกระจาย Poisson ที่มีค่าเฉลี่ย θการกระจายหลังเป็นพหุนามกับทดลองอิสระแต่ละยุติในหนึ่งในวิธีพิเศษร่วมกันและหมดจดแต่ละที่มีความน่าจะเป็นแบบเดียวกัน nดังนั้นทำงานเช่นการทดลองพหุนามทดลองอิสระและ Obtains ." $Y=\sum Z_i$ $n \theta$ $y$ $n$ $1/n$ $B$ $y$ $z_1,\ldots,z_n$

นี่คือสิ่งที่ออกกำลังกายระบุ ดังนั้นขอให้ทำอย่างนั้น:

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

และเรามาดูกันว่ามีลักษณะเป็นอย่างไร (ฉันกำลังวางแผนความหนาแน่นของปัวซอง (4) สำหรับ - อะไรก็ตามที่สูงกว่า 13 คือศูนย์ pratically - สำหรับการเปรียบเทียบ): $Z$ $k=0,1,\ldots,13$

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

ดังนั้นไม่รู้อะไรเลยเกี่ยวกับและรู้เพียงแค่สถิติที่เพียงพอเราสามารถเรียกคืน "การแจกแจง" ที่มีลักษณะเหมือนการแจกแจงปัวซอง (4) $\theta$ $Y=\sum X_i$ การเพิ่มขึ้นของทั้งสองกลายเป็นเส้นโค้งที่คล้ายกันมากขึ้น) $n$

ตอนนี้เปรียบเทียบและ : $X$ $Z|y$

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

เราเห็นว่าพวกมันคล้ายกันมาก (ตามที่คาดไว้)

$X_i$ $Y=X_1+X_2+\cdots+X_n$

— Gus_est
แหล่งที่มา

ฉันจะให้มุมมองอื่นที่อาจช่วยได้ นี่คือเชิงคุณภาพ แต่มีรุ่นที่เข้มงวดโดยเฉพาะอย่างยิ่งที่สำคัญในทฤษฎีข้อมูล - ที่รู้จักกันในชื่อคุณสมบัติมาร์คอฟ

$\theta$ $\theta$ $\theta$ $\theta$ เป็นห่วง โปรดทราบว่าในความน่าจะเป็นที่ซึ่งความไม่แน่นอนทั้งหมดถูกจับและด้วยเหตุนี้ "การประมาณการใด ๆ " เมื่อความน่าจะเป็น (ตามเงื่อนไข) เป็นอิสระ (เช่นความหนาแน่นตามเงื่อนไขแยกตัวประกอบ)

— มาห์
แหล่งที่มา