สัญชาตญาณที่อยู่เบื้องหลังการนิยามความสมบูรณ์ในสถิติเป็นสิ่งที่เป็นไปไม่ได้ที่จะสร้างตัวประมาณที่ไม่มีอคติเท่ากับจากอะไร?

ในสถิติคลาสสิคมีคำจำกัดความว่าสถิติของชุดข้อมูลถูกกำหนดให้สมบูรณ์สำหรับพารามิเตอร์มันเป็นไปไม่ได้ที่จะสร้างตัวประมาณค่าที่ไม่เอนเอียงเป็นจากมันโดยไม่ตั้งใจ นั่นคือวิธีเดียวที่จะมีสำหรับทั้งหมดคือการมีเป็นเกือบแน่นอน $T$ $y_1, \ldots, y_n$ $\theta$ $0$ $E h(T (y )) = 0$ $\theta$ $h$ $0$

มีปรีชาเบื้องหลังนี้ไหม ดูเหมือนว่าจะเป็นวิธีที่ใช้ในการกำหนดสิ่งนี้ฉันรู้ว่าสิ่งนี้ได้รับการถามมาก่อน แต่สงสัยว่ามีสัญชาตญาณที่เข้าใจได้ง่ายซึ่งจะทำให้นักเรียนเกริ่นนำมีเวลาย่อยวัสดุได้ง่ายขึ้น

— user1398057
แหล่งที่มา

นั่นเป็นคำถามที่ดีมากฉันต้องขุดมันเอง ปรากฎว่าเหตุผลที่มันเป็นคำจำกัดความทางกลและไม่ได้มีความหมายโดยสัญชาตญาณกับผู้ฝึกมาตรฐานเช่นฉันคือมันถูกใช้เพื่อพิสูจน์การมีส่วนร่วมขั้นพื้นฐานในสถิติทางคณิตศาสตร์เป็นหลัก โดยเฉพาะอย่างยิ่งการค้นหาสั้น ๆ ของฉันพบว่าทฤษฎีบทLehmann-Schefféและทฤษฎีบทของ Basuต้องการความสมบูรณ์ของสถิติเพื่อที่จะถือ นี่คือผลงานของกลางปี 1950 ฉันไม่สามารถให้คำอธิบายที่เข้าใจง่ายแก่คุณได้ - แต่ถ้าคุณต้องการสร้างสิ่งหนึ่งอาจจะเป็นหลักฐานที่พิสูจน์ได้

— Jeremias K

ฉันจะพยายามเพิ่มคำตอบอื่น ๆ ประการแรกความสมบูรณ์เป็นเงื่อนไขทางเทคนิคซึ่งส่วนใหญ่เป็นธรรมโดยทฤษฎีบทที่ใช้มัน ดังนั้นให้เราเริ่มต้นด้วยแนวคิดและทฤษฎีที่เกี่ยวข้องที่เกิดขึ้น

ให้แทนเวกเตอร์ของข้อมูล iid ซึ่งเราจำลองว่ามีการแจกแจงโดยที่พารามิเตอร์ควบคุมข้อมูลคือ ไม่ทราบ เป็นเพียงพอถ้าเงื่อนไขการจำหน่ายของไม่ขึ้นอยู่กับพารามิเตอร์\ เป็นอุปกรณ์เสริมหากการกระจายของไม่ได้ขึ้นอยู่กับ (ภายในตระกูล ) เป็นตัวประมาณค่าแบบไม่เอนเอียงของศูนย์หากการคาดหวังเป็นศูนย์โดยไม่คำนึงถึง $X=(X_1,X_2,\dotsc,X_n)$ $f(x;\theta), \theta \in \Theta$ $\theta$ $T=T(X)$ $X \mid T$ $\theta$ $V=V(X)$ $V$ $\theta$ $f(x;\theta)$ $U=U(X)$ $\theta$ \เป็นสถิติที่สมบูรณ์หากตัวประมาณค่าที่เป็นกลางใด ๆ ของศูนย์ที่ขึ้นอยู่กับคือศูนย์เหมือนกันนั่นคือถ้าจากนั้น ae (สำหรับทั้งหมด ) $S=S(X)$ $S$ $\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ $g(S)=0$ $\theta$

ตอนนี้สมมติว่าคุณมีสองตัวประมาณเป็นกลางแตกต่างกันของบนพื้นฐานของความพอเพียงสถิติ ,(T) นั่นคือในสัญลักษณ์ และ (สำหรับทั้งหมด) จากนั้นเป็นตัวประมาณศูนย์ที่ไม่เอนเอียงซึ่งไม่ได้เป็นศูนย์เหมือนกันซึ่งพิสูจน์ว่าไม่สมบูรณ์ ดังนั้นความสมบูรณ์ของสถิติที่เพียงพอทำให้เรามีตัวประมาณค่าที่ไม่ลำเอียงเพียงหนึ่งเดียวของจาก $\theta$ $T$ $g_1(T), g_2(T)$

E g_{1} (T) = θ, E g_{2} (T) = θ

$\E g_1(T)=\theta ,\\ \E g_2(T)=\theta$

P (g_{1} (T) \neq g_{2} (T)) > 0

$\DeclareMathOperator{\P}{\mathbb{P}} \P(g_1(T) \not= g_2(T) ) > 0$

θ

$\theta$

g_{1} (T) - g_{2} (T)

$g_1(T)-g_2(T)$

T

$T$

T

$T$

θ

$\theta$

T

$T$ . ที่มีอยู่แล้วใกล้กับทฤษฎีบท Lehmann – Scheffé

ให้เราดูตัวอย่าง สมมติว่านี้มีเครื่องแบบ IID ในช่วงเวลา1) เราสามารถแสดงให้เห็นว่า (เป็นสถิติการสั่งซื้อ) คู่เพียงพอ แต่มันไม่สมบูรณ์เพราะความแตกต่างเป็นสิ่งเสริมเราสามารถคำนวณความคาดหวังของมันปล่อยให้มันเป็น (ซึ่งเป็นฟังก์ชันของเท่านั้น) และจากนั้น $X_1, \dotsc, X_n$ $(\theta, \theta+1)$ $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ $(X_{(1)}, X_{(n)})$ $X_{(n)}-X_{(1)}$ $c$ $n$ $X_{(n)}-X_{(1)} -c$ จะเป็นตัวประมาณค่าศูนย์ที่ไม่เป็นศูนย์เหมือนกัน ดังนั้นสถิติที่เพียงพอของเราในกรณีนี้ไม่สมบูรณ์และเพียงพอ และเราสามารถเห็นความหมาย: มีฟังก์ชั่นของสถิติที่เพียงพอซึ่งไม่ได้ให้ข้อมูลเกี่ยวกับ (ในบริบทของแบบจำลอง) สิ่งนี้ไม่สามารถเกิดขึ้นได้ด้วยสถิติที่สมบูรณ์เพียงพอ มันอยู่ในความหมายที่ให้ข้อมูลมากที่สุดในการที่ไม่มีฟังก์ชั่นของมันจะผิดปกติ ในทางกลับกันหากมีฟังก์ชั่นของสถิติที่เพียงพอเพียงเล็กน้อยที่มีค่าศูนย์ที่คาดหวังซึ่งอาจถูกมองว่าเป็นคำที่มีเสียง , เงื่อนไขของสัญญาณรบกวน / เสียงในโมเดลมีค่าศูนย์ที่คาดหวัง ดังนั้นเราจึงสามารถพูดได้ว่าสถิติที่ไม่สมบูรณ์นั้นมีสัญญาณรบกวนบ้าง $\theta$

ดูอีกครั้งในช่วงในตัวอย่างนี้ ตั้งแต่การกระจายของมันไม่ได้ขึ้นอยู่กับก็ไม่ได้ด้วยตัวเองเพียงอย่างเดียวมีข้อมูลใด ๆ เกี่ยวกับ\แต่เมื่อรวมกับสถิติที่เพียงพอแล้ว อย่างไร? ดูกรณีที่สังเกตนั้นในบริบทของแบบจำลอง (ที่รู้กันว่าเป็นจริง) เรามีความรู้สมบูรณ์แบบของ ! กล่าวคือเราสามารถพูดด้วยความมั่นใจว่า(1)} คุณสามารถตรวจสอบว่ามีค่าอื่นสำหรับนำไปสู่หรือ $R=X_{(n)}-X_{(1)}$ $\theta$ $\theta$ $R=1$ $\theta$ $\theta = X_{(1)}$ $\theta$ $X_{(1)}$ $X_{(n)}$ เป็นการสังเกตการณ์ที่เป็นไปไม่ได้ภายใต้โมเดลที่สมมติขึ้น ในทางกลับกันถ้าเราสังเกตดังนั้นช่วงของค่าที่เป็นไปได้สำหรับนั้นค่อนข้างใหญ่ (แบบฝึกหัด ... ) $R=0.1$ $\theta$

ในแง่นี้สถิติเสริมประกอบด้วยข้อมูลบางอย่างเกี่ยวกับความแม่นยำที่เราสามารถประมาณตามข้อมูลและรุ่นนี้ ในตัวอย่างนี้และอื่น ๆ สถิติเสริม "เข้ามาแทนที่บทบาทของขนาดตัวอย่าง" โดยปกติช่วงความเชื่อมั่นและความต้องการของขนาดตัวอย่างแต่ในตัวอย่างนี้เราสามารถสร้างช่วงความเชื่อมั่นแบบมีเงื่อนไขซึ่งคำนวณโดยใช้เท่านั้นไม่ใช่ (แบบฝึกหัด) นี่เป็นแนวคิดของฟิชเชอร์การอนุมานควรเป็นเงื่อนไข สถิติเสริมบางอย่าง $R$ $\theta$ $R$ $n$ $R$ $n$

ทีนี้ทฤษฎีบทของบาซึ: ถ้าสมบูรณ์เพียงพอมันก็เป็นอิสระจากสถิติเสริมใด ๆ นั่นคือการอนุมานจากสถิติที่สมบูรณ์เพียงพอนั้นง่ายกว่าซึ่งเราไม่จำเป็นต้องพิจารณาการอนุมานแบบมีเงื่อนไข การปรับสภาพในสถิติที่เป็นอิสระจากไม่ได้เปลี่ยนแปลงอะไรแน่นอน $T$ $T$

จากนั้นเป็นตัวอย่างสุดท้ายที่ให้สัญชาตญาณมากขึ้น เปลี่ยนตัวอย่างการแจกแจงแบบสม่ำเสมอของเราเป็นการแจกแจงแบบสม่ำเสมอในช่วงเวลา (ด้วย ) ในกรณีนี้สถิตินั้นสมบูรณ์และเพียงพอ มีอะไรเปลี่ยนแปลง เราจะเห็นว่าความสมบูรณ์เป็นคุณสมบัติของแบบจำลองจริงๆ ในกรณีก่อนหน้านี้เรามีพื้นที่พารามิเตอร์ที่ จำกัด ข้อ จำกัด นี้ทำลายความสมบูรณ์โดยการแนะนำความสัมพันธ์กับสถิติการสั่งซื้อ การลบข้อ จำกัด นี้ทำให้เราสมบูรณ์! ดังนั้นในแง่หนึ่งการขาดความสมบูรณ์หมายความว่าพื้นที่พารามิเตอร์ไม่ใหญ่พอและด้วยการขยายมันเราสามารถหวังที่จะกู้คืนความสมบูรณ์ (และการอนุมานง่ายกว่า) $(\theta_1, \theta_2)$ $\theta_1<\theta_2$ $(X_{(1)}, X_{(n)})$

ตัวอย่างอื่น ๆ ที่ขาดความสมบูรณ์เกิดจากข้อ จำกัด ในพื้นที่พารามิเตอร์

เห็นคำตอบของฉันไปที่: ข้อมูลประเภทใดที่เป็นข้อมูลของชาวประมง?
ให้เป็น iid (โมเดลจำลองตำแหน่ง) จากนั้นสถิติการสั่งซื้อในเพียงพอ แต่ไม่สมบูรณ์ แต่ตอนนี้ดูภาพขนาดใหญ่แบบนี้ไปแบบไม่อิงพารามิเตอร์อย่างเต็มที่ยังคง IID แต่จากบางส่วนกระจายไม่ระบุรายละเอียดอย่างสมบูรณ์Fจากนั้นสถิติคำสั่งซื้อก็เพียงพอและครบถ้วน $X_1, \dotsc, X_n$ $\mathcal{Cauchy}(\theta,\sigma)$ $F$
สำหรับตระกูลเลขชี้กำลังที่มีพื้นที่พารามิเตอร์ canonical (นั่นคือมีขนาดใหญ่ที่สุดเท่าที่จะเป็นไปได้) สถิติที่เพียงพอเพียงเล็กน้อยก็เสร็จสมบูรณ์เช่นกัน แต่ในหลายกรณีการแนะนำข้อ จำกัด เกี่ยวกับพื้นที่พารามิเตอร์เช่นเดียวกับตระกูลเอ็กซ์โปแนนเชียลแบบโค้งจะทำลายความสมบูรณ์

กระดาษที่เกี่ยวข้องมากคือการตีความความสมบูรณ์และทฤษฎีบทของบาซู

— kjetil b halvorsen
แหล่งที่มา

สัญชาตญาณบางอย่างอาจมาจากทฤษฎีที่ดีที่สุด (ความแปรปรวนขั้นต่ำ) ตัวประมาณที่ไม่เอนเอียง

หากแล้วเป็นประมาณการที่เป็นกลางที่ดีที่สุดของ IFFเป็น uncorrelated กับประมาณเป็นกลางทั้งหมดของศูนย์ $E_\theta W=\tau(\theta)$ $W$ $\tau(\theta)$ $W$

หลักฐาน : ให้เป็นตัวประมาณที่ไม่เอนเอียงโดยไม่เกี่ยวข้องกับตัวประมาณที่ไม่เอนเอียงทั้งหมดของศูนย์ Letจะประมาณการอีกเช่นที่theta) เขียน(W'-W) โดยสมมติฐาน(W'-W) ดังนั้นสำหรับการใด ๆW $W$ $W'$ $E_\theta W'=E_\theta W=\tau(\theta)$ $W'=W+(W'-W)$ $Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$ $W'$ $Var_\theta W'\geq Var_\theta W$

ทีนี้สมมติว่าเป็นตัวประมาณที่ดีที่สุด ให้มีความบางประมาณอื่น ๆกับ 0 ยังเป็นที่เป็นกลางสำหรับtheta) เรามี ถ้ามีเช่นเราจะได้รับสำหรับU) อาจไม่ใช่ตัวประมาณที่ดีที่สุดที่เป็นกลาง QED $W$ $U$ $E_\theta U=0$ $\phi_a:=W+aU$ $\tau(\theta)$

V a r_{θ} ϕ_{a} := V a r_{θ} W + 2 a C o v_{θ} (W, U) + a^{2} V a r_{θ} U .

$Var_\theta \phi_a:=Var_\theta W+2aCov_\theta(W,U)+a^2Var_\theta U.$

θ_{0} \in Θ

$\theta_0\in\Theta$

C o v_{θ_{0}} (W, U) < 0

$Cov_{\theta_0}(W,U)<0$

V a r_{θ} ϕ_{a} < V a r_{θ} W

$Var_\theta \phi_a<Var_\theta W$

a \in (0, - 2 C o v_{θ_{0}} (W, U) / V a r_{θ_{0}} U)

$a\in(0,-2Cov_{\theta_0}(W,U)/Var_{\theta_0} U)$

W

$W$

โดยสังหรณ์ใจผลลัพธ์บอกว่าถ้าตัวประมาณค่าเหมาะสมที่สุดจะต้องไม่สามารถปรับปรุงได้โดยเพียงแค่เพิ่มเสียงรบกวนเข้าไปในความหมายของการรวมเข้ากับตัวประมาณที่เป็นศูนย์โดยเฉลี่ย (เป็นตัวประมาณค่าศูนย์ที่เป็นกลาง) )

น่าเสียดายที่มันเป็นเรื่องยากที่จะจำแนกลักษณะของตัวประมาณค่าที่ไม่เอนเอียงทั้งหมดของศูนย์ สถานการณ์จะกลายเป็นง่ายมากถ้าตัวเองเป็นศูนย์ประมาณการเท่านั้นเป็นกลางของศูนย์ใด ๆ สถิติตอบสนอง 0 ความสมบูรณ์อธิบายสถานการณ์ดังกล่าว $W$ $Cov_\theta(W,0)=0$

— คริสโตฟฮันค์
แหล่งที่มา