ครอบครัวเอ็กซ์โพเนนเชียล: พบกับสถิติที่เพียงพอที่คาดหวัง

คำถามของฉันเกิดขึ้นจากการอ่านการอ่านของ Minka "การประมาณการแจกแจงดีริชเลต์"ซึ่งระบุสิ่งต่อไปนี้โดยไม่มีข้อพิสูจน์ในบริบทของการหาตัวประมาณความน่าจะเป็นสูงสุดสำหรับการแจกแจงไดริชเล็ตจากการสังเกตเวกเตอร์สุ่ม

เช่นเดียวกับตระกูลเอ็กซ์โพเนนเชียลเมื่อการไล่ระดับสีเป็นศูนย์สถิติเพียงพอที่คาดหวังจะเท่ากับสถิติที่เพียงพอที่สังเกตได้

ฉันไม่เห็นการประเมินความเป็นไปได้สูงสุดในตระกูลเอ็กซ์โปเนนเชียลที่นำเสนอด้วยวิธีนี้และฉันไม่พบคำอธิบายที่เหมาะสมในการค้นหาของฉัน ใครบางคนสามารถให้ข้อมูลเชิงลึกเกี่ยวกับความสัมพันธ์ระหว่างสถิติที่สังเกตและคาดว่าเพียงพอและอาจช่วยให้เข้าใจการประมาณค่าความน่าจะเป็นสูงสุดในการลดความแตกต่างได้

— เบรนเบรย์
แหล่งที่มา

นี่เป็นการยืนยันตามปกติเกี่ยวกับตระกูลเอ็กซ์โปเนนเชียล แต่ในความคิดของฉันส่วนใหญ่จะระบุไว้ในลักษณะที่อาจสร้างความสับสนให้กับผู้อ่านที่มีประสบการณ์น้อยกว่า เพราะนำมาซึ่งมูลค่าตามจริงมันอาจตีความได้ว่าการพูดว่า "ถ้าตัวแปรสุ่มของเราตามการแจกแจงในตระกูลเอ็กซ์โพเนนเชียลถ้าเรานำตัวอย่างและใส่เข้าไปในสถิติที่เพียงพอเราจะได้ค่าตามจริงที่คาดหวังของสถิติ " ถ้าเพียง แต่มันเป็นอย่างนั้น ... มากกว่านั้นไม่ได้คำนึงถึงขนาดของตัวอย่างซึ่งอาจทำให้เกิดความสับสนต่อไป

ฟังก์ชันความหนาแน่นเลขชี้กำลังคือ

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

ที่เป็นสถิติที่เพียงพอ $T(x)$

เนื่องจากนี่คือความหนาแน่นจึงต้องรวมเข้ากับความสามัคคีดังนั้น (คือการสนับสนุนของ ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

อีคิว ถือสำหรับเพื่อให้เราสามารถแยกความแตกต่างของทั้งสองฝ่ายด้วยความเคารพ: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

เราได้รับลำดับของความแตกต่างและบูรณาการ

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

ดำเนินการตามความแตกต่างที่เรามี

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

การแทรกเข้าไปเราได้ $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

ตอนนี้เราถาม: ด้านซ้ายมือของเป็นจำนวนจริง ดังนั้นทางด้านขวามือด้านข้างยังต้องเป็นตัวเลขที่จริงและไม่ได้ฟังก์ชั่น ดังนั้นมันจะต้องได้รับการประเมินที่เฉพาะเจาะจงและมันควรจะเป็น "ความจริง"มิฉะนั้นซ้ายมือด้านที่เราจะไม่ได้คาดว่ามูลค่าที่แท้จริงของ(X) เพื่อเน้นสิ่งนี้เราแสดงถึงคุณค่าที่แท้จริงโดยและเราเขียนใหม่เป็น $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

ตอนนี้เราหันมาใช้การประมาณความเป็นไปได้สูงสุดแล้ว โอกาสในการบันทึกสำหรับตัวอย่างของขนาดคือ $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

การตั้งค่าอนุพันธ์ของมันเทียบกับเท่ากับเราได้ MLE $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

เปรียบเทียบกับ(6a)ด้านขวามือไม่เท่ากันเนื่องจากเราไม่สามารถยืนยันได้ว่าตัวประมาณค่า MLE นั้นกระทบกับมูลค่าที่แท้จริง ด้านซ้ายมือก็เช่นกัน แต่จำไว้ว่า eq ถือครองสำหรับและดังนั้นสำหรับเช่นกัน ดังนั้นขั้นตอนใน eq สามารถดำเนินการกับและเพื่อให้เราสามารถเขียน eq สำหรับ : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

ซึ่งเมื่อรวมกับจะทำให้เรามีความสัมพันธ์ที่ถูกต้อง $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

ซึ่งเป็นสิ่งที่ยืนยันภายใต้การตรวจสอบจริง ๆ พูดว่า: ค่าคาดหวังของสถิติเพียงพอภายใต้ MLE สำหรับพารามิเตอร์ที่ไม่รู้จัก (ในคำอื่น ๆ มูลค่าของช่วงเวลาดิบครั้งแรกของการกระจายที่เราจะได้รับถ้าเราใช้ในสถานที่ของ ) เท่ากับ (และมันไม่ได้เป็นเพียงแค่ประมาณ) เดอะเฉลี่ยของสถิติที่เพียงพอตามที่คำนวณจากตัวอย่างx $\hat \theta(x)$ $\theta$ $\mathbf x$

ยิ่งกว่านั้นถ้าขนาดตัวอย่างคือเราก็สามารถพูดได้อย่างแม่นยำว่า "ค่าคาดหวังของสถิติที่เพียงพอภายใต้ MLE เท่ากับสถิติที่เพียงพอ" $n=1$

— Alecos Papadopoulos
แหล่งที่มา

คุณช่วยอธิบายเพิ่มเติมได้ไหมว่าทำไมการเปลี่ยนจาก 6a ถึง 6b นั้นใช้ได้โปรด?

— Theoden

@ Theoden ในระหว่าง eq และฉันเขียน "eq.ถือสำหรับ " ทั้งหมด - และดังนั้นสำหรับด้วย ดังนั้นขั้นตอนทั้งหมดใน eq สามารถนำมาด้วยความเคารพ\ ฉันพูดคำนี้ซ้ำในข้อความเพื่อความชัดเจน

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— Alecos Papadopoulos

@AlcosPapadopoulos ข้อพิสูจน์ของคุณด้านล่างดูเหมือนจะแนะนำว่าสิ่งที่คุณพูดตอนเริ่มต้น - "ถ้าตัวแปรสุ่มของเราติดตามการแจกแจงในตระกูลเลขชี้กำลังแล้วถ้าเรานำตัวอย่างและใส่ลงในสถิติที่เพียงพอเราจะได้ค่าที่คาดหวังจริง ของสถิติ "เป็นจริง ฉันหมายความว่าฉันสามารถทำเช่นนั้นได้ตลอดเวลาสำหรับ (2) แทนที่ด้วยสถิติที่สังเกตได้เพียงพอและรับผล ฉันหายไปนี่อะไร ฉันไม่เข้าใจเลย

— user10024395

@ user136266 จริงคาดว่าค่าตัวของสถิติเป็นและเพื่อที่จะนำไปคำนวณหนึ่งความต้องการที่จะรู้ว่าโดยที่ไม่รู้จักการออกแบบพารามิเตอร์\ดังนั้นสิ่งที่เราสามารถทำได้จริงมีที่คำนวณซึ่งเป็นค่าที่คาดหวังของสถิติภายใต้สมมติฐานว่าประมาณการจุดของเราได้ตีมูลค่าที่แท้จริง

6 a

$6a$

θ

$\theta$

6 b

$6b$

— Alecos Papadopoulos

คุณช่วยอธิบายได้ไหมว่าทำไมเราถึงแลกเปลี่ยนลำดับของความแตกต่างและการรวมเป็น eq (3) ได้ไหม

— Markus777