จะประมาณค่าได้อย่างไรเมื่อมีเพียงสถิติสรุปเท่านั้น

นี่เป็นส่วนหนึ่งที่ได้รับแรงบันดาลใจจากคำถามต่อไปนี้และการสนทนาที่ตามมา

สมมติว่าตัวอย่าง IID สังเกต $X_i\sim F(x,\theta)$ )เป้าหมายคือการประมาณการθ $\theta$ แต่ตัวอย่างดั้งเดิมไม่สามารถใช้ได้ สิ่งที่เรามีแทนสถิติของกลุ่มตัวอย่างบาง $T_1,...,T_k$ . สมมติว่า $k$ ได้รับการแก้ไข เราจะประมาณ $\theta$ อย่างไร ในกรณีนี้การประมาณความน่าจะเป็นสูงสุดคืออะไร?

estimation maximum-likelihood

— mpiktas
แหล่งที่มา

ถ้า

T_{i} = f (X_{i})

$T_i=f(X_i)$ สำหรับฟังก์ชันที่รู้จัก

f

$f$ คุณสามารถจดการแจกแจงของ

T_{i}

$T_i$ และตัวประมาณความน่าจะเป็นสูงสุดได้มาในวิธีปกติ แต่คุณไม่ได้ precised สิ่งที่เป็น

T_{i}

$T_i$ ?

— Stéphane Laurent

ฉันสนใจในกรณีที่เมื่อ

สำหรับที่รู้จักกันฉ

นี้คือสิ่งที่ผมหมายถึงเมื่อผมบอกว่า

เป็นตัวอย่างสถิติ

T_{i} = f (X_{1}, . . ., X_{n})

$T_i=f(X_1,...,X_n)$

f

$f$

T_{i}

$T_i$

— mpiktas

แล้วความแตกต่างระหว่าง

กับ

คืออะไร?

T_{i}

$T_i$

T_{j}

$T_j$

— Stéphane Laurent

ขออภัยที่ควรจะได้รับ

ไม่ได้หนึ่งฉ

เรามีฟังก์ชั่นหลายอย่างสำหรับ

ซึ่งรับทั้งอาร์กิวเมนต์ตัวอย่าง

f_{i}

$f_i$

f

$f$

f_{i}

$f_i$

— mpiktas

นี่ไม่ใช่เอนโทรปีสูงสุดที่ออกแบบมาเพื่ออะไร?

— ความน่าจะเป็นทางการ

ในกรณีนี้คุณสามารถพิจารณาการประมาณค่าABCของความน่าจะเป็น (และจากMLE ) ภายใต้สมมติฐาน / ข้อ จำกัด ดังต่อไปนี้:

การสันนิษฐาน ขนาดตัวอย่างดั้งเดิมเป็นที่รู้จักกัน $n$

นี่ไม่ใช่ข้อสันนิษฐานที่ชัดเจนว่าคุณภาพในแง่ของการลู่เข้าของตัวประมาณที่ใช้บ่อยขึ้นอยู่กับขนาดของกลุ่มตัวอย่างดังนั้นจึงไม่สามารถรับตัวประมาณที่ดีได้ตามอำเภอใจโดยไม่ทราบขนาดตัวอย่างดั้งเดิม

ความคิดที่จะสร้างตัวอย่างจากการกระจายหลังของและเพื่อผลิตประมาณของ MLEคุณสามารถใช้ความสำคัญการสุ่มตัวอย่างเทคนิคเช่นเดียวกับใน[1]หรือที่จะต้องพิจารณาเครื่องแบบก่อนในกับการสนับสนุนที่เหมาะสม ตั้งเป็นใน[2] $\theta$ $\theta$

ฉันจะอธิบายวิธีการใน [2] ก่อนอื่นให้ฉันอธิบายตัวอย่าง ABC

ABC Sampler

Let เป็นรูปแบบที่สร้างตัวอย่างที่เป็นพารามิเตอร์ (จะประมาณ) เป็นสถิติ (ฟังก์ชั่นของกลุ่มตัวอย่าง) และเป็นสถิติที่สังเกตในเบื้องต้นศัพท์แสง นี้เรียกว่าสถิติสรุป , จะเป็นตัวชี้วัดการกระจายก่อนในและความอดทน จากนั้นตัวอย่างการปฏิเสธ ABC สามารถดำเนินการได้ดังนี้ $f(\cdot\vert\theta)$ $\theta \in \Theta$ $T$ $T_0$ $\rho$ $\pi(\theta)$ $\theta$ $\epsilon>0$

ตัวอย่างจาก ) $\theta^*$ $\pi(\cdot)$
สร้างตัวอย่างขนาดจากแบบจำลอง ) $\bf{x}$ $n$ $f(\cdot\vert\theta^*)$
Compute ) $T^*=T({\bf x})$
ถ้ายอมรับจำลองจากหลังของที่θ $\rho(T^*,T_0)<\epsilon$ $\theta^*$ $\theta$

ขั้นตอนวิธีการนี้จะสร้างตัวอย่างตัวอย่างจากการกระจายหลังของรับ 0ดังนั้นสถานการณ์ที่ดีที่สุดคือเมื่อสถิติเพียงพอ แต่สามารถใช้สถิติอื่น ๆ ได้ สำหรับคำอธิบายรายละเอียดเพิ่มเติมของเอกสารนี้ $\theta$ $T({\bf x})=T_0$ $T$

ตอนนี้ในกรอบทั่วไปหากมีการใช้เครื่องแบบก่อนหน้านี้ที่มี MLE ในการสนับสนุนของมันแล้วสูงสุดposteriori (MAP) เกิดขึ้นพร้อมกับการประเมินความน่าจะเป็นสูงสุด (MLE) ดังนั้นหากคุณพิจารณาเครื่องแบบที่เหมาะสมก่อนใน ABC Sampler คุณสามารถสร้างตัวอย่างโดยประมาณของการแจกแจงหลังซึ่ง MAP ตรงกับ MLE ขั้นตอนที่เหลือประกอบด้วยการประเมินโหมดนี้ ปัญหานี้ได้รับการกล่าวถึงในประวัติเช่นใน"การประมาณค่าที่มีประสิทธิภาพคอมพิวเตอร์ของโหมดการหลายตัวแปร"

ตัวอย่างของเล่น

ให้เป็นตัวอย่างจากและคิดว่าข้อมูลที่ใช้ได้เฉพาะจากตัวอย่างนี้เป็น $(x_1,...,x_n)$ $N(\mu,1)$ เจให้เป็นแบบยุคลิดเมตริกในและ0.001รหัส R ต่อไปนี้แสดงวิธีรับ MLE โดยประมาณโดยใช้วิธีที่อธิบายไว้ข้างต้นโดยใช้ตัวอย่างจำลองที่มีและตัวอย่างของการแจกแจงหลังขนาดซึ่งเป็นชุดก่อนหน้าสำหรับบนและตัวประมาณความหนาแน่นของเคอร์เนลสำหรับการประเมินโหมดของตัวอย่างหลัง (MAP = MLE) $\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$ $\rho$ ${\mathbb R}$ $\epsilon=0.001$ $n=100$ $\mu=0$ $1000$ $\mu$ $(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

อย่างที่คุณเห็นการใช้ความอดทนเล็กน้อยเราได้การประมาณค่า MLE ที่ดีมาก (ซึ่งในตัวอย่างเล็ก ๆ น้อย ๆ นี้สามารถคำนวณได้จากสถิติที่ระบุว่าเพียงพอ) สิ่งสำคัญคือต้องสังเกตว่าการเลือกสถิติสรุปเป็นสิ่งสำคัญ โดยทั่วไปปริมาณจะเป็นตัวเลือกที่ดีสำหรับสถิติสรุป แต่ตัวเลือกทั้งหมดไม่สามารถสร้างการประมาณที่ดีได้ อาจเป็นกรณีที่สถิติสรุปไม่ได้ให้ข้อมูลมากนักและจากนั้นคุณภาพของการประมาณค่าอาจไม่ดีซึ่งเป็นที่รู้จักกันดีในชุมชน ABC

อัปเดต:มีการเผยแพร่วิธีคล้ายกันในFan และ al (2012) ดูรายการนี้สำหรับการอภิปรายบนกระดาษ

— ชุมชน
แหล่งที่มา

(+1) สำหรับการระบุผลลัพธ์ที่ถูกต้องเกี่ยวกับความสัมพันธ์ระหว่าง MLE และ MAP และคำเตือนในวรรคสุดท้าย (ด้วยเหตุผลอื่น ๆ ) เพื่อให้คำเตือนนั้นชัดเจนยิ่งขึ้นวิธีการนี้ (หรือใด ๆ !) จะล้มเหลวอย่างน่าสังเวชหากสถิติในมือนั้นใกล้เคียงกันหรือเกือบจะเป็นเช่นนั้น หนึ่งสามารถพิจารณาตัวอย่างของเล่นของคุณและ

เช่น

T = \sum_{i} (X_{i} - \bar{X})^{2}

$T = \sum_i (X_i - \bar X)^2$

— พระคาร์ดินัล

+1 @procrastinator ฉันจะพูดง่ายๆว่าใช่คุณสามารถใช้สถิติที่เพียงพอหากพวกเขาพร้อมใช้งานสำหรับแบบจำลองของคุณ แต่คำตอบที่ครอบคลุมของคุณดูเหมือนจะครอบคลุม

— Michael R. Chernick

คำถามง่ายๆหนึ่งข้อที่คุณพูดถึงว่าชุดก่อนต้องมี MLE ในการสนับสนุน แต่ MLE เป็นตัวแปรสุ่มซึ่งถูก จำกัด ขอบเขตสุ่มเท่านั้นนั่นคือมันสามารถอยู่นอกชุดที่มีขอบเขตใด ๆ ที่มีความน่าจะเป็นในเชิงบวก

— mpiktas

@mpiktas สำหรับตัวอย่างเฉพาะคุณต้องเลือกการสนับสนุนที่เหมาะสมของชุดก่อน สิ่งนี้อาจเปลี่ยนแปลงหากคุณเปลี่ยนตัวอย่าง เป็นสิ่งสำคัญที่จะต้องทราบว่านี่ไม่ใช่ขั้นตอนแบบเบย์เราใช้มันเป็นวิธีการเชิงตัวเลขดังนั้นจึงไม่มีปัญหาในการเล่นกับตัวเลือกก่อนหน้านี้ การสนับสนุนที่น้อยกว่านั้นยิ่งดี สิ่งนี้จะเพิ่มความเร็วของตัวอย่าง ABC แต่เมื่อข้อมูลของคุณไม่ชัดเจนในแง่ที่ว่าคุณไม่มีเงื่อนงำที่เชื่อถือได้ว่าตำแหน่ง MLE นั้นอยู่ที่ใดคุณอาจต้องการการสนับสนุนที่มากขึ้น (และจะจ่ายราคา)

@mpiktas ในตัวอย่างของเล่นคุณสามารถใช้ชุดก่อนหน้าด้วยการสนับสนุน

หรือชุดก่อนหน้าด้วยการสนับสนุน

ได้รับผลลัพธ์เดียวกัน แต่มีอัตราการยอมรับแตกต่างกันมาก ตัวเลือกของการสนับสนุนนี้เป็นแบบเฉพาะกิจและเป็นไปไม่ได้ที่จะเกิดขึ้นกับจุดประสงค์ทั่วไปก่อนหน้านี้เนื่องจาก MLE นั้นไม่ได้ถูก จำกัด ขอบเขตแบบสุ่มตามที่คุณพูดถึง ทางเลือกนี้จะถือว่าเป็นคันของวิธีการที่จะต้องมีการปรับเปลี่ยนในแต่ละกรณีพิเศษ

(- 1000000, 1000000)

$(-1000000,1000000)$

(0.1, 0.15)

$(0.1,0.15)$

ทุกอย่างขึ้นอยู่กับว่าหรือไม่ร่วมกันจำหน่ายของผู้ที่ 's เป็นที่รู้จักกัน ถ้าเป็นเช่น จากนั้นคุณสามารถทำการประมาณค่าความน่าจะเป็นสูงสุดตามการกระจายข้อต่อนี้ โปรดทราบว่ายกเว้นก็เพียงพอแล้วนี่จะเป็นโอกาสสูงสุดที่แตกต่างกว่าเมื่อใช้ข้อมูลดิบ $T_i$

(T_{1}, \dots, T_{k}) \sim g (t_{1}, \dots, t_{k} | θ, n)

$(T_1,\ldots,T_k)\sim g(t_1,\ldots,t_k|\theta,n)$

(T_{1}, \dots, T_{k})

$(T_1,\ldots,T_k)$

(X_{1}, \dots, X_{n})

$(X_1,\ldots,X_n)$ . It will necessarily be less efficient, with a larger asymptotic variance.

If the above joint distribution with density $g$ is not available, the solution proposed by Procrastinator is quite appropriate.

— Xi'an
แหล่งที่มา

The (frequentist) maximum likelihood estimator is as follows:

For $F$ in the exponential family, and if your statistics are sufficient your likelihood to be maximised can always be written in the form:

l (θ | T) = \exp (- ψ (θ) + ⟨ T, ϕ (θ) ⟩),

$l(\theta| T) = \exp\left( -\psi(\theta) + \langle T,\phi(\theta) \rangle \right),$ where

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot\rangle$ is the scalar product,

T

$T$ is the vector of suff. stats. and

ψ (\cdot)

$\psi(\cdot)$ and

ϕ (\cdot)

$\phi(\cdot)$ are continuous twice-differentiable.

The way you actually maximize the likelihood depends mostly on the possiblity to write the likelihood analytically in a tractable way. If this is possible you will be able to consider general optimisation algorithms (newton-raphson, simplex...). If you do not have a tractable likelihood, you may find it easier to compute a conditional expection as in the EM algorithm, which will also yield maximum likelihood estimates under rather affordable hypotheses.

Best

— julien stirnemann
แหล่งที่มา

For problems I am interested in, analytical tractability is not possible.

— mpiktas

The reason for non-tractability then conditions the optimization scheme. However, extensions of the EM usually allow to get arround most of these reasons. I don"t think I can be more specific in my suggestions without seeing the model itself

— julien stirnemann