สามารถใช้การทำซ้ำ MCMC หลังจากการเบิร์นเพื่อการประมาณความหนาแน่นได้หรือไม่?

หลังจากเบิร์นอินเราสามารถใช้การทำซ้ำ MCMC โดยตรงสำหรับการประมาณความหนาแน่นเช่นโดยการพล็อตฮิสโตแกรมหรือการประมาณความหนาแน่นของเคอร์เนล ความกังวลของฉันคือการทำซ้ำ MCMC ไม่จำเป็นต้องเป็นอิสระแม้ว่าจะมีการกระจายตัวเหมือนกันมากที่สุด

จะเป็นอย่างไรถ้าเราใช้การทำ MCMC ซ้ำต่อไป ความกังวลของฉันคือการทำซ้ำ MCMC นั้นไม่เกี่ยวข้องกันมากที่สุดและยังไม่เป็นอิสระ

พื้นดินที่ฉันเรียนรู้สำหรับการใช้ฟังก์ชันการแจกแจงเชิงประจักษ์เป็นการประมาณค่าของฟังก์ชันการแจกแจงที่แท้จริงขึ้นอยู่กับทฤษฎีบท Glivenko - Cantelliที่ซึ่งฟังก์ชันการแจกแจงเชิงประจักษ์ถูกคำนวณตามตัวอย่าง iid ฉันดูเหมือนจะเห็นบางสิ่ง (ผลลัพธ์แบบอะซิมโทติค) สำหรับการใช้ฮิสโตแกรมหรือการประมาณความหนาแน่นของเคอร์เนลเป็นการประมาณความหนาแน่น แต่ฉันจำไม่ได้

distributions mcmc asymptotics

— ทิม
แหล่งที่มา

คำตอบ:

คุณสามารถ - และคนทำ - ประมาณความหนาแน่นจากการสุ่มตัวอย่าง MCMC

สิ่งหนึ่งที่ต้องจำไว้คือในขณะที่ฮิสโทแกรมและ KDE นั้นสะดวก แต่อย่างน้อยในกรณีง่ายๆ (เช่นการสุ่มตัวอย่างจากกิ๊บส์) การประเมินความหนาแน่นที่มีประสิทธิภาพมากขึ้นอาจมีอยู่

หากเราพิจารณาการสุ่มตัวอย่างของกิ๊บส์โดยเฉพาะความหนาแน่นตามเงื่อนไขที่คุณกำลังสุ่มตัวอย่างสามารถนำมาใช้แทนค่าตัวอย่างในการประเมินความหนาแน่นโดยเฉลี่ย ผลลัพธ์มีแนวโน้มที่จะค่อนข้างราบรื่น

วิธีการจะกล่าวถึงใน

ช้างและสมิ ธ (1990), "การสุ่มตัวอย่างตามแนวทางการคำนวณความหนาแน่น Marginal"
วารสารของสมาคมอเมริกันสถิติฉบับ 85 หมายเลข 410, pp 398-409

(แม้ว่าเกเยอร์เตือนว่าหากการพึ่งพาตัวเก็บตัวอย่างสูงพอก็ไม่ได้ลดความแปรปรวนและให้เงื่อนไขกับมันเสมอ)

วิธีนี้ยังมีการกล่าวถึงตัวอย่างเช่นโรเบิร์ตซีพีและ Casella, G. (1999) Monte Carlo วิธีการทางสถิติ

คุณไม่ต้องการอิสรภาพคุณคำนวณค่าเฉลี่ย หากคุณต้องการคำนวณข้อผิดพลาดมาตรฐานของการประเมินความหนาแน่น (หรือ cdf) คุณต้องคำนึงถึงการพึ่งพา

แนวคิดเดียวกันนี้นำไปใช้กับความคาดหวังอื่น ๆ แน่นอนและสามารถนำไปใช้ปรับปรุงการประมาณค่าเฉลี่ยประเภทอื่น ๆ ได้

— Glen_b -Reinstate Monica
แหล่งที่มา

ขอบคุณ! คุณหมายความว่าเนื่องจากการกระจายส่วนเล็กน้อยเป็นความคาดหวังในการกระจายการร่วมกันจึงไม่สำคัญที่จะใช้การทำซ้ำ MCMC ที่มีความสัมพันธ์กันเพื่อประเมินการกระจายตัวเล็กน้อย จะเป็นอย่างไรถ้าใช้การทำซ้ำแบบสหสัมพันธ์เพื่อประเมินการแจกแจงร่วม ยังโอเคไหม

— Tim

ไม่นั่นคือสิ่งที่ฉันหมายถึง ฉันหมายความว่าตัวประมาณที่เรากำลังเผชิญอยู่นั้นเป็นค่าเฉลี่ยของสิ่งต่าง ๆ และถูกนำมาใช้เพื่อประมาณปริมาณประชากรที่อาจถูกตีความว่าเป็นความคาดหวังของสิ่งเหล่านั้น ใช่คุณสามารถใช้ Draw Draws เพื่อประมาณการกระจายตัวแบบร่วมในความหมายเดียวกัน

— Glen_b -Reinstate Monica

ทำไมเราสามารถใช้การคำนวณแบบสหสัมพันธ์เพื่อประเมินการกระจายตัวของข้อต่อได้? ฉันคิดว่าไม่เพราะการกระจายข้อต่อไม่ใช่สิ่งที่คาดหวัง โปรดสังเกตว่าในทฤษฎีบท Glivenko-Cantelli, cdf เชิงประจักษ์ถูกคำนวณในตัวอย่าง iid

— ทิม

สำหรับความหนาแน่นคุณอาจพิจารณาบางอย่างเช่นค่าประมาณตัวอย่างที่อธิบายไว้ที่นี่เช่น (และอาจถูกพิจารณาว่าเป็นขีด จำกัด ของฮิสโตแกรมที่มีช่องเก็บแคบมากขึ้น) เป็นค่าเฉลี่ยและฉันเชื่อว่าความคาดหวังของมันคือความหนาแน่น ในส่วนของ cdf คุณอาจต้องการพิจารณาว่าคุณสามารถทำอะไรกับ cdf เชิงประจักษ์หรือไม่เพื่อทำในรูปแบบของค่าเฉลี่ย ความคิดทั้งสองดูเหมือนจะทำงานกับกลุ่มตัวอย่างจากการกระจายข้อต่อ

— Glen_b -Reinstate Monica

ประวัติย่อ

คุณสามารถใช้การทำซ้ำ MCMC โดยตรงสำหรับทุกสิ่งเนื่องจากค่าเฉลี่ยของสิ่งที่คุณสังเกตเห็นจะเข้าใกล้ค่าจริง (เพราะคุณอยู่หลังการเผาไหม้)

อย่างไรก็ตามโปรดจำไว้ว่าความแปรปรวนของค่าเฉลี่ยนี้ได้รับอิทธิพลจากความสัมพันธ์ระหว่างตัวอย่าง ซึ่งหมายความว่าหากตัวอย่างมีความสัมพันธ์เช่นเดียวกับใน MCMC การจัดเก็บการวัดทุกครั้งจะไม่ก่อให้เกิดประโยชน์ใด ๆ อย่างแท้จริง

ในทางทฤษฎีคุณควรวัดหลังจากขั้นตอน N โดยที่ N เป็นลำดับเวลาของความสัมพันธ์อัตโนมัติของสิ่งที่สังเกตได้ที่คุณกำลังวัด

คำอธิบายโดยละเอียด

$x_t$ $t$ $f$

$x_t \in \mathbb{R}$ $f=f_a(x)$ $x\in[a,a+\Delta]$ $x_t$ $P(x)$

$f$

F = \frac{1}{N} \sum_{i = 1}^{N} f (x_{i})

$F = \frac{1}{N}\sum_{i=1}^N f(x_i)$

$\langle F\rangle$ $P(x)$

⟨ F ⟩ = \frac{1}{N} \sum_{i = 1}^{N} ⟨ f (x_{i}) ⟩ = ⟨ f (x) ⟩

$\langle F \rangle = \frac{1}{N}\sum_{i=1}^N \langle f(x_i)\rangle = \langle f(x)\rangle$

สิ่งที่คุณต้องการได้รับ

$\langle F^2 \rangle - \langle F \rangle^2$

\sum_{i = 1}^{N} \sum_{j = 1}^{N} ⟨ f (x_{i}) f (x_{j}) ⟩

$\sum_{i=1}^N\sum_{j=1}^N \langle f(x_i)f(x_j)\rangle$

$x_t$ $j=i+\Delta$ $f$ $R(\Delta)$

ดังนั้นเพื่อสรุป:

หากการคำนวณนั้นไม่มีค่าใช้จ่ายใด ๆ ในการจัดเก็บทุกการวัดคุณสามารถทำได้ แต่โปรดจำไว้ว่าความแปรปรวนไม่สามารถคำนวณได้โดยใช้สูตรปกติ
$\tau$ $\tau$

— Jorge Leitao
แหล่งที่มา

\sqrt{n}

$\sqrt n$

การทำให้ผอมบางเป็นเพียงข้อมูลที่มีประโยชน์ ไม่ลดความแปรปรวนของค่าประมาณ ดูความเห็นสำหรับคำถามนี้: stats.stackexchange.com/a/258529/58675

— DeltaIV

@ DeltaIV ใช่ ประเด็นของฉันที่นี่คือผอมบางหรือไม่ขนาดเวลาที่เกี่ยวข้องยังคงเป็นเวลาของความสัมพันธ์อัตโนมัติ

— Jorge Leitao