MCMC; เราแน่ใจได้หรือไม่ว่าเรามีตัวอย่าง '' บริสุทธิ์ '' และ '' ใหญ่พอ '' จากด้านหลัง? มันทำงานอย่างไรถ้าเราไม่ได้?

อ้างถึงหัวข้อนี้: คุณจะอธิบายมาร์คอฟเชนมอนติคาร์โล (MCMC) ให้กับบุคคลทั่วไปได้อย่างไร? .

ฉันเห็นได้ว่ามันเป็นการรวมกันของมาร์คอฟเชนและมอนติคาร์โล: โซ่มาร์คอฟถูกสร้างขึ้นด้วยส่วนหลังที่ จำกัด การกระจายตัวและจากนั้นมอนติคาร์โลวาด (ขึ้นอยู่) ทำจากการกระจาย จำกัด (= หลังของเรา)

สมมติว่า (ฉันรู้ว่าฉันลดความซับซ้อนที่นี่) หลังจากก้าวไปเราก็ถึงขีด จำกัด การกระจาย (*) $L$ $\Pi$

ลูกโซ่มาร์คอฟเป็นลำดับของตัวแปรสุ่มฉันได้รับลำดับ , ที่เป็นตัวแปรสุ่มและคือการ จำกัด ' 'ตัวแปรสุ่ม' 'ซึ่งเราต้องการสุ่มตัวอย่าง $X_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \Pi$ $X_i$ $\Pi$

MCMC เริ่มจากค่าเริ่มต้นคือเป็นตัวแปรสุ่มที่มีมวลทั้งหมดในที่หนึ่งค่าx_1ถ้าฉันใช้ตัวอักษรพิมพ์ใหญ่สำหรับตัวแปรสุ่มและตัวอักษรขนาดเล็กสำหรับการรับรู้ของตัวแปรสุ่ม MCMC จะให้ลำดับ . ดังนั้นความยาวของห่วงโซ่ MCMC คือ L + n $X_1$ $x_1$ $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$

[[* หมายเหตุ: ตัวอักษรพิมพ์ใหญ่คือตัวแปรสุ่ม (เช่นผลลัพธ์ทั้งหมด) และขนาดเล็กเป็นผลลัพธ์เช่นค่าหนึ่งโดยเฉพาะ *]] $x$

เห็นได้ชัดว่ามีเพียงเท่านั้นที่เป็น '' หลัง '' ของฉันและสำหรับการประมาณหลัง '' ดี '' ค่าของควรเป็น '' ใหญ่พอ '' $\pi_i$ $n$

ถ้าฉันสรุปสิ่งนี้ฉันมีโซ่ MCMCของความยาว , เพียงเกี่ยวข้องกับการประมาณหลังของฉันและควรมีขนาดใหญ่พอ $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$ $N=L+n$ $\pi_1,\pi_2,\dots, \pi_n$ $n$

หากฉันรวมบางส่วน(เช่นการรับรู้ก่อนที่จะมีการแจกแจงแบบคงที่) ในการคำนวณการประมาณของด้านหลังแล้วมันจะเป็น '' ที่มีเสียงดัง '' $x_i$

ฉันรู้ว่าความยาวของห่วงโซ่ MCMCแต่หากไม่มีความรู้เกี่ยวกับนั่นคือขั้นตอนที่ฉันแน่ใจว่าจะสุ่มตัวอย่างจากการกระจายที่ จำกัด ฉันไม่สามารถแน่ใจได้ว่าฉันไม่ได้รวมเสียงดังและไม่สามารถ ต้องแน่ใจเกี่ยวกับขนาดของตัวอย่างจากการกระจายแบบ จำกัด โดยเฉพาะอย่างยิ่งฉันไม่สามารถแน่ใจได้ว่ามันมีขนาดใหญ่พอหรือไม่ $N=L+n$ $L$ $n=N-L$

ดังนั้นเท่าที่ผมเข้าใจคุณค่าของการนี้เป็นสิ่งที่สำคัญต่อคุณภาพของการประมาณของหลัง $L$ (ยกเว้นของเสียงรบกวนและตัวอย่างที่มีขนาดใหญ่จากมัน)

มีวิธีใดที่จะหาค่าประมาณที่สมเหตุสมผลสำหรับเมื่อฉันใช้ MCMC หรือไม่ $L$

(*) ผมคิดว่าโดยทั่วไปจะขึ้นอยู่กับค่าเริ่มต้นx_1 $L$ $x_1$

mcmc

— ชุมชน
แหล่งที่มา

TL DR; คุณไม่สามารถประมาณการตั้งแต่\ ดังนั้นสมมติฐานที่ง่ายที่สุดจึงไม่สามารถเกิดขึ้นได้อย่างแท้จริง (อาจมีบางกรณีที่เป็น แต่ไม่ใช่ในโลกทั่วไปของ MCMC) อย่างไรก็ตามคุณสามารถตัดสินใจได้ว่าจะทำให้อคติในช่วงต้นเล็กเพียงใด $L$ $L = \infty$ $N$

โดยพื้นฐานแล้วคำถามของคุณจะลดลงเป็น "เราจะประมาณเวลาเบิร์นอินได้อย่างไร" การเผาไหม้คือการทิ้งตัวอย่างที่เริ่มต้นเนื่องจากห่วงโซ่มาร์คอฟไม่ได้แปรสภาพ มีการวินิจฉัย MCMC มากมายที่ช่วยให้คุณสามารถประเมิน "การเผาไหม้ใน" เวลาคุณสามารถดูความคิดเห็นของพวกเขาอยู่ที่นี่

มีสองโรงเรียนผ่านเกี่ยวกับการเผาไหม้เป็น; ผู้ที่ได้รับความนิยมคือการใช้การวินิจฉัยอย่างใดอย่างหนึ่งเพื่อตัดสินใจว่าคืออะไรและทิ้งตัวอย่างและโรงเรียนที่สองผ่านมันตัวอย่างแรกไม่ควรมีความสำคัญดังนั้นไม่ต้องกังวลกับพวกเขา Charlie Geyer พูดจาโผงผางเกี่ยวกับเรื่องนี้ที่ฉันเห็นด้วย $L$ $L$ $L$

ตอนนี้ฉันหันไปดูรายละเอียดทางเทคนิคเพิ่มเติมสำหรับคำถามของคุณ

ข้อสมมติฐานที่ทำให้เข้าใจง่ายที่คุณทำในคำถามของคุณคือในที่สุด (หลังจากขั้นตอน ) ตัวอย่างจะเริ่มวาดจากการกระจาย จำกัด ดังนั้นตัวอย่างของคุณหลังจากขั้นตอนเป็นรูปวาดล้วนๆแม้ว่าจะมีความสัมพันธ์กัน นี่เป็นเรื่องจริง พูดอย่างเคร่งครัดคือ\ห่วงโซ่มาร์คอฟไม่เคยแปรเปลี่ยนเป็นข้อ จำกัด อย่างแท้จริงในเวลา จำกัด ดังนั้นการประมาณจึงไม่มีจุดหมายเกือบ $L$ $L$ $L$ $\infty$ $L$

วิธีที่แตกต่างในการวางคำถามนี้คือ:คืออะไรหลังจากขั้นตอนโซ่มาร์คอฟคือ "ใกล้พอ" กับการกระจายที่ จำกัด นี่คือคำถามที่การวินิจฉัยส่วนใหญ่พยายามตอบ มีการตกลงกันมากขึ้นเรื่อย ๆ ว่าการวินิจฉัยข้างต้นโดยทั่วไปแล้วมีความเป็นอิสระอย่างมากและสามารถวินิจฉัย "การลู่เข้า" ได้มากก่อนที่มันจะควรมี นี่คือเอกสารที่แสดงจุดอ่อนของการวินิจฉัย $L$ $L$

สิ่งดังกล่าวข้างต้นขอให้ผู้ที่จะทำแทนจะไม่ต้องกังวลกับกังวลเกี่ยวกับNโดยทั่วไปผู้ใช้จะไม่สนใจในการกระจายหลังเต็มรูปแบบ แต่ในปริมาณที่เฉพาะเจาะจง บ่อยครั้งที่ปริมาณนี้เป็นค่าเฉลี่ยของคนหลังหรือฟังก์ชั่นอื่น ๆ ที่สามารถเขียนลงได้ตามที่คาดหวัง นี่คือจุดที่ส่วน "มอนติคาร์โล" ของ MCMC เข้ามาเนื่องจากมอนติคาร์โลบ่งบอกถึงการประเมินค่าอินทิกรัลกับการรวม ดังนั้นถ้าเป็นห่วงโซ่มาร์คอฟของคุณ (สังเกตว่าฉันเพิกเฉยต่อเนื่องจากคือ ) และเราต้องการประเมินค่าเฉลี่ยหลัง ( ) จากนั้น $L$ $N$ $X_1, X_2, X_3, \dots, X_N$ $L$ $L$ $\infty$ $\theta$

{\bar{θ}}_{N} = \frac{1}{N} \sum_{i = 1}^{N} X_{i} .

$\bar{\theta}_N = \dfrac{1}{N} \sum_{i=1}^{N}X_i.$

แนวคิดก็คือว่าถ้ามีขนาดใหญ่พอดังนั้นอคติเริ่มต้นของตัวอย่างจะไม่มีนัยสำคัญ แน่นอนว่าถ้าค่าเริ่มต้นอยู่ไกลจากพื้นที่ที่มีความน่าจะเป็นสูงของการกระจายแบบ จำกัด ผู้ใช้สามารถมองด้วยตาเปล่าและโยนตัวอย่างแรกไปสองตัวอย่าง สิ่งนี้แตกต่างจากการประมาณค่าเนื่องจากไม่ใช่การประมาณ แต่เป็นการศึกษาที่ไม่สนใจตัวอย่างที่เสียหายอย่างชัดเจน $N$ $L$

ตอนนี้คำถามที่แน่นอนคือ:ควรมีขนาดใหญ่แค่ไหน? คำตอบควรขึ้นอยู่กับว่าเราต้องการประมาณดีแค่ไหน ถ้าเราต้องการค่าประมาณที่มากเราก็ต้องการตัวอย่างมากขึ้นถ้าพอประมาณพอเราก็อาจมีตัวอย่างเล็ก ๆ นี่คือสิ่งที่เกิดขึ้นในปัญหาสถิติมาตรฐานเช่นกัน $N$ $\theta$

วิธีที่เราประเมินปริมาณ "ความดี" ของการประเมินคือการคิดว่า "เราจะพูดอะไรเกี่ยวกับข้อผิดพลาดของ Monte Carlo ได้หรือไม่ภายใต้เงื่อนไขที่สมเหตุสมผล CLT ที่บอกว่าเป็น , สำหรับการใด ๆ เริ่มต้นการกระจาย $(\bar{\theta}_N - \theta)$ $N \to \infty$

\sqrt{N} ({\bar{θ}}_{N} - θ) \overset{d}{\to} N_{p} (0, Σ),

$\sqrt{N}(\bar{\theta}_N - \theta) \overset{d}{\to} N_p(0, \Sigma),$

โดยที่และคือเมทริกซ์ความแปรปรวนร่วมเชิงเส้นกำกับ กุญแจตรงนี้คือผลลัพธ์จะเป็นจริงสำหรับการแจกแจงเริ่มต้นใด ๆ $\theta \in \mathbb{R}^p$ $\Sigma$

เมื่อมีขนาดเล็กเรารู้ว่าตัวประมาณนั้นดี นี้กระดาษนำเสนอความคิดของการหยุดนี้และคำตอบของฉันที่นี่สรุปวิธีการของพวกเขา ผลลัพธ์ในรายงานของพวกเขายังคำนึงถึงการกระจายเริ่มต้นของกระบวนการ $\Sigma/N$

— Greenparker
แหล่งที่มา

ขอบคุณสำหรับคำตอบ (+1) ฉันรู้ว่าควรเป็นฉันบอกอย่างชัดเจนว่าฉันกำลังทำให้ง่ายขึ้น ตราบใดที่ CLT ของคุณไม่ควรเป็นสำหรับการบรรจบกันของการกระจาย? และสำหรับนั่นคือคำนวณหลังจากวางค่าการเผาไหม้เพราะถ้ามันหลังจากที่พวกเขาลดลงแล้วปัญหายังคงอยู่? (ฉันขอถามสิ่งที่ TL DR หมายถึงอะไร) ขอบคุณสำหรับกระดาษฉันอ่านรายละเอียด

L

$L$

\infty

$\infty$

Σ / n

$\Sigma/n$

{\hat{θ}}_{N}

$\hat{\theta}_N$

คงพิมพ์ผิดก็ควรจะได้รับ N ถูกคำนวณจากตัวอย่างทั้งหมดไม่มีอะไรถูกทิ้ง TL DR หมายถึง "ยาวเกินไปไม่อ่าน" ฉันลืมที่จะเพิ่มว่า CLT เก็บไว้สำหรับการกระจายเริ่มต้นใด ๆ ฉันจะเพิ่มที่

Σ / N

$\Sigma/N$

{\bar{θ}}_{N}

$\bar{\theta}_N$

— Greenparker

ฉันมีอีกหนึ่งคำถาม: ในกระดาษโดย Flegal ฮารานและโจนส์MCMC: เราสามารถผลักดันร่างอย่างมีนัยสำคัญสามด้านล่างสูตร (3) มันบอกว่ามันจะสันนิษฐานว่า\ นั่นหมายความว่าฉันควรคำนึงถึงการเผาผลาญเมื่อประมาณ ?

X_{1} \sim π

$X_1 \sim \pi$

{\bar{g}}_{n}

$\bar{g}_n$

@fcop บรรทัดนั้นเป็นเพียงการอธิบายความคาดหวัง มันไม่ได้สันนิษฐานว่าแต่ความคาดหวังนั้นเกี่ยวกับในสูตร

X_{1} \sim π

$X_1 \sim \pi$

π

$\pi$

— Greenparker