เหตุใดจึงเป็นที่พึงปรารถนาที่จะมีความสัมพันธ์แบบอัตโนมัติต่ำใน MCMC

11

ฉันอ่านต่อเกี่ยวกับความจำเป็นในการตรวจสอบความสัมพันธ์อัตโนมัติใน MCMC ทำไมจึงเป็นสิ่งสำคัญที่ autocorrelation ต่ำ? มันวัดอะไรในบริบทของ MCMC?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
แหล่งที่มา

3

อันที่จริง, ถ้าใครสามารถสร้างความสัมพันธ์เชิงลบอัตโนมัติสูงในตัวอย่าง MCMC, ตัวอย่างนี้จะปรับปรุงตามการสุ่มตัวอย่าง iid อย่างไรก็ตามนี่เป็นเหตุการณ์ที่เกิดขึ้นได้ยากมาก ...

— ซีอาน

4

Autocorrelation เป็นการวัดว่าค่าของสัญญาณมีความสัมพันธ์กับค่าอื่น ๆ ของสัญญาณนั้น ณ เวลาต่างๆกันหรือไม่ ในบริบทของ MCMC ความสัมพันธ์อัตโนมัติเป็นตัวชี้วัดว่าตัวอย่างที่แตกต่างกันอย่างอิสระจากการกระจายหลังของคุณคือ - ความสัมพันธ์อัตโนมัติต่ำกว่าซึ่งแสดงผลลัพธ์ที่เป็นอิสระมากขึ้น

เมื่อคุณมีความสัมพันธ์อัตโนมัติสูงตัวอย่างที่คุณวาดไม่ได้แสดงถึงการกระจายหลังอย่างถูกต้องและดังนั้นจึงไม่ได้ให้ข้อมูลที่มีความหมายสำหรับการแก้ปัญหา กล่าวอีกนัยหนึ่งการลดความสัมพันธ์อัตโนมัติหมายถึงประสิทธิภาพที่สูงขึ้นในเครือข่ายของคุณและการประมาณที่ดีขึ้น กฎทั่วไปก็คือถ้าคุณมีความสัมพันธ์อัตโนมัติที่ต่ำกว่าตัวอย่างที่คุณต้องการจะมีประสิทธิภาพน้อยลง (แต่นั่นอาจจะเกินความจริง)

— เฮนรี่แฮมมอนด์
แหล่งที่มา

ฉันมีพื้นหลังไม่มากนักกับ MCMC แต่ประโยคสุดท้ายของคุณดูเหมือนจะไม่ถูกปรับให้กว้างเกินไป หากคุณดูที่ผลกระทบของความสัมพันธ์โดยอัตโนมัติต่อการประมาณการข้อผิดพลาดของคุณพวกเขาเปลี่ยนค่าจากเป็นที่เป็นเวลาที่ autocorreltion วัดที่เดียวกันobservables ดังนั้นมันจึงเป็นเหมือนมีเพียง 'วัดที่มีประสิทธิภาพ' แทนNยังมี oversimplification ในข้อความนี้บ้างไหม?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— การเรียนรู้เป็นระเบียบ

10

ข้อแรกและที่สำคัญที่สุดคือถ้า autocorrelation สูงดังนั้นตัวอย่าง N จะไม่ให้ข้อมูลเกี่ยวกับการแจกแจง N แต่ให้คุณน้อยกว่านั้น ขนาดตัวอย่างที่มีประสิทธิภาพ (ESS) คือการวัดจำนวนข้อมูลที่คุณได้รับจริง ๆ (และเป็นฟังก์ชันของพารามิเตอร์

ที่เกี่ยวข้องกับความสัมพันธ์อัตโนมัติให้ตัวอย่างที่ไม่เป็นตัวแทน 'ในระยะสั้น' ยิ่งมีความสัมพันธ์อัตโนมัติมากเท่าไหร่ก็ยิ่งใช้เวลาสั้นลงเท่านั้น สำหรับออโตคอร์เรชั่นที่แข็งแกร่งมากการเรียกใช้ระยะสั้นอาจเป็นเพียงส่วนน้อยของตัวอย่างทั้งหมดของคุณ การแก้ไขโดยตรงตามปกติคือการกำหนดพารามิเตอร์ใหม่หรือพารามิเตอร์การสุ่มตัวอย่างที่คุณคาดว่าจะสัมพันธ์กันในบล็อกแทนที่จะแยกจากกันเนื่องจากจะสร้างการสัมพันธ์อัตโนมัติในห่วงโซ่ คนมักจะยัง 'บาง' ถึงแม้จะมีการอภิปรายเกี่ยวกับวิธีที่มีประโยชน์นี้คือในการแก้ปัญหาพื้นฐานเช่นที่นี่ Kass 1997เป็นการสนทนาอย่างไม่เป็นทางการของปัญหาแม้ว่าอาจมีสิ่งใหม่ที่ผู้อื่นสามารถแนะนำได้

กล่าวโดยย่อคือห่วงโซ่อัตโนมัติที่มีความสัมพันธ์อย่างยิ่งจะใช้เวลานานกว่าในการเริ่มต้นจากเงื่อนไขเริ่มต้นไปยังการกระจายเป้าหมายที่คุณต้องการในขณะที่ให้ข้อมูลน้อยลงและใช้เวลาในการสำรวจการกระจายนั้นนานขึ้น

— conjugateprior
แหล่งที่มา