เมื่อใดที่เขตข้อมูลสุ่มของ Markov

ในตำราเรียนของพวกเขารุ่นกราฟิกครอบครัวเอกและแปรผันอนุมาน , เอ็มจอร์แดนและเอ็มเวนไรท์หารือเกี่ยวกับการเชื่อมต่อระหว่างครอบครัวเอกและมาร์คอฟทุ่งสุ่ม (ไม่มีทิศทางรูปแบบกราฟิก)

ฉันพยายามเข้าใจความสัมพันธ์ที่ดีขึ้นระหว่างพวกเขาด้วยคำถามต่อไปนี้:

• MRF ทุกคนเป็นสมาชิกของครอบครัวผู้ชี้แจงหรือไม่
• สมาชิกทุกคนในตระกูลเอ็กซ์โปเนนเชียลสามารถแสดงตนเป็น MRF ได้หรือไม่?
• หาก MRFs ครอบครัวชี้แจงสิ่งที่เป็นตัวอย่างที่ดีของการกระจายของประเภทหนึ่งไม่ ncluded ในอื่น ๆ ?$\neq$

จากสิ่งที่ฉันเข้าใจในตำราเรียนของพวกเขา (บทที่ 3) จอร์แดนและเวนไรท์นำเสนอข้อโต้แย้งต่อไป:

1. บอกว่าเรามี AA เกลา X ตัวแปรสุ่มที่ตามบางส่วนกระจายและวาดnสังเกต IID X 1 , ... X nและเราต้องการที่จะระบุP$p$$n$$X^1, \ldots X^n$$p$

2. เราคำนวณความคาดหวังเชิงประจักษ์ของฟังก์ชั่นบางอย่าง$\phi_\alpha%$

   สำหรับทุกอัลฟ่า∈$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$$\alpha \in \mathcal{I}$

   ที่แต่ละในบางชุดฉันทำดัชนีฟังก์ชั่นϕ α : X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. ถ้าเราบังคับให้ปริมาณสองชุดต่อไปนี้มีความสอดคล้องกันนั่นคือจับคู่ (เพื่อระบุ ):$p$

   • ความคาดหวังของสถิติที่เพียงพอϕของการแจกแจง$E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • ความคาดหวังภายใต้การกระจายเชิงประจักษ์

เราได้รับปัญหา underdeterminedในแง่ที่ว่ามีการกระจายหลาย ที่มีความสอดคล้องกับการสังเกต ดังนั้นเราต้องมีหลักการในการเลือกระหว่างพวกเขา (เพื่อระบุp )$p$$p$

หากเราใช้หลักการของค่าสูงสุดของเอนโทรปีในการลบความบึกบึนนี้เราจะได้ค่าเดียว:$p$

อาจมีการ E P [ ( ไวอัลฟ่า ( X ) ] = μอัลฟ่าสำหรับทุกอัลฟ่า∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

ที่นี้ใช้เวลาในรูปแบบพีθ ( x ) αประสบการณ์Σ α ∈ ฉัน θ α ไวα ( x ) ,ที่θ ∈ R dหมายถึง parameterization ของการจัดจำหน่ายในรูปแบบครอบครัวที่ชี้แจงได้$p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

กล่าวอีกนัยหนึ่งถ้าเรา

1. ทำให้ความคาดหวังของการแจกแจงนั้นสอดคล้องกับความคาดหวังภายใต้การกระจายเชิงประจักษ์
2. ใช้หลักการของเอนโทรปีสูงสุดในการกำจัดบึกบึน

ท้ายที่สุดเราก็ได้การกระจายของตระกูลเอ็กซ์โพเนนเชียล$\rightarrow$

อย่างไรก็ตามนี่ดูเหมือนจะเป็นข้อโต้แย้งในการแนะนำตระกูลเอ็กซ์โปเนนเชียลและ (เท่าที่ฉันเข้าใจ) มันไม่ได้อธิบายความสัมพันธ์ระหว่าง MRF และประสบการณ์ ครอบครัว ฉันไม่มีอะไรเลยหรือ

คุณถูกต้องทั้งหมด - อาร์กิวเมนต์ที่คุณนำเสนอเกี่ยวข้องกับตระกูลเอ็กซ์โปเนนเชียลกับหลักการของเอนโทรปีสูงสุด แต่ไม่มีอะไรเกี่ยวข้องกับ MRF

วิธีตอบคำถามสามข้อแรกของคุณ:

สมาชิกทุกคนในตระกูลเอ็กซ์โปเนนเชียลสามารถแสดงตนเป็น MRF ได้หรือไม่?

MRF ทุกคนเป็นสมาชิกของครอบครัวผู้ชี้แจงหรือไม่

$are$

$\neq$

การแจกแจงผสมเป็นตัวอย่างทั่วไปของการแจกแจงแบบครอบครัวที่ไม่ใช่แบบเอ็กซ์โพเนนเชียล พิจารณาโมเดลอวกาศของรัฐเกาส์เชิงเส้น (เช่นโมเดลมาร์คอฟที่ซ่อนอยู่ แต่มีสถานะซ่อนเร้นอย่างต่อเนื่อง หากคุณแทนที่เคอร์เนลการเปลี่ยนแปลงด้วยการผสมผสานของ Gaussians การกระจายผลลัพธ์จะไม่อยู่ในตระกูลเอ็กซ์โพเนนเชียลอีกต่อไป (แต่มันยังคงรักษาโครงสร้างความเป็นอิสระแบบมีเงื่อนไขตามเงื่อนไขของแบบจำลองกราฟิกเชิงปฏิบัติ)

[1] http://en.wikipedia.org/wiki/Markov_random_field