อะไรคือความแตกต่างระหว่างสนามสุ่มมาร์คอฟและสนามสุ่มเงื่อนไข

ถ้าฉันแก้ไขค่าของโหนดที่สังเกตของ MRF มันจะกลายเป็น CRF หรือไม่?

ตกลงฉันพบคำตอบด้วยตัวเอง:

Conditinal Random Fields (CRFs) เป็นกรณีพิเศษของ Markov Random Fields (MRFs)

1.5.4 ฟิลด์สุ่มแบบมีเงื่อนไข

Conditional Random Field (CRF) เป็นรูปแบบของ MRF ที่กำหนดหลังสำหรับตัวแปร x ที่ให้ข้อมูล z เช่นเดียวกับ MRF ที่ซ่อนอยู่ด้านบน แตกต่างจาก MRF ที่ซ่อนอยู่อย่างไรก็ตามการแยกตัวประกอบลงในการแจกแจงข้อมูล P (x | z) และ P (x) ก่อนหน้านี้ไม่ชัดเจน [288] สิ่งนี้อนุญาตให้เขียนพึ่งพา x บน z ที่ซับซ้อนโดยตรงในการแจกแจงหลังโดยไม่ต้องแยกตัวประกอบ (จาก P (x | z) ความเป็นจริงดังกล่าวมีอยู่จริง - โดยมากแล้วในความเป็นจริง - ดังนั้นจึงไม่มีข้อเสนอแนะว่า CRF นั้นกว้างกว่า MRF ที่ซ่อนอยู่เพียงเพื่อความสะดวกในการจัดการกับ .)

ที่มา: Blake, Kohli และ Rother: เขตข้อมูลสุ่มของมาร์คอฟสำหรับการมองเห็นและการประมวลผลภาพ 2011

เงื่อนไขการสุ่มฟิลด์หรือ CRF (Lafferty et al. 2001) บางครั้งสุ่มฟิลด์เลือกปฏิบัติ (Kumar และ Hebert 2003) เป็นเพียงรุ่นของ MRF ที่มีศักยภาพกลุ่มทั้งหมดจะถูกปรับอากาศในคุณสมบัติการป้อนข้อมูล: [... ]

ข้อได้เปรียบของ CRF เหนือ MRF นั้นคล้ายคลึงกับประโยชน์ของตัวจําแนกแบบเลือกปฏิบัติมากกว่าตัวจําแนกแบบแยกประเภท (ดูหัวข้อที่ 8.6) กล่าวคือเราไม่จําเป็นต้องสร้างแบบจำลอง“ ทรัพยากรของเสีย” ที่เราสังเกตอยู่เสมอ [ ... ]

ข้อเสียของ CRFs เหนือ MRF ก็คือพวกเขาต้องการข้อมูลการฝึกอบรมที่มีข้อความกำกับและพวกเขาจะช้ากว่าในการฝึกอบรม [... ]

ที่มา: Kevin P. Murphy: การเรียนรู้ของเครื่อง: มุมมองที่น่าจะเป็น

ตอบคำถามของฉัน:

ถ้าฉันแก้ไขค่าของโหนดที่สังเกตของ MRF มันจะกลายเป็น CRF หรือไม่?

ใช่. การแก้ไขค่าจะเหมือนกับการปรับเงื่อนไข อย่างไรก็ตามคุณควรทราบว่ามีความแตกต่างในการฝึกอบรมเช่นกัน

การดูการบรรยายหลายเรื่องเกี่ยวกับ PGM (โมเดลกราฟิกน่าจะเป็น) ในหลักสูตรนี้ช่วยฉันได้มาก

MRF vs Bayes nets : พูดไม่ถูกต้อง (แต่โดยปกติ)มีสองแบบกราฟิก: แบบกราฟิกที่ไม่ได้บอกทิศทางและตัวแบบกราฟิกแบบกำกับ (อีกหนึ่งประเภทเช่นกราฟแทนเนอร์) อดีตเป็นที่รู้จักกันในอีกชื่อหนึ่งว่ามาร์คอฟสุ่มฟิลด์ / เครือข่ายมาร์คอฟและต่อมาเบย์แห / เครือข่ายเบย์ (บางครั้งสมมติฐานอิสระในทั้งสองสามารถแสดงด้วยกราฟ chordal)

มาร์คอฟบ่งบอกถึงวิธีการแยกตัวประกอบและฟิลด์สุ่มหมายถึงการแจกแจงเฉพาะในหมู่ที่กำหนดโดยแบบจำลองที่ไม่ได้บอกทิศทาง

CRF $\in$ MRF : เมื่อสังเกตตัวแปรบางตัวเราสามารถใช้การแสดงกราฟแบบไม่ได้บอกทิศทางเดียวกัน (เป็นกราฟที่ไม่ได้บอกทิศทาง) และการกำหนดพารามิเตอร์เพื่อเข้ารหัสการแจกแจงแบบมีเงื่อนไข$P(Y|X)$โดยที่$Y$เป็นชุดของตัวแปรเป้าหมายและ$X$คือ ) ชุดของตัวแปรที่สังเกต

และความแตกต่างเพียงอย่างเดียวคือในเครือข่ายมาร์คอฟมาตรฐานคำว่าการทำให้เป็นมาตรฐานมีผลรวมมากกว่า X และ Y แต่สำหรับ CRF คำนั้นจะมีผลรวมเฉพาะ Y เท่านั้น

อ้างอิง:

1. โมเดลกราฟิกที่ไม่ได้บอกทิศทาง
2. หลักการและเทคนิคการจำลองแบบกราฟิกความน่าจะเป็น (2009, The MIT Press)
3. มาร์คอฟสุ่มฟิลด์

ลองเปรียบเทียบข้อสรุปแบบมีเงื่อนไขภายใต้ MRF กับการสร้างแบบจำลองโดยใช้ CRF ปักหลักคำจำกัดความระหว่างทางจากนั้นตอบคำถามเดิม

MRF

Markov Random Field (MRF) ที่เกี่ยวกับกราฟ$G$คือ

1. ชุดของตัวแปรสุ่ม (หรือ "องค์ประกอบ" แบบสุ่มหากคุณต้องการ) ที่สอดคล้องกับโหนดใน$G$ (ดังนั้นจึงเป็น "เขตข้อมูลสุ่ม")
2. ด้วยการแจกแจงร่วมนั่นคือมาร์คอฟที่เกี่ยวกับ$G$ ; นั่นคือการกระจายความน่าร่วมที่เกี่ยวข้องกับการนี้ MRF อยู่ภายใต้ข้อ จำกัด ที่กำหนดโดยมาร์คอฟ G: สำหรับสองตัวแปรใด ๆ$V_i$และ$V_j$ค่าของ$V_i$เป็นอิสระจากเงื่อนไข$V_j$รับของเพื่อนบ้าน$\mathcal{B}_i$ฉัน ในกรณีนี้มันก็บอกว่าการกระจายความน่าร่วม$P(\{V_i\})$ ตัวประกอบตามG$G$

การอนุมานเงื่อนไขภายใต้ MRF

เนื่องจาก MRF เป็นตัวแทนของการกระจายตัวของตัวแปรหลายตัวที่เป็นไปตามข้อ จำกัด ของมาร์คอฟดังนั้นเราจึงสามารถคำนวณการแจกแจงความน่าจะเป็นแบบมีเงื่อนไขตามค่าที่สังเกตได้ของตัวแปรบางตัว

ตัวอย่างเช่นถ้าฉันมีการแจกแจงร่วมกับตัวแปรสุ่มสี่ตัว: IsRaining, SprinklerOn, SidewalkWet และ GrassWet จากนั้นในวันจันทร์ฉันอาจต้องการสรุปการกระจายความน่าจะเป็นร่วมกันบน IsRaining และ SprinklerOn เนื่องจากฉันสังเกต SidewalkWet = False และ GrassWet = จริง ในวันอังคารฉันอาจต้องการสรุปการแจกแจงความน่าจะเป็นร่วมของ IsRaining และ SprinklerOn เนื่องจากฉันสังเกต SidewalkWet = True และ GrassWet = True

กล่าวอีกนัยหนึ่งเราสามารถใช้แบบจำลอง MRF เดียวกันเพื่อทำการอนุมานในสถานการณ์ที่แตกต่างกันสองสถานการณ์นี้ แต่เราจะไม่พูดว่าเราได้เปลี่ยนแปลงแบบจำลองนั้นแล้ว ในความเป็นจริงแม้ว่าเราจะสังเกตเห็น SidewalkWet และ GrassWet ในทั้งสองกรณีที่อธิบายไว้ที่นี่ MRF เองก็ไม่มี "ตัวแปรสังเกต" ต่อ se --- ตัวแปรทั้งหมดมีสถานะเดียวกันในสายตาของ MRF ดังนั้น MRF ก็เป็นแบบจำลองเช่นกัน เช่นการกระจายข้อต่อ SidewalkWet และ GrassWet

CRF

$G$

1. $G$$\{X_i\}_{i=1}^n$$\{Y_i\}_{i=1}^m$
2. $P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$$G$

ความแตกต่าง

$G$

1. กำหนดชุดย่อยของตัวแปรเป็น "สังเกต"

2. เพียงกำหนดการแจกแจงแบบมีเงื่อนไขกับตัวแปรที่ไม่ได้รับการสังเกต มันไม่ได้เป็นแบบจำลองความน่าจะเป็นของตัวแปรที่สังเกตได้ (หากการแจกแจงแสดงในรูปของพารามิเตอร์สิ่งนี้มักถูกมองว่าเป็นประโยชน์เนื่องจากพารามิเตอร์ไม่สูญเปล่าในการอธิบายความน่าจะเป็นของสิ่งต่าง ๆ ที่จะเป็นที่รู้จักเสมอ)

3. $G$

$\{X_i\}$$G$$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

ตัวอย่าง

$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

ข้อสรุป

$G$$G$$G$$G$$G$$G$

นอกเหนือจากศักยภาพในการประหยัดของโมเดลพารามิเตอร์เพิ่มความหมายของแบบจำลองตามเงื่อนไขและการเก็บรักษาประสิทธิภาพการอนุมานจุดสำคัญสุดท้ายเกี่ยวกับสูตร CRF ก็คือสำหรับโมเดลที่ไม่ต่อเนื่อง (และโมเดลย่อยที่ไม่ใช่แบบแยก) การแสดงออกของตระกูล CRF ความเป็นไปได้ในการบันทึกสามารถแสดงเป็นฟังก์ชั่นนูนของพารามิเตอร์ฟังก์ชั่นที่ช่วยให้การเพิ่มประสิทธิภาพทั่วโลกด้วยการลาดลงของการไล่ระดับสี

ดูเพิ่มเติม: กระดาษ CRF ดั้งเดิมและบทช่วยสอนนี้