อัลกอริธึม / เทคนิค MCMC ใดที่ใช้สำหรับพารามิเตอร์ที่ไม่ต่อเนื่อง

ฉันรู้ว่ามีจำนวนพอสมควรเกี่ยวกับพารามิเตอร์ต่อเนื่องที่เหมาะสมโดยเฉพาะอย่างยิ่งวิธีการไล่ระดับสี แต่ไม่มากเกี่ยวกับพารามิเตอร์ที่ไม่ต่อเนื่องที่เหมาะสม

สิ่งที่ใช้กันทั่วไปคืออัลกอริธึม / เทคนิค MCMC สำหรับพารามิเตอร์ที่ไม่ต่อเนื่องที่เหมาะสม? มีอัลกอริทึมที่มีทั้งแบบทั่วไปและมีประสิทธิภาพหรือไม่ มีอัลกอริธึมที่จัดการกับคำสาปของขนาดหรือไม่? ตัวอย่างเช่นฉันจะบอกว่ามิลโตเนียน MCMC เป็นคนทั่วไปมีพลังและมีขนาดที่ดี

การสุ่มตัวอย่างจากการกระจายแบบไม่ต่อเนื่องตามอำเภอใจดูเหมือนยากกว่าการสุ่มตัวอย่างจากการกระจายอย่างต่อเนื่อง แต่ฉันอยากรู้ว่าสถานะของศิลปะคืออะไร

แก้ไข : JMS ขอให้ฉันทำอย่างละเอียด

ฉันไม่มีแอพพลิเคชั่นที่เฉพาะเจาะจง แต่นี่เป็นแบบจำลองบางอย่างที่ฉันจินตนาการ:

• การเลือกแบบจำลองระหว่างแบบจำลองการถดถอยต่อเนื่องหลายชนิด คุณมีพารามิเตอร์ 'model' แยกกัน
• แบบจำลองอย่างต่อเนื่องที่การสังเกตแต่ละครั้งมีความเป็นไปได้ที่จะเป็น 'ค่าผิดปกติ' และดึงมาจากการกระจายที่กระจายมากขึ้น ฉันคิดว่านี่เป็นรูปแบบผสม

ฉันคาดหวังว่าหลายรุ่นจะรวมทั้งพารามิเตอร์ต่อเนื่องและไม่ต่อเนื่อง

ดังนั้นคำตอบง่ายๆคือใช่: Metropolis-Hastings และกรณีพิเศษการสุ่มตัวอย่างของกิ๊บส์ :) ทั่วไปและทรงพลัง หรือไม่ก็ขึ้นอยู่กับปัญหาที่เกิดขึ้น

ฉันไม่แน่ใจว่าทำไมคุณคิดว่าการสุ่มตัวอย่างการแจกแจงแบบไม่ต่อเนื่องตามอำเภอใจนั้นยากกว่าการแจกแจงแบบต่อเนื่องโดยพลการ หากคุณสามารถคำนวณการกระจายแบบไม่ต่อเนื่องและพื้นที่ตัวอย่างไม่มากก็ง่ายกว่ามาก (เว้นแต่การกระจายอย่างต่อเนื่องอาจเป็นมาตรฐาน) คำนวณความน่าจะเป็นสำหรับแต่ละประเภทแล้วปกติจะได้รับความน่าจะเป็นและการใช้งานผกผันเปลี่ยนการสุ่มตัวอย่าง (การจัดเก็บภาษีมีคำสั่งโดยพลการใน ) .P ( ˜ k = k ) = f ( k ) / ∑ f ( k ) $f(k)$$P(\tilde k = k) = f(k)/\sum f(k)$$k$

คุณมีรูปแบบเฉพาะในใจหรือไม่? มีวิธีการ MCMC ทุกประเภทเพื่อปรับตัวแบบผสมตัวอย่างเช่นที่การมอบหมายส่วนประกอบแฝงเป็นพารามิเตอร์ที่ไม่ต่อเนื่อง ช่วงนี้ง่ายมาก (กิ๊บส์) ถึงค่อนข้างซับซ้อน

พื้นที่พารามิเตอร์มีขนาดเท่าใด มันอาจมีขนาดใหญ่มาก (เช่นในกรณีของแบบจำลองการผสมมันคือ N โดยจำนวนขององค์ประกอบการผสม)? คุณอาจไม่ต้องการอะไรมากไปกว่าตัวอย่างของกิ๊บส์เนื่องจากการผันคำกริยาไม่เป็นปัญหาอีกต่อไป (คุณสามารถรับค่าคงที่ normalizing โดยตรงเพื่อให้คุณสามารถคำนวณเงื่อนไขทั้งหมดได้) ในความเป็นจริง griddy Gibbs เคยเป็นที่นิยมสำหรับกรณีเหล่านี้ที่ discretized อย่างต่อเนื่องก่อนเพื่อลดการคำนวณ

ฉันไม่คิดว่าจะมี "ดีที่สุด" โดยเฉพาะสำหรับปัญหาทั้งหมดที่มีการเว้นวรรคพารามิเตอร์แบบแยกส่วนมากกว่าที่มีในกรณีอย่างต่อเนื่อง แต่ถ้าคุณบอกเราเพิ่มเติมเกี่ยวกับโมเดลที่คุณสนใจบางทีเราสามารถให้คำแนะนำได้

แก้ไข: ตกลงฉันสามารถให้ข้อมูลเพิ่มเติมเล็กน้อยในอีก: ตัวอย่างของคุณ

ตัวอย่างแรกของคุณมีประวัติอันยาวนานอย่างที่คุณอาจจินตนาการ บทวิจารณ์ล่าสุดคือใน [1], ดู [2] ด้วย ฉันจะพยายามให้รายละเอียดที่นี่: ตัวอย่างที่เกี่ยวข้องคือการเลือกตัวแปรการค้นหาสุ่ม สูตรแรกคือการใช้ไพรเออร์อย่างต่อเนื่องอย่างเช่นtau) ที่จริงแล้วกลับกลายเป็นว่าทำงานได้ไม่ดีเมื่อเทียบกับนักบวชอย่างโดยที่เป็นจุดมวล ที่ 0 โปรดทราบว่าทั้งคู่เหมาะกับสูตรดั้งเดิมของคุณ วิธีการ MCMC มักจะดำเนินการต่อโดยการเพิ่มพร้อมตัวบ่งชี้โมเดล (แยก) (พูด ) สิ่งนี้เทียบเท่ากับดัชนีรุ่น ถ้าคุณมี$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$แล้วเห็นได้ชัดคุณสามารถแมปการกำหนดค่าที่เป็นไปได้ที่ตัวเลขใน P$2^p$$1:2^p$

ดังนั้นคุณจะปรับปรุง MCMC ได้อย่างไร ในแบบจำลองเหล่านี้จำนวนมากคุณสามารถสุ่มตัวอย่างจากโดยการจัดองค์ประกอบคือการใช้ . การปิดกั้นการอัปเดตเช่นนี้สามารถปรับปรุงการผสมได้อย่างมากเนื่องจากความสัมพันธ์ระหว่างและนั้นไม่เกี่ยวข้องกับตัวอย่าง$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVS ฝังพื้นที่ทั้งหมดไว้ในโมเดลขนาดใหญ่ บ่อยครั้งสิ่งนี้ง่ายต่อการติดตั้ง แต่ให้ผลงานไม่ดี กระโดดกลับได้ MCMC เป็นวิธีการที่แตกต่างกันซึ่งทำให้มิติของพื้นที่พารามิเตอร์แตกต่างกันอย่างชัดเจน ดู [3] สำหรับการตรวจสอบและบันทึกปฏิบัติ คุณสามารถค้นหารายละเอียดเพิ่มเติมเกี่ยวกับการใช้งานในรุ่นที่แตกต่างกันในวรรณคดีฉันแน่ใจ

บ่อยครั้งที่วิธีการ MCMC ที่สมบูรณ์นั้นเป็นไปไม่ได้ สมมติว่าคุณมีการถดถอยเชิงเส้นพร้อมตัวแปรและคุณใช้วิธีการเช่น SSVS คุณไม่สามารถหวังให้ตัวอย่างเก็บรวมกันได้ มีเวลาไม่เพียงพอหรือพลังในการคำนวณเพื่อเข้าชมการกำหนดค่าแบบจำลองเหล่านั้นทั้งหมดและคุณจะถูกซ่อนไว้เป็นพิเศษหากตัวแปรบางตัวของคุณมีความสัมพันธ์ในระดับปานกลาง คุณควรสงสัยคนที่พยายามประเมินสิ่งต่าง ๆ เช่นความน่าจะเป็นของการรวมตัวแปรด้วยวิธีนี้ มีการเสนออัลกอริทึมการค้นหาสุ่มต่าง ๆ ที่ใช้ร่วมกับ MCMC ในกรณีดังกล่าว ตัวอย่างหนึ่งคือ BAS [4] และอีกอันอยู่ใน [5] (Sylvia Richardson มีงานที่เกี่ยวข้องอื่น ๆ ด้วย); คนอื่น ๆ ส่วนใหญ่ที่ฉันรู้จะมุ่งเน้นไปที่รูปแบบเฉพาะ$p=1000$

วิธีการที่แตกต่างกันซึ่งได้รับความนิยมคือการใช้ตัวย่อการหดตัวอย่างต่อเนื่องที่จำลองแบบผลลัพธ์เฉลี่ย โดยทั่วไปแล้วสูตรเหล่านี้จะถูกกำหนดเป็นส่วนผสมของสเกลมาตรฐาน The Lasso Bayesian เป็นตัวอย่างหนึ่งซึ่งเป็นกรณีพิเศษของนักบวชแกมมาปกติและกรณีที่ จำกัด ของนักบวชเอกซ์โปเนนเชียลแกมมาปกติ ตัวเลือกอื่น ๆ รวมถึงเกือกม้าและการแจกแจงแบบปกติในระดับทั่วไปพร้อมกับนักบวชเบต้ากลับหัวในการแปรปรวนของพวกเขา สำหรับข้อมูลเพิ่มเติมเหล่านี้ฉันขอแนะนำให้เริ่มต้นด้วย [6] และเดินกลับไปอ้างอิง (มากเกินไปสำหรับฉันที่จะทำซ้ำที่นี่ :))

ฉันจะเพิ่มเพิ่มเติมเกี่ยวกับโมเดลที่ผิดปกติในภายหลังหากฉันได้รับโอกาส การอ้างอิงแบบคลาสสิกคือ [7] พวกมันคล้ายกันมากในจิตวิญญาณกับนักบวชที่หดหู่ โดยปกติแล้วพวกเขาจะค่อนข้างง่ายในการสุ่มตัวอย่างจากกิ๊บส์

อาจไม่เป็นประโยชน์อย่างที่คุณหวังไว้ โดยเฉพาะอย่างยิ่งการเลือกรูปแบบเป็นปัญหาที่ยากและยิ่งรูปแบบซับซ้อนยิ่งแย่ลงเท่าไหร่ การอัปเดตบล็อคทุกครั้งที่ทำได้เป็นเพียงคำแนะนำทั่วไปที่ฉันมี การสุ่มตัวอย่างจากส่วนผสมของการแจกแจงคุณมักจะมีปัญหาที่ตัวบ่งชี้ความเป็นสมาชิกและพารามิเตอร์ส่วนประกอบมีความสัมพันธ์สูง ฉันยังไม่ได้สัมผัสกับปัญหาการสลับฉลาก (หรือขาดการสลับฉลาก) มีวรรณกรรมค่อนข้างน้อยอยู่ที่นั่น แต่มันเป็นเพียงเล็กน้อยจาก wheelhouse ของฉัน

อย่างไรก็ตามฉันคิดว่ามันมีประโยชน์ในการเริ่มต้นด้วยการอ้างอิงบางส่วนที่นี่เพื่อรับความรู้สึกสำหรับวิธีการต่าง ๆ ที่คนอื่นกำลังเข้าใกล้ปัญหาที่คล้ายกัน

[1] Merlise Clyde และ EI George แบบจำลองความไม่แน่นอนวิทยาศาสตร์ทางสถิติ 19 (2004): 81--94 http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] Green & Hastie กระโดดกลับได้ MCMC (2009) http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] Mike West Outlier โมเดลและการกระจายก่อนหน้านี้ในการถดถอยเชิงเส้นแบบเบย์ (1984) JRSS-B