คำถามติดแท็ก mcmc

ฉันเพิ่งได้อ่านการสุ่มตัวอย่างของกิ๊บส์และอัลกอริทึม Metropolis Hastings และมีคำถามสองสามข้อ อย่างที่ฉันเข้าใจในกรณีของการสุ่มตัวอย่างของกิ๊บส์ถ้าเรามีปัญหาหลายตัวแปรขนาดใหญ่เราจะสุ่มตัวอย่างจากการแจกแจงแบบมีเงื่อนไขนั่นคือตัวอย่างหนึ่งตัวแปรในขณะที่รักษาตัวแปรอื่น ๆ ทั้งหมดไว้ในขณะที่ MH เราสุ่มตัวอย่าง สิ่งหนึ่งที่เอกสารกล่าวคือตัวอย่างที่เสนอนั้นเป็นที่ยอมรับเสมอในการสุ่มตัวอย่างกิ๊บส์นั่นคืออัตราการยอมรับข้อเสนออยู่เสมอ 1 สำหรับฉันแล้วนี่เป็นข้อได้เปรียบที่ยิ่งใหญ่สำหรับปัญหาหลายตัวแปรขนาดใหญ่ดูเหมือนว่าอัตราการปฏิเสธสำหรับอัลกอริธึม MH ค่อนข้างใหญ่ . หากเป็นเช่นนั้นจริง ๆ แล้วอะไรคือสาเหตุที่ไม่ใช้ Gibbs Sampler ตลอดเวลาในการสร้างการกระจายหลัง

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

ฉันกำลังอ่านบล็อกของ Christian Robertวันนี้และค่อนข้างชอบอัลกอริทึม Metropolis-Hastings ใหม่ที่เขาพูดถึง ดูเหมือนง่ายและใช้งานง่าย เมื่อใดก็ตามที่ฉันเขียนโค้ด MCMC ฉันมักจะติดกับอัลกอริธึม MH ขั้นพื้นฐานมาก ๆ เช่นการเคลื่อนไหวอิสระหรือการเดินสุ่มในระดับบันทึก อัลกอริธึม MH แบบใดที่ผู้คนใช้เป็นประจำ โดยเฉพาะอย่างยิ่ง: ทำไมคุณใช้พวกเขา ในบางแง่คุณต้องคิดว่ามันเหมาะสมที่สุด - หลังจากที่คุณใช้มันเป็นประจำ! ดังนั้นคุณจะตัดสินความดีอย่างไร: ความง่ายในการเข้ารหัส, การลู่เข้า, ... ฉันสนใจเป็นพิเศษในสิ่งที่ใช้ในทางปฏิบัติเช่นเมื่อคุณเขียนรหัสแผนการของคุณเอง

20 mcmc  metropolis-hastings 

ความแม่นยำหมายถึง: p = true positives / (true positives + false positives) มันถูกต้องหรือไม่ที่ในฐานะtrue positivesและfalse positivesวิธีที่ 0 ความแม่นยำเข้าใกล้ 1? คำถามเดียวกันสำหรับการเรียกคืน: r = true positives / (true positives + false negatives) ขณะนี้ฉันกำลังใช้การทดสอบทางสถิติที่ฉันต้องการคำนวณค่าเหล่านี้และบางครั้งมันก็เกิดขึ้นที่ตัวส่วนเป็น 0 และฉันสงสัยว่าจะคืนค่าใดให้กับกรณีนี้ PS: ขอโทษแท็กที่ไม่เหมาะสมผมอยากจะใช้recall, precisionและlimitแต่ฉันไม่สามารถสร้างแท็กใหม่ ๆ

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

อัลกอริทึม MCMC มีหลายประเภท: มหานครเฮสติ้งส์ กิ๊บส์ การสุ่มตัวอย่างความสำคัญ / การปฏิเสธ (เกี่ยวข้อง) เหตุใดจึงใช้การสุ่มตัวอย่างของกิ๊บส์แทนเมโทรโพลิส - แฮสติ้ง ฉันสงสัยว่ามีบางกรณีที่การอนุมานทำได้ง่ายกว่าด้วยการสุ่มตัวอย่างของกิ๊บส์มากกว่ากับเมโทรโพลิส - เฮสติงส์ แต่ฉันไม่ชัดเจนในเรื่องเฉพาะ

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

ฉันรู้ว่ามีจำนวนพอสมควรเกี่ยวกับพารามิเตอร์ต่อเนื่องที่เหมาะสมโดยเฉพาะอย่างยิ่งวิธีการไล่ระดับสี แต่ไม่มากเกี่ยวกับพารามิเตอร์ที่ไม่ต่อเนื่องที่เหมาะสม สิ่งที่ใช้กันทั่วไปคืออัลกอริธึม / เทคนิค MCMC สำหรับพารามิเตอร์ที่ไม่ต่อเนื่องที่เหมาะสม? มีอัลกอริทึมที่มีทั้งแบบทั่วไปและมีประสิทธิภาพหรือไม่ มีอัลกอริธึมที่จัดการกับคำสาปของขนาดหรือไม่? ตัวอย่างเช่นฉันจะบอกว่ามิลโตเนียน MCMC เป็นคนทั่วไปมีพลังและมีขนาดที่ดี การสุ่มตัวอย่างจากการกระจายแบบไม่ต่อเนื่องตามอำเภอใจดูเหมือนยากกว่าการสุ่มตัวอย่างจากการกระจายอย่างต่อเนื่อง แต่ฉันอยากรู้ว่าสถานะของศิลปะคืออะไร แก้ไข : JMS ขอให้ฉันทำอย่างละเอียด ฉันไม่มีแอพพลิเคชั่นที่เฉพาะเจาะจง แต่นี่เป็นแบบจำลองบางอย่างที่ฉันจินตนาการ: การเลือกแบบจำลองระหว่างแบบจำลองการถดถอยต่อเนื่องหลายชนิด คุณมีพารามิเตอร์ 'model' แยกกัน แบบจำลองอย่างต่อเนื่องที่การสังเกตแต่ละครั้งมีความเป็นไปได้ที่จะเป็น 'ค่าผิดปกติ' และดึงมาจากการกระจายที่กระจายมากขึ้น ฉันคิดว่านี่เป็นรูปแบบผสม ฉันคาดหวังว่าหลายรุ่นจะรวมทั้งพารามิเตอร์ต่อเนื่องและไม่ต่อเนื่อง

19 bayesian  mcmc 

ความเข้าใจของฉันคือเมื่อใช้วิธีการแบบเบย์เพื่อประเมินค่าพารามิเตอร์: การกระจายหลังคือการรวมกันของการกระจายก่อนหน้าและการกระจายโอกาส เราจำลองสิ่งนี้โดยการสร้างตัวอย่างจากการแจกแจงด้านหลัง (เช่นการใช้อัลกอริทึม Metropolis-Hasting เพื่อสร้างค่าและยอมรับถ้าพวกเขาอยู่เหนือขีดจำกัดความน่าจะเป็นที่แน่นอนที่จะเป็นของการแจกแจงหลัง) เมื่อเราสร้างตัวอย่างนี้เราจะใช้มันเพื่อประมาณการกระจายตัวของหลังและสิ่งต่าง ๆ เช่นค่าเฉลี่ย แต่ฉันรู้สึกว่าฉันต้องเข้าใจผิดบางอย่าง ดูเหมือนว่าเรามีการแจกแจงด้านหลังแล้วสุ่มตัวอย่างจากนั้นใช้ตัวอย่างนั้นเป็นค่าประมาณของการแจกแจงหลัง แต่ถ้าเรามีการกระจายด้านหลังเพื่อเริ่มต้นด้วยเหตุใดเราจึงต้องสุ่มตัวอย่างจากมันถึงค่าประมาณ

19 bayesian  inference  simulation  mcmc  posterior 

ฉันพยายามที่จะเข้าใจว่ามาร์คอฟโซ่มอนติคาร์โล (MCMC) มาจากหน้าวิกิพีเดียภาษาฝรั่งเศส พวกเขาบอกว่า"วิธีการมาร์คอฟโซ่มอนติคาร์โลประกอบด้วยการสร้างเวกเตอร์xixix_ {i}จากข้อมูลเวกเตอร์xi−1xi−1x_ {i-1}เท่านั้นจึงเป็นกระบวนการ" ไม่มีหน่วยความจำ "" Les Méthodesเดอมอนติคาร์โล chaines ที่ตราไว้หุ้นเดมาร์คอฟที่สอดคล้องgénérerยกเลิก vecteur xixix_{i} uniquement à partir de la Donnee du vecteur xi−1xi−1x_{{i-1}} ; c'est donc un processus « sans mémoire», ผมไม่เข้าใจว่าทำไมพวกเขากล่าวว่า MCMC เป็น"โดยไม่มีความทรงจำ"เท่าที่เราจะใช้ข้อมูลจากข้อมูลเวกเตอร์xi−1xi−1x_ {i-1}เพื่อสร้างxixix_iฉัน

18 mcmc 

ไม่มีใครรู้ว่าในปี MCMC กลายเป็นเรื่องธรรมดา (เช่นวิธีการที่นิยมสำหรับการอนุมานแบบเบย์)? ลิงก์ไปยังจำนวนบทความ MCMC (เจอร์นัล) ที่ตีพิมพ์เมื่อเวลาผ่านไปจะเป็นประโยชน์อย่างยิ่ง

18 bayesian  mcmc  history 

ฉันกำลังพยายามใช้ MCMC กับปัญหา แต่นักบวชของฉัน (ในกรณีของฉันพวกเขาคือ )) ถูก จำกัด พื้นที่ ฉันสามารถใช้ MCMC ปกติและไม่สนใจตัวอย่างที่อยู่นอกเขตหวงห้าม (ซึ่งในกรณีของฉันคือ [0,1] ^ 2) นั่นคือฟังก์ชั่นการใช้การเปลี่ยนผ่านใหม่เมื่อการเปลี่ยนแปลงใหม่หลุดออกจากพื้นที่ที่ถูก จำกัดα∈[0,1],β∈[0,1]α∈[0,1],β∈[0,1]\alpha\in[0,1],\beta\in[0,1]

18 sampling  mcmc  monte-carlo  random-walk 

ฉันมีอำนาจสูงสุด1ที่ Gibbs Sampling เป็นกรณีพิเศษของอัลกอริทึม Metropolis-Hastings สำหรับการสุ่มตัวอย่าง Markov Chain Monte Carlo อัลกอริทึม MH ให้ความน่าจะเป็นในการเปลี่ยนแปลงด้วยคุณสมบัติสมดุลแบบละเอียดเสมอ ฉันคาดหวังว่ากิ๊บส์ก็ควรทำเช่นกัน ดังนั้นในกรณีที่เรียบง่ายต่อไปนี้ฉันผิดไปที่ไหน? สำหรับการแจกแจงเป้าหมายπ(x,y)π(x,y)\pi(x, y)สำหรับตัวแปรสองตัวที่แยกกัน (เพื่อความง่าย) การแจกแจงแบบมีเงื่อนไขเต็มรูปแบบคือ: q1(x;y)q2(y;x)=π(x,y)∑zπ(z,y)=π(x,y)∑zπ(x,z)q1(x;y)=π(x,y)∑zπ(z,y)q2(y;x)=π(x,y)∑zπ(x,z) \begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align} เมื่อฉันเข้าใจการสุ่มตัวอย่างของกิ๊บส์ความน่าจะเป็นในการเปลี่ยนแปลงสามารถเขียนได้: Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1)Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1) Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1) คำถามคือ …

17 mcmc  gibbs 

ฉันกำลังพยายามใช้อัลกอริทึม MCMC ที่ได้รับความนิยมและใช้งาน แต่ฉันมีปัญหาเล็กน้อยในการทำความเข้าใจว่าจะทำอย่างไร ความคิดทั่วไปมีดังนี้: ในการสร้างข้อเสนอกระโดดเป็น MH เรา: สร้างทิศทางจากการกระจายบนพื้นผิวของทรงกลมยูนิตOdddOO\mathcal{O} สร้างระยะทางที่ลงนามตามพื้นที่ จำกัดλλ\lambda อย่างไรก็ตามฉันไม่มีความคิดว่าฉันควรนำไปใช้ใน R (หรือภาษาอื่น ๆ ) อย่างไร ไม่มีใครมีตัวอย่างของรหัสที่จะชี้ให้ฉันไปในทิศทางที่ถูกต้องหรือไม่ BTW ฉันไม่สนใจห้องสมุดที่ใช้วิธีนี้ฉันต้องการลองและเขียนโค้ดเอง ขอบคุณมาก.

16 r  bayesian  mcmc 

ผมจะผ่านเอกสารสแตนซึ่งสามารถดาวน์โหลดได้จากที่นี่ ฉันมีความสนใจเป็นพิเศษในการใช้งานการวินิจฉัยของเจลแมน - รูบิน กระดาษดั้งเดิมGelman & Rubin (1992)กำหนดปัจจัยการลดขนาดที่อาจเกิดขึ้น (PSRF) ดังนี้ Let เป็นฉัน TH โซ่มาร์คอฟชิมและให้มีการรวมMโซ่อิสระตัวอย่าง ให้ˉ Xฉัน⋅เป็นค่าเฉลี่ยจากฉันห่วงโซ่, th และˉ X ⋅ ⋅เป็นค่าเฉลี่ยโดยรวม กำหนด W = 1Xฉัน, 1, … , Xฉัน, NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}ผมiiMMMX¯ฉัน⋅X¯i⋅\bar{X}_{i\cdot}ผมiiX¯⋅ ⋅X¯⋅⋅\bar{X}_{\cdot \cdot} ที่ s 2 m =1W= 1MΣm = 1Ms2ม.,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, และกำหนด B B …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

คำถามพื้นฐานของฉันคือคุณจะตัวอย่างจากการกระจายที่ไม่เหมาะสมอย่างไร มันทำให้รู้สึกถึงตัวอย่างจากการกระจายที่ไม่เหมาะสมหรือไม่ ความคิดเห็นของซีอานที่นี่เป็นประเภทที่อยู่คำถาม แต่ฉันกำลังมองหารายละเอียดเพิ่มเติมเกี่ยวกับเรื่องนี้ เฉพาะกับ MCMC: ในการพูดคุยเกี่ยวกับ MCMC และการอ่านเอกสารผู้เขียนเน้นที่การได้รับการแจกแจงหลังที่เหมาะสม มีกระดาษที่มีชื่อเสียงGeyer (1992)ที่ผู้เขียนลืมตรวจสอบว่าหลังของพวกเขาถูกต้องหรือไม่ (เป็นกระดาษที่ยอดเยี่ยม) แต่สมมติว่าเรามีความเป็นไปได้ที่และการแจกแจงก่อนหน้าที่ไม่เหมาะสมในθเช่นนั้นผลลัพธ์หลังนั้นไม่เหมาะสมเช่นกันและ MCMC ใช้เพื่อสุ่มตัวอย่างจากการแจกแจง ในกรณีนี้ตัวอย่างบ่งชี้อะไร มีข้อมูลที่เป็นประโยชน์ในตัวอย่างนี้หรือไม่? ฉันรู้ว่าลูกโซ่มาร์คอฟที่นี่นั้นเป็นทั้งชั่วคราวหรือเป็นโมฆะซ้ำ จะมีสิ่งใดที่ได้ผลดีหากเป็นโมฆะซ้ำหรือไม่?ฉ( x | θ )ฉ(x|θ)f(x|\theta)θθ\theta ในที่สุดในคำตอบของนีลจีที่นี่เขาพูดถึง โดยทั่วไปคุณสามารถสุ่มตัวอย่าง (ใช้ MCMC) จากด้านหลังแม้ว่ามันจะไม่เหมาะสมก็ตาม เขากล่าวถึงการสุ่มตัวอย่างดังกล่าวเป็นเรื่องปกติในการเรียนรู้อย่างลึกซึ้ง หากเป็นจริงสิ่งนี้จะสมเหตุสมผลได้อย่างไร

15 distributions  bayesian  mcmc  markov-process  improper-prior 

เพื่อความเข้าใจของฉันการคำนวณแบบเบย์โดยประมาณ (ABC) และมาร์คอฟเชนมอนติคาร์โล (MCMC) มีจุดมุ่งหมายที่คล้ายกันมาก ด้านล่างฉันอธิบายความเข้าใจของฉันเกี่ยวกับวิธีการเหล่านี้และฉันเข้าใจความแตกต่างในการนำไปใช้กับข้อมูลในชีวิตจริงได้อย่างไร การคำนวณแบบเบย์โดยประมาณ เอบีซีประกอบด้วยที่สุ่มตัวอย่างพารามิเตอร์จากก่อนผ่านตัวเลขการจำลองการคำนวณสถิติx ฉันซึ่งเป็นเมื่อเทียบกับบางสังเกตx o ข s จากอัลกอริธึมการปฏิเสธx iถูกเก็บไว้หรือปฏิเสธ รายการสะสมx ฉัน s ทำให้การกระจายหลังθθ\thetaxixix_ixobsxobsx_{obs}xixix_ixixix_i มาร์คอฟเชนมอนติคาร์โล MCMC ประกอบด้วยที่สุ่มตัวอย่างกระจายก่อนของพารามิเตอร์θใช้ตัวอย่างแรกθ 1คำนวณP ( x o b s | θ 1 ) P ( θ 1 )แล้วข้าม (ตามกฎบางอย่าง) ไปยังค่าใหม่θ 2ซึ่งP ( x o b s | θ 2 )คำนวณP ( θ …

15 bayesian  mcmc  computational-statistics 

หลังจากอ่านโพสต์บล็อกนี้เกี่ยวกับแบบจำลองอนุกรมเวลาของ Bayesian ฉันต้องการดูการใช้สิ่งนี้ในบริบทของปัญหาที่ฉันเคยใช้ ARIMA สำหรับ ฉันมีข้อมูลบางส่วนที่มีส่วนประกอบตามฤดูกาลที่ทราบ (แต่มีเสียงดัง) มีองค์ประกอบประจำปีรายเดือนและรายสัปดาห์สำหรับเรื่องนี้และยังมีผลกระทบบางอย่างเนื่องจากวันพิเศษ (เช่นวันหยุดราชการหรือวันหยุดทางศาสนา) ฉันใช้bstsแพคเกจเพื่อใช้งานและเท่าที่ฉันสามารถบอกได้ว่าฉันไม่ได้ทำอะไรผิดพลาดถึงแม้ว่าส่วนประกอบและการคาดการณ์จะไม่ดูอย่างที่ฉันคาดไว้ ไม่ชัดเจนสำหรับฉันหากการนำไปใช้ของฉันผิดไม่สมบูรณ์หรือมีปัญหาอื่น ซีรี่ส์เต็มเวลามีลักษณะดังนี้: ฉันสามารถฝึกโมเดลในส่วนย่อยของข้อมูลและโมเดลโดยทั่วไปจะดูดีในแง่ของความพอดี (พล็อตต่ำกว่า) รหัสที่ฉันใช้ในการทำสิ่งนี้อยู่ที่นี่: library(bsts) predict_length = 90 training_cut_date <- '2015-05-01' test_cut_date <- as.Date(training_cut_date) + predict_length df = read.csv('input.tsv', sep ='\t') df$date <- as.Date(as.character(df$date),format="%Y-%m-%d") df_train = df[df$date < training_cut_date,] yts <- xts(log10(df_train$count), order.by=df_train$date) ss <- AddLocalLinearTrend(list(), yts) ss <- …

15 r  time-series  bayesian  mcmc  bsts