คำถามติดแท็ก markov-process

ฉันมีชุดเต็มของลำดับ (การสังเกต 432 จะแม่นยำ) ของ 4 รัฐA−DA−DA-D : เช่น Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) แก้ไข : ลำดับการสังเกตมีความยาวไม่เท่ากัน! สิ่งนี้เปลี่ยนแปลงอะไรหรือไม่? มีวิธีคำนวณเมทริกซ์การเปลี่ยนแปลงPij(Yt=j|Yt−1=i)Pij(Yt=j|Yt−1=i)P_{ij}(Y_{t}=j|Y_{t-1}=i)ใน Matlab หรือ R หรือคล้ายกันหรือไม่? …

16 r  matlab  markov-process 

ความแตกต่างระหว่างเชนมาร์คอฟและกระบวนการมาร์คอฟคืออะไร? ฉันกำลังอ่านข้อมูลที่ขัดแย้งกัน: บางครั้งคำจำกัดความขึ้นอยู่กับว่าพื้นที่ของรัฐนั้นไม่ต่อเนื่องหรือต่อเนื่องและบางครั้งก็ขึ้นอยู่กับว่าเวลานั้นไม่ต่อเนื่องหรือไม่ สไลด์ 20 ของเอกสารนี้ : กระบวนการมาร์คอฟเรียกว่าห่วงโซ่มาร์คอฟหากพื้นที่รัฐไม่ต่อเนื่องนั่นคือพื้นที่ จำกัด หรือนับไม่ได้คือไม่ต่อเนื่องกล่าวคือ จำกัด หรือนับได้ http://www.win.tue.nl/~iadan/que/h3.pdf : กระบวนการมาร์คอฟเป็นห่วงโซ่มาร์คอฟรุ่นต่อเนื่อง หรือสามารถใช้กระบวนการลูกโซ่มาร์คอฟและมาร์คอฟแบบพ้องกันโดยกำหนดว่าพารามิเตอร์เวลานั้นต่อเนื่องหรือไม่ต่อเนื่องรวมทั้งพื้นที่รัฐนั้นต่อเนื่องหรือไม่ต่อเนื่อง ปรับปรุง 2017-03-04: คำถามเดียวกันถูกถามในhttps://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

16 terminology  stochastic-processes  markov-process 

คำถามพื้นฐานของฉันคือคุณจะตัวอย่างจากการกระจายที่ไม่เหมาะสมอย่างไร มันทำให้รู้สึกถึงตัวอย่างจากการกระจายที่ไม่เหมาะสมหรือไม่ ความคิดเห็นของซีอานที่นี่เป็นประเภทที่อยู่คำถาม แต่ฉันกำลังมองหารายละเอียดเพิ่มเติมเกี่ยวกับเรื่องนี้ เฉพาะกับ MCMC: ในการพูดคุยเกี่ยวกับ MCMC และการอ่านเอกสารผู้เขียนเน้นที่การได้รับการแจกแจงหลังที่เหมาะสม มีกระดาษที่มีชื่อเสียงGeyer (1992)ที่ผู้เขียนลืมตรวจสอบว่าหลังของพวกเขาถูกต้องหรือไม่ (เป็นกระดาษที่ยอดเยี่ยม) แต่สมมติว่าเรามีความเป็นไปได้ที่และการแจกแจงก่อนหน้าที่ไม่เหมาะสมในθเช่นนั้นผลลัพธ์หลังนั้นไม่เหมาะสมเช่นกันและ MCMC ใช้เพื่อสุ่มตัวอย่างจากการแจกแจง ในกรณีนี้ตัวอย่างบ่งชี้อะไร มีข้อมูลที่เป็นประโยชน์ในตัวอย่างนี้หรือไม่? ฉันรู้ว่าลูกโซ่มาร์คอฟที่นี่นั้นเป็นทั้งชั่วคราวหรือเป็นโมฆะซ้ำ จะมีสิ่งใดที่ได้ผลดีหากเป็นโมฆะซ้ำหรือไม่?ฉ( x | θ )ฉ(x|θ)f(x|\theta)θθ\theta ในที่สุดในคำตอบของนีลจีที่นี่เขาพูดถึง โดยทั่วไปคุณสามารถสุ่มตัวอย่าง (ใช้ MCMC) จากด้านหลังแม้ว่ามันจะไม่เหมาะสมก็ตาม เขากล่าวถึงการสุ่มตัวอย่างดังกล่าวเป็นเรื่องปกติในการเรียนรู้อย่างลึกซึ้ง หากเป็นจริงสิ่งนี้จะสมเหตุสมผลได้อย่างไร

15 distributions  bayesian  mcmc  markov-process  improper-prior 

ฉันพยายามทำความเข้าใจกับ Markov chains โดยใช้ SAS ฉันเข้าใจว่ากระบวนการมาร์คอฟเป็นสิ่งที่รัฐในอนาคตขึ้นอยู่กับสถานะปัจจุบันเท่านั้นและไม่ได้อยู่ในสถานะที่ผ่านมาและมีเมทริกซ์การเปลี่ยนแปลงที่จับความน่าจะเป็นการเปลี่ยนแปลงจากรัฐหนึ่งไปยังอีกรัฐหนึ่ง แต่ฉันเจอคำนี้: มาร์คอฟเชนมอนติคาร์โล สิ่งที่ฉันอยากรู้คือถ้ามาร์คอฟเชนมอนติคาร์โลนั้นเกี่ยวข้องกับกระบวนการมาร์คอฟที่ฉันอธิบายไว้ข้างต้นหรือไม่

15 probability  simulation  mcmc  monte-carlo  markov-process 

การเรียนรู้การเสริมแรง: การแนะนำ กำลังดำเนินการพิมพ์ครั้งที่สอง Richard S. Sutton และ Andrew G. Barto (c) 2012, pp. 67-68 การแก้ปัญหาการเรียนรู้การเสริมแรงนั้นหมายถึงการค้นหานโยบายที่ได้รับรางวัลมากมายในระยะยาว สำหรับ MDP ที่ จำกัด เราสามารถกำหนดนโยบายที่เหมาะสมได้อย่างแม่นยำด้วยวิธีต่อไปนี้ ฟังก์ชั่นค่ากำหนดการสั่งซื้อบางส่วนผ่านนโยบาย นโยบายถูกกำหนดให้ดีกว่าหรือเท่ากับนโยบายหากผลตอบแทนที่คาดหวังมากกว่าหรือเท่ากับของสำหรับทุกรัฐ กล่าวอีกนัยหนึ่งถ้าหาก , สำหรับทั้งหมด มีนโยบายอย่างน้อยหนึ่งนโยบายที่ดีกว่าหรือเท่ากับนโยบายอื่น ๆ ทั้งหมด นี่เป็นนโยบายที่ดีที่สุดπ ' π ' π ≥ π ' วีπ ( s ) ≥ วีπ ' ( s ) s ∈ Sππ\piπ′π′\pi'π′π′\pi'π≥π′π≥π′\pi \geq …

15 markov-process  reinforcement-learning 

ฉันกำลังจะไปบรรยายที่เกี่ยวข้องกับ MCMC อย่างไรก็ตามฉันไม่พบตัวอย่างที่ดีของวิธีการใช้งาน ใครช่วยยกตัวอย่างที่เป็นรูปธรรมให้ฉันได้บ้าง ทั้งหมดที่ฉันเห็นคือพวกเขาใช้โซ่มาร์คอฟและบอกว่าการกระจายแบบคงที่คือการกระจายที่ต้องการ ฉันต้องการตัวอย่างที่ดีที่การแจกแจงที่ต้องการนั้นยากที่จะสุ่มตัวอย่าง ดังนั้นเราจึงสร้างเชนมาร์คอฟ ฉันต้องการทราบวิธีการเลือกเมทริกซ์การเปลี่ยนแปลงเพื่อให้การกระจายแบบคงที่ของเชนมาร์คอฟคือการกระจายเป้าหมายขอบคุณ

14 probability  bayesian  mcmc  markov-process 

ฉันกำลังมองหาแพคเกจ R ทั่วไปทั่วไปที่สะอาดและรวดเร็ว (เช่นการใช้ C ++) สำหรับการจำลองเส้นทางจากการแพร่กระจายแบบไม่เชิงเส้นที่ไม่เป็นเอกพันธ์อย่างเช่น (1) โดยใช้รูปแบบ Euler-Maruyama รูปแบบ Milstein (หรืออื่น ๆ ) สิ่งนี้ถูกกำหนดให้ฝังลงในรหัสการประมาณที่ใหญ่กว่าและสมควรได้รับการปรับปรุง dXt=f(θ,t,Xt)dt+g(θ,t,Xt)dWt,(1)(1)dXt=f(θ,t,Xt)dt+g(θ,t,Xt)dWt,dX_t = f(\theta, t, X_t)\, dt + g(\theta, t, X_t)\, dW_t, \tag{1} ด้วยการเคลื่อนไหว Brownian มาตรฐาน WtWtW_t

13 r  simulation  stochastic-processes  markov-process 

อะไรคือวิธีทั่วไปในการประมาณค่าเมทริกซ์การเปลี่ยนแปลง MC ที่ให้ไทม์สเซต? มีฟังก์ชั่น R สำหรับการทำเช่นนั้นหรือไม่?

12 markov-process 

ฉันเดาว่าฉันเข้าใจสมการของเงื่อนไขสมดุลโดยละเอียดซึ่งระบุว่าสำหรับความเป็นไปได้ในการเปลี่ยนแปลงและการแจกแจงแบบคงที่ , ห่วงโซ่มาร์คอฟตอบสนองความสมดุลโดยละเอียดถ้าπ q ( x | y ) π ( y ) = q ( y | x ) π ( x ) ,qqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), ทำให้ฉันมีเหตุผลมากขึ้นถ้าฉันย้ำเป็น: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. โดยทั่วไปความน่าจะเป็นของการเปลี่ยนจากสถานะเป็นสถานะควรเป็นสัดส่วนกับอัตราส่วนของความหนาแน่นของความน่าจะเป็นyxxxyyy

12 probability  mcmc  markov-process 

ฉันกำลังดิ้นรนเพื่อให้การเชื่อมต่อทางคณิตศาสตร์ระหว่างเครือข่ายประสาทและแบบจำลองกราฟิก ในแบบกราฟิกความคิดนั้นง่ายมาก: การแจกแจงความน่าจะเป็นเป็นตัวประกอบตามกลุ่มในกราฟโดยทั่วไปแล้วศักยภาพนั้นเป็นของตระกูลเอ็กซ์โพเนนเชียล มีเหตุผลที่เท่าเทียมกันสำหรับโครงข่ายประสาทเทียมหรือไม่? เราสามารถแสดงการแจกแจงความน่าจะเป็นเหนือหน่วย (ตัวแปร) ในเครื่อง จำกัด Boltzmann หรือซีเอ็นเอ็นเป็นฟังก์ชันของพลังงานหรือผลิตภัณฑ์พลังงานระหว่างหน่วยหรือไม่ นอกจากนี้การแจกแจงความน่าจะเป็นแบบจำลองโดย RBM หรือเครือข่ายความเชื่อลึก (เช่นกับ CNNs) ของตระกูลเอ็กซ์โปเนนเชียลหรือไม่? ผมหวังที่จะพบข้อความที่ formalizes การเชื่อมต่อระหว่างชนิดปัจจุบันนี้เครือข่ายประสาทและสถิติในลักษณะเดียวกับที่จอร์แดนและเวนไรท์ได้สำหรับรุ่นกราฟิกกับพวกเขารุ่นกราฟิกครอบครัวเอกและแปรผันอนุมาน ตัวชี้ใด ๆ จะดีมาก

12 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

ฉันมีปัญหาบางอย่างในการทำความเข้าใจกับคุณสมบัติของโซ่มาร์คอฟที่ลดลงไม่ได้ ลดไม่ได้กล่าวกันว่าหมายความว่ากระบวนการสุ่มสามารถ "ไปจากรัฐใด ๆ ไปยังรัฐใด ๆ " แต่สิ่งที่กำหนดว่ามันจะไปจากรัฐไปยังรัฐหรือไม่ไป?iiijjj หน้าวิกิพีเดียให้ formalization นี้: รัฐคือสามารถเข้าถึงได้ (เขียน ) จากรัฐถ้ามีอยู่จำนวนเต็ม ST jjji→ji→ji\rightarrow jiiinij>0nij>0n_{ij}>0P(Xnij=j | X0=i)=p(nij)ij>0P(Xnij=j | X0=i)=pij(nij)>0P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0 แล้วการสื่อสารคือถ้าและฉันi→ji→ji\rightarrow jj→ij→ij \rightarrow i จากการลดลงไม่ได้ดังต่อไปนี้อย่างใด

12 stochastic-processes  markov-process 

ฉันมีโมเดลสุ่มที่ใช้ในการจำลองอนุกรมเวลาของกระบวนการบางอย่าง ฉันสนใจผลของการเปลี่ยนพารามิเตอร์หนึ่งค่าเป็นค่าเฉพาะและต้องการแสดงความแตกต่างระหว่างอนุกรมเวลา (พูดแบบจำลอง A และแบบจำลอง B) และช่วงความเชื่อมั่นแบบจำลองบางประเภท ฉันทำการจำลองสถานการณ์จากรุ่น A และพวงจากรุ่น B แล้วลบค่ามัธยฐานในแต่ละจุดเพื่อค้นหาความแตกต่างของค่ามัธยฐานตลอดเวลา ฉันใช้วิธีการเดียวกันเพื่อค้นหา 2.5 และ 97.5 quantiles ดูเหมือนว่าจะเป็นวิธีที่อนุรักษ์นิยมมากเนื่องจากฉันไม่ได้พิจารณาแต่ละชุดเวลาร่วมกัน (เช่นแต่ละจุดถือว่าเป็นอิสระจากชุดอื่น ๆ ทั้งหมดในเวลาก่อนหน้าและอนาคต) มีวิธีที่ดีกว่าในการทำเช่นนี้?

11 time-series  predictive-models  markov-process 

ฉันต้องการแก้ปัญหาProject Euler 213แต่ไม่รู้ว่าจะเริ่มต้นอย่างไรเพราะฉันเป็นคนธรรมดาในสาขาสถิติสังเกตว่าต้องมีคำตอบที่ถูกต้องดังนั้นวิธี Monte Carlo จะไม่ทำงาน คุณช่วยแนะนำหัวข้อสถิติให้ฉันอ่านได้ไหม? โปรดอย่าโพสต์วิธีแก้ปัญหาที่นี่ หมัดละครสัตว์ สี่เหลี่ยมจัตุรัสขนาด 30 × 30 ประกอบด้วย 900 หมัดหมัดแรกหนึ่งหมัดต่อตาราง เมื่อระฆังดังขึ้นหมัดแต่ละตัวจะกระโดดไปที่สี่เหลี่ยมที่อยู่ติดกันโดยการสุ่ม (โดยปกติจะมีความเป็นไปได้ 4 อย่างยกเว้นหมัดที่อยู่บนขอบของตารางหรือที่มุม) จำนวนที่คาดว่าจะเป็นสี่เหลี่ยมที่ว่างหลังจาก 50 ระฆังคืออะไร? ให้คำตอบของคุณถูกปัดเศษเป็นทศนิยมหกตำแหน่ง

11 self-study  monte-carlo  markov-process 

รับ (ปฏิบัติ) เวลาชุดกับX T ∈ { 1 , . . , n }จะมีการทดสอบทางสถิติสำหรับการทดสอบด้วย null สมมติฐานที่ว่าP ( X T | X T - 1 , X T - 2 , . . . , X 1 ) = P ( X T | X T - 1 ) ( เช่นคุณสมบัติมาร์คอฟ)?Xเสื้อXเสื้อX_tXเสื้อ∈ { …

11 time-series  hypothesis-testing  markov-process 

ขณะนี้ฉันกำลังทำการวิเคราะห์บนเว็บไซต์ที่ต้องการให้ฉันสร้างแผนผังการตัดสินใจแสดงเส้นทางที่เป็นไปได้ที่ผู้คนใช้เมื่อใดก็ตามที่พวกเขามาถึงเว็บไซต์ ฉันกำลังจัดการกับสิ่งdata.frameที่แสดงเส้นทางของลูกค้าทั้งหมดไปยังเว็บไซต์โดยเริ่มจากหน้าแรก ตัวอย่างเช่นลูกค้าสามารถใช้เส้นทางต่อไปนี้: Homepage - pg 1 Kitchen Items page - pg 2 Pots and Pans page - pg 3 ดังนั้นลูกค้ารายนี้จะมีการเดินทาง 3 หน้า สิ่งที่ฉันต้องการทำใน R คือการรวมพา ธ ของลูกค้าทั้งหมดและกำหนดความน่าจะเป็นให้กับลูกค้าตามเส้นทางที่แน่นอนในไซต์ ตัวอย่างเช่นหากฉันต้องตรวจสอบเส้นทางทั้งหมดฉันจะพบว่า 34% ของผู้ที่มาถึงหน้าแรกให้ไปที่ 'หน้ารายการครัว' R มีสถานที่นี้หรือไม่? ฉันค้นหาวิธีการต่าง ๆ ผ่านแพ็คเกจ rpartและpartykitแต่ดูเหมือนว่าพวกเขาไม่ได้ช่วยอะไรเลย ผู้ควบคุมทิศทางที่ถูกต้องสำหรับสิ่งนี้จะได้รับการชื่นชมอย่างมาก!

10 r  probability  data-visualization  markov-process