เมื่อไหร่ที่ MCMC กลายเป็นเรื่องธรรมดา?

ไม่มีใครรู้ว่าในปี MCMC กลายเป็นเรื่องธรรมดา (เช่นวิธีการที่นิยมสำหรับการอนุมานแบบเบย์)? ลิงก์ไปยังจำนวนบทความ MCMC (เจอร์นัล) ที่ตีพิมพ์เมื่อเวลาผ่านไปจะเป็นประโยชน์อย่างยิ่ง

bayesian mcmc history

— Ethan Arenson
แหล่งที่มา

ฉันสงสัยว่าทุกคนสามารถให้ปีเดียวได้ มีเหตุผลมากกว่าที่จะพิจารณาการแพร่กระจายของ MCMC เมื่อเวลาผ่านไป มันมีต้นกำเนิดในยุค 50 ด้วยอัลกอริธึม Metropolis-Hastings แต่ไม่เห็นการยอมรับและใช้อย่างกว้างขวางจนกระทั่งการกำเนิดของพลังการคำนวณที่ไม่แพงเริ่มต้นขึ้นในยุค 80 เพื่อความรู้ที่ดีที่สุดของฉันการใช้งานครั้งแรกอยู่ในเทคโนโลยีการจดจำใบหน้าแบบเบย์ในเวลานั้น ประการที่สองเริ่มต้นใน 90s MCMC ใช้การแพร่กระจายไปยังสาขาอื่น ๆ เช่นเศรษฐศาสตร์และการตลาดกับโรงเรียนในชิคาโก ตรวจสอบ Gilks & Spiegelhalter 1996 MCMC ปฏิบัติ

— user332577

คำถามนี้คลุมเครือและเรียกร้องให้มีการแสดงความคิดเห็น (ไม่มีคำจำกัดความที่ยอมรับได้ทั่วไปหรือเป็นที่นิยม) ยอมรับคำตอบที่ถูกต้องทุกจำนวน

— Glen_b -Reinstate Monica

@Glen_b ฉันคิดว่าคำตอบที่ได้รับด้านล่างเป็นเลิศ คุณไม่เห็นด้วยหรือไม่ หรือว่าคุณเขียนความคิดเห็นของคุณก่อนคำตอบนั้น? (ทั้งคู่เพิ่งพูดว่า 'เมื่อวาน')

— Peter Flom - Reinstate Monica

@ Peter Mine มาก่อนคำตอบทั้งคู่; เลื่อนเมาส์ไปวางเหนือคำว่า "เมื่อวาน" ในแต่ละรายการ (หรือสิ่งใดก็ตามที่ระบุเวลาที่ผ่านไปนับตั้งแต่การโพสต์) เพื่อดูเวลา UTC ที่แม่นยำ ฉันคิดว่าคำตอบที่คุณระบุนั้นเป็นคำตอบบางส่วนที่ดี แต่คำถามก็ยังคงยอมรับว่ามีหลายอย่างที่แตกต่างกันโดยสิ้นเชิงโดยไม่มีพื้นฐานที่ดีในการเลือกระหว่างพวกเขา

— Glen_b -Reinstate Monica

คำตอบ:

บทความนี้โดยคริสเตียน (ซีอาน) โรเบิร์ตและจอร์จคาเซลลาให้บทสรุปที่ดีเกี่ยวกับประวัติศาสตร์ของ MCMC จากกระดาษ (เน้นเป็นของฉัน)

สิ่งที่สามารถเห็นได้อย่างสมเหตุสมผลว่าเป็นอัลกอริทึม MCMC แรกคือสิ่งที่เราเรียกอัลกอริทึม Metropolis ซึ่งจัดพิมพ์โดย Metropolis และคณะ (1953) มันปล่อยออกมาจากกลุ่มนักวิทยาศาสตร์กลุ่มเดียวกันที่ผลิตวิธีมอนติคาร์โลกล่าวคือนักวิทยาศาสตร์การวิจัยของลอสอาลามอสซึ่งส่วนใหญ่เป็นนักฟิสิกส์ที่ทำงานเกี่ยวกับฟิสิกส์คณิตศาสตร์และระเบิดปรมาณู

อัลกอริทึม Metropolis ได้รับการสรุปในภายหลังโดย Hastings (1970) และนักเรียนของเขา Peskun (1973,1981)

แม้ว่าจะถูกลบออกจากการอนุมานเชิงสถิติในความหมายดั้งเดิมและใช้เทคนิคก่อนหน้านี้ในฟิสิกส์เชิงสถิติ, กระดาษ Landmarkของ Geman และ Geman (1984) ได้นำการสุ่มตัวอย่างจาก Gibbs เข้าสู่เวทีของการประยุกต์ทางสถิติ บทความนี้ยังรับผิดชอบการสุ่มตัวอย่างชื่อกิ๊บส์

โดยเฉพาะอย่างยิ่ง Geman และ Geman (1984) มีอิทธิพลต่อ Gelfand และ Smith (1990) ในการเขียนบทความนั่นคือ จุดเริ่มต้นของแท้สำหรับใช้งานหนักของวิธีการ MCMC โดยกระแสหลักชุมชนสถิติ มันเป็นจุดประกายใหม่ระหว่างวิธีการแบบเบส์การคำนวณเชิงสถิติอัลกอริธึมและกระบวนการสุ่มผ่านการใช้อัลกอริธึมการคำนวณเช่นตัวอย่างกิ๊บส์และอัลกอริธึมมหานคร - เฮสติ้งส์

ที่น่าสนใจกระดาษก่อนหน้านี้โดย Tanner และ Wong (1987) มีส่วนผสมหลักเหมือนกับ Gelfand และ Smith (1990) คือความจริงที่ว่าการจำลองจากการแจกแจงแบบมีเงื่อนไขเพียงพอที่จะจำลองจากข้อต่อแบบไม่มีสัญญาณ เพื่อเป็นกระดาษอภิปรายในวารสารสมาคมสถิติอเมริกัน แต่ผลกระทบนั้นมี จำกัด เมื่อเทียบกับ Gelfand และ Smith (1990)

ฉันไม่พบจำนวนบทความในวารสารที่เผยแพร่ตลอดเวลา แต่นี่คือพล็อต Google Ngram สำหรับจำนวนที่กล่าวถึงเมื่อเวลาผ่านไป มันมากหรือน้อยเห็นด้วยกับความคิดที่ว่า MCMC กลายเป็นเรื่องธรรมดาหลังจากกระดาษ 1990 ของ Gelfand และ Smith

— knrumsey - Reinstate Monica
แหล่งที่มา

ขอขอบคุณ! ฉันคิดว่าปี 1990 เป็นวันที่สำคัญที่สุดในประวัติศาสตร์ของ MCMC เนื่องจากเอกสารสี่ฉบับของ Alan Gelfand และ Adrian Smith ปรากฏว่าปีหนึ่งในวารสารสถิติชั้นนำและทำให้แนวคิดของการใช้โซ่มาร์คอฟสำหรับการจำลองกระแสหลักโดยฉับพลัน ฉันจำได้ว่าเคยเข้าร่วมการพูดคุยของ Adrian Smith เมื่อเดือนมิถุนายน 2532 ที่ Seherbrooke (PQ) ซึ่งเขาแสดงให้เห็นถึงความเป็นสากลของแนวคิดโดยการแสดงสไลด์ที่มีโค้ด (Fortran?) สองสามบรรทัด

— ซีอาน

คำตอบที่ยอดเยี่ยมโดยknrumseyให้ประวัติศาสตร์เกี่ยวกับความก้าวหน้าของงานวิชาการที่สำคัญใน MCMC อีกแง่มุมหนึ่งที่ควรพิจารณาคือการพัฒนาซอฟต์แวร์เพื่ออำนวยความสะดวกให้กับผู้ใช้ MCMC ทั่วไป ผู้เชี่ยวชาญมักใช้วิธีการทางสถิติเป็นส่วนใหญ่จนกว่าจะมีการใช้งานในซอฟต์แวร์ที่อนุญาตให้ผู้ใช้ทั่วไปสามารถใช้งานได้โดยไม่ต้องเขียนโปรแกรม ตัวอย่างเช่นซอฟต์แวร์ BUGS มีการเปิดตัวครั้งแรกในปี 1997 ซึ่งไม่ได้เปลี่ยนวิถีการเติบโตในพล็อต N-Grams แต่อาจมีอิทธิพลต่อการนำวิธีการนี้ไปใช้ในการใช้งานทั่วไปในกลุ่มผู้ใช้ที่พบ การข่มขู่ว่าจะตั้งโปรแกรมกิจวัตรของตนเอง

— Reinstate Monica
แหล่งที่มา

อืมมีการบิดตัวเล็กน้อยในบรรทัดสำหรับ MCMC ในช่วงปี 1997

— muru

ดีด่าง - ไม่แน่ใจว่ามันจะเป็นการเปลี่ยนแปลงใหญ่พอที่จะมีนัยสำคัญทางสถิติ แต่ตั้งข้อสังเกตต่อไป

— Reinstate Monica

การประเมินด้วยสายตาหากรักษาความลาดชันก่อนปี 1997 เราจะได้เห็นบางสิ่งบางอย่างเช่น 0.000015% ประมาณปี 2004 (แต่ค่าจริงใกล้เคียงกับ 0.0000225%) นั่นคือเพิ่มขึ้น 50% แต่ฉันคิดว่าตัวเลขนั้นเล็กเกินไป

— muru

บางทีคุณอาจจะถูก - ตาดี!

— Reinstate Monica

hmmm, BUGS ถูกนำเสนอในการประชุมสถิติ Valencia Bayesian ในปี 1991

— ซีอาน