กรอบการทำงานของ MapReduce เป็นประเภทของ BSP หรือไม่


11

มันถูกต้องหรือไม่ที่จะเรียกเฟรมเวิร์กmapReduceชนิดของเฟรมเวิร์กการเขียนโปรแกรมแบบซิงโครนัสแบบขนานจำนวนมากที่ไม่มีหน่วยความจำโลคัลภายในตัวประมวลผลระหว่างการซิงโครไนซ์? ถ้าไม่ใช่รูปแบบการเขียนโปรแกรมแบบขนานใดที่ห่อหุ้มกรอบ mapReduce อย่างแม่นยำที่สุด?


1
นั่นเป็นคำถามที่ดี!
Suresh Venkat

ขอบคุณ Suresh สิ่งที่คุณคิดเห็นด้วย?
Jeff Kubina

ทางเลือกที่ยากลำบากในการเลือกคำตอบที่ดีที่สุดเนื่องจากฉันคิดว่าพวกเขาทั้งหมดช่วยให้ฉันได้รับความรู้เพิ่มเติมเกี่ยวกับ mapreduce และวิธีที่คนอื่นดู ฉันเลือกคำตอบของ Sasho เพราะทำให้ฉันได้กระดาษที่ดีที่สุดสำหรับคำถามของฉัน ขอบคุณทุกคน
Jeff Kubina

คำตอบ:


11

ในส่วนที่ 2 ของhttp://arxiv.org/abs/1101.1902ผู้เขียนกำหนดรูปแบบของ MapReduce ที่มีโครงสร้างแบบจงใจเหมือน BSP พวกเขาพิสูจน์ทฤษฎีการจำลองด้วยเช่นกัน อาจเป็นจุดเริ่มต้นที่ดี


5

ใช่ความเห็นของฉันคือ MapReduce แบบคลาสสิกเป็นแบบจำลอง BSP (และมีข้อ จำกัด โดยธรรมชาติในการทำงานแบบขนานที่เป็นไปได้สูงสุดที่สามารถทำได้) อย่างไรก็ตามงานใหม่ใน MapReduce ดูเหมือนจะมุ่งเน้นไปที่ความคิดที่หลวมของการประสานซึ่งจะใช้ "MapReduce ทั่วไป" นี้ออกจากกรอบ BSP ที่เข้มงวด โดยเฉพาะอย่างยิ่งถ้าใครทำซ้ำข้อมูลบางส่วนแล้วโครงสร้างการซิงโครไนซ์สามารถผ่อนคลายทำให้ได้ประสิทธิภาพเพิ่มขึ้น

ดูตัวอย่างการทำงานของ Foto Afrati และ Jeff Ullman: การเพิ่มประสิทธิภาพการรวมในสภาพแวดล้อมที่ลดแผนที่ , EDBT 2010 ( preprint )


2

เนื่องจากใน MapReduce มีกราฟที่เรียบง่ายและมีโครงสร้างเป็นพื้นฐานในการคำนวณสิ่งนี้สามารถจัดเป็น IMHO เป็นแบบจำลองการไหลของข้อมูล


ฉันเห็นด้วย MapReduce มีกลยุทธ์การคำนวณเช่นเดียวกับเครื่องที่ติดแท็ก -DataFlow ภาษา Pig ของ Yahoo ยังสร้างภาษาดาต้าโฟลว์ที่ด้านบนของ MapReduce
เนื้อ
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.