การแลกเปลี่ยนระหว่าง Storm และ Hadoop (MapReduce)

ใครบางคนกรุณาบอกฉันเกี่ยวกับการแลกเปลี่ยนที่เกี่ยวข้องเมื่อเลือกระหว่าง Storm และ MapReduce ใน Hadoop Cluster สำหรับการประมวลผลข้อมูล แน่นอนนอกเหนือจากที่เห็นได้ชัดว่า Hadoop (การประมวลผลผ่าน MapReduce ใน Hadoop Cluster) เป็นระบบการประมวลผลแบบชุดและ Storm เป็นระบบการประมวลผลแบบเรียลไทม์

ฉันทำงานกับ Hadoop Eco System แล้ว แต่ฉันไม่ได้ทำงานกับ Storm หลังจากดูงานนำเสนอและบทความมากมายฉันยังไม่สามารถหาคำตอบที่น่าพอใจและครอบคลุมได้

หมายเหตุ: คำว่าการแลกเปลี่ยนที่นี่ไม่ได้หมายถึงการเปรียบเทียบกับสิ่งที่คล้ายกัน มันมีไว้เพื่อแสดงถึงผลที่ตามมาของการรับผลลัพธ์แบบเรียลไทม์ที่ขาดหายไปจากระบบประมวลผลแบบแบทช์

MapReduce : กรอบการคำนวณแบบกระจายที่ยอมรับความผิดได้ MapReduce ช่วยให้คุณสามารถดำเนินการกับข้อมูลจำนวนมาก - มีงานจำนวนมากใส่เพื่อป้องกันความล้มเหลวเนื่องจากฮาร์ดแวร์ MapReduce เป็นตัวเลือกที่ดีสำหรับการคำนวณผลลัพธ์ได้อย่างรวดเร็วเพราะมันช้า (งาน MapReduce ทั่วไปใช้เวลาในการสั่งนาทีหรือชั่วโมงไม่ใช่ไมโครวินาที)

งาน MapReduce ใช้ไฟล์ (หรือที่เก็บข้อมูลบางอย่าง) เป็นอินพุตและเขียนไฟล์ผลลัพธ์ หากคุณต้องการให้ผลลัพธ์เหล่านี้พร้อมใช้งานกับแอปพลิเคชันคุณจะต้องรับผิดชอบในการวางข้อมูลนี้ในที่ที่สามารถเข้าถึงได้ นี่อาจเป็นไปได้ช้าและจะมีความล่าช้าระหว่างค่าที่คุณสามารถแสดงและค่าที่แสดงถึงระบบของคุณในสถานะปัจจุบัน

ความแตกต่างที่สำคัญในการพิจารณาใช้ MapReduce ในการสร้างระบบแบบเรียลไทม์คือการฝึกฝนแบบจำลองของคุณและการประยุกต์ใช้แบบจำลองของคุณ หากคุณคิดว่าพารามิเตอร์แบบจำลองของคุณไม่เปลี่ยนแปลงอย่างรวดเร็วคุณสามารถปรับให้พอดีกับ MapReduce จากนั้นมีกลไกในการเข้าถึงพารามิเตอร์ก่อนการพอดีเมื่อคุณต้องการใช้แบบจำลองของคุณ

Storm : ระบบการคำนวณแบบเรียลไทม์และสตรีมมิ่ง Storm เป็นเฟรมเวิร์กออนไลน์ความหมายในแง่นี้บริการที่โต้ตอบกับแอ็พพลิเคชันที่รันอยู่ ตรงกันข้ามกับ MapReduce มันจะได้รับข้อมูลขนาดเล็ก (ไม่ใช่ไฟล์ทั้งหมด) เนื่องจากมีการประมวลผลในแอปพลิเคชันของคุณ คุณกำหนด DAG ของการดำเนินการเพื่อดำเนินการกับข้อมูล กรณีการใช้งานทั่วไปและเรียบง่ายสำหรับ Storm คือการติดตามเคาน์เตอร์และการใช้ข้อมูลนั้นเพื่อเติมข้อมูลแดชบอร์ดตามเวลาจริง

สตอร์มไม่มีอะไรเกี่ยวข้องกับข้อมูลของคุณ ที่นี่การสตรีมเป็นอีกวิธีหนึ่งที่จะกล่าวว่าการเก็บข้อมูลที่คุณสนใจและทิ้งส่วนที่เหลือไว้ ในความเป็นจริงคุณอาจมีเลเยอร์คงอยู่ในแอปพลิเคชันของคุณที่ได้บันทึกข้อมูลไปแล้วและนี่เป็นการแยกความกังวลที่ดีและเป็นธรรม

หากคุณต้องการทราบข้อมูลเพิ่มเติม ... หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับระบบเรียลไทม์ที่เหมาะสมกับพารามิเตอร์ของ MR และใช้โมเดลในแบบที่แตกต่างกันตรงนี้คือสไลด์สำหรับการพูดคุย HBase

กระดาษที่ยอดเยี่ยมที่แต่งงานแบบเรียลไทม์ในการนับและคงอยู่ในวิธีที่น่าสนใจคือGoogle News Personalization: Scalable Online Collaborative Filtering

อีกประการหนึ่งที่น่าสนใจของการแต่งงานและนายพายุSummingBird Summingbird ช่วยให้คุณกำหนดการดำเนินการวิเคราะห์ข้อมูลที่สามารถใช้งานผ่าน Storm หรือ MR

มันเหมือนกับถามเกี่ยวกับการแลกเปลี่ยนระหว่างกระทะกับลิ้นชักเครื่องเงินของคุณ พวกเขาไม่ใช่สองสิ่งที่คุณเปรียบเทียบจริงๆ คุณอาจใช้ร่วมกันเป็นส่วนหนึ่งของโครงการขนาดใหญ่

Hadoop นั้นไม่ใช่สิ่งเดียว แต่เป็นชื่อของสมาพันธ์บริการเช่น HDFS, Hive, HBase, MapReduce เป็นต้น Storm เป็นสิ่งที่คุณใช้กับบริการเหล่านี้เช่น HDFS หรือ HBase มันเป็นกรอบการประมวลผลสตรีม มีคนอื่น ๆ ในระบบนิเวศ Hadoop ที่ขยายเช่น Spark Streaming

คุณจะเลือกเฟรมเวิร์กการประมวลผลเมื่อใด เมื่อคุณต้องการตอบสนองต่อข้อมูลใหม่ในเวลาจริง หากคุณต้องการเครื่องมือประเภทนี้คุณสามารถปรับใช้เครื่องมือประเภทนี้ได้เช่นกัน