NET เทียบเท่ากับ Apache Hadoop หรือไม่ [ปิด]

ดังนั้นฉันจึงมองHadoopด้วยความสนใจและพูดตามตรงว่าฉันหลงใหลสิ่งต่าง ๆ ไม่ได้เย็นลงมากนัก

ปัญหาเล็กน้อยของฉันคือฉันเป็นนักพัฒนา C # และอยู่ใน Java

มันไม่ใช่ว่าผมไม่เข้าใจ Java มากที่สุดเท่าที่ฉันมองหา Hadoop.net หรือ NHadoop หรือโครงการ .NET ที่โอบกอดGoogle MapReduceวิธี มีใครรู้บ้างไหม?

คุณเคยดูการใช้สตรีมมิ่งของ Hadoop หรือไม่?

ฉันใช้มันใน python ตลอดเวลา :-)

ฉันเริ่มเห็นว่าวิธีการที่แตกต่างกันมักจะดีที่สุดและดูเหมือนว่าคนอื่น ๆ ก็ทำเช่นเดียวกัน

หากคุณดูโครงการเช่นโปรโตคอลบัฟเฟอร์หรือความเจริญเติบโตของ Facebook คุณจะเห็นว่าบางครั้งควรใช้แอปที่เขียนด้วยภาษาอื่นและสร้างกาวในภาษาที่คุณต้องการ

ดูhttp://research.microsoft.com/en-us/projects/dryadlinq/default.aspxหรือhttp://msdn.microsoft.com/en-us/library/dd179423.aspx

เมื่อเร็ว ๆ นี้ MySpace ได้เปิดตัว. NET MapReduce framework, Qizmtเป็นโอเพ่นซอร์สดังนั้นนี่จึงเป็นคู่แข่งที่มีศักยภาพในพื้นที่นี้

ฉันตอบคำถามของคุณในคำถามของฉันที่นี่

ที่จะพูดที่นี่ในแหล่งที่มา:

Microsoft ทิ้งทางเลือกอื่น ( Dryad ) เพื่อสนับสนุน Hadoop ในปีหน้าพวกเขาจะเปิดตัว MS SQL Server 2012 ที่มีการรวม Hadoop การสนับสนุน Azure และ Windows Sever กำลังได้รับการพัฒนาแม้ในขณะที่เราพูด

จะพร้อมให้บริการในครึ่งแรกของปี 2555

Hadoop เป็นแพลตฟอร์มBigDataอันดับ 1 และจะได้รับการสนับสนุนโดยโอเพนซอร์สและซอร์สที่เป็นกรรมสิทธิ์ (Java, .Net, Python, ... ) แม้แต่ Oracle ก็นำมาใช้

หากคุณกำลังพัฒนาบางสิ่งคุณควรรอหากคุณอยู่บนแพลตฟอร์ม. Net

ข้อมูลเพิ่มเติมเกี่ยวกับสิ่งที่เป็นไปได้จะอยู่ที่นี่

ฉันจะบอกว่า DryadLinq เป็นสิ่งที่ใกล้เคียงที่สุดที่พวกเราชาว. NET มีต่อ Hadoop แต่ขึ้นอยู่กับว่าคุณต้องการใช้ hadoop เพื่ออะไร หากคุณกำลังมองหาระบบรักษาไฟล์แบบกระจาย (DFS) ที่ปรับให้เหมาะสมที่สุดแล้วDryadLINQไม่ใช่สิ่งที่คุณกำลังมองหา มีอะนาล็อกกับ DFS แต่คุณต้องสร้างพาร์ติชันด้วยตนเองและแจกจ่ายแต่ละพาร์ติชัน

ดังที่กล่าวไว้หากมุมมองการดำเนินการแบบกระจายของ Hadoop ที่คุณกำลังมองหากว่า DryadLINQ นั้นยอดเยี่ยมอย่างแท้จริง (และไม่ฉันไม่ได้มีส่วนเกี่ยวข้องกับ MS) ตราบใดที่คุณมีการตั้งค่าคลัสเตอร์Microsoft HPCกว่าที่จะใช้ DryadLINQ นั้นง่ายมาก

รหัสที่คุณเขียนเป็นเพียงโค้ด LINQ ที่ตรงจริงๆยกเว้นแทนที่จะเรียกใช้ LINQ โดยที่IEnumerable<T>คุณต้องดำเนินการPartitionedTable<T>(โครงสร้างข้อมูลแบบกระจายที่สร้างขึ้นเอง)

สิ่งที่เจ๋งมากเกี่ยวกับ DryadLINQ คือการหมุนรอบตัวเองอย่างรวดเร็ว (ลองทดสอบปรับแต่งทำซ้ำ) เมื่อพัฒนาอัลกอริทึม คุณเพียงแค่เขียนโค้ด LINQ เพื่อทำการคำนวณของคุณและ DryadLINQ จะดูแลส่วนการดำเนินการแบบกระจายทั้งหมด มันเป็นอะนาล็อกที่เป็นธรรมชาติที่สุดที่ฉันเคยพบมาซึ่งทำให้การเขียนโค้ดสำหรับการประมวลผลแบบกระจายเหมือนกับการเขียนโค้ดสำหรับการประมวลผลแบบกระบวนการเดียว

คุณสามารถตรวจสอบบางสิ่งเช่น RavenDb ซึ่งให้การสนับสนุนที่ดีมากสำหรับ MapReduce สำหรับข้อมูลขนาดใหญ่พอสมควร เนื่องจากมีอยู่ใน. Net จึงมี API ไคลเอนต์ LINQ ที่เหมาะสมพร้อมใช้งาน

http://ravendb.net/

ในการเริ่มต้นคุณสามารถอ่านบล็อกของฉันได้

อาจจะดีกว่าถ้าใช้ Apache Hadoop และสตรีมมิ่งเนื่องจาก Apache Hadoop กำลังได้รับการพัฒนาและดูแลโดยยักษ์ใหญ่ในอุตสาหกรรมเช่น Yahoo และ Facebook ดังนั้นจึงสามารถทำในสิ่งที่คุณคาดหวังให้ทำ

หากคุณต้องการโซลูชันใน. NET โปรดตรวจสอบการใช้งาน Myspace @ MySpace Qizmt - Mapreduce Framework โอเพนซอร์สของ MySpace

Microsoft อยู่ระหว่างการเปิดตัวHDInsightซึ่งเรียกเก็บเงินเป็น "การแจกจ่าย Hadoop ที่เข้ากันได้กับ Apache 100%"

มีให้บริการทั้งบน Windows Server และบริการ Windows Azure

Microsoft Research มีโครงการ Daytona http://research.microsoft.com/en-us/projects/daytona/

คุณสามารถดาวน์โหลดได้ มีตัวอย่าง WordCount ใน C #

ตอนนี้คุณสามารถใช้ Hadoop ได้โดยตรงจาก. NET Microsoft ได้ปล่อย SDK ให้ทำเช่นนั้น

https://hadoopsdk.codeplex.com/

แน่นอนว่านี่หมายถึงการใช้เครือข่าย Hadoop ที่ใช้ java แต่มันสำคัญหรือไม่ว่าเซิร์ฟเวอร์กำลังทำงานใน java? ฉันแน่ใจว่าอาจมีคนพยายามที่จะพอร์ต แต่ฉันไม่คิดว่ามันจะเป็นความคิดที่ดีเนื่องจาก บริษัท ต่างๆกำลังสนับสนุนเวอร์ชัน java อยู่แล้วและฉันไม่คิดว่าพอร์ต. NET จะได้รับความสนใจเช่นเดียวกัน

ดูที่:

http://www.windowsazure.com/en-us/services/hdinsight/

เป็นการใช้งาน Hadoop for Azure และคุณสามารถใช้. NET เพื่อเข้าถึงได้

ภายใน Microsoft ได้ใช้ Cosmos สิ่งนี้พร้อมใช้งานภายนอก Microsoft ผ่าน Azure มันชื่อAzure ข้อมูลทะเลสาบ AnalyticsและAzure ข้อมูลทะเลสาบร้าน การวิเคราะห์ Azure Data Lake เป็นประเภทของ Yarn as a service และ Azure Data Lake Store WebHDFS เป็นบริการ Azure Data Lake Analytics เวอร์ชันแรกโฮสต์เฉพาะ U-SQL ภาษาที่อิงตาม Transact-SQL + C #

มีการใช้งาน MapReduce ที่น่ารักสำหรับ. NET ที่: http://mapsharp.codeplex.com/

dryad / linq กำลังผลิตและจะออกเร็ว ๆ นี้: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx ใช้ร่วมกัน ด้วย Microsoft HPC สำหรับโซลูชันแบบคลัสเตอร์ที่มีประสิทธิภาพสำหรับการสืบค้นข้อมูลที่ไม่มีโครงสร้าง

ดังที่คนอื่น ๆ ได้กล่าวไว้DryadLINQเป็นกรอบการเขียนโปรแกรมที่ช่วยให้นักพัฒนาสามารถเขียนแบบสอบถาม LINQ และดำเนินการบนคลัสเตอร์ในลักษณะที่คล้ายกับ MapReduce เมื่อเร็ว ๆ นี้โครงการ DryadLINQ ได้รับการเผยแพร่ภายใต้สิทธิ์การใช้งาน Apache บนGitHubและรุ่นนี้รวมถึงการสนับสนุนสำหรับการทำงานบนคลัสเตอร์ YARN (รวมถึงคลัสเตอร์ Azure HDInsight)