คำถามติดแท็ก hadoop

ฉันเพลิดเพลินกับการอ่าน ServerFault มาระยะหนึ่งแล้วและฉันได้พบกับหัวข้อเกี่ยวกับ Hadoop ฉันมีปัญหาเล็กน้อยในการค้นหาว่ามันทำอะไรจากมุมมองระดับโลก ดังนั้นคำถามของฉันค่อนข้างง่าย: Hadoop คืออะไร มันทำอะไร ? ใช้ทำอะไร? ทำไมถึงเตะตูด แก้ไข:หากใครเกิดขึ้นมีการสาธิต / คำอธิบายกรณีการใช้งานที่ใช้ Hadoop นั่นจะเป็นเรื่องที่ยอดเยี่ยม

28 hadoop 

ฉันปรับใช้ namenode ที่สองในเครื่องเดียวกันคือ namenode หลักของฉัน: นี่เป็นสิ่งที่ไม่ถูกต้องสำหรับเหตุผลด้านประสิทธิภาพและความทนทาน (โหนดชื่อรองไม่ใช่ hot spare แต่มีสำเนาของข้อมูลเมตาที่จำเป็น) ฉันได้พบเอกสารเกี่ยวกับวิธีย้าย namenodeแต่ไม่มีอะไรเกี่ยวกับการย้าย namenode ที่สอง ใครบ้างที่มีประสบการณ์รู้วิธีการทำอย่างปลอดภัยหรือไม่?

11 hadoop  hbase  cloudera 

ฉันยังเป็นผู้เรียนมือใหม่ของ Hadoop และครั้งนี้ฉันพยายามประมวลผลไฟล์ 106GB ฉันเคย-copyFromLocalคัดลอกไฟล์ขนาดใหญ่นั้นไปยัง Hadoop DFS ของฉัน แต่เนื่องจากไฟล์มีขนาดใหญ่ฉันต้องรอเป็นเวลานานโดยไม่ทราบว่าสถานะการคัดลอกปัจจุบันเป็นอย่างไร มีวิธีแสดงสถานะการคัดลอกไฟล์ปัจจุบันด้วยคำสั่งนี้หรือไม่? ขอบคุณล่วงหน้าสำหรับความช่วยเหลือของคุณ!

10 hadoop  hdfs 

ให้ดูว่าใครบางคนสามารถเปิดไฟในเรื่องนี้ได้ไหม .. ฉันกำลังติดตั้งเซิร์ฟเวอร์ในวันถัดไป ลูกค้าของฉันต้องการปรับใช้ Hortonworks HDP พร้อมเซิร์ฟเวอร์ 2 ตัวเป็นเซิร์ฟเวอร์หลักและเซิร์ฟเวอร์ 5 ตัว ข้อกำหนดหนึ่งข้อสำหรับทั้งหมดคือเปิดใช้งาน NTP แต่นั่นคือข้อมูลทั้งหมดที่ฉันมีเขาไม่ได้บอกฉันว่าเขาต้องการเซิร์ฟเวอร์ท้องถิ่นที่ทำหน้าที่เป็นเซิร์ฟเวอร์ NTP หรือต้องการทั้ง 7 หน้าที่ทำหน้าที่เป็นลูกค้า ระบบปฏิบัติการจะเป็น Centos 6.6 หรือ 6.7 ดังนั้นคำถามของฉันจะเป็น: คำนึงถึงว่าสิ่งนี้จะไม่เป็นสภาพแวดล้อมการผลิต แต่เหมือนสภาพแวดล้อม "การทดสอบ" ซึ่งเป็นทางเลือกของคุณสำหรับการกำหนดค่า NTP บนเครื่องเหล่านี้หรือไม่ ทั้ง 7 ทำหน้าที่เป็นลูกค้าหรือ 1-2 เซิร์ฟเวอร์และห้าลูกค้า?

9 centos  ntp  hadoop 

ต่อไปนี้เป็นลิงค์ของ DIY 6-Node Hadoop Cluster ของฉันโดยใช้ i3 Machines อะไรคือวิธีที่ดีที่สุดในการปกป้องการออกแบบของฉันจากฝุ่นและให้การถ่ายเทความร้อนที่ดีกว่า สิ่งที่ฉันควรใช้เพื่อครอบคลุมสี่ด้านของชั้นวางของฉันเพื่อป้องกันฝุ่น

9 hardware  cluster  hadoop  physical-environment