คำถามติดแท็ก hive

ปิด คำถามนี้เป็นคำถามความคิดเห็นตาม ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้สามารถตอบข้อเท็จจริงและการอ้างอิงได้โดยแก้ไขโพสต์นี้ ปิดให้บริการใน4 ปีที่แล้ว ปรับปรุงคำถามนี้ ภูมิหลังของฉัน - อายุ 4 สัปดาห์ในโลก Hadoop ตบเบา ๆ ใน Hive, Pig และ Hadoop โดยใช้ Hadoop VM ของ Cloudera อ่านกระดาษของ Google บน Map-Reduce และ GFS ( ลิงก์ PDF ) ฉันเข้าใจ- ภาษาของหมู Pig Latin เป็นการเปลี่ยนจาก (เหมาะสมกับวิธีที่โปรแกรมเมอร์คิด) SQL เช่นเดียวกับรูปแบบการประกาศของการเขียนโปรแกรมและภาษาแบบสอบถามของ Hive นั้นคล้ายกับ SQL หมูนั่งอยู่ด้านบนของ Hadoop และในหลักการก็สามารถนั่งบนนางดาด …

256 hadoop  hive  apache-pig 

ประโยชน์ของการใช้HadoopหรือHBaseหรือHiveคืออะไร จากความเข้าใจของฉันHBaseหลีกเลี่ยงการใช้แผนที่ลดและมีการจัดเก็บคอลัมน์ที่มุ่งเน้นด้านบนของ HDFS ไฮฟ์เป็นแบบ SQL อินเตอร์เฟซสำหรับHadoopและHBase ฉันต้องการทราบว่าHiveเปรียบเทียบกับPigอย่างไร

185 hadoop  hbase  hive  apache-pig 

ฉันรู้ว่าทั้งสองดำเนินการในคอลัมน์ในตาราง แต่วิธีการดำเนินการแต่ละอย่างแตกต่างกันอย่างไร

129 hadoop  hive 

ใครช่วยบอกความแตกต่างระหว่างตารางภายนอกของ Hive กับตารางภายในได้ไหม ฉันรู้ว่าความแตกต่างเกิดขึ้นเมื่อวางโต๊ะ ฉันไม่เข้าใจความหมายของข้อมูลและข้อมูลเมตาถูกลบในข้อมูลเมตาภายในและมีเพียงข้อมูลเมตาเท่านั้นที่ถูกลบในตารางภายนอก ใครช่วยอธิบายฉันในแง่ของโหนดได้โปรด

110 hadoop  hive  hiveql 

ฉันกำลังมองหา SQL ที่เทียบเท่าSET varname = valueใน Hive QL ฉันรู้ว่าฉันสามารถทำสิ่งนี้ได้: SET CURRENT_DATE = '2012-09-16'; SELECT * FROM foo WHERE day >= @CURRENT_DATE แต่แล้วฉันก็ได้รับข้อผิดพลาดนี้: ที่นี่ไม่รองรับอักขระ "@"

102 hive  hiveql 

สมมติว่าคุณมี "ตาราง" อยู่แล้วใน Hive มีวิธีที่รวดเร็วเหมือนกับฐานข้อมูลอื่น ๆ ในการรับคำสั่ง "สร้าง" สำหรับตารางนั้นหรือไม่?

95 sql  hive  hiveql 

ฉันจะค้นหาเวอร์ชัน Hive ที่ฉันใช้จากพรอมต์คำสั่งได้อย่างไร ด้านล่างนี้คือรายละเอียด - ฉันใช้ Putty เพื่อเชื่อมต่อกับตารางไฮฟ์และเข้าถึงเรกคอร์ดในตาราง ดังนั้นสิ่งที่ผมทำผมเปิดล์สีโป๊วและชื่อโฮสต์ฉัน typed- แล้วฉันคลิกleo-ingesting.vip.name.com Openจากนั้นฉันก็ป้อนชื่อผู้ใช้และรหัสผ่านของฉันจากนั้นคำสั่งสองสามคำสั่งเพื่อไปที่ Hive sql ด้านล่างนี้คือรายการสิ่งที่ฉันทำ $ bash bash-3.00$ hive Hive history file=/tmp/rkost/hive_job_log_rkost_201207010451_1212680168.txt hive> set mapred.job.queue.name=hdmi-technology; hive> select * from table LIMIT 1; มีวิธีใดบ้างจากพรอมต์คำสั่งที่ฉันสามารถค้นหาเวอร์ชันรังที่ฉันใช้และเวอร์ชัน Hadoop ด้วย

89 hadoop  hive 

ฉันกำลังทำการทดสอบรูปแบบการจัดเก็บข้อมูลที่มีอยู่ใน Hive และใช้ Parquet และ ORC เป็นตัวเลือกหลัก ฉันรวม ORC หนึ่งครั้งด้วยการบีบอัดเริ่มต้นและอีกครั้งกับ Snappy ฉันได้อ่านเอกสารหลายฉบับที่ระบุว่าปาร์เก้มีความซับซ้อนด้านเวลา / พื้นที่ดีกว่าเมื่อเทียบกับ ORC แต่การทดสอบของฉันตรงข้ามกับเอกสารที่ฉันทำ ติดตามรายละเอียดข้อมูลของฉัน Table A- Text File Format- 2.5GB Table B - ORC - 652MB Table C - ORC with Snappy - 802MB Table D - Parquet - 1.9 GB ปาร์เก้แย่ที่สุดเท่าที่การบีบอัดสำหรับโต๊ะของฉันเกี่ยวข้อง การทดสอบของฉันกับตารางด้านบนให้ผลลัพธ์ดังต่อไปนี้ การดำเนินการนับแถว Text Format Cumulative …

88 hadoop  hive  parquet  snappy  orc 

เป็นไปได้ไหมที่จะบันทึกเป็นDataFrameประกายโดยตรงไปยัง Hive? ฉันได้ลองแปลงDataFrameเป็นRddแล้วบันทึกเป็นไฟล์ข้อความจากนั้นโหลดในกลุ่ม แต่ฉันสงสัยว่าฉันสามารถบันทึกdataframeลงในรังได้โดยตรงหรือไม่

85 scala  apache-spark  hive  apache-spark-sql