คำถามติดแท็ก apache-spark-dataset

15
ความแตกต่างระหว่าง DataFrame ชุดข้อมูลและ RDD ใน Spark
ฉันแค่สงสัยว่าอะไรคือความแตกต่างระหว่างRDDและDataFrame (Spark 2.0.0 DataFrame เป็นเพียงนามแฝงประเภทสำหรับDataset[Row])ใน Apache Spark? คุณสามารถแปลงหนึ่งเป็นอื่นได้หรือไม่

8
วิธีการเก็บวัตถุที่กำหนดเองในชุดข้อมูล?
ตามที่แนะนำชุดข้อมูล Spark : ในขณะที่เราตั้งตารอ Spark 2.0 เราวางแผนการปรับปรุงที่น่าตื่นเต้นสำหรับชุดข้อมูลโดยเฉพาะ: ... Custom encoders - ในขณะที่เราสร้าง encoders อัตโนมัติสำหรับประเภทที่หลากหลายเราต้องการเปิด API สำหรับวัตถุที่กำหนดเอง และพยายามจัดเก็บประเภทที่กำหนดเองDatasetเพื่อนำไปสู่ข้อผิดพลาดต่อไปนี้เช่น: ไม่พบตัวเข้ารหัสสำหรับประเภทที่เก็บไว้ในชุดข้อมูล ประเภทดั้งเดิม (Int, String, ฯลฯ ) และประเภทผลิตภัณฑ์ (คลาสเคส) ได้รับการสนับสนุนโดยการนำเข้า sqlContext.implicits._ การสนับสนุนสำหรับซีเรียลไลซ์ประเภทอื่น ๆ จะถูกเพิ่มในรุ่นอนาคต หรือ: Java.lang.UnsupportedOperationException: ไม่พบตัวเข้ารหัสสำหรับ .... มีวิธีแก้ไขปัญหาอยู่หรือไม่? หมายเหตุคำถามนี้มีอยู่เป็นจุดเริ่มต้นสำหรับคำตอบ Community Wiki เท่านั้น โปรดอัปเดต / ปรับปรุงทั้งคำถามและคำตอบ
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.