จะพิมพ์เนื้อหาของ RDD ได้อย่างไร?

ฉันกำลังพยายามพิมพ์เนื้อหาของคอลเลกชั่นไปยังคอนโซล Spark

ฉันมีประเภท:

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

และฉันใช้คำสั่ง:

scala> linesWithSessionId.map(line => println(line))

แต่สิ่งนี้ถูกพิมพ์:

res1: org.apache.spark.rdd.RDD [หน่วย] = MappedRDD [4] ที่แผนที่เวลา: 19

ฉันจะเขียน RDD ลงในคอนโซลหรือบันทึกลงในดิสก์เพื่อดูเนื้อหาได้อย่างไร

หากคุณต้องการดูเนื้อหาของ RDD วิธีหนึ่งคือใช้collect():

myRDD.collect().foreach(println)

นั่นไม่ใช่ความคิดที่ดีเมื่อ RDD มีสายการบินนับพันล้าน ใช้take()เพื่อพิมพ์เพียงไม่กี่ชิ้น:

myRDD.take(n).foreach(println)

mapฟังก์ชั่นคือการเปลี่ยนแปลงซึ่งหมายความว่า Spark จะไม่ประเมิน RDD ของคุณจนกว่าคุณเรียกใช้การดำเนินการเกี่ยวกับมัน

ในการพิมพ์คุณสามารถใช้foreach(ซึ่งเป็นการกระทำ):

linesWithSessionId.foreach(println)

ในการเขียนลงดิสก์คุณสามารถใช้หนึ่งในsaveAs...ฟังก์ชัน (การดำเนินการที่ยังคงอยู่) จากRDD API

หากคุณกำลังเรียกใช้สิ่งนี้บนคลัสเตอร์printlnจะไม่พิมพ์กลับไปที่บริบทของคุณ คุณต้องนำRDDข้อมูลไปยังเซสชันของคุณ ในการดำเนินการนี้คุณสามารถบังคับให้เป็นอาร์เรย์ภายในแล้วพิมพ์ออกมา:

linesWithSessionId.toArray().foreach(line => println(line))

คุณสามารถแปลงของคุณRDDไปDataFrameแล้วshow()มัน

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

ซึ่งจะแสดงข้อมูล 20 บรรทัดแรกดังนั้นขนาดของข้อมูลของคุณจึงไม่น่าจะเป็นปัญหา

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

อาจมีความแตกต่างทางสถาปัตยกรรมหลายประการระหว่างmyRDD.foreach(println)และmyRDD.collect().foreach(println)(ไม่เพียง แต่ "รวบรวม" แต่ยังรวมถึงการกระทำอื่น ๆ ด้วย) ความแตกต่างอย่างหนึ่งที่ฉันเห็นคือเมื่อทำmyRDD.foreach(println)ผลลัพธ์จะอยู่ในลำดับสุ่ม เช่นถ้า rdd ของฉันมาจากไฟล์ข้อความที่แต่ละบรรทัดมีตัวเลขผลลัพธ์จะมีลำดับที่แตกต่างกัน แต่เมื่อฉันทำmyRDD.collect().foreach(println)คำสั่งก็ยังคงเหมือนไฟล์ข้อความ

ใน python

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

สิ่งนี้จะพิมพ์เนื้อหาทั้งหมดของ RDD

c.take(10)

และ Spark เวอร์ชันที่ใหม่กว่าจะแสดงตารางอย่างสวยงาม

แทนที่จะพิมพ์ทุกครั้งคุณสามารถ;

[1] สร้างวิธีการพิมพ์ทั่วไปภายใน Spark Shell

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2] หรือดีกว่าโดยใช้นัยคุณสามารถเพิ่มฟังก์ชันลงในคลาส RDD เพื่อพิมพ์เนื้อหาได้

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

ตัวอย่างการใช้งาน:

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

เอาท์พุท:

2
6
4
8

สำคัญ

สิ่งนี้จะสมเหตุสมผลก็ต่อเมื่อคุณกำลังทำงานในโหมดโลคัลและมีชุดข้อมูลจำนวนเล็กน้อย มิฉะนั้นคุณจะไม่สามารถเห็นผลลัพธ์บนไคลเอนต์หรือหน่วยความจำไม่เพียงพอเนื่องจากผลลัพธ์ของชุดข้อมูลขนาดใหญ่

คุณยังสามารถบันทึกเป็นไฟล์: rdd.saveAsTextFile("alicia.txt")

ในไวยากรณ์ java:

rdd.collect().forEach(line -> System.out.println(line));