จะแสดงเนื้อหาคอลัมน์แบบเต็มใน Spark Dataframe ได้อย่างไร

ฉันใช้ spark-csv เพื่อโหลดข้อมูลลงใน DataFrame ฉันต้องการทำแบบสอบถามง่ายๆและแสดงเนื้อหา:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

คอลัมน์ดูเหมือนว่าถูกตัดทอน:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

ฉันจะแสดงเนื้อหาทั้งหมดของคอลัมน์ได้อย่างไร

results.show(20, false)จะไม่ตัดทอน ตรวจสอบแหล่งที่มา

หากคุณใส่results.show(false)ผลลัพธ์จะไม่ถูกตัดทอน

โซลูชันอื่น ๆ นั้นดี หากนี่คือเป้าหมายของคุณ:

1. ไม่มีการตัดคอลัมน์
2. ไม่มีการสูญเสียแถว
3. รวดเร็วและ
4. ที่มีประสิทธิภาพ

สองบรรทัดนี้มีประโยชน์ ...

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

การดำเนินการของผู้ดำเนินการ 2 การนับและการแสดงจะดำเนินการเร็วขึ้นและมีประสิทธิภาพมากขึ้นเมื่อใช้persistหรือcacheเพื่อบำรุงรักษาโครงสร้างพื้นฐานของไฟล์ข้อมูลพื้นฐานภายในตัวจัดการ ดูข้อมูลเพิ่มเติมเกี่ยวกับการคงอยู่และแคช

โค้ดด้านล่างจะช่วยในการดูแถวทั้งหมดโดยไม่ตัดปลายในแต่ละคอลัมน์

df.show(df.count(), False)

results.show(20, False)หรือresults.show(20, false) ขึ้นอยู่กับว่าคุณกำลังรันบน Java / Scala / Python

results.show(false) จะแสดงเนื้อหาคอลัมน์แบบเต็ม

แสดงวิธีตามวงเงินเริ่มต้นที่ 20 และเพิ่มตัวเลขก่อนfalseจะแสดงแถวเพิ่มเติม

ลองคำสั่งนี้:

df.show(df.count())

results.show(20,false) ได้หลอกลวงให้ฉันในสกาลา

ภายในDatabricksคุณสามารถเห็นภาพ dataframe ในรูปแบบตาราง ด้วยคำสั่ง:

display(results)

มันจะมีลักษณะเช่น

ฉันใช้ส่วนขยายของ Chrome ปลั๊กอินทำงานได้ค่อนข้างดี:

[ https://userstyles.org/styles/157357/jupyter-notebook-wide เหมือนพี่น้อง 1]

ลองในรูปแบบสกาล่า:

df.show(df.count.toInt, false)

เมธอด show ยอมรับจำนวนเต็มและค่าบูลีน แต่ df.count ส่งคืน Long ... ดังนั้นจึงจำเป็นต้องใช้การหล่อชนิด

ใน c # Option("truncate", false)ไม่ตัดทอนข้อมูลในเอาต์พุต

StreamingQuery query = spark
                    .Sql("SELECT * FROM Messages")
                    .WriteStream()
                    .OutputMode("append")
                    .Format("console")
                    .Option("truncate", false)
                    .Start();

คำตอบต่อไปนี้ใช้กับแอปพลิเคชั่น Spark Streaming

โดยการตั้งค่าตัวเลือก "truncate" เป็น false คุณสามารถบอกให้ sink ข้อมูลขาออกแสดงคอลัมน์เต็มได้

val query = out.writeStream
          .outputMode(OutputMode.Update())
          .format("console")
          .option("truncate", false)
          .trigger(Trigger.ProcessingTime("5 seconds"))
          .start()