[แก้ไข: มีนาคม 2016: ขอบคุณสำหรับการโหวต! แม้ว่าจริงๆนี้ไม่ได้เป็นคำตอบที่ดีที่สุดผมคิดว่าการแก้ปัญหาบนพื้นฐานwithColumn
, withColumnRenamed
และcast
การประกวดราคาโดย msemelman มาร์ติน Senne และอื่น ๆ ที่เรียบง่ายและทำความสะอาด]
ฉันคิดว่าวิธีการของคุณนั้นโอเคจำได้ว่า Spark DataFrame
เป็น RDD (ไม่เปลี่ยนรูป) ของแถวดังนั้นเราไม่เคยเปลี่ยนคอลัมน์จริงๆเพียงสร้างใหม่DataFrame
ทุกครั้งด้วยสคีมาใหม่
สมมติว่าคุณมี df ดั้งเดิมด้วยสคีมาดังต่อไปนี้:
scala> df.printSchema
root
|-- Year: string (nullable = true)
|-- Month: string (nullable = true)
|-- DayofMonth: string (nullable = true)
|-- DayOfWeek: string (nullable = true)
|-- DepDelay: string (nullable = true)
|-- Distance: string (nullable = true)
|-- CRSDepTime: string (nullable = true)
และ UDF บางตัวถูกนิยามไว้ในคอลัมน์เดียวหรือหลายคอลัมน์:
import org.apache.spark.sql.functions._
val toInt = udf[Int, String]( _.toInt)
val toDouble = udf[Double, String]( _.toDouble)
val toHour = udf((t: String) => "%04d".format(t.toInt).take(2).toInt )
val days_since_nearest_holidays = udf(
(year:String, month:String, dayOfMonth:String) => year.toInt + 27 + month.toInt-12
)
การเปลี่ยนประเภทคอลัมน์หรือแม้แต่การสร้าง DataFrame ใหม่จากอื่นสามารถเขียนดังนี้:
val featureDf = df
.withColumn("departureDelay", toDouble(df("DepDelay")))
.withColumn("departureHour", toHour(df("CRSDepTime")))
.withColumn("dayOfWeek", toInt(df("DayOfWeek")))
.withColumn("dayOfMonth", toInt(df("DayofMonth")))
.withColumn("month", toInt(df("Month")))
.withColumn("distance", toDouble(df("Distance")))
.withColumn("nearestHoliday", days_since_nearest_holidays(
df("Year"), df("Month"), df("DayofMonth"))
)
.select("departureDelay", "departureHour", "dayOfWeek", "dayOfMonth",
"month", "distance", "nearestHoliday")
ซึ่งให้:
scala> df.printSchema
root
|-- departureDelay: double (nullable = true)
|-- departureHour: integer (nullable = true)
|-- dayOfWeek: integer (nullable = true)
|-- dayOfMonth: integer (nullable = true)
|-- month: integer (nullable = true)
|-- distance: double (nullable = true)
|-- nearestHoliday: integer (nullable = true)
นี่ค่อนข้างใกล้กับโซลูชันของคุณเอง เพียงแค่ทำให้การเปลี่ยนแปลงประเภทและการเปลี่ยนแปลงอื่น ๆ เป็นแยกudf val
s ทำให้รหัสอ่านและใช้งานได้อีก