Spark: UDF ดำเนินการหลายครั้ง

ฉันมีชื่อไฟล์พร้อมรหัสต่อไปนี้:

def test(lat: Double, lon: Double) = {
  println(s"testing ${lat / lon}")
  Map("one" -> "one", "two" -> "two")
}

val testUDF = udf(test _)

df.withColumn("test", testUDF(col("lat"), col("lon")))
  .withColumn("test1", col("test.one"))
  .withColumn("test2", col("test.two"))

ตอนนี้ตรวจสอบล็อกฉันพบว่าสำหรับแต่ละแถว UDF จะถูกดำเนินการ 3 ครั้ง ถ้าฉันเพิ่ม "test3" จากคอลัมน์ "test.three" ดังนั้น UDF จะถูกดำเนินการอีกครั้ง

มีคนอธิบายได้ไหมทำไม

สามารถหลีกเลี่ยงสิ่งนี้ได้อย่างถูกต้องหรือไม่ (โดยไม่ต้องแคชข้อมูลหลังจากที่เพิ่ม "test" แม้ว่าจะใช้งานได้)?

หากคุณต้องการหลีกเลี่ยงการเรียกหลาย ๆ ครั้งไปที่ udf (ซึ่งมีประโยชน์โดยเฉพาะถ้า udf เป็นคอขวดในงานของคุณ) คุณสามารถทำได้ดังนี้:

val testUDF = udf(test _).asNondeterministic()

โดยพื้นฐานแล้วคุณบอกว่า Spark ไม่ได้กำหนดฟังก์ชั่นของคุณและตอนนี้ Spark ทำให้แน่ใจว่าถูกเรียกเพียงครั้งเดียวเพราะมันไม่ปลอดภัยที่จะเรียกมันหลายครั้ง

นอกจากนี้โปรดทราบว่าเคล็ดลับนี้ไม่ได้ฟรีโดยการทำเช่นนี้คุณกำลังวางข้อ จำกัด บางอย่างไว้ในเครื่องมือเพิ่มประสิทธิภาพผลข้างเคียงอย่างหนึ่งของตัวอย่างนี้คือ Spark Optimizer ไม่ได้ผลักตัวกรองผ่านการแสดงออกที่ไม่ได้กำหนดไว้ดังนั้นคุณจึงต้องรับผิดชอบ ตำแหน่งของตัวกรองในแบบสอบถามของคุณ