Spark DataFrame group โดยและเรียงลำดับจากมากไปหาน้อย (pyspark)

ฉันใช้ pyspark (Python 2.7.9 / Spark 1.3.1) และมี dataframe GroupObject ซึ่งฉันต้องการกรองและเรียงลำดับจากมากไปหาน้อย พยายามที่จะบรรลุผ่านโค้ดชิ้นนี้

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

แต่มันแสดงข้อผิดพลาดต่อไปนี้

sort() got an unexpected keyword argument 'ascending'

ในเมธอด PySpark 1.3 sortไม่ใช้พารามิเตอร์จากน้อยไปมาก คุณสามารถใช้descวิธีการแทน:

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

หรือdescฟังก์ชั่น:

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

ทั้งสองวิธีสามารถใช้ได้กับ Spark> = 1.3 (รวมถึง Spark 2.x)

ใช้orderBy :

df.orderBy('column_name', ascending=False)

คำตอบที่สมบูรณ์:

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

วิธีที่สะดวกที่สุดคือใช้สิ่งนี้:

df.orderBy(df.column_name.desc())

ไม่ต้องการการนำเข้าพิเศษ

ใน pyspark 2.4.4

1) group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

2) from pyspark.sql.functions import desc
   group_by_dataframe.count().filter("`count` >= 10").orderBy('count').sort(desc('count'))

ไม่จำเป็นต้องนำเข้าใน 1) และ 1) สั้นและอ่านง่าย
ดังนั้นฉันจึงชอบ 1) มากกว่า 2)

คุณสามารถใช้ groupBy และ orderBy ได้ดังนี้

dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))