การเรียงลำดับแบบกำหนดเองในดาต้าเฟรมของแพนด้า


93

ฉันมีดาต้าเฟรม python pandas ซึ่งคอลัมน์มีชื่อเดือน

ฉันจะจัดเรียงแบบกำหนดเองโดยใช้พจนานุกรมได้อย่างไรตัวอย่างเช่น:

custom_dict = {'March':0, 'April':1, 'Dec':3}  

1
คอลัมน์มีชื่อเดือนหมายความว่ามีคอลัมน์ที่มีชื่อเดือน (เป็นคำตอบของฉัน) หรือหลายคอลัมน์ที่มีชื่อคอลัมน์เป็นชื่อเดือน (เหมือนของ eumiro)?
Andy Hayden

1
คำตอบที่ยอมรับนั้นล้าสมัยและยังไม่ถูกต้องในทางเทคนิคเนื่องจากpd.Categoricalไม่ได้แปลความหมายของหมวดหมู่ตามลำดับโดยค่าเริ่มต้น ดูคำตอบนี้
cs95

คำตอบ:


149

Pandas 0.15 เปิดตัวซีรีส์หมวดหมู่ซึ่งช่วยให้สามารถทำได้ชัดเจนขึ้น

ขั้นแรกให้คอลัมน์เดือนเป็นหมวดหมู่และระบุลำดับที่จะใช้

In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])

In [22]: df  # looks the same!
Out[22]:
   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

ตอนนี้เมื่อคุณจัดเรียงคอลัมน์เดือนระบบจะจัดเรียงตามรายการนั้น:

In [23]: df.sort_values("m")
Out[23]:
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

หมายเหตุ: หากค่าไม่อยู่ในรายการจะถูกแปลงเป็น NaN


คำตอบที่เก่ากว่าสำหรับผู้ที่สนใจ ...

คุณสามารถสร้างชุดตัวกลางและset_indexในสิ่งนั้น:

df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()

In [4]: df.set_index(s.index).sort()
Out[4]: 
   a  b      m
0  1  2  March
1  3  4  April
2  5  6    Dec

ตามความคิดเห็นในแพนด้ารุ่นใหม่ Series มีreplaceวิธีการทำสิ่งนี้ให้สวยงามยิ่งขึ้น:

s = df['m'].replace({'March':0, 'April':1, 'Dec':3})

ความแตกต่างเล็กน้อยคือสิ่งนี้จะไม่เพิ่มขึ้นหากมีค่านอกพจนานุกรม (ก็จะยังคงเหมือนเดิม)


s = df['m'].replace({'March':0, 'April':1, 'Dec':3})ใช้งานได้กับบรรทัดที่ 2 เช่นกัน - เพื่อประโยชน์ของทุกคนที่เรียนรู้แพนด้าอย่างฉัน
kdauria

@kdauria จุดที่ดี! (นานแล้วที่ฉันเขียนสิ่งนี้!) แทนที่ตัวเลือกที่ดีที่สุดแน่นอนอีกตัวหนึ่งคือการใช้.apply({'March':0, 'April':1, 'Dec':3}.get):) ใน 0.15 เราจะมีซีรีส์ / คอลัมน์หมวดหมู่ดังนั้นวิธีที่ดีที่สุดคือใช้สิ่งนั้นจากนั้นการเรียงลำดับก็จะใช้ได้
Andy Hayden

@AndyHayden ฉันได้ใช้เสรีภาพในการแทนที่บรรทัดที่สองด้วยวิธี 'แทนที่' ฉันหวังว่าจะโอเค
Faheem Mitha

@AndyHayden แก้ไขถูกปฏิเสธ แต่ฉันยังคิดว่ามันเป็นการเปลี่ยนแปลงที่สมเหตุสมผล
Faheem Mitha

7
ตรวจสอบให้แน่ใจว่าคุณใช้df.sort_values("m")ในแพนด้ารุ่นใหม่ ๆ (แทนdf.sort("m")) มิฉะนั้นคุณจะได้รับ a AttributeError: 'DataFrame' object has no attribute 'sort';)
ระดมความคิด

21

แพนด้า> = 1.1

คุณจะสามารถใช้sort_valuesกับkeyอาร์กิวเมนต์ได้ในไม่ช้า:

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

custom_dict = {'March': 0, 'April': 1, 'Dec': 3} 
df

   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

keyอาร์กิวเมนต์จะเป็นใส่ชุดและส่งกลับซีรีส์ ชุดนี้มีการเรียงลำดับภายในและดัชนีที่เรียงลำดับจะถูกใช้เพื่อจัดลำดับ DataFrame ที่ป้อนเข้าใหม่ หากมีหลายคอลัมน์ให้จัดเรียงฟังก์ชันคีย์จะถูกนำไปใช้กับแต่ละคอลัมน์ ดูเรียงลำดับด้วยปุ่ม


แพนด้า <= 1.0.X

วิธีง่ายๆวิธีหนึ่งคือการใช้เอาต์พุตSeries.mapและSeries.argsortสร้างดัชนีในการdfใช้DataFrame.iloc(เนื่องจาก argsort สร้างตำแหน่งจำนวนเต็มที่เรียงลำดับ) เนื่องจากคุณมีพจนานุกรม เรื่องนี้กลายเป็นเรื่องง่าย

df.iloc[df['m'].map(custom_dict).argsort()]

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

หากคุณต้องการเรียงลำดับจากมากไปหาน้อยให้กลับด้านการแมป

df.iloc[(-df['m'].map(custom_dict)).argsort()]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

โปรดทราบว่าสิ่งนี้ใช้ได้กับรายการที่เป็นตัวเลขเท่านั้น มิฉะนั้นคุณจะต้องแก้ไขปัญหานี้โดยใช้sort_valuesและเข้าถึงดัชนี:

df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

ตัวเลือกเพิ่มเติมจะสามารถใช้ได้กับastype(นี่คือตอนนี้เลิกใช้) หรือpd.Categoricalแต่คุณจะต้องระบุordered=Trueให้มันทำงานได้อย่างถูกต้อง

# Older version,
# df['m'].astype('category', 
#                categories=sorted(custom_dict, key=custom_dict.get), 
#                ordered=True)
df['m'] = pd.Categorical(df['m'], 
                         categories=sorted(custom_dict, key=custom_dict.get), 
                         ordered=True)

ตอนนี้การsort_valuesโทรง่ายๆจะทำเคล็ดลับ:

df.sort_values('m')
 
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

นอกจากนี้การจัดลำดับหมวดหมู่จะได้รับเกียรติเมื่อgroupbyเรียงลำดับผลลัพธ์


2
คุณได้เน้นไปแล้ว แต่ฉันอยากจะย้ำอีกครั้งในกรณีที่มีคนอื่นอ่านแล้วพลาดไป: Pandas กำหนดหมวดหมู่ordered=Noneตามค่าเริ่มต้น หากไม่ได้ตั้งค่าการสั่งซื้อจะผิดหรือแตกบน V23 โดยเฉพาะฟังก์ชัน Max จะให้ TypeError (ไม่ได้สั่งหมวดหมู่สำหรับการดำเนินการสูงสุด)
Dave Liu

17

อัปเดต

ใช้คำตอบที่เลือก ! ใหม่กว่าโพสต์นี้และไม่ได้เป็นเพียงวิธีการอย่างเป็นทางการในการดูแลรักษาข้อมูลที่สั่งซื้อในแพนด้าเท่านั้น แต่ยังดีกว่าในทุก ๆ ด้านรวมถึงคุณสมบัติ / ประสิทธิภาพ ฯลฯ อย่าใช้วิธีแฮ็กของฉันที่ฉันอธิบายไว้ด้านล่าง

ฉันแค่เขียนอัปเดตนี้เพราะมีคนโหวตคำตอบของฉันอยู่เรื่อย ๆ แต่มันแย่กว่าที่ยอมรับแน่นอน :)

โพสต์ต้นฉบับ

เกมช้าไปหน่อย แต่ต่อไปนี้เป็นวิธีสร้างฟังก์ชันที่จัดเรียงออบเจ็กต์ Panda, DataFrame และ multiindex DataFrame โดยใช้ฟังก์ชันที่กำหนดเอง

ฉันใช้df.iloc[index]วิธีการซึ่งอ้างอิงแถวใน Series / DataFrame ตามตำแหน่ง (เทียบกับdf.locซึ่งอ้างอิงตามค่า) เมื่อใช้สิ่งนี้เราต้องมีฟังก์ชันที่ส่งกลับชุดของอาร์กิวเมนต์ตำแหน่ง:

def sort_pd(key=None,reverse=False,cmp=None):
    def sorter(series):
        series_list = list(series)
        return [series_list.index(i) 
           for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
    return sorter

คุณสามารถใช้สิ่งนี้เพื่อสร้างฟังก์ชันการเรียงลำดับแบบกำหนดเอง สิ่งนี้ใช้ได้กับดาต้าเฟรมที่ใช้ในคำตอบของ Andy Hayden:

df = pd.DataFrame([
    [1, 2, 'March'],
    [5, 6, 'Dec'],
    [3, 4, 'April']], 
  columns=['a','b','m'])

custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)

In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
   a  b  m
0  1  2  March
2  3  4  April
1  5  6  Dec

นอกจากนี้ยังใช้งานได้กับ multiindex DataFrames และ Series objects:

months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']

df = pd.DataFrame([
    ['New York','Mar',12714],
    ['New York','Apr',89238],
    ['Atlanta','Jan',8161],
    ['Atlanta','Sep',5885],
  ],columns=['location','month','sales']).set_index(['location','month'])

sort_by_month = sort_pd(key=months.index)

In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
                 sales
location  month  
Atlanta   Jan    8161
New York  Mar    12714
          Apr    89238
Atlanta   Sep    5885

sort_by_last_digit = sort_pd(key=lambda x: x%10)

In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2    8161
0   12714
3    5885
1   89238

สำหรับฉันแล้วสิ่งนี้ให้ความรู้สึกสะอาด แต่มันใช้การดำเนินการของ python อย่างมากแทนที่จะอาศัยการทำงานของแพนด้าที่เหมาะสมที่สุด ฉันไม่ได้ทำการทดสอบความเครียดใด ๆ แต่ฉันคิดว่าสิ่งนี้อาจช้าลงใน DataFrames ขนาดใหญ่มาก ไม่แน่ใจว่าประสิทธิภาพเปรียบเทียบกับการเพิ่มการเรียงลำดับจากนั้นการลบคอลัมน์อย่างไร เคล็ดลับใด ๆ ในการเร่งรหัสจะได้รับการชื่นชม!


วิธีนี้ใช้ได้กับการจัดเรียงคอลัมน์ / ดัชนีหลายรายการหรือไม่
ConanG

ใช่ แต่คำตอบที่เลือกเป็นวิธีที่ดีกว่าในการทำเช่นนี้ หากคุณมีดัชนีหลายตัวให้จัดเรียงตามลำดับการจัดเรียงที่คุณต้องการจากนั้นใช้df.sort_index()เพื่อจัดเรียงระดับดัชนีทั้งหมด
Michael Delgado

9
import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}

df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)

df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))

ส่งคืน DataFrame พร้อมคอลัมน์มีนาคมเมษายนธันวาคม


สิ่งนี้จะจัดเรียงคอลัมน์จริงแทนที่จะจัดเรียงแถวตามเพรดิเคตที่กำหนดเองในคอลัมน์?
cs95
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.