python python: ลบรายการที่ซ้ำกันโดยคอลัมน์ A, ทำให้แถวมีค่าสูงสุดในคอลัมน์ B

ฉันมี dataframe ที่มีค่าซ้ำในคอลัมน์ A ฉันต้องการปล่อยรายการที่ซ้ำกันรักษาแถวด้วยค่าสูงสุดในคอลัมน์ B

ดังนั้นนี่คือ:

A B
1 10
1 20
2 30
2 40
3 10

ควรเปลี่ยนเป็น:

A B
1 20
2 40
3 10

เวสสตรีทได้เพิ่มบางฟังก์ชันการทำงานที่ดีที่จะซ้ำกันวาง: http://wesmckinney.com/blog/?p=340 แต่ AFAICT มันถูกออกแบบมาสำหรับการทำซ้ำที่แน่นอนดังนั้นจึงไม่มีการกล่าวถึงเกณฑ์สำหรับการเลือกแถวที่จะเก็บไว้

ฉันเดาว่าอาจเป็นวิธีที่ง่ายในการทำ --- อาจจะง่ายเหมือนกับการคัดแยกดาต้าเฟรมก่อนที่จะทิ้งข้อมูลที่ซ้ำกัน --- แต่ฉันไม่รู้ว่าตรรกะภายในของกรุ๊ปบายเพียงพอที่จะเข้าใจได้ ข้อเสนอแนะใด ๆ

สิ่งนี้ใช้เวลานาน ไม่สูงสุดแม้ว่า:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

คุณสามารถทำสิ่งที่ชอบ:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

คำตอบยอดนิยมคือการทำงานมากเกินไปและดูเหมือนจะช้ามากสำหรับชุดข้อมูลขนาดใหญ่ applyช้าและควรหลีกเลี่ยงถ้าเป็นไปได้ ixเลิกใช้แล้วและควรหลีกเลี่ยงเช่นกัน

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

หรือเพียงแค่จัดกลุ่มตามคอลัมน์อื่น ๆ ทั้งหมดแล้วเลือกคอลัมน์ที่คุณต้องการสูงสุด df.groupby('A', as_index=False).max()

วิธีที่ง่ายที่สุด:

หากต้องการวางรายการซ้ำตามคอลัมน์เดียว:

df = df.drop_duplicates('column_name', keep='last')

หากต้องการวางรายการซ้ำตามคอลัมน์หลายคอลัมน์:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

ลองสิ่งนี้:

df.groupby(['A']).max()

ฉันจะเรียงลำดับไฟล์ข้อมูลก่อนโดยให้คอลัมน์ B ลงมาจากนั้นให้วางรายการที่ซ้ำกันสำหรับคอลัมน์ A และเก็บไว้ก่อน

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

ไม่มีกลุ่มใด

คุณสามารถลองสิ่งนี้ได้เช่นกัน

df.drop_duplicates(subset='A', keep='last')

ฉันแนะนำสิ่งนี้จากhttps://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

ฉันคิดว่าในกรณีของคุณคุณไม่จำเป็นต้องมีกลุ่มด้วย ฉันจะเรียงลำดับจากมากไปหาน้อยคอลัมน์ B ของคุณจากนั้นปล่อยรายการซ้ำที่คอลัมน์ A และหากคุณต้องการคุณสามารถมีดัชนีที่ดีและสะอาดใหม่เช่นนั้น:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

นี่คือรูปแบบที่ผมต้องแก้ปัญหาที่มีมูลค่าการใช้งานร่วมกันสำหรับแต่ละสายที่ไม่ซ้ำกันในที่ฉันต้องการที่จะหาสตริงทั่วไปที่เกี่ยวข้องมากที่สุดในcolumnAcolumnB

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

.any()หยิบหนึ่งถ้ามีการผูกสำหรับโหมดที่ (โปรดทราบว่าการใช้.any()ชุดข้อมูลints จะส่งคืนบูลีนแทนที่จะเลือกหนึ่งรายการ)

สำหรับคำถามเดิมวิธีการที่สอดคล้องจะลดความซับซ้อนลง

df.groupby('columnA').columnB.agg('max').reset_index().

เมื่อโพสต์ที่ให้ไว้ตอบคำถามฉันทำการเปลี่ยนแปลงเล็กน้อยโดยการเพิ่มชื่อคอลัมน์ที่ใช้ฟังก์ชัน max () เพื่อให้อ่านรหัสได้ดีขึ้น

df.groupby('A', as_index=False)['B'].max()

วิธีที่ง่ายที่สุดในการทำเช่นนี้:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

ยังใช้งานได้:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

ฉันจะไม่ให้คำตอบทั้งหมดกับคุณ (ฉันไม่คิดว่าคุณกำลังมองหาการแยกวิเคราะห์และเขียนลงในส่วนของไฟล์ต่อไป) แต่คำใบ้สำคัญควรจะพอเพียง: ใช้set()ฟังก์ชั่นของงูใหญ่แล้วsorted()หรือ.sort()ควบคู่กับ.reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]