นุ่นได้รับ n บันทึกสูงสุดภายในแต่ละกลุ่ม


162

สมมติว่าฉันมี DataFrame นุ่นเช่นนี้:

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

ฉันต้องการรับ DataFrame ใหม่โดยมี 2 อันดับแรกสำหรับแต่ละ id เช่นนี้

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

ฉันสามารถทำได้ด้วยการบันทึกหมายเลขภายในกลุ่มหลังกลุ่มโดย:

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

แต่มีวิธีการที่มีประสิทธิภาพ / สวยงามมากขึ้นในการทำเช่นนี้? และยังมีวิธีการบันทึกตัวเลขในแต่ละกลุ่ม (เช่นฟังก์ชัน SQL window row_number () )


สำเนาที่เป็นไปได้ของPandas dataframe รับแถวแรกของแต่ละกลุ่ม
ssoler

1
"top-n" ไม่ได้แปลว่า "แถวบนสุด / แรก / แถวแรก" เหมือนที่คุณกำลังมองหา! มันหมายถึง "แถว n ที่มีค่ามากที่สุด"
smci

คำตอบ:


183

คุณลอง df.groupby('id').head(2)

สร้าง Ouput:

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

(โปรดทราบว่าคุณอาจจำเป็นต้องสั่งซื้อ / เรียงก่อนขึ้นอยู่กับข้อมูลของคุณ)

แก้ไข: ดังกล่าวโดยผู้ถามใช้df.groupby('id').head(2).reset_index(drop=True)เพื่อลบ multindex และแผ่ผลลัพธ์

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1

1
ใช่ฉันคิดว่ามัน มองข้ามเรื่องนี้ไป คุณรู้วิธีที่ดีในการบันทึกหมายเลขภายในกลุ่มหรือไม่?
Roman Pekar

4
เพื่อให้ได้ผลลัพธ์ที่ต้องการฉันยังเพิ่มอีกด้วย.reset_index(drop=True)
Roman Pekar

1
github.com/pydata/pandas/pull/5510เพิ่งรวมเข้ามา จะอยู่ใน 0.13 วิธีการใหม่ที่จะทำตรงนี้เรียกว่าcumcount(หมายเลขระเบียนในแต่ละกลุ่ม)
เจฟฟ์

1
@ เจฟฟ์ข่าวดี ฉันหวังว่าฉันจะมีเวลามากขึ้นที่จะมีส่วนร่วมในการ Pandas :(
Roman Pekar

3
เพื่อให้ @dorvak คำตอบของเขาที่สมบูรณ์มากขึ้นถ้าคุณต้องการค่าที่น้อยที่สุด 2 ต่อแล้วทำid df.sort_values(['id', 'value'], axis=0).groupby('id').head(2)อีกตัวอย่างหนึ่งต่อค่าที่มากที่สุดจะได้รับจากid df.sort_values(['id', 'value'], axis=0).groupby('id').tail(1)
Elmex80s

132

ตั้งแต่ 0.14.1ตอนนี้คุณสามารถทำได้nlargestและnsmallestบนgroupbyวัตถุ:

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

มีความแปลกประหลาดเล็กน้อยที่คุณได้รับดัชนีต้นฉบับในมีเช่นกัน แต่นี้อาจจะมีประโยชน์จริงๆขึ้นอยู่กับสิ่งที่ดัชนีเดิมของคุณคือ

หากคุณไม่สนใจคุณสามารถทำได้.reset_index(level=1, drop=True)เพื่อกำจัดมันโดยสิ้นเชิง

(หมายเหตุ: จาก 0.17.1คุณจะสามารถทำเช่นนี้กับ DataFrameGroupBy ได้ด้วย แต่ตอนนี้ใช้ได้กับSeriesและSeriesGroupByเท่านั้น)


มีวิธีรับunique_limit(n)อย่างไร เช่นฉันต้องการค่าที่ไม่ซ้ำ n แรก? ถ้าฉันขอnlargestมันจะเรียงลำดับ df ทั้งหมดซึ่งอาจมีราคาแพง
citynorman

2
วิธีนี้ใช้ไม่ได้กับบางกรณีเมื่อคุณรวมกลุ่มกับกลุ่ม? ตัวอย่างเช่นdf.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B') นี่แค่คืน 5 อันดับแรกโดยรวมในซีรีย์ทั้งหมดไม่ใช่โดยแต่ละกลุ่ม
geominded

คำสั่งที่เป็นไปได้ในตอนนี้DataFrameGroupByดูเหมือนว่าจะเป็นเท็จคำขอดึงข้อมูลที่เชื่อมโยงจะปรากฏขึ้นเพื่อเพิ่มnlargestให้ง่าย ๆDataFrameเท่านั้น ข้อใดน่าเสียดายเพราะถ้าคุณต้องการเลือกมากกว่าหนึ่งคอลัมน์
oulenz

7

บางครั้งการเรียงลำดับข้อมูลทั้งหมดล่วงหน้าใช้เวลานานมาก เราสามารถจัดกลุ่มตามลำดับแรกและทำ topk สำหรับแต่ละกลุ่ม:

g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.