เปอร์เซ็นต์ของแพนด้าทั้งหมดกับ groupby


160

เห็นได้ชัดว่านี่เป็นเรื่องง่าย แต่ในฐานะที่เป็นคนใหม่ฉันกำลังติดขัด

ฉันมีไฟล์ CSV ที่มี 3 คอลัมน์สถานะรหัสสำนักงานและการขายสำหรับสำนักงานนั้น

ฉันต้องการคำนวณเปอร์เซ็นต์ของยอดขายต่อสำนักงานในสถานะที่กำหนด (เปอร์เซ็นต์ทั้งหมดในแต่ละรัฐคือ 100%)

df = pd.DataFrame({'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
                   'office_id': range(1, 7) * 2,
                   'sales': [np.random.randint(100000, 999999)
                             for _ in range(12)]})

df.groupby(['state', 'office_id']).agg({'sales': 'sum'})

ผลตอบแทนนี้:

                  sales
state office_id        
AZ    2          839507
      4          373917
      6          347225
CA    1          798585
      3          890850
      5          454423
CO    1          819975
      3          202969
      5          614011
WA    2          163942
      4          369858
      6          959285

ฉันคิดไม่ออกว่าจะ "เอื้อม" ไปที่stateระดับของผลgroupbyรวมsalesทั้งหมดstateเพื่อคำนวณเศษส่วนได้อย่างไร


4
df['sales'] / df.groupby('state')['sales'].transform('sum')ดูเหมือนจะเป็นคำตอบที่ชัดเจนที่สุด
Paul Rougieux

คำตอบ:


217

คำตอบที่พอลเอชเป็นสิทธิที่คุณจะต้องทำสองgroupbyวัตถุ แต่คุณสามารถคำนวณเปอร์เซ็นต์ในวิธีที่ง่าย - เพียงแค่และแบ่งคอลัมน์ด้วยผลรวมของ คัดลอกจุดเริ่มต้นของคำตอบของ Paul H:groupbystate_officesales

# From Paul H
import numpy as np
import pandas as pd
np.random.seed(0)
df = pd.DataFrame({'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
                   'office_id': list(range(1, 7)) * 2,
                   'sales': [np.random.randint(100000, 999999)
                             for _ in range(12)]})
state_office = df.groupby(['state', 'office_id']).agg({'sales': 'sum'})
# Change: groupby state_office and divide by sum
state_pcts = state_office.groupby(level=0).apply(lambda x:
                                                 100 * x / float(x.sum()))

ผลตอบแทน:

                     sales
state office_id           
AZ    2          16.981365
      4          19.250033
      6          63.768601
CA    1          19.331879
      3          33.858747
      5          46.809373
CO    1          36.851857
      3          19.874290
      5          43.273852
WA    2          34.707233
      4          35.511259
      6          29.781508

1
เกิดอะไรขึ้นที่นี่? ตามที่ฉันเข้าใจมัน xเป็นตารางบางชนิดดังนั้นจึง100 * xไม่สมเหตุสมผลโดยสังหรณ์ใจ (โดยเฉพาะอย่างยิ่งเมื่อเซลล์บางเซลล์มีสตริงเช่นAZ... )
dhardy

7
@dhardy state_officeเป็นซีรี่ส์ที่มี Multi Index - ดังนั้นจึงเป็นเพียงคอลัมน์เดียวที่มีค่าเป็นตัวเลขทั้งหมด หลังจากคุณทำ groupby แต่ละxคอลัมน์จะเป็นส่วนย่อยของคอลัมน์นั้น มันสมเหตุสมผลไหม
exp1orer

2
มันอาจจะ แต่มันไม่ได้ผลสำหรับฉัน แพนด้าใน Python 3 ทำงานแตกต่างกันเล็กน้อยหรือไม่?
dhardy

1
อะไรlevel=0หมายถึง?
van_d39

3
@Veenit หมายความว่าคุณกำลังจัดกลุ่มตามระดับแรกของดัชนีแทนที่จะเป็นคอลัมน์ใดคอลัมน์หนึ่ง
exp1orer

55

คุณต้องสร้างอ็อบเจ็กต์ groupby ที่สองที่จัดกลุ่มตามสถานะจากนั้นใช้divเมธอด:

import numpy as np
import pandas as pd
np.random.seed(0)
df = pd.DataFrame({'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
               'office_id': list(range(1, 7)) * 2,
               'sales': [np.random.randint(100000, 999999) for _ in range(12)]})

state_office = df.groupby(['state', 'office_id']).agg({'sales': 'sum'})
state = df.groupby(['state']).agg({'sales': 'sum'})
state_office.div(state, level='state') * 100


                     sales
state office_id           
AZ    2          16.981365
      4          19.250033
      6          63.768601
CA    1          19.331879
      3          33.858747
      5          46.809373
CO    1          36.851857
      3          19.874290
      5          43.273852
WA    2          34.707233
      4          35.511259
      6          29.781508

level='state'kwarg ในdivบอกหมีแพนด้าที่จะออกอากาศ / เข้าร่วมฐาน dataframes ค่าในstateระดับของดัชนี


4
วิธีนี้ใช้ได้ผลหรือไม่ถ้าคุณมีดัชนี 3 ตัว ครั้งแรกฉันทำ groupby ใน 3 คอลัมน์ จากนั้นฉันทำ groupby ที่สองเพียง 2 และคำนวณผลรวม จากนั้นผมก็พยายามที่จะใช้divแต่มีแต่มันบอกฉันว่าlevel=["index1", "index2"] Join on level between two MultiIndex objects is ambiguous
Ger

@Ger มันได้ผล แต่ไม่มีทางที่ฉันจะทำนายสิ่งที่คุณทำผิดไปจากคำอธิบายนั้นได้ ค้นหาในเว็บไซต์เพิ่มเติมอีกเล็กน้อย หากคุณไม่พบสิ่งใดให้สร้างคำถามใหม่พร้อมตัวอย่างที่ทำซ้ำได้ซึ่งแสดงให้เห็นถึงปัญหา stackoverflow.com/questions/20109391/…
Paul H

39

เพื่อความกระชับฉันใช้ SeriesGroupBy:

In [11]: c = df.groupby(['state', 'office_id'])['sales'].sum().rename("count")

In [12]: c
Out[12]:
state  office_id
AZ     2            925105
       4            592852
       6            362198
CA     1            819164
       3            743055
       5            292885
CO     1            525994
       3            338378
       5            490335
WA     2            623380
       4            441560
       6            451428
Name: count, dtype: int64

In [13]: c / c.groupby(level=0).sum()
Out[13]:
state  office_id
AZ     2            0.492037
       4            0.315321
       6            0.192643
CA     1            0.441573
       3            0.400546
       5            0.157881
CO     1            0.388271
       3            0.249779
       5            0.361949
WA     2            0.411101
       4            0.291196
       6            0.297703
Name: count, dtype: float64

สำหรับหลายกลุ่มคุณต้องใช้การแปลง (โดยใช้Radical's df ):

In [21]: c =  df.groupby(["Group 1","Group 2","Final Group"])["Numbers I want as percents"].sum().rename("count")

In [22]: c / c.groupby(level=[0, 1]).transform("sum")
Out[22]:
Group 1  Group 2  Final Group
AAHQ     BOSC     OWON           0.331006
                  TLAM           0.668994
         MQVF     BWSI           0.288961
                  FXZM           0.711039
         ODWV     NFCH           0.262395
...
Name: count, dtype: float64

ดูเหมือนว่าจะมีประสิทธิภาพมากกว่าคำตอบอื่น ๆ เล็กน้อย (ความเร็วน้อยกว่าสองเท่าของคำตอบของ Radical สำหรับฉัน ~ 0.08 วินาที)


5
นี่เร็วสุด ๆ ฉันอยากจะแนะนำสิ่งนี้ให้เป็นแนวทางของหมีแพนด้า ใช้ประโยชน์จาก vectorization ของ numpy และการจัดทำดัชนีแพนด้า
Charles

สิ่งนี้ได้ผลดีสำหรับฉันเช่นกันเนื่องจากฉันทำงานกับหลายกลุ่ม ขอบคุณ.
irene

31

ฉันคิดว่าสิ่งนี้ต้องการการเปรียบเทียบ ใช้ DataFrame ดั้งเดิมของ OP

df = pd.DataFrame({
    'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
    'office_id': range(1, 7) * 2,
    'sales': [np.random.randint(100000, 999999) for _ in range(12)]
})

ที่ 1 Andy Hayden

ตามที่แสดงความคิดเห็นในคำตอบของเขา Andy ใช้ประโยชน์อย่างเต็มที่จากการทำดัชนีเวกเตอร์และแพนด้า

c = df.groupby(['state', 'office_id'])['sales'].sum().rename("count")
c / c.groupby(level=0).sum()

3.42 ms ± 16.7 µs ต่อลูป
(ค่าเฉลี่ย± std. dev ของ 7 รัน, 100 ลูปแต่ละครั้ง)


อันดับ 2 Paul H.

state_office = df.groupby(['state', 'office_id']).agg({'sales': 'sum'})
state = df.groupby(['state']).agg({'sales': 'sum'})
state_office.div(state, level='state') * 100

4.66 ms ± 24.4 µs ต่อลูป
(ค่าเฉลี่ย± std. dev ของ 7 รัน, 100 ลูปแต่ละครั้ง)


exp1orerที่ 3

นี่เป็นคำตอบที่ช้าที่สุดเนื่องจากคำนวณx.sum()สำหรับแต่ละxระดับในระดับ 0

สำหรับฉันนี่ยังคงเป็นคำตอบที่มีประโยชน์แม้ว่าจะไม่ใช่ในรูปแบบปัจจุบันก็ตาม สำหรับ EDA อย่างรวดเร็วบนชุดข้อมูลขนาดเล็กapplyให้คุณใช้วิธีการผูกมัดเพื่อเขียนสิ่งนี้ในบรรทัดเดียว ดังนั้นเราจึงลบความต้องการในการตัดสินใจเกี่ยวกับชื่อของตัวแปรซึ่งมีราคาแพงมากในการคำนวณสำหรับทรัพยากรที่มีค่าที่สุดของคุณ (สมองของคุณ !!)

นี่คือการปรับเปลี่ยน

(
    df.groupby(['state', 'office_id'])
    .agg({'sales': 'sum'})
    .groupby(level=0)
    .apply(lambda x: 100 * x / float(x.sum()))
)

10.6 ms ± 81.5 µs ต่อลูป
(ค่าเฉลี่ย± std. dev ของ 7 รัน, 100 ลูปแต่ละครั้ง)


ดังนั้นจึงไม่มีใครสนใจเกี่ยวกับ 6ms ในชุดข้อมูลขนาดเล็ก อย่างไรก็ตามนี่คือความเร็ว 3 เท่าและในชุดข้อมูลขนาดใหญ่ที่มีกลุ่มคาร์ดิเนลลิตี้สูงสิ่งนี้จะสร้างความแตกต่างอย่างมาก

เมื่อเพิ่มโค้ดด้านบนเราสร้าง DataFrame ที่มีรูปร่าง (12,000,000, 3) พร้อม 14412 หมวดหมู่รัฐและ 600 office_ids

import string

import numpy as np
import pandas as pd
np.random.seed(0)

groups = [
    ''.join(i) for i in zip(
    np.random.choice(np.array([i for i in string.ascii_lowercase]), 30000),
    np.random.choice(np.array([i for i in string.ascii_lowercase]), 30000),
    np.random.choice(np.array([i for i in string.ascii_lowercase]), 30000),
                       )
]

df = pd.DataFrame({'state': groups * 400,
               'office_id': list(range(1, 601)) * 20000,
               'sales': [np.random.randint(100000, 999999)
                         for _ in range(12)] * 1000000
})

ใช้ Andy's

2 วินาที ± 10.4 ms ต่อลูป
(ค่าเฉลี่ย± std. dev ของ 7 รัน, 1 ลูปแต่ละครั้ง)

และ exp1orer

19 วินาที ± 77.1 ms ต่อลูป
(ค่าเฉลี่ย± std. dev. ของการรัน 7 ครั้ง, การวนซ้ำ 1 ครั้ง)

ตอนนี้เราเห็น x10 เร่งความเร็วบนชุดข้อมูลขนาดใหญ่ที่มีคาร์ดินาลิตี้สูง


อย่าลืม UV คำตอบทั้งสามข้อนี้ถ้าคุณ UV อันนี้ !!


23

(โซลูชันนี้ได้รับแรงบันดาลใจจากบทความนี้https://pbpython.com/pandas_transform.html )

ฉันพบว่าวิธีแก้ปัญหาต่อไปนี้เป็นวิธีที่ง่ายที่สุด (และอาจเร็วที่สุด) โดยใช้transformation:

การแปลง: ในขณะที่การรวมต้องส่งคืนเวอร์ชันของข้อมูลที่ลดลง แต่การแปลงสามารถส่งคืนเวอร์ชันที่แปลงแล้วของข้อมูลทั้งหมดเพื่อรวมกันใหม่ สำหรับการแปลงดังกล่าวเอาต์พุตจะมีรูปร่างเหมือนกับอินพุต

ดังนั้นการใช้transformationวิธีแก้ปัญหาคือ 1 ซับ:

df['%'] = 100 * df['sales'] / df.groupby('state')['sales'].transform('sum')

และถ้าคุณพิมพ์:

print(df.sort_values(['state', 'office_id']).reset_index(drop=True))

   state  office_id   sales          %
0     AZ          2  195197   9.844309
1     AZ          4  877890  44.274352
2     AZ          6  909754  45.881339
3     CA          1  614752  50.415708
4     CA          3  395340  32.421767
5     CA          5  209274  17.162525
6     CO          1  549430  42.659629
7     CO          3  457514  35.522956
8     CO          5  280995  21.817415
9     WA          2  828238  35.696929
10    WA          4  719366  31.004563
11    WA          6  772590  33.298509

4
@Cancer นี่คือคำตอบที่ฉันชอบเพราะมันทำให้ df เป็น df (โดยไม่ต้องแปลงเป็นอนุกรม) และเพิ่มคอลัมน์% เท่านั้น ขอบคุณ

รูปแบบของคำตอบนี้ทำงานได้ดีสำหรับฉันด้วยtransform('max')
Sheldore

11

ฉันรู้ว่านี่เป็นคำถามเก่า แต่เป็นของ exp1orerคำตอบนั้นช้ามากสำหรับชุดข้อมูลที่มีกลุ่มเฉพาะจำนวนมาก (อาจเป็นเพราะแลมด้า) ฉันสร้างคำตอบของพวกเขาเพื่อเปลี่ยนเป็นการคำนวณอาร์เรย์ดังนั้นตอนนี้มันเร็วมาก! ด้านล่างนี้คือโค้ดตัวอย่าง:

สร้างดาต้าเฟรมการทดสอบที่มีกลุ่มที่ไม่ซ้ำกัน 50,000 กลุ่ม

import random
import string
import pandas as pd
import numpy as np
np.random.seed(0)

# This is the total number of groups to be created
NumberOfGroups = 50000

# Create a lot of groups (random strings of 4 letters)
Group1     = [''.join(random.choice(string.ascii_uppercase) for _ in range(4)) for x in range(NumberOfGroups/10)]*10
Group2     = [''.join(random.choice(string.ascii_uppercase) for _ in range(4)) for x in range(NumberOfGroups/2)]*2
FinalGroup = [''.join(random.choice(string.ascii_uppercase) for _ in range(4)) for x in range(NumberOfGroups)]

# Make the numbers
NumbersForPercents = [np.random.randint(100, 999) for _ in range(NumberOfGroups)]

# Make the dataframe
df = pd.DataFrame({'Group 1': Group1,
                   'Group 2': Group2,
                   'Final Group': FinalGroup,
                   'Numbers I want as percents': NumbersForPercents})

เมื่อจัดกลุ่มดูเหมือนว่า:

                             Numbers I want as percents
Group 1 Group 2 Final Group                            
AAAH    AQYR    RMCH                                847
                XDCL                                182
        DQGO    ALVF                                132
                AVPH                                894
        OVGH    NVOO                                650
                VKQP                                857
        VNLY    HYFW                                884
                MOYH                                469
        XOOC    GIDS                                168
                HTOY                                544
AACE    HNXU    RAXK                                243
                YZNK                                750
        NOYI    NYGC                                399
                ZYCI                                614
        QKGK    CRLF                                520
                UXNA                                970
        TXAR    MLNB                                356
                NMFJ                                904
        VQYG    NPON                                504
                QPKQ                                948
...
[50000 rows x 1 columns]

วิธีการหาเปอร์เซ็นต์ของอาร์เรย์:

# Initial grouping (basically a sorted version of df)
PreGroupby_df = df.groupby(["Group 1","Group 2","Final Group"]).agg({'Numbers I want as percents': 'sum'}).reset_index()
# Get the sum of values for the "final group", append "_Sum" to it's column name, and change it into a dataframe (.reset_index)
SumGroup_df = df.groupby(["Group 1","Group 2"]).agg({'Numbers I want as percents': 'sum'}).add_suffix('_Sum').reset_index()
# Merge the two dataframes
Percents_df = pd.merge(PreGroupby_df, SumGroup_df)
# Divide the two columns
Percents_df["Percent of Final Group"] = Percents_df["Numbers I want as percents"] / Percents_df["Numbers I want as percents_Sum"] * 100
# Drop the extra _Sum column
Percents_df.drop(["Numbers I want as percents_Sum"], inplace=True, axis=1)

วิธีนี้ใช้เวลาประมาณ ~ 0.15 วินาที

วิธีการตอบยอดนิยม (โดยใช้ฟังก์ชันแลมบ์ดา):

state_office = df.groupby(['Group 1','Group 2','Final Group']).agg({'Numbers I want as percents': 'sum'})
state_pcts = state_office.groupby(level=['Group 1','Group 2']).apply(lambda x: 100 * x / float(x.sum()))

วิธีนี้ใช้เวลาประมาณ 21 วินาทีในการให้ผลลัพธ์เดียวกัน

ผลลัพธ์:

      Group 1 Group 2 Final Group  Numbers I want as percents  Percent of Final Group
0        AAAH    AQYR        RMCH                         847               82.312925
1        AAAH    AQYR        XDCL                         182               17.687075
2        AAAH    DQGO        ALVF                         132               12.865497
3        AAAH    DQGO        AVPH                         894               87.134503
4        AAAH    OVGH        NVOO                         650               43.132050
5        AAAH    OVGH        VKQP                         857               56.867950
6        AAAH    VNLY        HYFW                         884               65.336290
7        AAAH    VNLY        MOYH                         469               34.663710
8        AAAH    XOOC        GIDS                         168               23.595506
9        AAAH    XOOC        HTOY                         544               76.404494

10

ฉันรู้ว่ามีคำตอบที่ดีอยู่แล้วที่นี่

อย่างไรก็ตามฉันต้องการมีส่วนร่วมของตัวเองเพราะฉันรู้สึกว่าเป็นคำถามพื้นฐานง่ายๆแบบนี้ควรมีวิธีแก้ปัญหาสั้น ๆ ที่เข้าใจได้ในพริบตา

นอกจากนี้ยังควรทำงานในลักษณะที่ฉันสามารถเพิ่มเปอร์เซ็นต์เป็นคอลัมน์ใหม่โดยปล่อยให้ส่วนที่เหลือของกรอบข้อมูลไม่ถูกแตะต้อง สุดท้าย แต่ไม่ท้ายสุดควรสรุปให้ชัดเจนในกรณีที่มีระดับการจัดกลุ่มมากกว่าหนึ่งระดับ (เช่นรัฐและประเทศแทนที่จะเป็นรัฐเดียว)

ตัวอย่างต่อไปนี้เป็นไปตามเกณฑ์เหล่านี้:

df['sales_ratio'] = df.groupby(['state'])['sales'].transform(lambda x: x/x.sum())

โปรดทราบว่าหากคุณยังใช้ Python 2 อยู่คุณจะต้องแทนที่ x ในตัวส่วนของเทอมแลมบ์ดาด้วย float (x)


นี่คือคำตอบที่ดีที่สุด IMO สิ่งเดียวที่จะเพิ่มคือการ* 100ทำให้เป็นเปอร์เซ็นต์
Bouncner

1
@Bouncner: ใช่พูดอย่างเคร่งครัดคุณจะต้องคูณด้วย 100 เพื่อให้ได้เปอร์เซ็นต์ - หรือเปลี่ยนชื่อตัวแปรใหม่จาก "sales_percentage" เป็น "sales_ratio" โดยส่วนตัวแล้วฉันชอบอย่างหลังมากกว่าและฉันแก้ไขคำตอบตามนั้น ขอบคุณที่กล่าวถึง!
MightyCurious

2
วิธีนี้ใช้ไม่ได้แม้ว่าคุณจะมีหลายระดับ
irene

@irene: จุดดีขอบคุณ! อาจเป็นไปได้ในกรณีนั้น df.reset_index (). groupby (['state']) ['sales']. transform (lambda x: x / x.sum ()) จะใช้ได้ หรือฉันกำลังมองข้ามบางสิ่งไป?
MightyCurious

1
คำตอบนี้ดีมาก ไม่เกี่ยวข้องกับการสร้างgroupbyวัตถุชั่วคราวมีความกระชับและอ่านจากซ้ายไปขวาอย่างมีเหตุผล
C. Braun

8

pd.crosstabวิธีที่สง่างามที่สุดในการหาเปอร์เซ็นต์ทั่วคอลัมน์หรือดัชนีคือการใช้

ข้อมูลตัวอย่าง

df = pd.DataFrame({'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
               'office_id': list(range(1, 7)) * 2,
               'sales': [np.random.randint(100000, 999999) for _ in range(12)]})

dataframe เอาต์พุตเป็นแบบนี้

print(df)

        state   office_id   sales
    0   CA  1   764505
    1   WA  2   313980
    2   CO  3   558645
    3   AZ  4   883433
    4   CA  5   301244
    5   WA  6   752009
    6   CO  1   457208
    7   AZ  2   259657
    8   CA  3   584471
    9   WA  4   122358
    10  CO  5   721845
    11  AZ  6   136928

เพียงระบุดัชนีคอลัมน์และค่าที่จะรวม คีย์เวิร์ด normalize จะคำนวณ% ระหว่างดัชนีหรือคอลัมน์ขึ้นอยู่กับบริบท

result = pd.crosstab(index=df['state'], 
                     columns=df['office_id'], 
                     values=df['sales'], 
                     aggfunc='sum', 
                     normalize='index').applymap('{:.2f}%'.format)




print(result)
office_id   1   2   3   4   5   6
state                       
AZ  0.00%   0.20%   0.00%   0.69%   0.00%   0.11%
CA  0.46%   0.00%   0.35%   0.00%   0.18%   0.00%
CO  0.26%   0.00%   0.32%   0.00%   0.42%   0.00%
WA  0.00%   0.26%   0.00%   0.10%   0.00%   0.63%

3

คุณสามารถหารsumทั้งหมดDataFrameและหารด้วยผลstateรวม:

# Copying setup from Paul H answer
import numpy as np
import pandas as pd
np.random.seed(0)
df = pd.DataFrame({'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
               'office_id': list(range(1, 7)) * 2,
               'sales': [np.random.randint(100000, 999999) for _ in range(12)]})
# Add a column with the sales divided by state total sales.
df['sales_ratio'] = (df / df.groupby(['state']).transform(sum))['sales']

df

ผลตอบแทน

    office_id   sales state  sales_ratio
0           1  405711    CA     0.193319
1           2  535829    WA     0.347072
2           3  217952    CO     0.198743
3           4  252315    AZ     0.192500
4           5  982371    CA     0.468094
5           6  459783    WA     0.297815
6           1  404137    CO     0.368519
7           2  222579    AZ     0.169814
8           3  710581    CA     0.338587
9           4  548242    WA     0.355113
10          5  474564    CO     0.432739
11          6  835831    AZ     0.637686

แต่โปรดทราบว่าสิ่งนี้ใช้ได้เฉพาะเนื่องจากคอลัมน์ทั้งหมดที่นอกเหนือจากstateเป็นตัวเลขทำให้สามารถหาผลรวมของ DataFrame ทั้งหมดได้ ตัวอย่างเช่นหากoffice_idเป็นอักขระแทนคุณจะได้รับข้อผิดพลาด:

df.office_id = df.office_id.astype(str)
df['sales_ratio'] = (df / df.groupby(['state']).transform(sum))['sales']

TypeError: ไม่รองรับประเภทตัวถูกดำเนินการสำหรับ /: 'str' และ 'str'


ฉันแก้ไขเพื่อทราบว่าสิ่งนี้ใช้ได้เฉพาะเมื่อคอลัมน์ทั้งหมดยกเว้นgroupbyคอลัมน์เป็นตัวเลข แต่มันเป็นอย่างอื่นที่ค่อนข้างสง่างาม มีวิธีทำให้ใช้งานร่วมกับstrคอลัมน์อื่น ๆ ได้หรือไม่?
Max Ghenis

ไม่เท่าที่ฉันรู้: stackoverflow.com/questions/34099684/…
iggy

2

ฉันคิดว่านี่จะทำเคล็ดลับใน 1 บรรทัด:

df.groupby(['state', 'office_id']).sum().transform(lambda x: x/np.sum(x)*100)

ฉันเชื่อว่าต้องใช้คอลัมน์ทั้งหมดของชุดข้อมูล ในกรณีนี้มีเพียงหนึ่งเดียว หากคุณมีหลายตัวและต้องการดำเนินการนี้กับซิงเกิ้ลเดียวให้ระบุไว้หลังนิพจน์ groupby: df.groupby (['state', 'office_id']) [[YOUR COLUMN NAME HERE]]. etcetc ถ้าคุณต้องการ เพื่อให้คอลัมน์อื่น ๆ ไม่ถูกแตะต้องเพียงแค่กำหนดคอลัมน์ที่เจาะจงใหม่
louisD

@louisD: ฉันชอบวิธีการพยายามทำให้มันสั้นมาก น่าเสียดายที่เมื่อฉันพยายามกำหนดคอลัมน์ใหม่ตามที่คุณแนะนำฉันได้รับข้อผิดพลาดสองประการ: "ValueError: Buffer dtype ไม่ตรงกันคาดว่าจะเป็น" วัตถุ Python "แต่มี" long long "" และนอกจากนี้ (ในระหว่างการจัดการข้อยกเว้นแรก): " TypeError: ดัชนีที่เข้ากันไม่ได้ของคอลัมน์แทรกที่มีดัชนีเฟรม "รหัสที่ฉันใช้มีดังต่อไปนี้: df ['percent'] = df.groupby (['state', 'office_id']). sum (). transform (lambda x: x / np.sum (x) * 100) ดังนั้นฉันจะโพสต์คำตอบแยกต่างหากเพื่อแก้ไขปัญหานี้
MightyCurious

1

วิธีง่ายๆที่ฉันใช้คือการผสานหลังจาก 2 groupby แล้วทำการหารอย่างง่าย

import numpy as np
import pandas as pd
np.random.seed(0)
df = pd.DataFrame({'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
               'office_id': list(range(1, 7)) * 2,
               'sales': [np.random.randint(100000, 999999) for _ in range(12)]})

state_office = df.groupby(['state', 'office_id'])['sales'].sum().reset_index()
state = df.groupby(['state'])['sales'].sum().reset_index()
state_office = state_office.merge(state, left_on='state', right_on ='state', how = 'left')
state_office['sales_ratio'] = 100*(state_office['sales_x']/state_office['sales_y'])

   state  office_id  sales_x  sales_y  sales_ratio
0     AZ          2   222579  1310725    16.981365
1     AZ          4   252315  1310725    19.250033
2     AZ          6   835831  1310725    63.768601
3     CA          1   405711  2098663    19.331879
4     CA          3   710581  2098663    33.858747
5     CA          5   982371  2098663    46.809373
6     CO          1   404137  1096653    36.851857
7     CO          3   217952  1096653    19.874290
8     CO          5   474564  1096653    43.273852
9     WA          2   535829  1543854    34.707233
10    WA          4   548242  1543854    35.511259
11    WA          6   459783  1543854    29.781508

1
df = pd.DataFrame({'state': ['CA', 'WA', 'CO', 'AZ'] * 3,
               'office_id': list(range(1, 7)) * 2,
               'sales': [np.random.randint(100000, 999999)
                         for _ in range(12)]})

grouped = df.groupby(['state', 'office_id'])
100*grouped.sum()/df[["state","sales"]].groupby('state').sum()

ผลตอบแทน:

sales
state   office_id   
AZ  2   54.587910
    4   33.009225
    6   12.402865
CA  1   32.046582
    3   44.937684
    5   23.015735
CO  1   21.099989
    3   31.848658
    5   47.051353
WA  2   43.882790
    4   10.265275
    6   45.851935

0

ในฐานะคนที่กำลังเรียนรู้แพนด้าฉันพบว่าคำตอบอื่น ๆ มีนัยยะเล็กน้อยเนื่องจากแพนด้าซ่อนงานส่วนใหญ่ไว้เบื้องหลัง เช่นในการดำเนินการโดยจับคู่ชื่อคอลัมน์และดัชนีโดยอัตโนมัติ รหัสนี้ควรเทียบเท่ากับคำตอบที่ยอมรับของ @ exp1orer ทีละขั้นตอน

ด้วยสิ่งdfนี้ฉันจะเรียกมันด้วยนามแฝงstate_office_sales:

                  sales
state office_id        
AZ    2          839507
      4          373917
      6          347225
CA    1          798585
      3          890850
      5          454423
CO    1          819975
      3          202969
      5          614011
WA    2          163942
      4          369858
      6          959285

state_total_salesถูกstate_office_salesจัดกลุ่มตามผลรวมทั้งหมดในindex level 0(ซ้ายสุด)

In:   state_total_sales = df.groupby(level=0).sum()
      state_total_sales

Out: 
       sales
state   
AZ     2448009
CA     2832270
CO     1495486
WA     595859

เนื่องจากดาต้าเฟรมทั้งสองแชร์ชื่อดัชนีและแพนด้าชื่อคอลัมน์จะค้นหาตำแหน่งที่เหมาะสมผ่านดัชนีที่ใช้ร่วมกันเช่น:

In:   state_office_sales / state_total_sales

Out:  

                   sales
state   office_id   
AZ      2          0.448640
        4          0.125865
        6          0.425496
CA      1          0.288022
        3          0.322169
        5          0.389809
CO      1          0.206684
        3          0.357891
        5          0.435425
WA      2          0.321689
        4          0.346325
        6          0.331986

เพื่ออธิบายสิ่งนี้ให้ดียิ่งขึ้นต่อไปนี้เป็นผลรวมบางส่วนXXที่ไม่มีค่าเทียบเท่า หมีแพนด้าจะจับคู่ตำแหน่งตามดัชนีและชื่อคอลัมน์โดยที่ไม่มีแพนด้าทับซ้อนกันจะเพิกเฉย:

In:   partial_total = pd.DataFrame(
                      data   =  {'sales' : [2448009, 595859, 99999]},
                      index  =             ['AZ',    'WA',   'XX' ]
                      )
      partial_total.index.name = 'state'


Out:  
         sales
state
AZ       2448009
WA       595859
XX       99999
In:   state_office_sales / partial_total

Out: 
                   sales
state   office_id   
AZ      2          0.448640
        4          0.125865
        6          0.425496
CA      1          NaN
        3          NaN
        5          NaN
CO      1          NaN
        3          NaN
        5          NaN
WA      2          0.321689
        4          0.346325
        6          0.331986

สิ่งนี้จะชัดเจนมากเมื่อไม่มีดัชนีหรือคอลัมน์ที่ใช้ร่วมกัน นี่missing_index_totalsเท่ากับstate_total_salesยกเว้นว่าไม่มีชื่อดัชนี

In:   missing_index_totals = state_total_sales.rename_axis("")
      missing_index_totals

Out:  
       sales
AZ     2448009
CA     2832270
CO     1495486
WA     595859
In:   state_office_sales / missing_index_totals 

Out:  ValueError: cannot join with no overlapping index names

-1

โซลูชันบรรทัดเดียว:

df.join(
    df.groupby('state').agg(state_total=('sales', 'sum')),
    on='state'
).eval('sales / state_total')

สิ่งนี้ส่งคืนชุดอัตราส่วนต่อสำนักงาน - สามารถใช้ด้วยตัวเองหรือกำหนดให้กับ Dataframe ดั้งเดิม

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.