การแปลงเอาต์พุต Pandas GroupBy จาก Series เป็น DataFrame

ฉันเริ่มด้วยข้อมูลอินพุตแบบนี้

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

ซึ่งเมื่อพิมพ์ปรากฏเป็นดังนี้:

   City     Name
0   Seattle    Alice
1   Seattle      Bob
2  Portland  Mallory
3   Seattle  Mallory
4   Seattle      Bob
5  Portland  Mallory

การจัดกลุ่มนั้นง่ายพอ:

g1 = df1.groupby( [ "Name", "City"] ).count()

และการพิมพ์ทำให้ได้GroupByวัตถุ:

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
        Seattle      1     1

แต่สิ่งที่ฉันต้องการในที่สุดก็คือออบเจ็กต์ DataFrame อื่นที่มีแถวทั้งหมดในวัตถุ GroupBy กล่าวอีกนัยหนึ่งฉันต้องการได้ผลลัพธ์ดังต่อไปนี้:

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
Mallory Seattle      1     1

ฉันไม่เห็นวิธีการทำสิ่งนี้ในเอกสารของแพนด้า คำแนะนำใด ๆ ที่จะได้รับการต้อนรับ

g1นี่คือ DataFrame มันมีดัชนีแบบลำดับชั้นแม้ว่า:

In [19]: type(g1)
Out[19]: pandas.core.frame.DataFrame

In [20]: g1.index
Out[20]: 
MultiIndex([('Alice', 'Seattle'), ('Bob', 'Seattle'), ('Mallory', 'Portland'),
       ('Mallory', 'Seattle')], dtype=object)

บางทีคุณต้องการอะไรแบบนี้

In [21]: g1.add_suffix('_Count').reset_index()
Out[21]: 
      Name      City  City_Count  Name_Count
0    Alice   Seattle           1           1
1      Bob   Seattle           2           2
2  Mallory  Portland           2           2
3  Mallory   Seattle           1           1

หรือสิ่งที่ชอบ:

In [36]: DataFrame({'count' : df1.groupby( [ "Name", "City"] ).size()}).reset_index()
Out[36]: 
      Name      City  count
0    Alice   Seattle      1
1      Bob   Seattle      2
2  Mallory  Portland      2
3  Mallory   Seattle      1

ฉันต้องการที่จะเปลี่ยนแปลงเล็กน้อยในคำตอบที่ได้รับจาก Wes เพราะเวอร์ชั่น 0.16.2 as_index=Falseต้อง หากคุณไม่ได้ตั้งค่าคุณจะได้รับไฟล์ข้อมูลว่างเปล่า

ที่มา :

ฟังก์ชันการรวมจะไม่ส่งคืนกลุ่มที่คุณรวมไว้หากเป็นชื่อคอลัมน์เมื่อas_index=Trueเป็นค่าเริ่มต้น คอลัมน์ที่จัดกลุ่มจะเป็นดัชนีของวัตถุที่ส่งคืน

การส่งผ่านas_index=Falseจะส่งคืนกลุ่มที่คุณรวมไว้หากเป็นชื่อคอลัมน์

รวมฟังก์ชั่นเป็นคนที่ช่วยลดขนาดของวัตถุที่ส่งคืนเช่น: mean, sum, size, count, std, var, sem, describe, first, last, nth, ,min maxนี่คือสิ่งที่เกิดขึ้นเมื่อคุณทำตัวอย่างและได้รับกลับมา DataFrame.sum()Series

ที่ n สามารถทำหน้าที่เป็นลดหรือตัวกรองให้ดูที่นี่

import pandas as pd

df1 = pd.DataFrame({"Name":["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"],
                    "City":["Seattle","Seattle","Portland","Seattle","Seattle","Portland"]})
print df1
#
#       City     Name
#0   Seattle    Alice
#1   Seattle      Bob
#2  Portland  Mallory
#3   Seattle  Mallory
#4   Seattle      Bob
#5  Portland  Mallory
#
g1 = df1.groupby(["Name", "City"], as_index=False).count()
print g1
#
#                  City  Name
#Name    City
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1
#

แก้ไข:

ในรุ่น0.17.1และใหม่กว่าคุณสามารถใช้subsetในcountและreset_indexกับพารามิเตอร์nameในsize:

print df1.groupby(["Name", "City"], as_index=False ).count()
#IndexError: list index out of range

print df1.groupby(["Name", "City"]).count()
#Empty DataFrame
#Columns: []
#Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]

print df1.groupby(["Name", "City"])[['Name','City']].count()
#                  Name  City
#Name    City                
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1

print df1.groupby(["Name", "City"]).size().reset_index(name='count')
#      Name      City  count
#0    Alice   Seattle      1
#1      Bob   Seattle      2
#2  Mallory  Portland      2
#3  Mallory   Seattle      1

ความแตกต่างระหว่างcountและsizeคือsizeนับค่า NaN ในขณะที่countไม่

เพียงแค่นี้ควรทำงาน:

import pandas as pd

grouped_df = df1.groupby( [ "Name", "City"] )

pd.DataFrame(grouped_df.size().reset_index(name = "Group_Count"))

ที่นี่grouped_df.size()ดึงจำนวน groupby ที่ไม่ซ้ำกันและreset_index()เมธอดจะรีเซ็ตชื่อของคอลัมน์ที่คุณต้องการให้เป็น ในที่สุดDataframe()ฟังก์ชั่นแพนด้าถูกเรียกร้องให้สร้างวัตถุ DataFrame

ที่สำคัญคือการใช้reset_index ()วิธีการ

ใช้:

import pandas

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

g1 = df1.groupby( [ "Name", "City"] ).count().reset_index()

ตอนนี้คุณมี dataframe ใหม่ในg1 :

บางทีฉันอาจเข้าใจผิดคำถาม แต่ถ้าคุณต้องการแปลง groupby กลับไปเป็น dataframe คุณสามารถใช้. to_frame () ฉันต้องการรีเซ็ตดัชนีเมื่อฉันทำสิ่งนี้ดังนั้นฉันจึงรวมส่วนนั้นด้วย

รหัสตัวอย่างไม่เกี่ยวข้องกับคำถาม

df = df['TIME'].groupby(df['Name']).min()
df = df.to_frame()
df = df.reset_index(level=['Name',"TIME"])

ฉันพบว่ามันใช้งานได้สำหรับฉัน

import numpy as np
import pandas as pd

df1 = pd.DataFrame({ 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"]})

df1['City_count'] = 1
df1['Name_count'] = 1

df1.groupby(['Name', 'City'], as_index=False).count()

วิธีแก้ปัญหาด้านล่างอาจง่ายกว่า:

df1.reset_index().groupby( [ "Name", "City"],as_index=False ).count()

ฉันได้รวบรวมกับข้อมูลจำนวนฉลาดและเก็บไว้ใน DataFrame

almo_grp_data = pd.DataFrame({'Qty_cnt' :
almo_slt_models_data.groupby( ['orderDate','Item','State Abv']
          )['Qty'].sum()}).reset_index()

โซลูชันเหล่านี้ใช้งานได้เพียงบางส่วนสำหรับฉันเพราะฉันทำการรวมหลายครั้ง นี่คือตัวอย่างผลลัพธ์ของการจัดกลุ่มของฉันโดยที่ฉันต้องการแปลงเป็น dataframe:

เนื่องจากฉันต้องการมากกว่าจำนวนที่จัดเตรียมโดย reset_index () ฉันจึงเขียนวิธีการแบบแมนนวลสำหรับการแปลงภาพด้านบนให้เป็นไฟล์ข้อมูล ฉันเข้าใจว่านี่ไม่ใช่วิธีการทำแบบ pythonic / pandas ที่ดีที่สุดเนื่องจากค่อนข้างละเอียดและชัดเจน แต่ทั้งหมดที่ฉันต้องการ โดยทั่วไปให้ใช้เมธอด reset_index () ที่อธิบายไว้ด้านบนเพื่อเริ่มดาต้าเบส "scaffolding" จากนั้นวนลูปผ่านการจับคู่กลุ่มในดาต้ากรุ๊ปที่ถูกจัดกลุ่มดึงดัชนีดำเนินการคำนวณของคุณกับดาต้าเฟรมที่ไม่ได้จัดกลุ่มใหม่ .

df_grouped = df[['Salary Basis', 'Job Title', 'Hourly Rate', 'Male Count', 'Female Count']]
df_grouped = df_grouped.groupby(['Salary Basis', 'Job Title'], as_index=False)

# Grouped gives us the indices we want for each grouping
# We cannot convert a groupedby object back to a dataframe, so we need to do it manually
# Create a new dataframe to work against
df_aggregated = df_grouped.size().to_frame('Total Count').reset_index()
df_aggregated['Male Count'] = 0
df_aggregated['Female Count'] = 0
df_aggregated['Job Rate'] = 0

def manualAggregations(indices_array):
    temp_df = df.iloc[indices_array]
    return {
        'Male Count': temp_df['Male Count'].sum(),
        'Female Count': temp_df['Female Count'].sum(),
        'Job Rate': temp_df['Hourly Rate'].max()
    }

for name, group in df_grouped:
    ix = df_grouped.indices[name]
    calcDict = manualAggregations(ix)

    for key in calcDict:
        #Salary Basis, Job Title
        columns = list(name)
        df_aggregated.loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                          (df_aggregated['Job Title'] == columns[1]), key] = calcDict[key]

หากไม่ใช่พจนานุกรมของคุณการคำนวณอาจนำมาใช้แบบอินไลน์ใน for for loop:

    df_aggregated['Male Count'].loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                                (df_aggregated['Job Title'] == columns[1])] = df['Male Count'].iloc[ix].sum()