ฉันมี DataFrame ที่มีค่าหายไปจำนวนมากในคอลัมน์ที่ฉันต้องการจัดกลุ่มตาม:

import pandas as pd
import numpy as np
df = pd.DataFrame({'a': ['1', '2', '3'], 'b': ['4', np.NaN, '6']})

In [4]: df.groupby('b').groups
Out[4]: {'4': [0], '6': [2]}

ดูว่า Pandas ทำดร็อปแถวด้วยค่าเป้าหมาย NaN (ฉันต้องการรวมแถวเหล่านี้ด้วย!)

เนื่องจากฉันต้องการการดำเนินการหลายอย่าง (cols จำนวนมากมีค่าที่หายไป) และใช้ฟังก์ชันที่ซับซ้อนมากกว่าแค่สื่อกลาง (โดยทั่วไปคือป่าสุ่ม) ฉันต้องการหลีกเลี่ยงการเขียนโค้ดที่ซับซ้อนเกินไป

ข้อเสนอแนะใด ๆ ฉันควรจะเขียนฟังก์ชั่นสำหรับสิ่งนี้หรือมีวิธีแก้ปัญหาง่ายๆหรือไม่?

สิ่งนี้ถูกกล่าวถึงในส่วน Missing Data ของเอกสาร :

กลุ่ม NA ใน GroupBy จะถูกแยกออกโดยอัตโนมัติ พฤติกรรมนี้สอดคล้องกับ R ตัวอย่างเช่น

วิธีแก้ปัญหาหนึ่งคือการใช้ตัวยึดตำแหน่งก่อนที่จะทำ groupby (เช่น -1):

In [11]: df.fillna(-1)
Out[11]: 
   a   b
0  1   4
1  2  -1
2  3   6

In [12]: df.fillna(-1).groupby('b').sum()
Out[12]: 
    a
b    
-1  2
4   1
6   3

ที่กล่าวมานี้รู้สึกแฮ็คที่แย่มาก ... บางทีอาจมีตัวเลือกให้รวม NaN ในกลุ่มโดยดูที่ปัญหา GitHubซึ่งใช้แฮ็คตำแหน่งเดิมแทน

หัวข้อโบราณถ้ามีคนยังคงสะดุดกับเรื่องนี้ - วิธีแก้ปัญหาอื่นคือการแปลงผ่าน .astype (str) เป็นสตริงก่อนจัดกลุ่ม ที่จะอนุรักษ์ NaN ของ

in:

df = pd.DataFrame({'a': ['1', '2', '3'], 'b': ['4', np.NaN, '6']})
df['b'] = df['b'].astype(str)
df.groupby(['b']).sum()

out:
    a
b   
4   1
6   3
nan 2

แพนด้า> = 1.1

จาก pandas 1.1 คุณสามารถควบคุมพฤติกรรมนี้ได้ดีขึ้นค่า NA ได้รับอนุญาตให้ใช้ในปลาเก๋าโดยใช้dropna=False:

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

# Example from the docs
df

   a    b  c
0  1  2.0  3
1  1  NaN  4
2  2  1.0  3
3  1  2.0  2

# without NA (the default)
df.groupby('b').sum()

     a  c
b        
1.0  2  3
2.0  2  5

# with NA
df.groupby('b', dropna=False).sum()

     a  c
b        
1.0  2  3
2.0  2  5
NaN  1  4

ฉันไม่สามารถเพิ่มความคิดเห็นใน M. Kiewisch เนื่องจากฉันมีคะแนนชื่อเสียงไม่เพียงพอ (มี 41 แต่ต้องการมากกว่า 50 ความคิดเห็น)

อย่างไรก็ตามเพียงแค่ต้องการชี้ให้เห็นว่าวิธีการแก้ปัญหาเอ็ม Kiewisch ไม่ทำงานตามที่เป็นอยู่และอาจต้องปรับแต่งเพิ่มเติม ลองพิจารณาตัวอย่าง

>>> df = pd.DataFrame({'a': [1, 2, 3, 5], 'b': [4, np.NaN, 6, 4]})
>>> df
   a    b
0  1  4.0
1  2  NaN
2  3  6.0
3  5  4.0
>>> df.groupby(['b']).sum()
     a
b
4.0  6
6.0  3
>>> df.astype(str).groupby(['b']).sum()
      a
b
4.0  15
6.0   3
nan   2

ซึ่งแสดงให้เห็นว่าสำหรับกลุ่ม b = 4.0 ค่าที่สอดคล้องกันคือ 15 แทน 6 ที่นี่มันเป็นเพียงแค่การเชื่อม 1 และ 5 เป็นสตริงแทนการเพิ่มเป็นตัวเลข

จุดเล็ก ๆ จุดหนึ่งสำหรับการแก้ปัญหาของ Andy Hayden - มันไม่ทำงาน (อีกต่อไป?) เพราะnp.nan == np.nanให้ผลFalseดังนั้นreplaceฟังก์ชั่นไม่ได้ทำอะไรเลย

สิ่งที่ใช้ได้ผลสำหรับฉันคือ:

df['b'] = df['b'].apply(lambda x: x if not np.isnan(x) else -1)

(อย่างน้อยนั่นคือพฤติกรรมของ Pandas 0.19.2. ขออภัยที่จะเพิ่มเป็นคำตอบที่ต่างออกไปฉันไม่มีชื่อเสียงพอที่จะแสดงความคิดเห็น)

คำตอบทั้งหมดที่ให้มาส่งผลให้เกิดพฤติกรรมที่อาจเป็นอันตรายเนื่องจากเป็นไปได้ค่อนข้างที่คุณจะเลือกค่าจำลองที่เป็นส่วนหนึ่งของชุดข้อมูล สิ่งนี้มีแนวโน้มมากขึ้นเมื่อคุณสร้างกลุ่มที่มีคุณสมบัติมากมาย พูดง่ายๆก็คือวิธีการที่ไม่ได้พูดคุยกันได้ดีเสมอไป

วิธีแก้ปัญหาแฮ็คที่น้อยกว่าคือการใช้ pd.drop_duplicates () เพื่อสร้างดัชนีที่ไม่ซ้ำกันของการรวมค่าแต่ละค่าด้วย ID ของตัวเองแล้วจัดกลุ่มในรหัสนั้น มันละเอียดมากขึ้น แต่ทำงานให้เสร็จ:

def safe_groupby(df, group_cols, agg_dict):
    # set name of group col to unique value
    group_id = 'group_id'
    while group_id in df.columns:
        group_id += 'x'
    # get final order of columns
    agg_col_order = (group_cols + list(agg_dict.keys()))
    # create unique index of grouped values
    group_idx = df[group_cols].drop_duplicates()
    group_idx[group_id] = np.arange(group_idx.shape[0])
    # merge unique index on dataframe
    df = df.merge(group_idx, on=group_cols)
    # group dataframe on group id and aggregate values
    df_agg = df.groupby(group_id, as_index=True)\
               .agg(agg_dict)
    # merge grouped value index to results of aggregation
    df_agg = group_idx.set_index(group_id).join(df_agg)
    # rename index
    df_agg.index.name = None
    # return reordered columns
    return df_agg[agg_col_order]

โปรดทราบว่าคุณสามารถทำสิ่งต่อไปนี้ได้ทันที:

data_block = [np.tile([None, 'A'], 3),
              np.repeat(['B', 'C'], 3),
              [1] * (2 * 3)]

col_names = ['col_a', 'col_b', 'value']

test_df = pd.DataFrame(data_block, index=col_names).T

grouped_df = safe_groupby(test_df, ['col_a', 'col_b'],
                          OrderedDict([('value', 'sum')]))

สิ่งนี้จะส่งคืนผลลัพธ์ที่สำเร็จโดยไม่ต้องกังวลเกี่ยวกับการเขียนทับข้อมูลจริงที่เข้าใจผิดว่าเป็นค่าตัวอย่าง

ฉันตอบไปแล้ว แต่ด้วยเหตุผลบางอย่างคำตอบก็เปลี่ยนเป็นความคิดเห็น อย่างไรก็ตามนี่เป็นวิธีที่มีประสิทธิภาพที่สุด:

การไม่สามารถรวม (และเผยแพร่) NaNs ในกลุ่มค่อนข้างทำให้รุนแรงขึ้น การอ้างถึง R ไม่น่าเชื่อถือเนื่องจากพฤติกรรมนี้ไม่สอดคล้องกับสิ่งอื่น ๆ มากมาย อย่างไรก็ตามแฮ็คหลอกก็เลวร้ายเช่นกัน อย่างไรก็ตามขนาด (รวมถึง NaNs) และจำนวน (ไม่สนใจ NaNs) ของกลุ่มจะแตกต่างกันหากมี NaNs

dfgrouped = df.groupby(['b']).a.agg(['sum','size','count'])

dfgrouped['sum'][dfgrouped['size']!=dfgrouped['count']] = None

เมื่อสิ่งเหล่านี้แตกต่างกันคุณสามารถตั้งค่ากลับเป็นไม่มีสำหรับผลลัพธ์ของฟังก์ชันการรวมสำหรับกลุ่มนั้น

ติดตั้ง Pandas 1.1 ใน Anaconda แล้ว

ฉันไม่สามารถแสดงความคิดเห็นกับคำตอบของ cs95 ได้ แต่เขาช่วยฉันแก้ไขปัญหา

ฉันพยายามติดตั้ง Pandas 1.1 แต่มันล้มเหลวในการใช้รหัสของเขาฉันจึง googled และสามารถติดตั้งได้

ฉันเรียกใช้พรอมต์แอนาคอนดาก่อนในฐานะผู้ดูแลระบบและวางรหัสต่อไปนี้:

pip install pandas==1.1.0rc0

หลังจากนั้นรวมถึงการใช้งาน dropna = False

ลิงก์: https : //l ไลบรารี.io/pypi/pandas

df = df.fillna("") สิ่งนี้ใช้ได้สำหรับฉัน