วิธีการส่งคอลัมน์อื่นทั้งหมดเป็นอาร์กิวเมนต์ให้กับ pandas fillna ()

ฉันต้องการเติมค่าที่ขาดหายไปในคอลัมน์หนึ่งด้วยค่าจากคอลัมน์อื่นโดยใช้fillnaวิธีการ

(ฉันอ่านมาว่าการวนซ้ำในแต่ละแถวจะเป็นการฝึกที่ไม่ดีมากและการทำทุกอย่างในคราวเดียวจะดีกว่า แต่ฉันไม่สามารถหาคำตอบได้fillna)

ข้อมูลก่อน:

Day  Cat1  Cat2
1    cat   mouse
2    dog   elephant
3    cat   giraf
4    NaN   ant

ข้อมูลหลังจาก:

Day  Cat1  Cat2
1    cat   mouse
2    dog   elephant
3    cat   giraf
4    ant   ant

คุณสามารถระบุคอลัมน์นี้เพื่อfillna(ดูเอกสาร ) โดยจะใช้ค่าเหล่านั้นในดัชนีที่ตรงกันเพื่อเติม:

In [17]: df['Cat1'].fillna(df['Cat2'])
Out[17]:
0    cat
1    dog
2    cat
3    ant
Name: Cat1, dtype: object

คุณสามารถทำได้

df.Cat1 = np.where(df.Cat1.isnull(), df.Cat2, df.Cat1)

โครงสร้างโดยรวมบน RHS ใช้รูปแบบการประกอบจากpandasตำราอาหาร (ซึ่งจ่ายเพื่ออ่านไม่ว่าในกรณีใด ๆ ) เป็นเวอร์ชันเวกเตอร์ของa? b: c.

เพียงใช้valueพารามิเตอร์แทนmethod:

In [20]: df
Out[20]:
  Cat1      Cat2  Day
0  cat     mouse    1
1  dog  elephant    2
2  cat     giraf    3
3  NaN       ant    4

In [21]: df.Cat1 = df.Cat1.fillna(value=df.Cat2)

In [22]: df
Out[22]:
  Cat1      Cat2  Day
0  cat     mouse    1
1  dog  elephant    2
2  cat     giraf    3
3  ant       ant    4

pandas.DataFrame.combine_firstก็ใช้ได้เช่นกัน

(ข้อควรระวัง: เนื่องจาก "คอลัมน์ดัชนีผลลัพธ์จะรวมกันของดัชนีและคอลัมน์ที่เกี่ยวข้อง" คุณควรตรวจสอบดัชนีและคอลัมน์ที่ตรงกัน )

import numpy as np
import pandas as pd
df = pd.DataFrame([["1","cat","mouse"],
    ["2","dog","elephant"],
    ["3","cat","giraf"],
    ["4",np.nan,"ant"]],columns=["Day","Cat1","Cat2"])

In: df["Cat1"].combine_first(df["Cat2"])
Out: 
0    cat
1    dog
2    cat
3    ant
Name: Cat1, dtype: object

เปรียบเทียบกับคำตอบอื่น ๆ :

%timeit df["Cat1"].combine_first(df["Cat2"])
181 µs ± 11.3 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

%timeit df['Cat1'].fillna(df['Cat2'])
253 µs ± 10.3 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

%timeit np.where(df.Cat1.isnull(), df.Cat2, df.Cat1)
88.1 µs ± 793 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

ฉันไม่ได้ใช้วิธีนี้ด้านล่าง:

def is_missing(Cat1,Cat2):    
    if np.isnan(Cat1):        
        return Cat2
    else:
        return Cat1

df['Cat1'] = df.apply(lambda x: is_missing(x['Cat1'],x['Cat2']),axis=1)

เพราะจะเพิ่มข้อยกเว้น:

TypeError: ("ufunc 'isnan' not supported for the input types, and the inputs could not be safely coerced to any supported types according to the casting rule ''safe''", 'occurred at index 0')

ซึ่งหมายความว่า np.isnan สามารถนำไปใช้กับอาร์เรย์ NumPy ของ dtype ดั้งเดิม (เช่น np.float64) แต่จะเพิ่ม TypeError เมื่อใช้กับอาร์เรย์อ็อบเจ็กต์

ดังนั้นฉันจึงแก้ไขวิธีการ:

def is_missing(Cat1,Cat2):    
    if pd.isnull(Cat1):        
        return Cat2
    else:
        return Cat1

%timeit df.apply(lambda x: is_missing(x['Cat1'],x['Cat2']),axis=1)
701 µs ± 7.38 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

นี่เป็นวิธีการทั่วไปมากขึ้น (วิธีการเติมน่าจะดีกว่า)

def is_missing(Cat1,Cat2):    
    if np.isnan(Cat1):        
        return Cat2
    else:
        return Cat1

df['Cat1'] = df.apply(lambda x: is_missing(x['Cat1'],x['Cat2']),axis=1)

ฉันรู้ว่านี่เป็นคำถามเก่า แต่เมื่อเร็ว ๆ นี้ฉันมีความต้องการที่จะทำสิ่งที่คล้ายกัน ฉันสามารถใช้สิ่งต่อไปนี้:

df = pd.DataFrame([["1","cat","mouse"],
    ["2","dog","elephant"],
    ["3","cat","giraf"],
    ["4",np.nan,"ant"]],columns=["Day","Cat1","Cat2"])

print(df)

  Day Cat1      Cat2
0   1  cat     mouse
1   2  dog  elephant
2   3  cat     giraf
3   4  NaN       ant

df1 = df.bfill(axis=1).iloc[:, 1]
df1 = df1.to_frame()
print(df1)

ซึ่งให้ผลตอบแทน:

  Cat1
0  cat
1  dog
2  cat
3  ant

หวังว่านี่จะเป็นประโยชน์กับใครบางคน!