วิธีการวางแถวของ Pandas DataFrame ที่มีค่าในคอลัมน์หนึ่งคือ NaN

ฉันมีสิ่งนี้DataFrameและต้องการเฉพาะระเบียนที่ไม่มีEPSคอลัมน์NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... คือบางสิ่งบางอย่างที่ต้องการdf.drop(....)รับข้อมูลชื่อนี้:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

ฉันจะทำอย่างไร

อย่าวางลงไปใช้แถวที่ EPS ไม่ใช่ NA:

df = df[df['EPS'].notna()]

คำถามนี้ได้รับการแก้ไขแล้ว แต่ ...

... ยังพิจารณาวิธีการแก้ปัญหาโดย Wouter ในความคิดเห็นเดิมของเขา ความสามารถในการจัดการข้อมูลที่หายไปรวมถึงdropna()ถูกสร้างขึ้นในแพนด้าอย่างชัดเจน นอกเหนือจากการปรับปรุงประสิทธิภาพที่อาจเกิดขึ้นมากกว่าการทำด้วยตนเองฟังก์ชั่นเหล่านี้ยังมาพร้อมกับตัวเลือกที่หลากหลายซึ่งอาจเป็นประโยชน์

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

นอกจากนี้ยังมีตัวเลือกอื่น ๆ (ดูเอกสารได้ที่http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ) รวมถึงการดร็อปคอลัมน์แทนแถว

มีประโยชน์มาก!

ฉันรู้ว่าสิ่งนี้ได้รับการตอบแล้ว แต่เพียงเพื่อประโยชน์ของการแก้ปัญหาแพนด้าอย่างหมดจดสำหรับคำถามเฉพาะนี้ซึ่งตรงข้ามกับคำอธิบายทั่วไปจาก Aman (ซึ่งยอดเยี่ยม) และในกรณีที่มีคนอื่นเกิดขึ้นกับเรื่องนี้:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

คุณสามารถใช้สิ่งนี้:

df.dropna(subset=['EPS'], how='all', inplace=True)

วิธีแก้ปัญหาที่ง่ายที่สุด:

filtered_df = df[df['EPS'].notnull()]

การแก้ปัญหาข้างต้นเป็นวิธีที่ดีกว่าการใช้ np.isfinite ()

คุณสามารถใช้วิธีdataframe notnullหรือ inverse ของisnullหรือnumpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

วิธีที่ง่ายและสะดวก

df.dropna(subset=['EPS'],inplace=True)

แหล่งที่มา: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

วิธีการแก้ปัญหาอื่นซึ่งใช้ความจริงที่ว่าnp.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

รุ่นอื่น:

df[~df['EPS'].isna()]

ในชุดข้อมูลที่มีคอลัมน์จำนวนมากจะดียิ่งขึ้นเพื่อดูว่ามีกี่คอลัมน์ที่มีค่า Null และจำนวนไม่รวม

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

ตัวอย่างเช่นใน dataframe ของฉันมี 82 คอลัมน์ซึ่งมี 19 ค่าอย่างน้อยหนึ่งค่า

นอกจากนี้คุณยังสามารถลบคอลัมน์และแถวโดยอัตโนมัติโดยขึ้นอยู่กับว่ามีค่า Null มากขึ้น
ต่อไปนี้เป็นรหัสที่ทำสิ่งนี้อย่างชาญฉลาด:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

หมายเหตุ:โค้ดด้านบนจะลบค่า Null ของคุณทั้งหมด หากคุณต้องการค่า Null ให้ประมวลผลก่อน

มันอาจถูกเพิ่มที่ '&' สามารถใช้เพื่อเพิ่มเงื่อนไขเพิ่มเติมเช่น

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

ขอให้สังเกตว่าเมื่อประเมินข้อความคำสั่งแพนด้าต้องการวงเล็บ

ด้วยเหตุผลบางอย่างไม่มีคำตอบที่ส่งไปก่อนหน้านี้ทำงานได้สำหรับฉัน วิธีแก้ปัญหาพื้นฐานนี้:

df = df[df.EPS >= 0]

แม้ว่าแน่นอนว่าจะลดจำนวนแถวด้วยจำนวนลบเช่นกัน ดังนั้นหากคุณต้องการสิ่งเหล่านั้นมันอาจจะฉลาดที่จะเพิ่มสิ่งนี้หลังจากนั้นเช่นกัน

df = df[df.EPS <= 0]

หนึ่งในวิธีการแก้ปัญหาสามารถ

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

อีกวิธีหนึ่งที่สามารถ

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

ฉันหวังว่าสิ่งเหล่านี้มีประโยชน์