ฉันมีข้อมูลที่ฉันต้องการค้นหาจำนวนNaNเพื่อที่ว่าถ้ามันน้อยกว่าขีด จำกัด บางอย่างฉันจะวางคอลัมน์นี้ ฉันดูแล้ว แต่ไม่พบฟังก์ชันใด ๆ สำหรับสิ่งนี้ มีvalue_countsแต่มันจะช้าสำหรับฉันเพราะค่าส่วนใหญ่แตกต่างกันและฉันต้องการนับNaNเท่านั้น
ฉันมีข้อมูลที่ฉันต้องการค้นหาจำนวนNaNเพื่อที่ว่าถ้ามันน้อยกว่าขีด จำกัด บางอย่างฉันจะวางคอลัมน์นี้ ฉันดูแล้ว แต่ไม่พบฟังก์ชันใด ๆ สำหรับสิ่งนี้ มีvalue_countsแต่มันจะช้าสำหรับฉันเพราะค่าส่วนใหญ่แตกต่างกันและฉันต้องการนับNaNเท่านั้น
คำตอบ:
คุณสามารถใช้isna()เมธอด (หรือเป็นนามแฝงisnull()ซึ่งเข้ากันได้กับนุ่นรุ่นเก่า <0.21.0) จากนั้นรวมผลรวมเพื่อนับค่า NaN สำหรับหนึ่งคอลัมน์:
In [1]: s = pd.Series([1,2,3, np.nan, np.nan])
In [4]: s.isna().sum() # or s.isnull().sum() for older pandas versions
Out[4]: 2สำหรับหลายคอลัมน์มันยังทำงานได้:
In [5]: df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})
In [6]: df.isna().sum()
Out[6]:
a 1
b 2
dtype: int64.sum(axis=0)ซึ่งเป็นพฤติกรรมเริ่มต้น และเพื่อให้ได้ .sum(axis=1)rowsums,
df.isnull().values.sum()
df['column_name'].isna().sum()ยังทำงานได้ถ้าใครสงสัย
คุณสามารถลบความยาวทั้งหมดออกจากการนับค่าที่ไม่ใช่นาโน:
count_nan = len(df) - df.count()คุณควรใช้เวลากับข้อมูลของคุณ สำหรับซีรี่ส์ขนาดเล็กนั้นมีความเร็วเพิ่มขึ้น 3 เท่าเมื่อเทียบกับisnullโซลูชัน
isnullเร็วกว่านี้สองเท่า
สมมติว่าdfเป็น DataFrame แพนด้า
จากนั้น
df.isnull().sum(axis = 0)สิ่งนี้จะให้จำนวนของค่า NaN ในทุกคอลัมน์
หากคุณต้องการค่า NaN ในทุกแถว
df.isnull().sum(axis = 1)จากคำตอบที่ได้รับการโหวตมากที่สุดเราสามารถกำหนดฟังก์ชั่นที่ทำให้เรามี dataframe เพื่อแสดงตัวอย่างค่าที่หายไปและ% ของค่าที่หายไปในแต่ละคอลัมน์:
def missing_values_table(df):
mis_val = df.isnull().sum()
mis_val_percent = 100 * df.isnull().sum() / len(df)
mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
mis_val_table_ren_columns = mis_val_table.rename(
columns = {0 : 'Missing Values', 1 : '% of Total Values'})
mis_val_table_ren_columns = mis_val_table_ren_columns[
mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
'% of Total Values', ascending=False).round(1)
print ("Your selected dataframe has " + str(df.shape[1]) + " columns.\n"
"There are " + str(mis_val_table_ren_columns.shape[0]) +
" columns that have missing values.")
return mis_val_table_ren_columnsเนื่องจาก pandas 0.14.1 ข้อเสนอแนะของฉันที่นี่เพื่อมีอาร์กิวเมนต์คำหลักในเมธอด value_counts ถูกนำไปใช้:
import pandas as pd
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})
for col in df:
print df[col].value_counts(dropna=False)
2 1
1 1
NaN 1
dtype: int64
NaN 2
1 1
dtype: int64หากการนับค่าน่านในคอลัมน์แพนด้าเป็นวิธีที่รวดเร็ว
import pandas as pd
## df1 as an example data frame
## col1 name of column for which you want to calculate the nan values
sum(pd.isnull(df1['col1']))ถ้าคุณใช้ Jupyter Notebook แล้วจะเป็นอย่างไร ....
%%timeit
df.isnull().any().any()หรือ
%timeit
df.isnull().values.sum()หรือมีข้อมูลใด ๆ ของ NaN ถ้าใช่อยู่ที่ไหน
df.isnull().any()ด้านล่างจะพิมพ์คอลัมน์น่านทั้งหมดตามลำดับจากมากไปน้อย
df.isnull().sum().sort_values(ascending = False)หรือ
ด้านล่างจะพิมพ์คอลัมน์ Nan 15 คอลัมน์แรกตามลำดับจากมากไปน้อย
df.isnull().sum().sort_values(ascending = False).head(15)import numpy as np
import pandas as pd
raw_data = {'first_name': ['Jason', np.nan, 'Tina', 'Jake', 'Amy'],
'last_name': ['Miller', np.nan, np.nan, 'Milner', 'Cooze'],
'age': [22, np.nan, 23, 24, 25],
'sex': ['m', np.nan, 'f', 'm', 'f'],
'Test1_Score': [4, np.nan, 0, 0, 0],
'Test2_Score': [25, np.nan, np.nan, 0, 0]}
results = pd.DataFrame(raw_data, columns = ['first_name', 'last_name', 'age', 'sex', 'Test1_Score', 'Test2_Score'])results
'''
first_name last_name age sex Test1_Score Test2_Score
0 Jason Miller 22.0 m 4.0 25.0
1 NaN NaN NaN NaN NaN NaN
2 Tina NaN 23.0 f 0.0 NaN
3 Jake Milner 24.0 m 0.0 0.0
4 Amy Cooze 25.0 f 0.0 0.0
'''คุณสามารถใช้ฟังก์ชั่นต่อไปนี้ซึ่งจะให้ผลลัพธ์ใน Dataframe
เพียงแค่คัดลอกและวางฟังก์ชั่นต่อไปนี้และเรียกมันโดยส่งดาต้าดาต้าแพนด้าของคุณ
def missing_zero_values_table(df):
zero_val = (df == 0.00).astype(int).sum(axis=0)
mis_val = df.isnull().sum()
mis_val_percent = 100 * df.isnull().sum() / len(df)
mz_table = pd.concat([zero_val, mis_val, mis_val_percent], axis=1)
mz_table = mz_table.rename(
columns = {0 : 'Zero Values', 1 : 'Missing Values', 2 : '% of Total Values'})
mz_table['Total Zero Missing Values'] = mz_table['Zero Values'] + mz_table['Missing Values']
mz_table['% Total Zero Missing Values'] = 100 * mz_table['Total Zero Missing Values'] / len(df)
mz_table['Data Type'] = df.dtypes
mz_table = mz_table[
mz_table.iloc[:,1] != 0].sort_values(
'% of Total Values', ascending=False).round(1)
print ("Your selected dataframe has " + str(df.shape[1]) + " columns and " + str(df.shape[0]) + " Rows.\n"
"There are " + str(mz_table.shape[0]) +
" columns that have missing values.")
# mz_table.to_excel('D:/sampledata/missing_and_zero_values.xlsx', freeze_panes=(1,0), index = False)
return mz_table
missing_zero_values_table(results)เอาท์พุต
Your selected dataframe has 6 columns and 5 Rows.
There are 6 columns that have missing values.
Zero Values Missing Values % of Total Values Total Zero Missing Values % Total Zero Missing Values Data Type
last_name 0 2 40.0 2 40.0 object
Test2_Score 2 2 40.0 4 80.0 float64
first_name 0 1 20.0 1 20.0 object
age 0 1 20.0 1 20.0 float64
sex 0 1 20.0 1 20.0 object
Test1_Score 3 1 20.0 4 80.0 float64ถ้าคุณต้องการให้มันง่าย ๆ คุณสามารถใช้ฟังก์ชันต่อไปนี้เพื่อรับค่าที่หายไปใน%
def missing(dff):
print (round((dff.isnull().sum() * 100/ len(dff)),2).sort_values(ascending=False))
missing(results)
'''
Test2_Score 40.0
last_name 40.0
Test1_Score 20.0
sex 20.0
age 20.0
first_name 20.0
dtype: float64
'''วิธีนับเลขศูนย์:
df[df == 0].count(axis=0)หากต้องการนับ NaN:
df.isnull().sum()หรือ
df.isna().sum()คุณสามารถใช้เมธอด value_counts และพิมพ์ค่าของ np.nan
s.value_counts(dropna = False)[np.nan]s.value_counts(dropna = False)
โปรดใช้ด้านล่างสำหรับการนับคอลัมน์โดยเฉพาะ
dataframe.columnName.isnull().sum()df1.isnull().sum()นี้จะทำเคล็ดลับ
นี่คือรหัสสำหรับการนับNullค่าคอลัมน์อย่างชาญฉลาด:
df.isna().sum()มีบทความ Dzone ที่ดีตั้งแต่เดือนกรกฎาคมปี 2017 ซึ่งมีรายละเอียดวิธีการต่าง ๆ ในการสรุปค่า NaN ตรวจสอบออกที่นี่
บทความที่ฉันอ้างถึงให้คุณค่าเพิ่มเติมโดย: (1) การแสดงวิธีการนับและแสดงการนับ NaN สำหรับทุกคอลัมน์เพื่อให้สามารถตัดสินใจได้อย่างง่ายดายว่าจะยกเลิกคอลัมน์เหล่านั้นหรือไม่และ (2) แสดงวิธีเลือกแถวเหล่านั้นใน เฉพาะที่มี NaNs เพื่อให้พวกเขาอาจจะเลือกทิ้งหรือใส่ร้าย
ต่อไปนี้เป็นตัวอย่างแบบย่อเพื่อแสดงให้เห็นถึงประโยชน์ของวิธีการ - มีเพียงไม่กี่คอลัมน์ที่อาจมีประโยชน์ไม่ชัดเจน แต่ฉันคิดว่ามันเป็นประโยชน์สำหรับกรอบข้อมูลขนาดใหญ่
import pandas as pd
import numpy as np
# example DataFrame
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})
# Check whether there are null values in columns
null_columns = df.columns[df.isnull().any()]
print(df[null_columns].isnull().sum())
# One can follow along further per the cited articleอีกหนึ่งตัวเลือกง่ายๆที่ยังไม่แนะนำให้นับเพียงแค่ NaN ก็คือการเพิ่มรูปร่างเพื่อส่งคืนจำนวนแถวด้วย NaN
df[df['col_name'].isnull()]['col_name'].shapedf.isnull (). sum () จะให้ผลรวมคอลัมน์ของค่าที่หายไป
หากคุณต้องการทราบผลรวมของค่าที่หายไปในคอลัมน์ใดคอลัมน์หนึ่งรหัสต่อไปนี้จะใช้งานได้ df.column.isnull (). sum ()
ตามคำตอบที่ได้รับและการปรับปรุงบางอย่างนี่เป็นแนวทางของฉัน
def PercentageMissin(Dataset):
"""this function will return the percentage of missing values in a dataset """
if isinstance(Dataset,pd.DataFrame):
adict={} #a dictionary conatin keys columns names and values percentage of missin value in the columns
for col in Dataset.columns:
adict[col]=(np.count_nonzero(Dataset[col].isnull())*100)/len(Dataset[col])
return pd.DataFrame(adict,index=['% of missing'],columns=adict.keys())
else:
raise TypeError("can only be used with panda dataframe")df.apply(lambda x: x.value_counts(dropna=False)[np.nan]/x.size*100)
ในกรณีที่คุณต้องการรับจำนวน non-NA (ไม่ใช่ไม่มี) และ NA (ไม่มี) ให้นับตามกลุ่มต่าง ๆ ที่ดึงออกโดย groupby:
gdf = df.groupby(['ColumnToGroupBy'])
def countna(x):
return (x.isna()).sum()
gdf.agg(['count', countna, 'size'])ส่งคืนจำนวนนับที่ไม่ใช่ NA, NA และจำนวนรายการต่อกลุ่ม
ใช้โซลูชันที่เสนอโดย @sushmit ในรหัสของฉัน
รูปแบบที่เป็นไปได้ของเดียวกันยังสามารถ
colNullCnt = []
for z in range(len(df1.cols)):
colNullCnt.append([df1.cols[z], sum(pd.isnull(trainPd[df1.cols[z]]))])ข้อดีของการนี้คือมันส่งคืนผลลัพธ์สำหรับแต่ละคอลัมน์ใน df ต่อจากนี้ไป
import pandas as pd
import numpy as np
# example DataFrame
df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]})
# count the NaNs in a column
num_nan_a = df.loc[ (pd.isna(df['a'])) , 'a' ].shape[0]
num_nan_b = df.loc[ (pd.isna(df['b'])) , 'b' ].shape[0]
# summarize the num_nan_b
print(df)
print(' ')
print(f"There are {num_nan_a} NaNs in column a")
print(f"There are {num_nan_b} NaNs in column b")ให้เป็นเอาต์พุต:
a b
0 1.0 NaN
1 2.0 1.0
2 NaN NaN
There are 1 NaNs in column a
There are 2 NaNs in column bสมมติว่าคุณต้องการรับจำนวนค่าที่หายไป (NaN) ในคอลัมน์ (ชุดข้อมูล) ที่รู้จักในชื่อราคาใน dataframe ที่เรียกว่าบทวิจารณ์
#import the dataframe
import pandas as pd
reviews = pd.read_csv("../input/wine-reviews/winemag-data-130k-v2.csv", index_col=0)ในการรับค่าที่หายไปโดยที่ n_missing_prices เป็นตัวแปรก็ทำได้ง่าย
n_missing_prices = sum(reviews.price.isnull())
print(n_missing_prices)ผลรวมเป็นวิธีการสำคัญที่นี่พยายามใช้การนับก่อนที่ฉันจะรับรู้ผลรวมเป็นวิธีการที่เหมาะสมที่จะใช้ในบริบทนี้
https://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.count.html#pandas.Series.count
pandas.Series.count
Series.count(level=None)[source]ส่งคืนจำนวนการสังเกตที่ไม่ใช่ NA / null ในซีรี่ส์
สำหรับงานของคุณคุณสามารถใช้ pandas.DataFrame.dropna ( https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html ):
import pandas as pd
import numpy as np
df = pd.DataFrame({'a': [1, 2, 3, 4, np.nan],
'b': [1, 2, np.nan, 4, np.nan],
'c': [np.nan, 2, np.nan, 4, np.nan]})
df = df.dropna(axis='columns', thresh=3)
print(df)ด้วยพารามิเตอร์ thresh คุณสามารถประกาศจำนวนสูงสุดสำหรับค่า NaN สำหรับคอลัมน์ทั้งหมดใน DataFrame
รหัสผลลัพธ์:
a b
0 1.0 1.0
1 2.0 2.0
2 3.0 NaN
3 4.0 4.0
4 NaN NaN
dfคุณสามารถใช้ได้df.isnull().sum().sum()