แปลงคอลัมน์ Pandas ที่มี NaN เป็น dtype` int`

ฉันอ่านข้อมูลจากไฟล์. csv ไปยังดาต้าดาต้าเฟรมของ Pandas ดังนี้ สำหรับคอลัมน์ใดคอลัมน์หนึ่งคือผมต้องการที่จะระบุชนิดคอลัมน์เป็นid intปัญหาคือidซีรีส์มีค่าหายไป / ว่างเปล่า

เมื่อฉันพยายามที่จะโยนidคอลัมน์เป็นจำนวนเต็มในขณะที่อ่าน. csv ฉันได้รับ:

df= pd.read_csv("data.csv", dtype={'id': int}) 
error: Integer column has NA values

อีกทางหนึ่งฉันพยายามแปลงประเภทคอลัมน์หลังจากอ่านด้านล่าง แต่ครั้งนี้ฉันได้รับ:

df= pd.read_csv("data.csv") 
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer

ฉันจะจัดการสิ่งนี้ได้อย่างไร

การขาดน่านตัวแทนในคอลัมน์จำนวนเต็มเป็นหมีแพนด้า "gotcha"

วิธีแก้ปัญหาตามปกติคือเพียงแค่ใช้ลอย

ในเวอร์ชั่น 0.24. + pandas ได้รับความสามารถในการเก็บจำนวนเต็มชนิดที่มีค่าที่ขาดหายไป

Nullable จำนวนเต็มชนิดข้อมูล

arrays.IntegerArrayนุ่นสามารถแสดงข้อมูลจำนวนเต็มมีค่าอาจจะหายไปโดยใช้ นี่เป็นประเภทส่วนขยายที่ใช้ภายในแพนด้า ไม่ใช่ dtype ดีฟอลต์สำหรับจำนวนเต็มและจะไม่ถูกอนุมาน คุณต้องส่ง dtype ลงในarray()หรือSeries:

arr = pd.array([1, 2, np.nan], dtype=pd.Int64Dtype())
pd.Series(arr)

0      1
1      2
2    NaN
dtype: Int64

สำหรับการแปลงคอลัมน์เป็นจำนวนเต็ม null ใช้:

df['myCol'] = df['myCol'].astype('Int64')

กรณีการใช้งานของฉันกำลังบันทึกข้อมูลก่อนที่จะโหลดลงในตารางฐานข้อมูล:

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)

ลบ NaNs, แปลงเป็น int, แปลงเป็น str แล้วใส่ NAN อีกครั้ง

มันไม่สวย แต่ทำให้งานเสร็จ!

ตอนนี้เป็นไปได้ที่จะสร้างคอลัมน์หมีแพนด้าที่มี NaNs เป็น dtype intเนื่องจากขณะนี้มีการเพิ่มอย่างเป็นทางการในแพนด้า 0.24.0

บันทึกย่อประจำรุ่น pandas 0.24.x ข้อความอ้างอิง: " Pandas ได้รับความสามารถในการเก็บจำนวนเต็มจำนวนเต็มด้วยค่าที่หายไป

หากคุณต้องการรวมจำนวนเต็มและ NaN ในคอลัมน์อย่างแน่นอนคุณสามารถใช้ชนิดข้อมูล 'วัตถุ':

df['col'] = (
    df['col'].fillna(0)
    .astype(int)
    .astype(object)
    .where(df['col'].notnull())
)

สิ่งนี้จะแทนที่ NaNs ด้วยจำนวนเต็ม (ไม่สำคัญว่า) แปลงเป็น int แปลงเป็นวัตถุและใส่ NaN อีกครั้ง

idหากคุณสามารถปรับเปลี่ยนการจัดเก็บข้อมูลของคุณให้ใช้ค่าแมวมองที่หายไป กรณีการใช้งานทั่วไปสรุปโดยชื่อคอลัมน์เนื่องจากidเป็นจำนวนเต็มมากกว่าศูนย์อย่างเคร่งครัดคุณสามารถใช้0เป็นค่าเฝ้ายามเพื่อให้คุณสามารถเขียน

if row['id']:
   regular_process(row)
else:
   special_process(row)

คุณสามารถใช้.dropna()หากตกลงเพื่อวางแถวด้วยค่า NaN

df = df.dropna(subset=['id'])

หรือใช้.fillna()และ.astype()เพื่อแทนที่ NaN ด้วยค่าและแปลงเป็น int

ฉันพบปัญหานี้เมื่อประมวลผลไฟล์ CSV ด้วยจำนวนเต็มขนาดใหญ่ในขณะที่บางส่วนหายไป (NaN) การใช้ float เป็นประเภทไม่ใช่ตัวเลือกเพราะฉันอาจสูญเสียความแม่นยำ

วิธีการแก้ปัญหาของฉันคือการใช้ STR เป็นชนิดกลาง จากนั้นคุณสามารถแปลงสตริงเป็น int ตามที่คุณต้องการในภายหลังในรหัส ฉันแทนที่ NaN ด้วย 0 แต่คุณสามารถเลือกค่าใดก็ได้

df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)

สำหรับภาพประกอบนี่เป็นตัวอย่างว่าการลอยอาจหลุดความแม่นยำได้อย่างไร:

s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)

และผลลัพธ์คือ:

1.2345678901234567e+19 12345678901234567168 12345678901234567890

วิธีแก้ปัญหาส่วนใหญ่ที่นี่จะบอกวิธีใช้จำนวนเต็มตัวยึดเพื่อแสดงค่าเป็นโมฆะ วิธีการดังกล่าวไม่เป็นประโยชน์หากคุณไม่แน่ใจว่าจำนวนเต็มจะไม่ปรากฏในแหล่งข้อมูลของคุณ วิธีการของฉันด้วยจะจัดรูปแบบลอยโดยไม่มีค่าทศนิยมและแปลงค่า Null เป็น None ผลที่ได้คือประเภทข้อมูลวัตถุที่จะมีลักษณะเหมือนเขตข้อมูลจำนวนเต็มที่มีค่าเป็นศูนย์เมื่อโหลดลงใน CSV

keep_df[col] = keep_df[col].apply(lambda x: None if pandas.isnull(x) else '{0:.0f}'.format(pandas.to_numeric(x)))

ฉันพบปัญหาในการทำงานกับ pyspark เนื่องจากนี่เป็นส่วนหน้าของไพ ธ อนสำหรับโค้ดที่รันบน jvm จึงต้องการความปลอดภัยของประเภทและการใช้ float แทน int ไม่ใช่ตัวเลือก ฉันแก้ไขปัญหาด้วยการห่อหมีแพนด้าpd.read_csvในฟังก์ชั่นที่จะเติมคอลัมน์ที่ผู้ใช้กำหนดด้วยค่าการเติมที่ผู้ใช้กำหนดก่อนที่จะส่งไปยังประเภทที่ต้องการ นี่คือสิ่งที่ฉันใช้:

def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
    if custom_dtype is None:
        return pd.read_csv(file_path, **kwargs)
    else:
        assert 'dtype' not in kwargs.keys()
        df = pd.read_csv(file_path, dtype = {}, **kwargs)
        for col, typ in custom_dtype.items():
            if fill_values is None or col not in fill_values.keys():
                fill_val = -1
            else:
                fill_val = fill_values[col]
            df[col] = df[col].fillna(fill_val).astype(typ)
    return df

import pandas as pd

df= pd.read_csv("data.csv")
df['id'] = pd.to_numeric(df['id'])

ก่อนอื่นให้ลบแถวที่มี NaN จากนั้นทำการแปลงจำนวนเต็มในแถวที่เหลือ ที่แทรกแถวที่ลบล่าสุดอีกครั้ง หวังว่ามันจะทำงาน

สมมติว่า DateColumn ที่จัดรูปแบบของคุณ 3312018.0 ควรแปลงเป็น 03/31/2018 เป็นสตริง และบางระเบียนหายไปหรือ 0

df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))