อนุมานว่าคอลัมน์ใดเป็น datetime

ฉันมี dataframe datetime.datetimeขนาดใหญ่ที่มีหลายคอลัมน์หลายแห่งซึ่งเป็นประเภท ปัญหาคือหลายคนมีประเภทผสมรวมทั้งdatetime.datetimeค่าและค่าเช่นNone(และค่าที่ไม่ถูกต้องอื่น ๆ ):

0         2017-07-06 00:00:00
1         2018-02-27 21:30:05
2         2017-04-12 00:00:00
3         2017-05-21 22:05:00
4         2018-01-22 00:00:00
                 ...         
352867    2019-10-04 00:00:00
352868                   None
352869            some_string
Name: colx, Length: 352872, dtype: object

จึงส่งผลให้objectคอลัมน์ประเภท df.colx.fillna(pd.NaT)นี้สามารถแก้ไขได้ด้วย ปัญหาคือว่า dataframe ใหญ่เกินกว่าจะค้นหาแต่ละคอลัมน์ได้

อีกวิธีคือการใช้pd.to_datetime(col, errors='coerce')แต่วิธีนี้จะส่งไปยังdatetimeคอลัมน์จำนวนมากที่มีค่าตัวเลข

ฉันสามารถทำได้df.fillna(float('nan'), inplace=True)แม้ว่าคอลัมน์ที่มีวันที่ยังคงเป็นobjectประเภทและจะยังคงมีปัญหาเดียวกัน

สิ่งที่วิธีที่ฉันสามารถปฏิบัติตามเพื่อโยน datetime คอลัมน์เหล่านั้นมีค่าจริงๆมีdatetimeค่า แต่ยังอาจมีNoneและอาจบางค่าไม่ถูกต้อง (กล่าวขวัญตั้งแต่อื่นpd.to_datetimeในtry/ exceptข้อจะทำ)? บางอย่างเช่นเวอร์ชันที่ยืดหยุ่นของpd.to_datetime(col)

ปัญหาหลักที่ฉันเห็นคือเมื่อแยกค่าตัวเลข

ฉันจะเสนอให้แปลงเป็นสตริงก่อน

ติดตั้ง

dat = {
    'index': [0, 1, 2, 3, 4, 352867, 352868, 352869],
    'columns': ['Mixed', 'Numeric Values', 'Strings'],
    'data': [
        ['2017-07-06 00:00:00', 1, 'HI'],
        ['2018-02-27 21:30:05', 1, 'HI'],
        ['2017-04-12 00:00:00', 1, 'HI'],
        ['2017-05-21 22:05:00', 1, 'HI'],
        ['2018-01-22 00:00:00', 1, 'HI'],
        ['2019-10-04 00:00:00', 1, 'HI'],
        ['None', 1, 'HI'],
        ['some_string', 1, 'HI']
    ]
}

df = pd.DataFrame(**dat)

df

                      Mixed  Numeric Values Strings
0       2017-07-06 00:00:00               1      HI
1       2018-02-27 21:30:05               1      HI
2       2017-04-12 00:00:00               1      HI
3       2017-05-21 22:05:00               1      HI
4       2018-01-22 00:00:00               1      HI
352867  2019-10-04 00:00:00               1      HI
352868                 None               1      HI
352869          some_string               1      HI

สารละลาย

df.astype(str).apply(pd.to_datetime, errors='coerce')

                     Mixed Numeric Values Strings
0      2017-07-06 00:00:00            NaT     NaT
1      2018-02-27 21:30:05            NaT     NaT
2      2017-04-12 00:00:00            NaT     NaT
3      2017-05-21 22:05:00            NaT     NaT
4      2018-01-22 00:00:00            NaT     NaT
352867 2019-10-04 00:00:00            NaT     NaT
352868                 NaT            NaT     NaT
352869                 NaT            NaT     NaT

ฟังก์ชันนี้จะตั้งค่าชนิดข้อมูลของคอลัมน์เป็น datetime หากค่าใด ๆ ในคอลัมน์ตรงกับรูปแบบ regex (\ d {4} - \ d {2} - \ d {2}) + (เช่น 2019-01-01 ) ให้เครดิตกับคำตอบนี้เกี่ยวกับวิธีการค้นหาสตริงในคอลัมน์ Pandas DataFrame และตัวกรองทั้งหมดที่ช่วยในการตั้งค่าและใช้งานมาสก์

def presume_date(dataframe):
    """ Set datetime by presuming any date values in the column
        indicates that the column data type should be datetime.

    Args:
        dataframe: Pandas dataframe.

    Returns:
        Pandas dataframe.

    Raises:
        None
    """
    df = dataframe.copy()
    mask = dataframe.astype(str).apply(lambda x: x.str.match(
        r'(\d{4}-\d{2}-\d{2})+').any())
    df_dates = df.loc[:, mask].apply(pd.to_datetime, errors='coerce')
    for col in df_dates.columns:
        df[col] = df_dates[col]
    return df

ทำงานจากคำแนะนำในการใช้dateutilสิ่งนี้อาจช่วยได้ มันยังคงทำงานกับข้อสันนิษฐานว่าหากมีค่าใด ๆ ที่เหมือนวันที่ในคอลัมน์คอลัมน์นั้นควรเป็นวันที่และเวลา ฉันพยายามที่จะพิจารณาวิธีการวนซ้ำดาต้าไฟล์ที่เร็วขึ้น ฉันคิดว่าคำตอบนี้เกี่ยวกับวิธีวนซ้ำแถวใน DataFrame ใน Pandasทำได้ดีมากอธิบายพวกเขา

โปรดทราบว่าdateutil.parserจะใช้วันหรือปีปัจจุบันสำหรับสตริงใด ๆ เช่น 'ธันวาคม' หรือ 'พฤศจิกายน 2019' โดยไม่มีค่าปีหรือวัน

import pandas as pd
import datetime
from dateutil.parser import parse

df = pd.DataFrame(columns=['are_you_a_date','no_dates_here'])
df = df.append(pd.Series({'are_you_a_date':'December 2015','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'February 27 2018','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'May 2017 12','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'2017-05-21','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':None,'no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'some_string','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'Processed: 2019/01/25','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'December','no_dates_here':'just a string'}), ignore_index=True)


def parse_dates(x):
    try:
        return parse(x,fuzzy=True)
    except ValueError:
        return ''
    except TypeError:
        return ''


list_of_datetime_columns = []
for row in df:
    if any([isinstance(parse_dates(row[0]),
                       datetime.datetime) for row in df[[row]].values]):
        list_of_datetime_columns.append(row)

df_dates = df.loc[:, list_of_datetime_columns].apply(pd.to_datetime, errors='coerce')

for col in list_of_datetime_columns:
    df[col] = df_dates[col]

ในกรณีที่คุณต้องการใช้ค่าข้อมูลจากdateutil.parserคุณสามารถเพิ่ม:

for col in list_of_datetime_columns:
    df[col] = df[col].apply(lambda x: parse_dates(x))