เพิ่มวันที่ที่ขาดหายไปในกรอบข้อมูลแพนด้า

ข้อมูลของฉันอาจมีหลายเหตุการณ์ในวันที่กำหนดหรือไม่มีเหตุการณ์ในวันที่ ฉันใช้เหตุการณ์เหล่านี้นับตามวันที่และวางแผนไว้ อย่างไรก็ตามเมื่อฉันวางโครงเรื่องทั้งสองซีรีส์ของฉันไม่ตรงกันเสมอไป

idx = pd.date_range(df['simpleDate'].min(), df['simpleDate'].max())
s = df.groupby(['simpleDate']).size()

ในโค้ดด้านบนidxจะกลายเป็นช่วงของ say 30 วัน 09-01-2013 ถึง 09-30-2013 อย่างไรก็ตามSอาจมีเวลาเพียง 25 หรือ 26 วันเนื่องจากไม่มีเหตุการณ์ใด ๆ เกิดขึ้นในวันที่กำหนด จากนั้นฉันจะได้รับ AssertionError เนื่องจากขนาดไม่ตรงกันเมื่อฉันพยายามพล็อต:

fig, ax = plt.subplots()    
ax.bar(idx.to_pydatetime(), s, color='green')

อะไรคือวิธีที่เหมาะสมในการจัดการกับปัญหานี้? ฉันต้องการลบวันที่ที่ไม่มีค่าออกจากIDXหรือ (ซึ่งฉันอยากจะทำ) คือเพิ่มวันที่ที่ขาดหายไปในชุดด้วยจำนวน 0 ฉันอยากจะมีกราฟเต็ม 30 วันที่มีค่า 0 หากแนวทางนี้ถูกต้องมีข้อเสนอแนะในการเริ่มต้นอย่างไร ฉันต้องการreindexฟังก์ชันไดนามิกบางประเภทหรือไม่?

นี่คือตัวอย่างS ( df.groupby(['simpleDate']).size() ) โปรดสังเกตว่าไม่มีรายการสำหรับ 04 และ 05

09-02-2013     2
09-03-2013    10
09-06-2013     5
09-07-2013     1

คุณสามารถใช้Series.reindex:

import pandas as pd

idx = pd.date_range('09-01-2013', '09-30-2013')

s = pd.Series({'09-02-2013': 2,
               '09-03-2013': 10,
               '09-06-2013': 5,
               '09-07-2013': 1})
s.index = pd.DatetimeIndex(s.index)

s = s.reindex(idx, fill_value=0)
print(s)

อัตราผลตอบแทน

2013-09-01     0
2013-09-02     2
2013-09-03    10
2013-09-04     0
2013-09-05     0
2013-09-06     5
2013-09-07     1
2013-09-08     0
...

.asfreq()การแก้ปัญหาได้เร็วขึ้นคือการใช้งาน .reindex()นี้ไม่จำเป็นต้องมีการสร้างดัชนีใหม่ต่อการเรียกร้องภายใน

# "broken" (staggered) dates
dates = pd.Index([pd.Timestamp('2012-05-01'), 
                  pd.Timestamp('2012-05-04'), 
                  pd.Timestamp('2012-05-06')])
s = pd.Series([1, 2, 3], dates)

print(s.asfreq('D'))
2012-05-01    1.0
2012-05-02    NaN
2012-05-03    NaN
2012-05-04    2.0
2012-05-05    NaN
2012-05-06    3.0
Freq: D, dtype: float64

ปัญหาหนึ่งคือreindexจะล้มเหลวหากมีค่าที่ซ้ำกัน สมมติว่าเรากำลังดำเนินการกับข้อมูลที่ประทับเวลาซึ่งเราต้องการจัดทำดัชนีตามวันที่:

df = pd.DataFrame({
    'timestamps': pd.to_datetime(
        ['2016-11-15 1:00','2016-11-16 2:00','2016-11-16 3:00','2016-11-18 4:00']),
    'values':['a','b','c','d']})
df.index = pd.DatetimeIndex(df['timestamps']).floor('D')
df

อัตราผลตอบแทน

            timestamps             values
2016-11-15  "2016-11-15 01:00:00"  a
2016-11-16  "2016-11-16 02:00:00"  b
2016-11-16  "2016-11-16 03:00:00"  c
2016-11-18  "2016-11-18 04:00:00"  d

เนื่องจาก2016-11-16วันที่ซ้ำกันความพยายามที่จะทำดัชนีใหม่:

all_days = pd.date_range(df.index.min(), df.index.max(), freq='D')
df.reindex(all_days)

ล้มเหลวด้วย:

...
ValueError: cannot reindex from a duplicate axis

(ด้วยเหตุนี้หมายความว่าดัชนีมีรายการที่ซ้ำกันไม่ใช่ว่าเป็นข้อมูลซ้ำซ้อน)

แต่เราสามารถใช้ .locเพื่อค้นหารายการสำหรับวันที่ทั้งหมดในช่วง:

df.loc[all_days]

อัตราผลตอบแทน

            timestamps             values
2016-11-15  "2016-11-15 01:00:00"  a
2016-11-16  "2016-11-16 02:00:00"  b
2016-11-16  "2016-11-16 03:00:00"  c
2016-11-17  NaN                    NaN
2016-11-18  "2016-11-18 04:00:00"  d

fillna สามารถใช้กับชุดคอลัมน์เพื่อเติมช่องว่างได้หากจำเป็น

อีกทางเลือกหนึ่งคือresampleสามารถจัดการวันที่ซ้ำกันได้นอกเหนือจากวันที่ที่ขาดหายไป ตัวอย่างเช่น:

df.resample('D').mean()

resampleเป็นการดำเนินการที่รอการตัดบัญชีgroupbyดังนั้นคุณต้องติดตามด้วยการดำเนินการอื่น ในกรณีนี้meanทำงานได้ดี แต่คุณยังสามารถใช้วิธีการอื่น ๆ อีกมากมายหมีแพนด้าเหมือนmax,sumฯลฯ

นี่คือข้อมูลดั้งเดิม แต่มีรายการเพิ่มเติมสำหรับ '2013-09-03':

             val
date           
2013-09-02     2
2013-09-03    10
2013-09-03    20    <- duplicate date added to OP's data
2013-09-06     5
2013-09-07     1

และนี่คือผลลัพธ์:

             val
date            
2013-09-02   2.0
2013-09-03  15.0    <- mean of original values for 2013-09-03
2013-09-04   NaN    <- NaN b/c date not present in orig
2013-09-05   NaN    <- NaN b/c date not present in orig
2013-09-06   5.0
2013-09-07   1.0

ฉันทิ้งวันที่ที่ขาดหายไปเป็น NaN เพื่อให้ชัดเจนว่ามันทำงานอย่างไร แต่คุณสามารถเพิ่มfillna(0)เพื่อแทนที่ NaN ด้วยศูนย์ตามที่ OP ร้องขอหรือใช้วิธีอื่นเช่นinterpolate()เติมค่าที่ไม่ใช่ศูนย์ตามแถวข้างเคียง

นี่เป็นวิธีที่ดีที่จะกรอกข้อมูลลงในวันที่หายไปลงใน dataframe กับตัวเลือกของคุณfill_value, days_backในการกรอกและลำดับการจัดเรียง ( date_order) โดยที่ในการจัดเรียง dataframe นี้:

def fill_in_missing_dates(df, date_col_name = 'date',date_order = 'asc', fill_value = 0, days_back = 30):

    df.set_index(date_col_name,drop=True,inplace=True)
    df.index = pd.DatetimeIndex(df.index)
    d = datetime.now().date()
    d2 = d - timedelta(days = days_back)
    idx = pd.date_range(d2, d, freq = "D")
    df = df.reindex(idx,fill_value=fill_value)
    df[date_col_name] = pd.DatetimeIndex(df.index)

    return df