pandas dataframe group โดย datetime month

พิจารณาไฟล์ csv:

string,date,number
a string,2/5/11 9:16am,1.0
a string,3/5/11 10:44pm,2.0
a string,4/22/11 12:07pm,3.0
a string,4/22/11 12:10pm,4.0
a string,4/29/11 11:59am,1.0
a string,5/2/11 1:41pm,2.0
a string,5/2/11 2:02pm,3.0
a string,5/2/11 2:56pm,4.0
a string,5/2/11 3:00pm,5.0
a string,5/2/14 3:02pm,6.0
a string,5/2/14 3:18pm,7.0

ฉันสามารถอ่านสิ่งนี้ได้และฟอร์แมตคอลัมน์วันที่ใหม่เป็นรูปแบบวันที่และเวลา:

b=pd.read_csv('b.dat')
b['date']=pd.to_datetime(b['date'],format='%m/%d/%y %I:%M%p')

ฉันพยายามจัดกลุ่มข้อมูลตามเดือน ดูเหมือนว่าควรมีวิธีที่ชัดเจนในการเข้าถึงเดือนและจัดกลุ่มตามนั้น แต่ดูเหมือนจะทำไม่ได้ ไม่มีใครรู้วิธี?

สิ่งที่ฉันกำลังพยายามคือการจัดทำดัชนีใหม่ตามวันที่:

b.index=b['date']

ฉันสามารถเข้าถึงเดือนได้ดังนี้:

b.index.month

อย่างไรก็ตามฉันไม่สามารถหาฟังก์ชั่นที่จะรวมกันเป็นรายเดือนได้

จัดการได้:

b = pd.read_csv('b.dat')
b.index = pd.to_datetime(b['date'],format='%m/%d/%y %I:%M%p')
b.groupby(by=[b.index.month, b.index.year])

หรือ

b.groupby(pd.Grouper(freq='M'))  # update for v0.21+

(ปรับปรุง: 2018)

โปรดทราบว่าpd.Timegrouperเป็นค่าเสื่อมราคาและจะถูกลบออก ใช้แทน:

 df.groupby(pd.Grouper(freq='M'))

วิธีแก้ปัญหาวิธีหนึ่งที่หลีกเลี่ยง MultiIndex คือการสร้างdatetimeคอลัมน์การตั้งค่าวันใหม่ = 1 จากนั้นจัดกลุ่มตามคอลัมน์นี้

ทำให้วันของเดือนเป็นปกติ

df = pd.DataFrame({'Date': pd.to_datetime(['2017-10-05', '2017-10-20', '2017-10-01', '2017-09-01']),
                   'Values': [5, 10, 15, 20]})

# normalize day to beginning of month, 4 alternative methods below
df['YearMonth'] = df['Date'] + pd.offsets.MonthEnd(-1) + pd.offsets.Day(1)
df['YearMonth'] = df['Date'] - pd.to_timedelta(df['Date'].dt.day-1, unit='D')
df['YearMonth'] = df['Date'].map(lambda dt: dt.replace(day=1))
df['YearMonth'] = df['Date'].dt.normalize().map(pd.tseries.offsets.MonthBegin().rollback)

จากนั้นใช้groupbyตามปกติ:

g = df.groupby('YearMonth')

res = g['Values'].sum()

# YearMonth
# 2017-09-01    20
# 2017-10-01    30
# Name: Values, dtype: int64

เปรียบเทียบกับ pd.Grouper

ประโยชน์ที่ลึกซึ้งของโซลูชันนี้คือไม่เหมือนกับpd.Grouperดัชนีปลากะรังจะถูกทำให้เป็นมาตรฐานในช่วงต้นเดือนของแต่ละเดือนแทนที่จะเป็นจุดสิ้นสุดดังนั้นคุณจึงสามารถแยกกลุ่มได้อย่างง่ายดายผ่านทางget_group:

some_group = g.get_group('2017-10-01')

การคำนวณวันสุดท้ายของเดือนตุลาคมจะยุ่งยากกว่าเล็กน้อย pd.Grouperณ v0.23 รองรับconventionพารามิเตอร์ แต่ใช้ได้กับPeriodIndexปลากะรังเท่านั้น

เปรียบเทียบกับการแปลงสตริง

ทางเลือกในการคิดดังกล่าวข้างต้นคือการแปลงเป็นสตริงเช่นแปลง datetime สตริง2017-10-XX '2017-10'อย่างไรก็ตามไม่แนะนำให้ทำเช่นนี้เนื่องจากคุณสูญเสียประโยชน์ด้านประสิทธิภาพทั้งหมดของdatetimeชุดข้อมูล (เก็บไว้ภายในเป็นข้อมูลตัวเลขในบล็อกหน่วยความจำที่อยู่ติดกัน) เทียบกับobjectชุดของสตริง (จัดเก็บเป็นอาร์เรย์ของพอยน์เตอร์)

ทางเลือกอื่นในการแก้ปัญหาเล็กน้อยสำหรับ @ jpp แต่ส่งออกYearMonthสตริง:

df['YearMonth'] = pd.to_datetime(df['Date']).apply(lambda x: '{year}-{month}'.format(year=x.year, month=x.month))

res = df.groupby('YearMonth')['Values'].sum()