วิธีใดที่มีประสิทธิภาพที่สุดในการนับจำนวนเหตุการณ์ในหมีแพนด้า

ฉันมี dataframe df ขนาดใหญ่ (ประมาณ 12M แถว) พร้อมกับพูดว่า:

df.columns = ['word','documents','frequency']

ดังนั้นสิ่งต่อไปนี้จึงดำเนินไปอย่างทันท่วงที:

word_grouping = df[['word','frequency']].groupby('word')
MaxFrequency_perWord = word_grouping[['frequency']].max().reset_index()
MaxFrequency_perWord.columns = ['word','MaxFrequency']

อย่างไรก็ตามการดำเนินการนี้ใช้เวลานานโดยไม่คาดคิด:

Occurrences_of_Words = word_grouping[['word']].count().reset_index()

ฉันทำอะไรผิดที่นี่? มีวิธีที่ดีกว่าในการนับจำนวนเหตุการณ์ที่เกิดขึ้นในดาต้าเฟรมขนาดใหญ่หรือไม่?

df.word.describe()

ทำงานได้ดีดังนั้นฉันจึงไม่คาดว่าดาต้าเฟรมของ Occurrences_of_Words นี้จะใช้เวลาสร้างนานมาก

ps: หากคำตอบชัดเจนและคุณรู้สึกว่าจำเป็นต้องลงโทษฉันที่ถามคำถามนี้โปรดใส่คำตอบด้วย ขอบคุณ.

ฉันคิดว่าdf['word'].value_counts()ควรให้บริการ การข้ามเครื่องจักรแบบกลุ่มจะช่วยประหยัดเวลาได้ ฉันไม่แน่ใจว่าทำไมควรจะได้ช้ากว่าcount maxทั้งสองใช้เวลาพอสมควรเพื่อหลีกเลี่ยงค่าที่ขาดหายไป (เปรียบเทียบกับsize.)

ไม่ว่าในกรณีใด value_counts ได้รับการปรับให้เหมาะสมโดยเฉพาะเพื่อจัดการกับประเภทวัตถุเช่นคำพูดของคุณดังนั้นฉันสงสัยว่าคุณจะทำได้ดีกว่านั้นมาก

เมื่อคุณต้องการนับความถี่ของข้อมูลหมวดหมู่ในคอลัมน์ในการใช้ dataFrame ของแพนด้า: df['Column_Name'].value_counts()

- ที่มา .

เพียงเพิ่มเติมจากคำตอบก่อนหน้านี้ อย่าลืมว่าเมื่อจัดการกับข้อมูลจริงอาจมีค่าว่างดังนั้นจึงมีประโยชน์ที่จะรวมค่าเหล่านั้นไว้ในการนับโดยใช้ตัวเลือกdropna=False( ค่าเริ่มต้นคือTrue )

ตัวอย่าง:

>>> df['Embarked'].value_counts(dropna=False)
S      644
C      168
Q       77
NaN      2