สลับแถว DataFrame

ฉันมี DataFrame ต่อไปนี้:

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

DataFrame อ่านจากไฟล์ csv แถวทั้งหมดที่มีType1 อยู่ด้านบนตามด้วยแถวที่มีType2 ตามด้วยแถวที่มีType3 เป็นต้น

ฉันต้องการสลับลำดับแถวของ DataFrame เพื่อให้ทุกอย่างTypeผสมกัน ผลลัพธ์ที่เป็นไปได้คือ:

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

ฉันจะบรรลุสิ่งนี้ได้อย่างไร

วิธีที่ใช้สำนวนนี้กับ Pandas คือการใช้.sampleวิธีการดาต้าเฟรมของคุณเพื่อสุ่มตัวอย่างแถวทั้งหมดโดยไม่มีการแทนที่:

df.sample(frac=1)

fracโต้แย้งคำหลักที่ระบุส่วนของแถวที่จะกลับมาในตัวอย่างที่สุ่มดังนั้นfrac=1วิธีการกลับแถวทั้งหมด (ในลำดับสุ่ม)

หมายเหตุ: หากคุณต้องการสลับดาต้าเฟรมของคุณเข้าที่และรีเซ็ตดัชนีคุณสามารถทำได้เช่น

df = df.sample(frac=1).reset_index(drop=True)

ที่นี่ระบุการdrop=Trueป้องกัน.reset_indexจากการสร้างคอลัมน์ที่มีรายการดัชนีเก่า

หมายเหตุการติดตาม:แม้ว่ามันอาจจะดูไม่เหมือนการดำเนินการข้างต้น แต่ใน python / pandas นั้นฉลาดพอที่จะไม่ใช้ malloc อื่นสำหรับวัตถุที่สับได้ นั่นคือแม้ว่าวัตถุอ้างอิงจะเปลี่ยนไป (โดยที่ฉันหมายถึงid(df_old)ไม่เหมือนกันid(df_new)) วัตถุ C พื้นฐานยังคงเหมือนเดิม เพื่อแสดงให้เห็นว่าเป็นกรณีนี้คุณสามารถเรียกใช้ profiler หน่วยความจำอย่างง่าย:

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)

คุณสามารถใช้ sklearn สำหรับสิ่งนี้ได้

from sklearn.utils import shuffle
df = shuffle(df)

คุณสามารถสลับแถวของ dataframe โดยการทำดัชนีด้วยดัชนีแบบสับ สำหรับสิ่งนี้คุณสามารถใช้np.random.permutation(แต่np.random.choiceก็มีความเป็นไปได้เช่นกัน):

In [12]: df = pd.read_csv(StringIO(s), sep="\s+")

In [13]: df
Out[13]: 
    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
20     7     8     9     2
21    10    11    12     2
45    13    14    15     3
46    16    17    18     3

In [14]: df.iloc[np.random.permutation(len(df))]
Out[14]: 
    Col1  Col2  Col3  Type
46    16    17    18     3
45    13    14    15     3
20     7     8     9     2
0      1     2     3     1
1      4     5     6     1
21    10    11    12     2

หากคุณต้องการเก็บหมายเลขดัชนีจาก 1, 2, .. , n ดังตัวอย่างของคุณคุณสามารถรีเซ็ตดัชนีได้: df_shuffled.reset_index(drop=True)

TL; DR : np.random.shuffle(ndarray)สามารถทำงานได้
ดังนั้นในกรณีของคุณ

np.random.shuffle(DataFrame.values)

DataFrameภายใต้ประทุนใช้ NumPy ndarray เป็นผู้ถือข้อมูล (คุณสามารถตรวจสอบได้จากซอร์สโค้ด DataFrame )

ดังนั้นถ้าคุณใช้np.random.shuffle()มันจะสับเปลี่ยนอาร์เรย์ไปตามแกนแรกของอาร์เรย์หลายมิติ แต่ดัชนีของDataFrameซากยังคงไม่ลดลง

แม้ว่าจะมีบางจุดที่ต้องพิจารณา

• ฟังก์ชั่นไม่มีผลตอบแทน ในกรณีที่คุณต้องการเก็บสำเนาของวัตถุดั้งเดิมคุณต้องทำก่อนส่งผ่านฟังก์ชั่น
• sklearn.utils.shuffle()ตามที่ผู้ใช้แนะนำ tj89 สามารถกำหนดrandom_stateพร้อมกับตัวเลือกอื่นเพื่อควบคุมเอาต์พุต คุณอาจต้องการสิ่งนั้นเพื่อจุดประสงค์
• sklearn.utils.shuffle()เร็วกว่า. แต่จะเก็บข้อมูลแกน (ดัชนีคอลัมน์) ของเครื่องหมายDataFrameพร้อมกับข้อมูลndarrayนั้นไว้

ผลการเปรียบเทียบ

ระหว่างและsklearn.utils.shuffle()np.random.shuffle()

ndarray

nd = sklearn.utils.shuffle(nd)

0.10793248389381915 วินาที เร็วขึ้น 8x

np.random.shuffle(nd)

0.8897626010002568 วินาที

DataFrame

df = sklearn.utils.shuffle(df)

0.3183923360193148 วินาที เร็วกว่า 3x

np.random.shuffle(df.values)

0.9357550159329548 วินาที

สรุป: ถ้ามันโอเคที่จะข้อมูลแกน (ดัชนีคอลัมน์) ที่จะสับพร้อมกับ ndarray sklearn.utils.shuffle()ใช้ มิฉะนั้นให้ใช้np.random.shuffle()

รหัสที่ใช้

import timeit
setup = '''
import numpy as np
import pandas as pd
import sklearn
nd = np.random.random((1000, 100))
df = pd.DataFrame(nd)
'''

timeit.timeit('nd = sklearn.utils.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('df = sklearn.utils.shuffle(df)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(df.values)', setup=setup, number=1000)

หลามเปรียบเทียบ

(ฉันมีชื่อเสียงไม่มากพอที่จะแสดงความคิดเห็นในโพสต์บนสุดดังนั้นฉันหวังว่าจะมีคนอื่นทำสิ่งนี้ให้ฉันได้)มีความกังวลว่าวิธีแรก:

df.sample(frac=1)

ทำสำเนาลึกหรือเพิ่งเปลี่ยน dataframe ฉันรันรหัสต่อไปนี้:

print(hex(id(df)))
print(hex(id(df.sample(frac=1))))
print(hex(id(df.sample(frac=1).reset_index(drop=True))))

และผลลัพธ์ของฉันคือ:

0x1f8a784d400
0x1f8b9d65e10
0x1f8b9d65b70

ซึ่งหมายความว่าวิธีการจะไม่ส่งคืนวัตถุเดียวกันตามที่แนะนำในความคิดเห็นล่าสุด ดังนั้นวิธีการนี้ไม่แน่นอนทำให้สับสำเนา

สิ่งที่มีประโยชน์หากคุณใช้สำหรับ Machine_learning และต้องการแยกข้อมูลเดียวกันเสมอคุณสามารถใช้:

df.sample(n=len(df), random_state=42)

สิ่งนี้ทำให้แน่ใจได้ว่าคุณเก็บตัวเลือกแบบสุ่มของคุณไว้ซ้ำได้ตลอดเวลา

AFAIK ทางออกที่ง่ายที่สุดคือ:

df_shuffled = df.reindex(np.random.permutation(df.index))

สับเปลี่ยนเฟรมข้อมูลแพนด้าโดยใช้อาร์เรย์ตัวอย่างในดัชนีกรณีนี้และสุ่มลำดับของมันจากนั้นตั้งค่าอาร์เรย์เป็นดัชนีของกรอบข้อมูล ตอนนี้จัดเรียงเฟรมข้อมูลตามดัชนี ต่อไปนี้เป็นชื่อดาต้าที่สับได้ของคุณ

import random
df = pd.DataFrame({"a":[1,2,3,4],"b":[5,6,7,8]})
index = [i for i in range(df.shape[0])]
random.shuffle(index)
df.set_index([index]).sort_index()

เอาท์พุต

    a   b
0   2   6
1   1   5
2   3   7
3   4   8

ใส่ data data แทนสถานที่ของฉันในโค้ดด้านบน

นี่เป็นอีกวิธีหนึ่ง:

df['rnd'] = np.random.rand(len(df)) df = df.sort_values(by='rnd', inplace=True).drop('rnd', axis=1)