จะ "เลือกเฉพาะ" ในคอลัมน์กรอบข้อมูลหลายคอลัมน์ในแพนด้าได้อย่างไร

ฉันกำลังมองหาวิธีทำเทียบเท่ากับ SQL

SELECT DISTINCT col1, col2 FROM dataframe_table

การเปรียบเทียบ sql ของแพนด้าไม่มีอะไรเกี่ยวกับdistinct.

.unique() ใช้ได้กับคอลัมน์เดียวเท่านั้นดังนั้นฉันคิดว่าฉันสามารถต่อคอลัมน์หรือวางไว้ในรายการ / ทูเพิลและเปรียบเทียบแบบนั้น แต่ดูเหมือนว่าแพนด้าควรทำในลักษณะที่เป็นธรรมชาติมากกว่า

ฉันพลาดอะไรบางอย่างที่ชัดเจนหรือไม่มีทางทำเช่นนี้?

คุณสามารถใช้drop_duplicatesวิธีการรับแถวที่ไม่ซ้ำกันใน DataFrame:

In [29]: df = pd.DataFrame({'a':[1,2,1,2], 'b':[3,4,3,5]})

In [30]: df
Out[30]:
   a  b
0  1  3
1  2  4
2  1  3
3  2  5

In [32]: df.drop_duplicates()
Out[32]:
   a  b
0  1  3
1  2  4
3  2  5

คุณสามารถระบุsubsetอาร์กิวเมนต์คำหลักได้หากคุณต้องการใช้เฉพาะบางคอลัมน์เพื่อกำหนดความเป็นเอกลักษณ์ ดูdocstring

ฉันได้ลองวิธีแก้ปัญหาต่างๆแล้ว อันดับแรกคือ:

a_df=np.unique(df[['col1','col2']], axis=0)

และทำงานได้ดีสำหรับข้อมูลที่ไม่ใช่วัตถุอีกวิธีหนึ่งในการทำเช่นนี้และเพื่อหลีกเลี่ยงข้อผิดพลาด (สำหรับประเภทคอลัมน์ออบเจ็กต์) คือการใช้ drop_duplicates ()

a_df=df.drop_duplicates(['col1','col2'])[['col1','col2']]

คุณยังสามารถใช้ SQL เพื่อทำสิ่งนี้ได้ แต่มันทำงานช้ามากในกรณีของฉัน:

from pandasql import sqldf
q="""SELECT DISTINCT col1, col2 FROM df;"""
pysqldf = lambda q: sqldf(q, globals())
a_df = pysqldf(q)

ไม่มีuniqueเมธอดสำหรับ df หากจำนวนค่าที่ไม่ซ้ำกันสำหรับแต่ละคอลัมน์เหมือนกันสิ่งต่อไปนี้จะใช้ได้: df.apply(pd.Series.unique)แต่ถ้าไม่เช่นนั้นคุณจะได้รับข้อผิดพลาด อีกวิธีหนึ่งคือการจัดเก็บค่าในรูปแบบที่กำหนดไว้ในชื่อคอลัมน์:

In [111]:
df = pd.DataFrame({'a':[0,1,2,2,4], 'b':[1,1,1,2,2]})
d={}
for col in df:
    d[col] = df[col].unique()
d

Out[111]:
{'a': array([0, 1, 2, 4], dtype=int64), 'b': array([1, 2], dtype=int64)}

เพื่อแก้ปัญหาที่คล้ายกันฉันใช้groupby:

print(f"Distinct entries: {len(df.groupby(['col1', 'col2']))}")

ความเหมาะสมจะขึ้นอยู่กับสิ่งที่คุณต้องการทำกับผลลัพธ์หรือไม่ (ในกรณีของฉันฉันแค่ต้องการให้เทียบเท่าCOUNT DISTINCTตามที่แสดง)

ฉันคิดว่าการใช้drop duplicateบางครั้งอาจไม่มีประโยชน์นักขึ้นอยู่กับดาต้าเฟรม

ฉันพบสิ่งนี้:

[in] df['col_1'].unique()
[out] array(['A', 'B', 'C'], dtype=object)

และทำงานให้ฉัน!

https://riptutorial.com/pandas/example/26077/select-distinct-rows-across-dataframe

คุณสามารถนำชุดของคอลัมน์และลบชุดที่เล็กกว่าออกจากชุดใหญ่:

distinct_values = set(df['a'])-set(df['b'])