แพนด้าค่าที่ไม่ซ้ำกันหลายคอลัมน์

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

วิธีใดที่ดีที่สุดในการคืนค่าเฉพาะของ 'Col1' และ 'Col2'

ผลลัพธ์ที่ต้องการคือ

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

pd.unique ส่งคืนค่าที่ไม่ซ้ำกันจากอาร์เรย์อินพุตหรือคอลัมน์หรือดัชนี DataFrame

อินพุตของฟังก์ชันนี้ต้องเป็นมิติเดียวดังนั้นจึงต้องรวมหลายคอลัมน์ วิธีที่ง่ายที่สุดคือเลือกคอลัมน์ที่คุณต้องการจากนั้นดูค่าในอาร์เรย์ NumPy แบบแบน การดำเนินการทั้งหมดมีลักษณะดังนี้:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

โปรดทราบว่าravel()เป็นวิธีอาร์เรย์ที่จะส่งกลับมุมมอง (ถ้าเป็นไปได้) ของอาร์เรย์หลายมิติ อาร์กิวเมนต์'K'จะบอกวิธีการทำให้อาร์เรย์แบนราบตามลำดับที่องค์ประกอบจะถูกเก็บไว้ในหน่วยความจำ (โดยทั่วไปแล้วแพนด้าจะเก็บอาร์เรย์ที่อยู่ภายใต้ลำดับที่ต่อเนื่องกันของ Fortranคอลัมน์ก่อนแถว) ซึ่งอาจเร็วกว่าการใช้คำสั่ง 'C' เริ่มต้นของเมธอดอย่างมาก

อีกวิธีหนึ่งคือเลือกคอลัมน์และส่งต่อไปยังnp.unique:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

ไม่จำเป็นต้องใช้ravel()ที่นี่เนื่องจากวิธีการจัดการกับอาร์เรย์หลายมิติ ถึงกระนั้นมันก็น่าจะช้ากว่าpd.uniqueเนื่องจากใช้อัลกอริธึมแบบเรียงลำดับแทนที่จะใช้แฮชแท็กเพื่อระบุค่าที่ไม่ซ้ำกัน

ความแตกต่างของความเร็วมีความสำคัญสำหรับ DataFrames ขนาดใหญ่ (โดยเฉพาะอย่างยิ่งหากมีค่าที่ไม่ซ้ำกันเพียงไม่กี่ค่า):

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

ฉันได้ตั้งค่าDataFrameด้วยสตริงง่ายๆสองสามบรรทัดในคอลัมน์นั้น:

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

คุณสามารถเชื่อมต่อคอลัมน์ที่คุณสนใจและเรียกuniqueใช้ฟังก์ชัน:

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

หรือ:

set(df.Col1) | set(df.Col2)

โซลูชันที่อัปเดตโดยใช้ numpy v1.13 + ต้องการการระบุแกนในnp.uniqueหากใช้หลายคอลัมน์มิฉะนั้นอาร์เรย์จะแบนโดยปริยาย

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

การเปลี่ยนแปลงนี้เปิดตัวเมื่อพฤศจิกายน 2016: https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

Non- pandassolution: ใช้ set ()

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

เอาท์พุท:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

สำหรับพวกเราที่รักแพนด้าทุกสิ่งสมัครและแน่นอนฟังก์ชั่นแลมบ์ดา:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

นี่เป็นอีกวิธีหนึ่ง

import numpy as np
set(np.concatenate(df.values))

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

ผลลัพธ์จะเป็น ['Mary', 'Joe', 'Steve', 'Bob', 'Bill']