pandas รับแถวที่ไม่ได้อยู่ใน dataframe อื่น

ฉันมีกรอบข้อมูลแพนด้าสองตัวที่มีบางแถวเหมือนกัน

สมมติว่า dataframe2 เป็นชุดย่อยของ dataframe1

ฉันจะได้แถวของ dataframe1 ที่ไม่ได้อยู่ใน dataframe2 ได้อย่างไร?

df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]}) 
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 'col2' : [10, 11, 12]})

วิธีหนึ่งคือการเก็บผลลัพธ์ของฟอร์มผสานภายในทั้งสอง dfs จากนั้นเราสามารถเลือกแถวได้เมื่อค่าของคอลัมน์หนึ่งไม่อยู่ในรูปแบบนี้:

In [119]:

common = df1.merge(df2,on=['col1','col2'])
print(common)
df1[(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))]
   col1  col2
0     1    10
1     2    11
2     3    12
Out[119]:
   col1  col2
3     4    13
4     5    14

แก้ไข

วิธีอื่นที่คุณพบคือการใช้isinซึ่งจะสร้างNaNแถวที่คุณสามารถปล่อย:

In [138]:

df1[~df1.isin(df2)].dropna()
Out[138]:
   col1  col2
3     4    13
4     5    14

อย่างไรก็ตามหาก df2 ไม่เริ่มแถวในลักษณะเดียวกันสิ่งนี้จะไม่ทำงาน:

df2 = pd.DataFrame(data = {'col1' : [2, 3,4], 'col2' : [11, 12,13]})

จะผลิต df ทั้งหมด:

In [140]:

df1[~df1.isin(df2)].dropna()
Out[140]:
   col1  col2
0     1    10
1     2    11
2     3    12
3     4    13
4     5    14

โซลูชันที่เลือกไว้ในปัจจุบันให้ผลลัพธ์ที่ไม่ถูกต้อง เพื่อแก้ปัญหานี้อย่างถูกต้องเราสามารถทำการรวมซ้ายdf1ไปถึงdf2ตรวจสอบให้แน่ใจว่าได้รับแถวที่ไม่ซ้ำกันก่อนdf2ก่อน

ก่อนอื่นเราต้องแก้ไข DataFrame ดั้งเดิมเพื่อเพิ่มแถวด้วย data [3, 10]

df1 = pd.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3], 
                           'col2' : [10, 11, 12, 13, 14, 10]}) 
df2 = pd.DataFrame(data = {'col1' : [1, 2, 3],
                           'col2' : [10, 11, 12]})

df1

   col1  col2
0     1    10
1     2    11
2     3    12
3     4    13
4     5    14
5     3    10

df2

   col1  col2
0     1    10
1     2    11
2     3    12

ทำการซ้ายเข้าร่วมการขจัดซ้ำกันในdf2เพื่อให้แถวของแต่ละdf1ร่วมกับว่า 1 df2แถว ใช้พารามิเตอร์indicatorเพื่อส่งกลับคอลัมน์พิเศษที่ระบุว่าแถวมาจากไหน

df_all = df1.merge(df2.drop_duplicates(), on=['col1','col2'], 
                   how='left', indicator=True)
df_all

   col1  col2     _merge
0     1    10       both
1     2    11       both
2     3    12       both
3     4    13  left_only
4     5    14  left_only
5     3    10  left_only

สร้างเงื่อนไขบูลีน:

df_all['_merge'] == 'left_only'

0    False
1    False
2    False
3     True
4     True
5     True
Name: _merge, dtype: bool

เหตุใดโซลูชันอื่น ๆ จึงผิด

วิธีแก้ปัญหาสองสามข้อนั้นทำผิดพลาดเหมือนกัน - พวกเขาตรวจสอบเฉพาะว่าแต่ละค่านั้นมีความเป็นอิสระในแต่ละคอลัมน์ไม่รวมกันในแถวเดียวกัน การเพิ่มแถวสุดท้ายซึ่งไม่ซ้ำกัน แต่มีค่าจากทั้งสองคอลัมน์จากการdf2เปิดเผยข้อผิดพลาด:

common = df1.merge(df2,on=['col1','col2'])
(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))
0    False
1    False
2    False
3     True
4     True
5    False
dtype: bool

วิธีนี้ได้รับผลลัพธ์ที่ผิดเหมือนกัน:

df1.isin(df2.to_dict('l')).all(1)

สมมติว่าดัชนีมีความสอดคล้องกันใน dataframes (โดยไม่คำนึงถึงค่า col ที่แท้จริง):

df1[~df1.index.isin(df2.index)]

ตามที่บอกใบ้ไว้แล้ว isin ต้องการคอลัมน์และดัชนีให้เหมือนกันสำหรับการแข่งขัน หากการจับคู่ควรอยู่ในเนื้อหาแถวเท่านั้นวิธีหนึ่งในการรับมาสก์สำหรับกรองแถวที่มีอยู่คือการแปลงแถวเป็นดัชนี (หลายรายการ):

In [77]: df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3], 'col2' : [10, 11, 12, 13, 14, 10]})
In [78]: df2 = pandas.DataFrame(data = {'col1' : [1, 3, 4], 'col2' : [10, 12, 13]})
In [79]: df1.loc[~df1.set_index(list(df1.columns)).index.isin(df2.set_index(list(df2.columns)).index)]
Out[79]:
   col1  col2
1     2    11
4     5    14
5     3    10

หากควรนำดัชนีมาพิจารณา set_index จะมีอาร์กิวเมนต์คำหลักต่อท้ายเพื่อผนวกคอลัมน์ไปยังดัชนีที่มีอยู่ หากคอลัมน์ไม่เรียงแถวรายการ (df.columns) สามารถถูกแทนที่ด้วยข้อมูลจำเพาะของคอลัมน์เพื่อจัดเรียงข้อมูล

pandas.MultiIndex.from_tuples(df<N>.to_records(index = False).tolist())

อาจใช้อีกทางหนึ่งในการสร้างดัชนีแม้ว่าฉันจะสงสัยว่ามันมีประสิทธิภาพมากกว่า

สมมติว่าคุณมีสอง dataframes, df_1 และ df_2 มีหลายฟิลด์ (column_names) และคุณต้องการค้นหาเฉพาะรายการเหล่านั้นใน df_1 ที่ไม่ได้อยู่ใน df_2 บนพื้นฐานของบางฟิลด์ (เช่น fields_x, fields_y) ทำตามขั้นตอนต่อไปนี้

Step1 เพิ่มคอลัมน์ key1 และ key2 เป็น df_1 และ df_2 ตามลำดับ

ขั้นที่ 2. ทำการรวมไฟล์ข้อมูลดังที่แสดงด้านล่าง field_x และ field_y เป็นคอลัมน์ที่เราต้องการ

ขั้นที่ 3. เลือกเฉพาะแถวเหล่านั้นจาก df_1 โดยที่ key1 ไม่เท่ากับ key2

Step4.Drop key1 และ key2

วิธีนี้จะแก้ปัญหาของคุณและทำงานได้อย่างรวดเร็วแม้กับชุดข้อมูลขนาดใหญ่ ฉันลองใช้กับ dataframes ที่มีมากกว่า 1,000,000 แถว

df_1['key1'] = 1
df_2['key2'] = 1
df_1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'left')
df_1 = df_1[~(df_1.key2 == df_1.key1)]
df_1 = df_1.drop(['key1','key2'], axis=1)

สายไปหน่อย แต่มันอาจคุ้มค่าที่จะตรวจสอบพารามิเตอร์ "indicator" ของ pd.merge

ดูคำถามอื่นสำหรับตัวอย่างนี้: เปรียบเทียบ PandaS DataFrames และส่งคืนแถวที่หายไปจากแถวแรก

คุณสามารถทำได้โดยใช้วิธีisin (dict) :

In [74]: df1[~df1.isin(df2.to_dict('l')).all(1)]
Out[74]:
   col1  col2
3     4    13
4     5    14

คำอธิบาย:

In [75]: df2.to_dict('l')
Out[75]: {'col1': [1, 2, 3], 'col2': [10, 11, 12]}

In [76]: df1.isin(df2.to_dict('l'))
Out[76]:
    col1   col2
0   True   True
1   True   True
2   True   True
3  False  False
4  False  False

In [77]: df1.isin(df2.to_dict('l')).all(1)
Out[77]:
0     True
1     True
2     True
3    False
4    False
dtype: bool

นอกจากนี้คุณยังสามารถ concat df1, df2:

x = pd.concat([df1, df2])

แล้วลบรายการที่ซ้ำทั้งหมด:

y = x.drop_duplicates(keep=False, inplace=False)

เกี่ยวกับสิ่งนี้:

df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 
                               'col2' : [10, 11, 12, 13, 14]}) 
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 
                               'col2' : [10, 11, 12]})
records_df2 = set([tuple(row) for row in df2.values])
in_df2_mask = np.array([tuple(row) in records_df2 for row in df1.values])
result = df1[~in_df2_mask]

นี่เป็นอีกวิธีในการแก้ปัญหานี้:

df1[~df1.index.isin(df1.merge(df2, how='inner', on=['col1', 'col2']).index)]

หรือ:

df1.loc[df1.index.difference(df1.merge(df2, how='inner', on=['col1', 'col2']).index)]

วิธีการของฉันในการทำเช่นนี้เกี่ยวข้องกับการเพิ่มคอลัมน์ใหม่ที่ไม่ซ้ำกันในหนึ่ง dataframe และใช้สิ่งนี้เพื่อเลือกว่าจะเก็บรายการหรือไม่

df2[col3] = 1
df1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'outer')
df1['Empt'].fillna(0, inplace=True)

สิ่งนี้ทำให้ทุกรายการใน df1 มีรหัส - 0 ถ้ามันไม่ซ้ำกับ df1, 1 ถ้ามันอยู่ใน dataFrames ทั้งสอง จากนั้นคุณใช้สิ่งนี้เพื่อ จำกัด สิ่งที่คุณต้องการ

answer = nonuni[nonuni['Empt'] == 0]

df = df.merge(same.drop_duplicates(), on=['col1','col2'], 
               how='left', indicator=True)

df[df['_merge'] == 'left_only'].to_csv('output.csv')