ค้นหาแถวที่ซ้ำกันทั้งหมดรวมถึง "องค์ประกอบที่มีตัวห้อยเล็กกว่า"

R duplicatedส่งคืนเวกเตอร์ที่แสดงว่าแต่ละองค์ประกอบของเวกเตอร์หรือเฟรมข้อมูลซ้ำกันขององค์ประกอบที่มีตัวห้อยเล็กกว่า ดังนั้นหากแถวที่ 3, 4 และ 5 ของเฟรมข้อมูล 5 แถวเหมือนกันduplicatedจะให้เวกเตอร์

FALSE, FALSE, FALSE, TRUE, TRUE

แต่ในกรณีนี้ฉันอยากจะได้จริงๆ

FALSE, FALSE, TRUE, TRUE, TRUE

นั่นคือฉันต้องการทราบว่าแถวนั้นซ้ำกันหรือไม่โดยแถวที่มีตัวห้อยใหญ่กว่าด้วย

duplicatedมีfromLastข้อโต้แย้ง ส่วน "ตัวอย่าง" จะ?duplicatedแสดงวิธีการใช้งาน เพียงแค่โทรduplicatedสองครั้งครั้งด้วยfromLast=FALSEและครั้งเดียวกับและใช้แถวที่มีอย่างใดอย่างหนึ่งfromLast=TRUETRUE

การแก้ไขล่าช้า: คุณไม่ได้ให้ตัวอย่างที่ทำซ้ำได้ดังนั้นนี่คือภาพประกอบที่กรุณาสนับสนุนโดย @jbaums

vec <- c("a", "b", "c","c","c") 
vec[duplicated(vec) | duplicated(vec, fromLast=TRUE)]
## [1] "c" "c" "c"

แก้ไข: และตัวอย่างสำหรับกรณีของ data frame:

df <- data.frame(rbind(c("a","a"),c("b","b"),c("c","c"),c("c","c")))
df[duplicated(df) | duplicated(df, fromLast=TRUE), ]
##   X1 X2
## 3  c  c
## 4  c  c

คุณจะต้องรวบรวมชุดของduplicatedค่าใช้แล้วทดสอบด้วยunique %in%เช่นเคยปัญหาตัวอย่างจะทำให้กระบวนการนี้มีชีวิตชีวา

> vec <- c("a", "b", "c","c","c")
> vec[ duplicated(vec)]
[1] "c" "c"
> unique(vec[ duplicated(vec)])
[1] "c"
>  vec %in% unique(vec[ duplicated(vec)]) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

แถวที่ซ้ำกันในดาต้าเฟรมสามารถหาได้ด้วยdplyrการทำ

df = bind_rows(iris, head(iris, 20)) # build some test data
df %>% group_by_all() %>% filter(n()>1) %>% ungroup()

เพื่อยกเว้นบางคอลัมน์ group_by_at(vars(-var1, -var2))สามารถใช้แทนในการจัดกลุ่มข้อมูลได้

หากดัชนีแถวไม่ใช่แค่ข้อมูลที่จำเป็นจริงๆคุณสามารถเพิ่มดัชนีเหล่านี้ก่อนได้ใน:

df %>% add_rownames %>% group_by_at(vars(-rowname)) %>% filter(n()>1) %>% pull(rowname)

ฉันมีคำถามเหมือนกันและถ้าฉันจำไม่ผิดนี่ก็เป็นคำตอบเช่นกัน

vec[col %in% vec[duplicated(vec$col),]$col]

Dunno อันไหนเร็วกว่า แต่ชุดข้อมูลที่ฉันใช้อยู่นั้นไม่ใหญ่พอที่จะทำการทดสอบซึ่งทำให้เกิดช่องว่างของเวลาที่สำคัญ

นี่คือโซลูชันของ @Joshua Ulrich เป็นฟังก์ชัน รูปแบบนี้ช่วยให้คุณสามารถใช้รหัสนี้ในลักษณะเดียวกับที่คุณจะใช้ duplicated ():

allDuplicated <- function(vec){
  front <- duplicated(vec)
  back <- duplicated(vec, fromLast = TRUE)
  all_dup <- front + back > 0
  return(all_dup)
}

โดยใช้ตัวอย่างเดียวกัน:

vec <- c("a", "b", "c","c","c") 
allDuplicated(vec) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

หากคุณสนใจว่าแถวใดที่ซ้ำกันสำหรับบางคอลัมน์คุณสามารถใช้วิธีplyr :

ddply(df, .(col1, col2), function(df) if(nrow(df) > 1) df else c())

การเพิ่มตัวแปร count ด้วยdplyr :

df %>% add_count(col1, col2) %>% filter(n > 1)  # data frame
df %>% add_count(col1, col2) %>% select(n) > 1  # logical vector

สำหรับแถวที่ซ้ำกัน (พิจารณาจากคอลัมน์ทั้งหมด):

df %>% group_by_all %>% add_tally %>% ungroup %>% filter(n > 1)
df %>% group_by_all %>% add_tally %>% ungroup %>% select(n) > 1

ประโยชน์ของแนวทางเหล่านี้คือคุณสามารถระบุจำนวนรายการที่ซ้ำกันเพื่อเป็นการตัดออก

ฉันมีปัญหาที่คล้ายกัน แต่ฉันต้องการระบุแถวที่ซ้ำกันตามค่าในคอลัมน์เฉพาะ ฉันคิดโซลูชันdplyrต่อไปนี้:

df <- df %>% 
  group_by(Column1, Column2, Column3) %>% 
  mutate(Duplicated = case_when(length(Column1)>1 ~ "Yes",
                            TRUE ~ "No")) %>%
  ungroup()

โค้ดจะจัดกลุ่มแถวตามคอลัมน์เฉพาะ หากความยาวของกลุ่มมากกว่า 1 รหัสจะทำเครื่องหมายแถวทั้งหมดในกลุ่มว่าซ้ำกัน เมื่อเสร็จแล้วคุณสามารถใช้Duplicatedคอลัมน์สำหรับการกรองเป็นต้น