เลือกแถวแรกตามกลุ่ม

Question 1

จากดาต้าเฟรมเช่นนี้

test <- data.frame('id'= rep(1:5,2), 'string'= LETTERS[1:10])
test <- test[order(test$id), ]
rownames(test) <- 1:10

> test
    id string
 1   1      A
 2   1      F
 3   2      B
 4   2      G
 5   3      C
 6   3      H
 7   4      D
 8   4      I
 9   5      E
 10  5      J

ฉันต้องการสร้างใหม่โดยมีแถวแรกของแต่ละคู่ id / string หาก sqldf ยอมรับรหัส R ภายในแบบสอบถามอาจมีลักษณะดังนี้:

res <- sqldf("select id, min(rownames(test)), string 
              from test 
              group by id, string")

> res
    id string
 1   1      A
 3   2      B
 5   3      C
 7   4      D
 9   5      E

มีวิธีแก้ไขสั้น ๆ ในการสร้างคอลัมน์ใหม่เช่น

test$row <- rownames(test)

และเรียกใช้แบบสอบถาม sqldf เดียวกันกับ min (row)?

Question 2

คุณสามารถใช้duplicatedเพื่อดำเนินการนี้ได้อย่างรวดเร็ว

test[!duplicated(test$id),]

เกณฑ์มาตรฐานสำหรับผู้คลั่งไคล้ความเร็ว:

ju <- function() test[!duplicated(test$id),]
gs1 <- function() do.call(rbind, lapply(split(test, test$id), head, 1))
gs2 <- function() do.call(rbind, lapply(split(test, test$id), `[`, 1, ))
jply <- function() ddply(test,.(id),function(x) head(x,1))
jdt <- function() {
  testd <- as.data.table(test)
  setkey(testd,id)
  # Initial solution (slow)
  # testd[,lapply(.SD,function(x) head(x,1)),by = key(testd)]
  # Faster options :
  testd[!duplicated(id)]               # (1)
  # testd[, .SD[1L], by=key(testd)]    # (2)
  # testd[J(unique(id)),mult="first"]  # (3)
  # testd[ testd[,.I[1L],by=id] ]      # (4) needs v1.8.3. Allows 2nd, 3rd etc
}

library(plyr)
library(data.table)
library(rbenchmark)

# sample data
set.seed(21)
test <- data.frame(id=sample(1e3, 1e5, TRUE), string=sample(LETTERS, 1e5, TRUE))
test <- test[order(test$id), ]

benchmark(ju(), gs1(), gs2(), jply(), jdt(),
    replications=5, order="relative")[,1:6]
#     test replications elapsed relative user.self sys.self
# 1   ju()            5    0.03    1.000      0.03     0.00
# 5  jdt()            5    0.03    1.000      0.03     0.00
# 3  gs2()            5    3.49  116.333      2.87     0.58
# 2  gs1()            5    3.58  119.333      3.00     0.58
# 4 jply()            5    3.69  123.000      3.11     0.51

ลองอีกครั้ง แต่มีเพียงคู่แข่งจากความร้อนแรกและมีข้อมูลมากขึ้นและการจำลองมากขึ้น

set.seed(21)
test <- data.frame(id=sample(1e4, 1e6, TRUE), string=sample(LETTERS, 1e6, TRUE))
test <- test[order(test$id), ]
benchmark(ju(), jdt(), order="relative")[,1:6]
#    test replications elapsed relative user.self sys.self
# 1  ju()          100    5.48    1.000      4.44     1.00
# 2 jdt()          100    6.92    1.263      5.70     1.15

Question 3

ฉันชอบวิธี dplyr

group_by(id) ตามด้วย

filter(row_number()==1) หรือ
slice(1) หรือ
slice_head(1) # (dplyr => 1.0)
top_n(n = -1)
- top_n()ใช้ฟังก์ชันอันดับภายใน Negative เลือกจากด้านล่างของอันดับ

ในบางกรณีการจัดเรียงรหัสหลังจาก group_by อาจจำเป็น

library(dplyr)

# using filter(), top_n() or slice()

m1 <-
test %>% 
  group_by(id) %>% 
  filter(row_number()==1)

m2 <-
test %>% 
  group_by(id) %>% 
  slice(1)

m3 <-
test %>% 
  group_by(id) %>% 
  top_n(n = -1)

ทั้งสามวิธีให้ผลลัพธ์เหมือนกัน

# A tibble: 5 x 2
# Groups:   id [5]
     id string
  <int> <fct> 
1     1 A     
2     2 B     
3     3 C     
4     4 D     
5     5 E

Question 4

แล้ว

DT <- data.table(test)
setkey(DT, id)

DT[J(unique(id)), mult = "first"]

แก้ไข

นอกจากนี้ยังมีวิธีการเฉพาะdata.tablesซึ่งจะส่งคืนแถวแรกด้วยคีย์

jdtu <- function() unique(DT)

ฉันคิดว่าหากคุณกำลังสั่งซื้อtestนอกเกณฑ์มาตรฐานคุณสามารถลบsetkeyและdata.tableการแปลงออกจากเกณฑ์มาตรฐานได้เช่นกัน (เนื่องจากโดยทั่วไปแล้ว setkey จะเรียงลำดับตาม id เช่นเดียวกับorder)

set.seed(21)
test <- data.frame(id=sample(1e3, 1e5, TRUE), string=sample(LETTERS, 1e5, TRUE))
test <- test[order(test$id), ]
DT <- data.table(DT, key = 'id')
ju <- function() test[!duplicated(test$id),]

jdt <- function() DT[J(unique(id)),mult = 'first']


 library(rbenchmark)
benchmark(ju(), jdt(), replications = 5)
##    test replications elapsed relative user.self sys.self 
## 2 jdt()            5    0.01        1      0.02        0        
## 1  ju()            5    0.05        5      0.05        0

และมีข้อมูลเพิ่มเติม

** แก้ไขด้วยวิธีการเฉพาะ **

set.seed(21)
test <- data.frame(id=sample(1e4, 1e6, TRUE), string=sample(LETTERS, 1e6, TRUE))
test <- test[order(test$id), ]
DT <- data.table(test, key = 'id')
       test replications elapsed relative user.self sys.self 
2  jdt()            5    0.09     2.25      0.09     0.00    
3 jdtu()            5    0.04     1.00      0.05     0.00      
1   ju()            5    0.22     5.50      0.19     0.03

วิธีที่ไม่เหมือนใครทำได้เร็วที่สุดที่นี่

Question 5

ddplyตัวเลือกง่ายๆ:

ddply(test,.(id),function(x) head(x,1))

หากความเร็วเป็นปัญหาอาจใช้แนวทางเดียวกันกับdata.table:

testd <- data.table(test)
setkey(testd,id)
testd[,.SD[1],by = key(testd)]

หรืออาจเร็วกว่ามาก:

testd[testd[, .I[1], by = key(testd]$V1]

Question 6

ตอนนี้สำหรับdplyrการเพิ่มตัวนับที่แตกต่างกัน

df %>%
    group_by(aa, bb) %>%
    summarise(first=head(value,1), count=n_distinct(value))

คุณสร้างกลุ่มพวกเขาสรุปภายในกลุ่ม

หากข้อมูลเป็นตัวเลขคุณสามารถใช้:
first(value)[ยังมีlast(value)] แทนhead(value, 1)

ดู: http://cran.rstudio.com/web/packages/dplyr/vignettes/introduction.html

เต็ม:

> df
Source: local data frame [16 x 3]

   aa bb value
1   1  1   GUT
2   1  1   PER
3   1  2   SUT
4   1  2   GUT
5   1  3   SUT
6   1  3   GUT
7   1  3   PER
8   2  1   221
9   2  1   224
10  2  1   239
11  2  2   217
12  2  2   221
13  2  2   224
14  3  1   GUT
15  3  1   HUL
16  3  1   GUT

> library(dplyr)
> df %>%
>   group_by(aa, bb) %>%
>   summarise(first=head(value,1), count=n_distinct(value))

Source: local data frame [6 x 4]
Groups: aa

  aa bb first count
1  1  1   GUT     2
2  1  2   SUT     2
3  1  3   SUT     3
4  2  1   221     3
5  2  2   217     3
6  3  1   GUT     2

Question 7

(1) SQLite มีrowidคอลัมน์หลอกในตัวดังนั้นจึงใช้งานได้:

sqldf("select min(rowid) rowid, id, string 
               from test 
               group by id")

การให้:

  rowid id string
1     1  1      A
2     3  2      B
3     5  3      C
4     7  4      D
5     9  5      E

(2) นอกจากนี้sqldfตัวเองยังมีrow.names=ข้อโต้แย้ง:

sqldf("select min(cast(row_names as real)) row_names, id, string 
              from test 
              group by id", row.names = TRUE)

การให้:

  id string
1  1      A
3  2      B
5  3      C
7  4      D
9  5      E

(3) ทางเลือกที่สามซึ่งผสมผสานองค์ประกอบของทั้งสองอย่างข้างต้นอาจดีกว่า:

sqldf("select min(rowid) row_names, id, string 
               from test 
               group by id", row.names = TRUE)

การให้:

  id string
1  1      A
3  2      B
5  3      C
7  4      D
9  5      E

โปรดทราบว่าทั้งสามส่วนนี้ใช้ส่วนขยาย SQLite ไปยัง SQL ซึ่งการใช้minหรือmaxได้รับการรับรองว่าจะส่งผลให้คอลัมน์อื่น ๆ ถูกเลือกจากแถวเดียวกัน (ในฐานข้อมูลที่ใช้ SQL อื่น ๆ ซึ่งอาจไม่รับประกัน)

Question 8

ตัวเลือก R ฐานคือsplit()- lapply()- do.call()สำนวน:

> do.call(rbind, lapply(split(test, test$id), head, 1))
  id string
1  1      A
2  2      B
3  3      C
4  4      D
5  5      E

ตัวเลือกที่ตรงมากขึ้นคือการฟังก์ชั่น:lapply()[

> do.call(rbind, lapply(split(test, test$id), `[`, 1, ))
  id string
1  1      A
2  2      B
3  3      C
4  4      D
5  5      E

ช่องว่างลูกน้ำ1, )ตอนท้ายของการlapply()โทรเป็นสิ่งสำคัญเนื่องจากเทียบเท่ากับการโทร[1, ]เพื่อเลือกแถวแรกและคอลัมน์ทั้งหมด