แปลงรายการเฟรมข้อมูลเป็นกรอบข้อมูลเดียว

ฉันมีรหัสที่ท้ายสถานที่ด้วยรายการของ data frames ซึ่งฉันต้องการแปลงเป็น data data ขนาดใหญ่เพียงอันเดียว

ฉันได้รับคำแนะนำจากคำถามก่อนหน้านี้ซึ่งพยายามทำสิ่งที่คล้ายกัน แต่ซับซ้อนกว่า

นี่คือตัวอย่างของสิ่งที่ฉันเริ่มต้นด้วย (นี่ง่ายสำหรับการทำภาพประกอบ):

listOfDataFrames <- vector(mode = "list", length = 100)

for (i in 1:100) {
    listOfDataFrames[[i]] <- data.frame(a=sample(letters, 500, rep=T),
                             b=rnorm(500), c=rnorm(500))
}

ฉันกำลังใช้สิ่งนี้อยู่:

  df <- do.call("rbind", listOfDataFrames)

ใช้ bind_rows () จากแพ็คเกจ dplyr:

bind_rows(list_of_dataframes, .id = "column_label")

อีกตัวเลือกหนึ่งคือการใช้ฟังก์ชั่น plyr:

df <- ldply(listOfDataFrames, data.frame)

ช้ากว่าเดิมเล็กน้อย:

> system.time({ df <- do.call("rbind", listOfDataFrames) })
   user  system elapsed 
   0.25    0.00    0.25 
> system.time({ df2 <- ldply(listOfDataFrames, data.frame) })
   user  system elapsed 
   0.30    0.00    0.29
> identical(df, df2)
[1] TRUE

ฉันเดาว่าการใช้do.call("rbind", ...)จะเป็นวิธีที่เร็วที่สุดที่คุณจะพบเว้นแต่คุณสามารถทำสิ่งต่าง ๆ เช่น (a) ใช้เมทริกซ์แทน data.frames และ (b) preallocate เมทริกซ์สุดท้ายและกำหนดให้มันแทนที่จะเติบโต .

แก้ไข 1 :

จากความคิดเห็นของ Hadley นี่เป็นเวอร์ชั่นล่าสุดของrbind.fillจาก CRAN:

> system.time({ df3 <- rbind.fill(listOfDataFrames) })
   user  system elapsed 
   0.24    0.00    0.23 
> identical(df, df3)
[1] TRUE

สิ่งนี้ง่ายกว่าการโยงและเร็วกว่าเล็กน้อย และเท่าที่ฉันเข้าใจเวอร์ชันของplyrgitHubนั้นเร็วกว่านี้มาก

เพื่อความสมบูรณ์ฉันคิดว่าคำตอบสำหรับคำถามนี้ต้องได้รับการอัปเดต "ฉันเดาว่าการใช้do.call("rbind", ...)จะเป็นวิธีที่เร็วที่สุดที่คุณจะพบ ... " มันอาจจะเป็นจริงในเดือนพฤษภาคม 2010 และอีกไม่นานหลังจากนั้น แต่ในเดือนกันยายน 2554 มีการrbindlistแนะนำฟังก์ชั่นใหม่ในdata.tableแพ็คเกจรุ่น 1.8.2 ด้วยคำพูดที่ว่า "สิ่งนี้ทำได้เหมือนกันdo.call("rbind",l)แต่เร็วกว่ามาก" เร็วเท่าไหร่

library(rbenchmark)
benchmark(
  do.call = do.call("rbind", listOfDataFrames),
  plyr_rbind.fill = plyr::rbind.fill(listOfDataFrames), 
  plyr_ldply = plyr::ldply(listOfDataFrames, data.frame),
  data.table_rbindlist = as.data.frame(data.table::rbindlist(listOfDataFrames)),
  replications = 100, order = "relative", 
  columns=c('test','replications', 'elapsed','relative')
  ) 

                  test replications elapsed relative
4 data.table_rbindlist          100    0.11    1.000
1              do.call          100    9.39   85.364
2      plyr_rbind.fill          100   12.08  109.818
3           plyr_ldply          100   15.14  137.636

รหัส:

library(microbenchmark)

dflist <- vector(length=10,mode="list")
for(i in 1:100)
{
  dflist[[i]] <- data.frame(a=runif(n=260),b=runif(n=260),
                            c=rep(LETTERS,10),d=rep(LETTERS,10))
}


mb <- microbenchmark(
plyr::rbind.fill(dflist),
dplyr::bind_rows(dflist),
data.table::rbindlist(dflist),
plyr::ldply(dflist,data.frame),
do.call("rbind",dflist),
times=1000)

ggplot2::autoplot(mb)

เซสชั่น:

R version 3.3.0 (2016-05-03)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1

> packageVersion("plyr")
[1] ‘1.8.4’
> packageVersion("dplyr")
[1] ‘0.5.0’
> packageVersion("data.table")
[1] ‘1.9.6’

อัปเดต : เรียกใช้ซ้ำ 31-Jan-2018 วิ่งบนคอมพิวเตอร์เครื่องเดียวกัน แพ็คเกจใหม่ เพิ่มเมล็ดสำหรับคนรักเมล็ด

set.seed(21)
library(microbenchmark)

dflist <- vector(length=10,mode="list")
for(i in 1:100)
{
  dflist[[i]] <- data.frame(a=runif(n=260),b=runif(n=260),
                            c=rep(LETTERS,10),d=rep(LETTERS,10))
}


mb <- microbenchmark(
  plyr::rbind.fill(dflist),
  dplyr::bind_rows(dflist),
  data.table::rbindlist(dflist),
  plyr::ldply(dflist,data.frame),
  do.call("rbind",dflist),
  times=1000)

ggplot2::autoplot(mb)+theme_bw()


R version 3.4.0 (2017-04-21)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1

> packageVersion("plyr")
[1] ‘1.8.4’
> packageVersion("dplyr")
[1] ‘0.7.2’
> packageVersion("data.table")
[1] ‘1.10.4’

อัปเดต : เรียกใช้อีกครั้ง 06 ส.ค. - 2019

set.seed(21)
library(microbenchmark)

dflist <- vector(length=10,mode="list")
for(i in 1:100)
{
  dflist[[i]] <- data.frame(a=runif(n=260),b=runif(n=260),
                            c=rep(LETTERS,10),d=rep(LETTERS,10))
}


mb <- microbenchmark(
  plyr::rbind.fill(dflist),
  dplyr::bind_rows(dflist),
  data.table::rbindlist(dflist),
  plyr::ldply(dflist,data.frame),
  do.call("rbind",dflist),
  purrr::map_df(dflist,dplyr::bind_rows),
  times=1000)

ggplot2::autoplot(mb)+theme_bw()

R version 3.6.0 (2019-04-26)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Ubuntu 18.04.2 LTS

Matrix products: default
BLAS:   /usr/lib/x86_64-linux-gnu/openblas/libblas.so.3
LAPACK: /usr/lib/x86_64-linux-gnu/libopenblasp-r0.2.20.so

packageVersion("plyr")
packageVersion("dplyr")
packageVersion("data.table")
packageVersion("purrr")

>> packageVersion("plyr")
[1] ‘1.8.4’
>> packageVersion("dplyr")
[1] ‘0.8.3’
>> packageVersion("data.table")
[1] ‘1.12.2’
>> packageVersion("purrr")
[1] ‘0.3.2’

นอกจากนี้ยังมีในbind_rows(x, ...)dplyr

> system.time({ df.Base <- do.call("rbind", listOfDataFrames) })
   user  system elapsed 
   0.08    0.00    0.07 
> 
> system.time({ df.dplyr <- as.data.frame(bind_rows(listOfDataFrames)) })
   user  system elapsed 
   0.01    0.00    0.02 
> 
> identical(df.Base, df.dplyr)
[1] TRUE

นี่เป็นอีกวิธีหนึ่งที่สามารถทำได้ (เพียงเพิ่มคำตอบเพราะreduceเป็นเครื่องมือที่มีประสิทธิภาพมากซึ่งมักถูกมองว่าเป็นการแทนที่ลูปในกรณีนี้ไม่ได้เร็วกว่า do.call)

ใช้ฐาน R:

df <- Reduce(rbind, listOfDataFrames)

หรือใช้ tidyverse:

library(tidyverse) # or, library(dplyr); library(purrr)
df <- listOfDataFrames %>% reduce(bind_rows)

ควรทำอย่างไรใน tidyverse:

df.dplyr.purrr <- listOfDataFrames %>% map_df(bind_rows)

ภาพที่ได้รับการอัปเดตสำหรับผู้ที่ต้องการเปรียบเทียบคำตอบล่าสุด (ฉันต้องการเปรียบเทียบ purrr กับโซลูชัน dplyr) โดยทั่วไปฉันรวมคำตอบจาก @TheVTM และ @rmf

รหัส:

library(microbenchmark)
library(data.table)
library(tidyverse)

dflist <- vector(length=10,mode="list")
for(i in 1:100)
{
  dflist[[i]] <- data.frame(a=runif(n=260),b=runif(n=260),
                            c=rep(LETTERS,10),d=rep(LETTERS,10))
}


mb <- microbenchmark(
  dplyr::bind_rows(dflist),
  data.table::rbindlist(dflist),
  purrr::map_df(dflist, bind_rows),
  do.call("rbind",dflist),
  times=500)

ggplot2::autoplot(mb)

ข้อมูลเซสชั่น:

sessionInfo()
R version 3.4.1 (2017-06-30)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1

แพ็คเกจเวอร์ชัน:

> packageVersion("tidyverse")
[1] ‘1.1.1’
> packageVersion("data.table")
[1] ‘1.10.0’

สิ่งเดียวที่การแก้ปัญหาด้วยdata.tableหายไปคือคอลัมน์ตัวระบุที่จะทราบว่าดาต้าเฟรมในรายการข้อมูลมาจากไหน

บางสิ่งเช่นนี้

df_id <- data.table::rbindlist(listOfDataFrames, idcol = TRUE)

idcolพารามิเตอร์เพิ่มคอลัมน์ ( .id) ระบุที่มาของ dataframe ที่มีอยู่ในรายการ ผลลัพธ์จะเป็นดังนี้:

.id a         b           c
1   u   -0.05315128 -1.31975849 
1   b   -1.00404849 1.15257952  
1   y   1.17478229  -0.91043925 
1   q   -1.65488899 0.05846295  
1   c   -1.43730524 0.95245909  
1   b   0.56434313  0.93813197