วิธีการลบแถวโดยการอ้างอิงใน data.table?

data.tableคำถามของฉันจะเกี่ยวข้องกับการที่ได้รับมอบหมายโดยอ้างอิงกับการคัดลอกใน ฉันต้องการทราบว่าใครสามารถลบแถวโดยการอ้างอิงคล้ายกับ

DT[ , someCol := NULL]

ฉันต้องการรู้เกี่ยวกับ

DT[someRow := NULL, ]

ฉันคิดว่ามันมีเหตุผลที่ดีที่ฟังก์ชั่นนี้ไม่มีอยู่ดังนั้นบางทีคุณอาจชี้ให้เห็นถึงทางเลือกที่ดีสำหรับวิธีการคัดลอกตามปกติดังนี้ โดยเฉพาะอย่างยิ่งไปกับชื่นชอบจากตัวอย่าง (data.table)

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
#      x y v
# [1,] a 1 1
# [2,] a 3 2
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

ว่าฉันต้องการลบแถวแรกจาก data.table นี้ ฉันรู้ว่าฉันสามารถทำสิ่งนี้:

DT <- DT[-1, ]

แต่บ่อยครั้งที่เราอาจต้องการที่จะหลีกเลี่ยงเพราะเรากำลังคัดลอกวัตถุ (และที่ต้องใช้ประมาณ 3 * หน่วยความจำ N ถ้า N object.size(DT), เป็นแหลมออกจากที่นี่ตอนนี้ผมพบว่า. set(DT, i, j, value)ฉันรู้วิธีการค่าเฉพาะชุด (เช่นที่นี่:. การตั้งค่าทั้งหมด ค่าในแถว 1 และ 2 และคอลัมน์ 2 และ 3 ถึงศูนย์)

set(DT, 1:2, 2:3, 0) 
DT
#      x y v
# [1,] a 0 0
# [2,] a 0 0
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

แต่ฉันจะลบสองแถวแรกได้อย่างไรพูด? การทำ

set(DT, 1:2, 1:3, NULL)

ตั้งค่า DT ทั้งหมดเป็น NULL

ความรู้เกี่ยวกับ SQL ของฉันมี จำกัด มากดังนั้นคุณบอกฉัน: data.table ที่กำหนดใช้เทคโนโลยี SQL มีคำสั่ง SQL เทียบเท่าหรือไม่

DELETE FROM table_name
WHERE some_column=some_value

ใน data.table?

คำถามที่ดี. data.tableยังไม่สามารถลบแถวโดยการอ้างอิงได้

data.tableสามารถเพิ่มและลบคอลัมน์ได้โดยการอ้างอิงเนื่องจากมีการจัดสรรเวกเตอร์ของตัวชี้คอลัมน์มากเกินไปดังที่คุณทราบ แผนคือการทำอะไรบางอย่างที่คล้ายกันสำหรับแถวและช่วยให้ได้อย่างรวดเร็วและinsert deleteการลบแถวจะใช้memmoveใน C เพื่อเคลื่อนย้ายรายการ (ในแต่ละคอลัมน์) หลังแถวที่ถูกลบ การลบแถวที่อยู่ตรงกลางของตารางจะยังคงไม่มีประสิทธิภาพมากเมื่อเทียบกับฐานข้อมูลที่เก็บแถวเช่น SQL ซึ่งเหมาะสำหรับการแทรกและลบแถวอย่างรวดเร็วไม่ว่าแถวเหล่านั้นจะอยู่ในตารางใด แต่ก็ยังเร็วกว่าการคัดลอกวัตถุขนาดใหญ่ใหม่โดยไม่ต้องลบแถว

ในทางตรงกันข้ามเนื่องจากคอลัมน์เวกเตอร์จะมีการจัดสรรมากเกินไปสามารถแทรกแถว (และลบ) ในตอนท้ายได้ทันที เช่นอนุกรมเวลาที่กำลังเติบโต

มันฟ้องเป็นปัญหา: แถวลบโดยการอ้างอิง

วิธีการที่ฉันใช้เพื่อทำให้การใช้หน่วยความจำคล้ายกับการลบแบบ in-place คือการเซ็ตย่อยคอลัมน์ในแต่ละครั้งและลบ ไม่เร็วเท่ากับโซลูชัน C memmove ที่เหมาะสม แต่การใช้หน่วยความจำคือทั้งหมดที่ฉันสนใจที่นี่ บางสิ่งเช่นนี้

DT = data.table(col1 = 1:1e6)
cols = paste0('col', 2:100)
for (col in cols){ DT[, (col) := 1:1e6] }
keep.idxs = sample(1e6, 9e5, FALSE) # keep 90% of entries
DT.subset = data.table(col1 = DT[['col1']][keep.idxs]) # this is the subsetted table
for (col in cols){
  DT.subset[, (col) := DT[[col]][keep.idxs]]
  DT[, (col) := NULL] #delete
}

นี่คือฟังก์ชั่นการทำงานตามคำตอบของ @ vc273 และข้อเสนอแนะของ @ Frank

delete <- function(DT, del.idxs) {           # pls note 'del.idxs' vs. 'keep.idxs'
  keep.idxs <- setdiff(DT[, .I], del.idxs);  # select row indexes to keep
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs]); # this is the subsetted table
  setnames(DT.subset, cols[1]);
  for (col in cols[2:length(cols)]) {
    DT.subset[, (col) := DT[[col]][keep.idxs]];
    DT[, (col) := NULL];  # delete
  }
   return(DT.subset);
}

และตัวอย่างของการใช้งาน:

dat <- delete(dat,del.idxs)   ## Pls note 'del.idxs' instead of 'keep.idxs'

โดยที่ "dat" เป็น data.table การลบแถว 14k จาก 1.4M แถวใช้เวลา 0.25 วินาทีบนแล็ปท็อปของฉัน

> dim(dat)
[1] 1419393      25
> system.time(dat <- delete(dat,del.idxs))
   user  system elapsed 
   0.23    0.02    0.25 
> dim(dat)
[1] 1404715      25
> 

PS ตั้งแต่ฉันใหม่ดังนั้นฉันจึงไม่สามารถเพิ่มความคิดเห็นในกระทู้ของ @ vc273 :-(

หรือพยายามตั้งค่าเป็น NULL ให้ลองตั้งค่าเป็น NA (ตรงกับประเภท NA สำหรับคอลัมน์แรก)

set(DT,1:2, 1:3 ,NA_character_)

หัวข้อยังคงเป็นที่น่าสนใจหลายคน (รวมอยู่ด้วย)

แล้วมันล่ะ ฉันใช้assignเพื่อแทนที่glovalenvและรหัสที่อธิบายไว้ก่อนหน้านี้ มันจะเป็นการดีกว่าถ้าคุณจะจับภาพสภาพแวดล้อมดั้งเดิม แต่อย่างน้อยglobalenvมันก็เป็นหน่วยความจำที่มีประสิทธิภาพและทำหน้าที่เหมือนการเปลี่ยนแปลงโดยอ้างอิง

delete <- function(DT, del.idxs) 
{ 
  varname = deparse(substitute(DT))

  keep.idxs <- setdiff(DT[, .I], del.idxs)
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs])
  setnames(DT.subset, cols[1])

  for (col in cols[2:length(cols)]) 
  {
    DT.subset[, (col) := DT[[col]][keep.idxs]]
    DT[, (col) := NULL];  # delete
  }

  assign(varname, DT.subset, envir = globalenv())
  return(invisible())
}

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
delete(DT, 3)

นี่คือกลยุทธ์บางอย่างที่ฉันใช้ ฉันเชื่อว่าอาจมีฟังก์ชั่น. ROW วิธีการด้านล่างเหล่านี้ไม่รวดเร็ว นี่เป็นกลยุทธ์บางอย่างที่นอกเหนือจากเซ็ตย่อยหรือการกรองเล็กน้อย ฉันพยายามคิดเหมือน dba เพียงพยายามล้างข้อมูล ตามที่ระบุไว้ข้างต้นคุณสามารถเลือกหรือลบแถวใน data.table:

data(iris)
iris <- data.table(iris)

iris[3] # Select row three

iris[-3] # Remove row three

You can also use .SD to select or remove rows:

iris[,.SD[3]] # Select row three

iris[,.SD[3:6],by=,.(Species)] # Select row 3 - 6 for each Species

iris[,.SD[-3]] # Remove row three

iris[,.SD[-3:-6],by=,.(Species)] # Remove row 3 - 6 for each Species

หมายเหตุ: .SD สร้างชุดย่อยของข้อมูลต้นฉบับและช่วยให้คุณทำงานได้ค่อนข้างมากใน j หรือ data.table ที่ตามมา ดูhttps://stackoverflow.com/a/47406952/305675 ที่นี่ฉันสั่งไอริสของฉันด้วยความยาวของ Sepal ใช้ Sepal ที่ระบุความยาวเป็นขั้นต่ำเลือกสามอันดับแรก (ตามความยาวของ Sepal) ของสปีชี่ทั้งหมดและส่งคืนข้อมูลที่มาพร้อมกันทั้งหมด:

iris[order(-Sepal.Length)][Sepal.Length > 3,.SD[1:3],by=,.(Species)]

วิธีการข้างต้นทั้งหมดจัดลำดับ data.table ตามลำดับเมื่อลบแถว คุณสามารถโอนย้าย data.table และลบหรือแทนที่แถวเก่าซึ่งตอนนี้เปลี่ยนเป็นคอลัมน์ เมื่อใช้ ': = NULL' เพื่อลบแถวที่ถูกย้ายชื่อคอลัมน์ที่ตามมาจะถูกลบเช่นกัน:

m_iris <- data.table(t(iris))[,V3:=NULL] # V3 column removed

d_iris <- data.table(t(iris))[,V3:=V2] # V3 column replaced with V2

เมื่อคุณโอนย้าย data.frame กลับไปยัง data.table คุณอาจต้องการเปลี่ยนชื่อจาก data.table ดั้งเดิมและเรียกคืนแอตทริบิวต์คลาสในกรณีที่ถูกลบ การใช้ ": = NULL" กับ data.table ที่ถูกเปลี่ยนตอนนี้จะสร้างคลาสอักขระทั้งหมด

m_iris <- data.table(t(d_iris));
setnames(d_iris,names(iris))

d_iris <- data.table(t(m_iris));
setnames(m_iris,names(iris))

คุณอาจต้องการลบแถวที่ซ้ำกันซึ่งคุณสามารถทำได้โดยใช้หรือไม่ใช้คีย์:

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]     

d_iris[!duplicated(Key),]

d_iris[!duplicated(paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)),]  

นอกจากนี้ยังเป็นไปได้ที่จะเพิ่มตัวนับที่เพิ่มขึ้นด้วย '.I' จากนั้นคุณสามารถค้นหาคีย์หรือเขตข้อมูลที่ซ้ำกันและลบออกโดยลบระเบียนด้วยตัวนับ การคำนวณนี้มีราคาแพง แต่มีข้อดีเนื่องจากคุณสามารถพิมพ์บรรทัดที่จะลบออกได้

d_iris[,I:=.I,] # add a counter field

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]

for(i in d_iris[duplicated(Key),I]) {print(i)} # See lines with duplicated Key or Field

for(i in d_iris[duplicated(Key),I]) {d_iris <- d_iris[!I == i,]} # Remove lines with duplicated Key or any particular field.

คุณยังสามารถเติมแถวด้วย 0s หรือ NAs แล้วใช้คิวรี i เพื่อลบพวกเขา:

 X 
   x v foo
1: c 8   4
2: b 7   2

X[1] <- c(0)

X
   x v foo
1: 0 0   0
2: b 7   2

X[2] <- c(NA)
X
    x  v foo
1:  0  0   0
2: NA NA  NA

X <- X[x != 0,]
X <- X[!is.na(x),]