อ่านเฉพาะคอลัมน์ที่เลือก


134

ใครช่วยบอกวิธีอ่านเฉพาะ 6 เดือนแรก (7 คอลัมน์) ในแต่ละปีของข้อมูลด้านล่างนี้ได้read.table()ไหม

Year   Jan  Feb  Mar  Apr  May  Jun  Jul  Aug  Sep  Oct  Nov  Dec   
2009   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25
2010   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25 
2011   -21  -27   -2   -6  -10  -32  -13  -12  -27  -30  -38  -29

5
ซ้ำกันกับวิธีอ่านเฉพาะคอลัมน์ที่เลือกจากไฟล์ลงใน R? เดิร์คพูดถึงเกี่ยวกับการNULLเป็นชั้นคอลัมน์ในคำตอบของเขา
Marek


2
@CiroSantilli 包子露宪六四事件法轮功แน่นอน แต่ ... ฉันถามก่อน?
StarCub

ฉันไม่ได้บ่งบอกถึงความสัมพันธ์ที่ดีขึ้น / แย่ลง นอกจากนี้ไม่มีการทำซ้ำข้ามไซต์เครือข่ายการแลกเปลี่ยนสแต็กที่ไม่สอดคล้องกันจะอนุญาตให้พวกเขาเว้นแต่คุณจะโพสต์ด้วยตัวเอง :-)
Ciro Santilli 郝海东冠状病六四事件法轮功

คำตอบ:


157

สมมติว่าข้อมูลอยู่ในไฟล์data.txtคุณสามารถใช้colClassesอาร์กิวเมนต์read.table()เพื่อข้ามคอลัมน์ได้ นี่คือข้อมูลใน 7 คอลัมน์แรก"integer"และเราตั้งค่า 6 คอลัมน์ที่เหลือเพื่อ"NULL"ระบุว่าควรข้ามไป

> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)), 
+            header = TRUE)
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

เปลี่ยน"integer"เป็นประเภทที่ยอมรับประเภทใดประเภทหนึ่งตามรายละเอียดโดย?read.tableขึ้นอยู่กับประเภทข้อมูลจริง

data.txt มีลักษณะดังนี้:

$ cat data.txt 
"Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec"
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29

และถูกสร้างขึ้นโดยใช้

write.table(dat, file = "data.txt", row.names = FALSE)

ที่datเป็น

dat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L, 
-27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L
), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L, 
-25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L
), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L, 
-25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr", 
"May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame",
row.names = c(NA, -3L))

หากไม่ทราบจำนวนคอลัมน์ก่อนฟังก์ชันยูทิลิตี้count.fieldsจะอ่านไฟล์และนับจำนวนฟิลด์ในแต่ละบรรทัด

## returns a vector equal to the number of lines in the file
count.fields("data.txt", sep = "\t")
## returns the maximum to set colClasses
max(count.fields("data.txt", sep = "\t"))

1
@Benjamin nrowsอ่านคู่แรกของบรรทัดจากไฟล์โดยใช้อาร์กิวเมนต์ จากนั้นคำนวณจำนวนคอลัมน์ที่ใช้ncol()หรืออย่างไรก็ตามคุณต้องการคำนวณจำนวนคอลัมน์ที่จะอ่าน / ละเว้น จากนั้นอ่านไฟล์ฉบับเต็มโดยใช้ข้อมูลนี้
Gavin Simpson

1
?? หากคุณไม่ทราบจำนวนคอลัมน์คุณจะพิจารณาได้อย่างไรโดยไม่อ่านเล็กน้อยเพื่อสรุปจำนวนคอลัมน์?
Gavin Simpson

1
@BlueMagister ขอบคุณสำหรับการแก้ไขและการกล่าวถึงcount.fields()กระบวนการที่ฉันแนะนำในความคิดเห็นโดยอัตโนมัติ
Gavin Simpson

1
@ LéoLéopoldHertz준영ไม่และฉันไม่แน่ใจว่าสิ่งนี้จะใช้ได้ผลกับคลาสแถวเช่นเดียวกับใน data frame อย่างไรในขณะที่แต่ละคอลัมน์อาจเป็นประเภทที่แตกต่างกันแต่ละแถวจะเป็นไปตามคำจำกัดความและเป็นผลให้ไม่ถูก จำกัด คุณจะต้องกรองแถวว่าง ฯลฯ เมื่อนำเข้า
Gavin Simpson

1
@rmf คุณสามารถส่งผ่านcount.fields()การเชื่อมต่อข้อความเพื่ออ่านส่วนย่อยบางส่วนของแถวที่ใช้txt <- readLines(....)แล้วสร้างการเชื่อมต่อกับการอ่านในสายที่แล้วทำcon <- textConnection(txt) count.fields(txt)ให้แน่ใจว่าจะใช้skipในการcount.fields()ที่จะข้ามแถวส่วนหัวถ้ามีคน; คุณไม่สามารถข้ามแถวในไฟล์โดยใช้ไฟล์readLines().
Gavin Simpson

82

หากต้องการอ่านชุดคอลัมน์เฉพาะจากชุดข้อมูลคุณมีตัวเลือกอื่น ๆ อีกมากมาย:

1) ด้วยfreadจากdata.table - แพคเกจ:

คุณสามารถระบุคอลัมน์ที่ต้องการด้วยselectพารามิเตอร์freadจากไฟล์data.tableแพคเกจ คุณสามารถระบุคอลัมน์ด้วยเวกเตอร์ของชื่อคอลัมน์หรือหมายเลขคอลัมน์

สำหรับชุดข้อมูลตัวอย่าง:

library(data.table)
dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun"))
dat <- fread("data.txt", select = c(1:7))

หรือคุณสามารถใช้dropพารามิเตอร์เพื่อระบุคอลัมน์ที่ไม่ควรอ่าน:

dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec"))
dat <- fread("data.txt", drop = c(8:13))

ผลลัพธ์ทั้งหมดใน:

> data
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

UPDATE: เมื่อคุณไม่ต้องการfreadส่งคืนdata.tableให้ใช้-parameterdata.table = FALSEเช่น:fread("data.txt", select = c(1:7), data.table = FALSE)

2) ด้วยread.csv.sqlจากsqldf - แพคเกจ:

อีกทางเลือกหนึ่งคือread.csv.sqlฟังก์ชั่นจากsqldfแพ็คเกจ:

library(sqldf)
dat <- read.csv.sql("data.txt",
                    sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file",
                    sep = "\t")

3) ด้วยread_*-functions จากreadr-package:

library(readr)
dat <- read_table("data.txt",
                  col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i',
                                        Apr = 'i', May = 'i', Jun = 'i'))
dat <- read_table("data.txt",
                  col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(),
                                   Oct = col_skip(), Nov = col_skip(), Dec = col_skip()))
dat <- read_table("data.txt", col_types = 'iiiiiii______')

จากเอกสารประกอบคำอธิบายสำหรับอักขระที่ใช้ด้วยcol_types:

อักขระแต่ละตัวแทนหนึ่งคอลัมน์: c = อักขระ, i = จำนวนเต็ม, n = ตัวเลข, d = คู่, l = ตรรกะ, D = วันที่, T = เวลาวันที่, t = เวลา,? = เดาหรือ _ / - เพื่อข้ามคอลัมน์


freadไม่รองรับไฟล์บีบอัดอย่างไรก็ตาม ไฟล์ขนาดใหญ่มักจะถูกบีบอัด
CoderGuy123

มีการร้องขอคุณสมบัติสำหรับการเปิดใช้งานนี้ในfread. ที่น่าสังเกตคือfreadอาจอ่านไฟล์ที่ไม่บีบอัดได้เร็วกว่าการread.tableอ่านไฟล์บีบอัดมาก ดูตัวอย่างได้ที่นี่
Jaap

ไฟล์ที่ไม่บีบอัดบางไฟล์มีขนาดใหญ่เกินไป เช่นฉันกำลังทำงานกับไฟล์ Genomes 1,000 ไฟล์ โดยสามารถไม่บีบอัดได้ 60 GB
CoderGuy123

1
อย่างที่คุณทราบ R อ่านข้อมูลในหน่วยความจำ ไม่ว่าคุณจะอ่านไฟล์ซิปหรือไฟล์ที่คลายซิปก็ไม่ได้สร้างความแตกต่างกับขนาดของข้อมูลผลลัพธ์ในหน่วยความจำ หากคุณมีไฟล์ 60GB read.tableจะไม่บันทึกคุณ ในกรณีนี้คุณอาจต้องการดูff-package
Jaap

2
@Deleet คุณสามารถใช้freadเพื่ออ่านไฟล์บีบอัดขนาดใหญ่เช่นนี้: fread("gunzip -c data.txt.gz", drop = c(8:13)).
arekolek

8

คุณยังสามารถใช้ JDBC เพื่อบรรลุเป้าหมายนี้ มาสร้างไฟล์ csv ตัวอย่างกัน

write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file

ดาวน์โหลดและบันทึกไดรเวอร์ CSV JDBC จากลิงค์นี้: http://sourceforge.net/projects/csvjdbc/files/latest/download

> library(RJDBC)

> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd()))

> head(dbGetQuery(conn, "select * from mtcars"), 3)
   mpg cyl disp  hp drat    wt  qsec vs am gear carb
1   21   6  160 110  3.9  2.62 16.46  0  1    4    4
2   21   6  160 110  3.9 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85  2.32 18.61  1  1    4    1

> head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3)
   MPG GEAR
1   21    4
2   21    4
3 22.8    4

0

คุณทำเช่นนี้:

df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE)
colClasses = as.list(apply(df, 2, class))
needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun")
colClasses[!names(colClasses) %in% needCols] = list(NULL)
df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.