ใช้ R เพื่อดาวน์โหลดไฟล์ข้อมูลที่บีบอัดแยกและนำเข้าข้อมูล

@EZGraphs บน Twitter เขียนว่า "csvs ออนไลน์จำนวนมากถูกบีบอัดมีวิธีดาวน์โหลดคลายซิปไฟล์ที่เก็บถาวรและโหลดข้อมูลลงใน data.frame โดยใช้ R หรือไม่ #Rstats"

วันนี้ฉันก็พยายามทำเช่นกัน แต่สุดท้ายก็แค่ดาวน์โหลดไฟล์ zip ด้วยตนเอง

ฉันลองทำสิ่งที่ชอบ:

fileName <- "http://www.newcl.org/data/zipfiles/a1.zip"
con1 <- unz(fileName, filename="a1.dat", open = "r")

แต่ฉันรู้สึกราวกับว่าฉันอยู่ห่างไกล ความคิดใด ๆ ?

ไฟล์เก็บถาวร Zip เป็น 'ระบบไฟล์' มากกว่าที่มีข้อมูลเมตาของเนื้อหาเป็นต้นดูhelp(unzip)รายละเอียด ดังนั้นในการทำสิ่งที่คุณร่างไว้ข้างต้นคุณต้องทำ

1. สร้างอุณหภูมิ ชื่อไฟล์ (เช่นtempfile())
2. ใช้download.file()เพื่อดึงไฟล์เข้าสู่อุณหภูมิ ไฟล์
3. ใช้unz()เพื่อแตกไฟล์เป้าหมายจาก temp ไฟล์
4. ลบไฟล์ชั่วคราวผ่าน unlink()

ซึ่งในโค้ด (ขอบคุณสำหรับตัวอย่างพื้นฐาน แต่ง่ายกว่า) ดูเหมือนว่า

temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
data <- read.table(unz(temp, "a1.dat"))
unlink(temp)

ไฟล์บีบอัด ( .z) หรือ gzipped ( .gz) หรือ bzip2ed ( .bz2) เป็นเพียงไฟล์และไฟล์ที่คุณสามารถอ่านได้โดยตรงจากการเชื่อมต่อ ดังนั้นรับผู้ให้บริการข้อมูลเพื่อใช้แทน :)

สำหรับบันทึกฉันพยายามแปลคำตอบของ Dirk เป็นรหัส :-P

temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
con <- unz(temp, "a1.dat")
data <- matrix(scan(con),ncol=4,byrow=TRUE)
unlink(temp)

ผมใช้ CRAN แพคเกจ "ดาวน์โหลด" พบที่http://cran.r-project.org/web/packages/downloader/index.html ง่ายกว่ามาก.

download(url, dest="dataset.zip", mode="wb") 
unzip ("dataset.zip", exdir = "./")

สำหรับ Mac (และฉันคิดว่าเป็น Linux) ...

หากไฟล์ zip มีไฟล์เดียวคุณสามารถใช้คำสั่ง bash funzipร่วมกับfreadจากdata.tableแพ็คเกจ:

library(data.table)
dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | funzip")

ในกรณีที่ไฟล์เก็บถาวรมีหลายไฟล์คุณสามารถใช้tarแทนเพื่อแตกไฟล์เฉพาะเป็น stdout:

dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | tar -xf- --to-stdout *a1.dat")

นี่คือตัวอย่างที่ใช้ได้กับไฟล์ที่ไม่สามารถอ่านได้ด้วยread.tableฟังก์ชัน ตัวอย่างนี้อ่านไฟล์. xls

url <-"https://www1.toronto.ca/City_Of_Toronto/Information_Technology/Open_Data/Data_Sets/Assets/Files/fire_stns.zip"

temp <- tempfile()
temp2 <- tempfile()

download.file(url, temp)
unzip(zipfile = temp, exdir = temp2)
data <- read_xls(file.path(temp2, "fire station x_y.xls"))

unlink(c(temp, temp2))

ในการดำเนินการนี้โดยใช้ data.table ฉันพบว่าสิ่งต่อไปนี้ใช้ได้ผล ขออภัยลิงก์ใช้งานไม่ได้อีกต่อไปฉันจึงใช้ลิงก์สำหรับชุดข้อมูลอื่น

library(data.table)
temp <- tempfile()
download.file("https://www.bls.gov/tus/special.requests/atusact_0315.zip", temp)
timeUse <- fread(unzip(temp, files = "atusact_0315.dat"))
rm(temp)

ฉันรู้ว่าสิ่งนี้เป็นไปได้ในบรรทัดเดียวเนื่องจากคุณสามารถส่ง bash scripts ไปfreadได้ แต่ฉันไม่แน่ใจว่าจะดาวน์โหลดไฟล์. zip, แตกไฟล์และส่งไฟล์เดียวจากไฟล์นั้นไปยังไฟล์fread.

ลองใช้รหัสนี้ มันใช้ได้กับฉัน:

unzip(zipfile="<directory and filename>",
      exdir="<directory where the content will be extracted>")

ตัวอย่าง:

unzip(zipfile="./data/Data.zip",exdir="./data")

ฉันพบว่าสิ่งต่อไปนี้ใช้ได้ผลกับฉัน ขั้นตอนเหล่านี้มาจากวิดีโอ YouTube ของ BTD การจัดการ Zipfile ใน R :

zip.url <- "url_address.zip"

dir <- getwd()

zip.file <- "file_name.zip"

zip.combine <- as.character(paste(dir, zip.file, sep = "/"))

download.file(zip.url, destfile = zip.combine)

unzip(zip.file)