read.csv คำเตือน 'EOF ภายในสตริงที่ยกมา' ป้องกันการอ่านไฟล์โดยสมบูรณ์

ฉันมีไฟล์ CSV (24.1 MB)ที่ฉันไม่สามารถอ่านได้ทั้งหมดในเซสชัน R ของฉัน เมื่อฉันเปิดไฟล์ในโปรแกรมสเปรดชีตฉันจะเห็น 112,544 แถว เมื่อฉันอ่านเป็น R โดยมีread.csvเพียง 56,952 แถวและคำเตือนนี้:

cit <- read.csv("citations.CSV", row.names = NULL, 
                comment.char = "", header = TRUE, 
                stringsAsFactors = FALSE,  
                colClasses= "character", encoding= "utf-8")

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

ฉันสามารถอ่านไฟล์ทั้งหมดเป็น R ด้วยreadLines:

rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545

แต่ฉันไม่สามารถนำสิ่งนี้กลับไปเป็น R เป็นตาราง (ผ่านread.csv):

write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

ฉันจะแก้ไขหรือแก้ปัญหาข้อความ EOF นี้ได้อย่างไร (ซึ่งดูเหมือนจะเป็นข้อผิดพลาดมากกว่าคำเตือน) เพื่อให้ไฟล์ทั้งหมดเข้าสู่Rเซสชันของฉัน

ฉันมีปัญหาคล้าย ๆ กันกับวิธีอื่นในการอ่านไฟล์ CSV:

require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")

นี่คือ sessionInfo ของฉัน ()

R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] tools     tcltk     stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
 [1] ff_2.2-11             bit_1.1-10            data.table_1.8.8      sqldf_0.4-6.4        
 [5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4        chron_2.3-43          gsubfn_0.6-5         
 [9] proto_0.3-10          DBI_0.2-7   

คุณต้องปิดการใช้งานการเสนอราคา

cit <- read.csv("citations.CSV", quote = "", 
                 row.names = NULL, 
                 stringsAsFactors = FALSE)

str(cit)
## 'data.frame':    112543 obs. of  13 variables:
##  $ row.names    : chr  "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ...
##  $ id           : chr  "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ...
##  $ doi          : chr  "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ...
##  $ title        : chr  "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ...
##  $ author       : chr  "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ...
##  $ journaltitle : chr  "79\t" "54\t" "41\t" "1\t" ...
##  $ volume       : chr  "3\t" "\t" "1\t" "3\t" ...
##  $ issue        : chr  "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ...
##  $ pubdate      : chr  "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ...
##  $ pagerange    : chr  "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ...
##  $ publisher    : chr  "fla\t" "fla\t" "fla\t" "fla\t" ...
##  $ type         : logi  NA NA NA NA NA NA ...
##  $ reviewed.work: logi  NA NA NA NA NA NA ...

ฉันคิดว่าเป็นเพราะเส้นแบบนี้ (ตรวจสอบ "Thorn" และ "Minus")

 readLines("citations.CSV")[82]
[1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"

ฉันเป็นผู้ใช้ R ใหม่และคิดว่าจะโพสต์สิ่งนี้เผื่อว่าจะช่วยคนอื่นได้ ฉันพยายามอ่านข้อมูลจากไฟล์ข้อความ (คั่นด้วยเครื่องหมายจุลภาค) ซึ่งมีอักขระภาษาสเปนสองสามตัวและฉันต้องใช้เวลาตลอดไปในการคิดออก ฉันรู้ว่าฉันต้องใช้การเข้ารหัส UTF-8 ตั้งค่าส่วนหัว arg เป็น TRUE และฉันต้องตั้งค่า sep แย้งเป็น "," แต่ฉันก็ยังคงแฮงค์อัพอยู่ หลังจากอ่านโพสต์นี้ฉันได้ลองตั้งค่าอาร์กิวเมนต์เติมเป็น TRUE แต่ก็ได้รับ "EOF ภายในสตริงที่ยกมา" ซึ่งฉันสามารถแก้ไขได้ในลักษณะเดียวกับด้านบน read.table ที่ประสบความสำเร็จของฉันมีลักษณะดังนี้:

target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")

ผลลัพธ์มีตัวอักษรภาษาสเปนและแสงสลัวแบบเดียวกับที่ฉันมีในตอนแรกฉันจึงเรียกมันว่าสำเร็จ! ขอบคุณทุกคน!

ในส่วนความช่วยเหลือ R ตามที่ระบุไว้ข้างต้นเพียงแค่ปิดการใช้งานการอ้างอิงทั้งหมดโดยเพิ่ม:

    quote = "" 

เพื่อ read.csv () ใช้งานได้สำหรับฉัน

ข้อผิดพลาด "EOF ภายในสตริงที่ยกมา" เกิดขึ้นกับ:

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F)
    Warning message:
    In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
      EOF within quoted string
    > dim(iproscan.53A.neg)
    [1] 69383    16

และไฟล์ที่อ่านหายไป 6,619 บรรทัด แต่โดยการปิดการใช้งาน

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F,**quote=""**)    
    > 
    > dim(iproscan.53A.neg)
    [1] 76002    16

ทำงานโดยไม่มีข้อผิดพลาดและอ่านทุกบรรทัดได้สำเร็จ

ฉันยังพบปัญหานี้และสามารถแก้ไขข้อผิดพลาด EOF ที่คล้ายกันโดยใช้:

read.table("....csv", sep=",", ...)

read.table()ขอให้สังเกตว่าพารามิเตอร์คั่นกำหนดไว้ภายในทั่วไปมากขึ้น

อันที่จริงการใช้read.csv()เพื่ออ่านไฟล์ที่มีเนื้อหาข้อความไม่ใช่ความคิดที่ดีการปิดใช้อัญประกาศตามที่ตั้งไว้quote=""เป็นเพียงวิธีแก้ปัญหาชั่วคราวเท่านั้นซึ่งใช้ได้กับเครื่องหมายคำพูดแยกเท่านั้น มีสาเหตุอื่น ๆ ที่อาจทำให้เกิดคำเตือนเช่นอักขระพิเศษบางตัว

วิธีแก้ปัญหาถาวร (โดยใช้read.csv()) การค้นหาว่าอักขระพิเศษเหล่านั้นคืออะไรและใช้นิพจน์ทั่วไปเพื่อกำจัดออกเป็นแนวคิด

คุณเคยคิดที่จะติดตั้งแพคเกจ{data.table}และใช้fread()อ่านไฟล์ เร็วกว่ามากและจะไม่รบกวนคุณด้วยคำเตือน EOF นี้ โปรดทราบว่าไฟล์ที่โหลดจะถูกจัดเก็บเป็นอ็อบเจ็กต์ data.table แต่ไม่ใช่อ็อบเจ็กต์ data.frame class data.table มีคุณสมบัติที่ดีมากมาย แต่อย่างไรก็ตามคุณสามารถเปลี่ยนได้โดยใช้as.data.frame()หากจำเป็น

ฉันมีปัญหาที่คล้ายกัน: EOF - คำเตือนและมีข้อมูลเพียงบางส่วนกำลังโหลดด้วย read.csv () ฉันลองใช้เครื่องหมายคำพูด = "" แต่ลบ EOF - คำเตือนเท่านั้น

แต่เมื่อดูแถวแรกที่ไม่ได้โหลดฉันพบว่ามีอักขระพิเศษคือลูกศร→ (ค่าเลขฐานสิบหก 0x1A) ในเซลล์ใดเซลล์หนึ่ง หลังจากลบลูกศรฉันได้รับข้อมูลที่จะโหลดตามปกติ

ฉันก็มีปัญหาที่คล้ายกันเช่นกัน แต่ในกรณีของฉันสาเหตุของปัญหาเกิดจากการมีเครื่องหมายอะพอสทรอฟี (เช่นเครื่องหมายอัญประกาศเดี่ยว) อยู่ในค่าข้อความบางค่า โดยเฉพาะอย่างยิ่งเมื่อทำงานกับข้อมูลรวมถึงข้อความในภาษาฝรั่งเศสเช่น« L'autre jour »

ดังนั้นวิธีแก้ปัญหาก็เพียงแค่ปรับการตั้งค่าเริ่มต้นของอาร์กิวเมนต์อัญประกาศเพื่อไม่รวมสัญลักษณ์« '»ดังนั้นโดยใช้quote = "\" " (เช่นเครื่องหมายอัญประกาศคู่เท่านั้น ) ทุกอย่างทำงานได้ดี

ฉันหวังว่าจะช่วยพวกคุณได้บ้าง ไชโย

readrแพ็กเกจจะแก้ไขปัญหานี้

install.packages('readr')
library(readr)
readr::read_csv('yourfile.csv')