ข้อผิดพลาด Python CSV: บรรทัดมี NULL ไบต์

ฉันกำลังทำงานกับไฟล์ CSV โดยมีรหัสต่อไปนี้:

reader = csv.reader(open(filepath, "rU"))
try:
    for row in reader:
        print 'Row read successfully!', row
except csv.Error, e:
    sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e))

และไฟล์หนึ่งส่งข้อผิดพลาดนี้:

file my.csv, line 1: line contains NULL byte

ฉันจะทำอะไรได้บ้าง? ดูเหมือนว่า Google จะแนะนำว่าอาจเป็นไฟล์ Excel ที่บันทึกเป็น. csv อย่างไม่ถูกต้อง มีวิธีใดบ้างที่ฉันสามารถแก้ไขปัญหานี้ใน Python ได้

== อัปเดต ==

ตามความคิดเห็นของ @JohnMachin ด้านล่างฉันลองเพิ่มบรรทัดเหล่านี้ในสคริปต์ของฉัน:

print repr(open(filepath, 'rb').read(200)) # dump 1st 200 bytes of file
data = open(filepath, 'rb').read()
print data.find('\x00')
print data.count('\x00')

และนี่คือผลลัพธ์ที่ฉันได้รับ:

'\xd0\xcf\x11\xe0\xa1\xb1\x1a\xe1\x00\x00\x00\x00\x00\x00\x00\x00\ .... <snip>
8
13834

ดังนั้นไฟล์จึงมี NUL ไบต์

ดังที่ @ S.Lott กล่าวว่าคุณควรเปิดไฟล์ในโหมด 'rb' ไม่ใช่โหมด 'rU' อย่างไรก็ตามนั่นอาจไม่ก่อให้เกิดปัญหาปัจจุบันของคุณ เท่าที่ฉันรู้การใช้โหมด 'rU' จะทำให้คุณสับสนหากมีการฝังอยู่\rในข้อมูล แต่ไม่ก่อให้เกิดดราม่าอื่น ๆ ฉันสังเกตด้วยว่าคุณมีไฟล์หลายไฟล์ (ทั้งหมดเปิดด้วย 'rU' ??) แต่มีเพียงไฟล์เดียวเท่านั้นที่ทำให้เกิดปัญหา

หากโมดูล csv แจ้งว่าคุณมี "NULL" (ข้อความโง่ ๆ ควรเป็น "NUL") ไบต์ในไฟล์ของคุณคุณต้องตรวจสอบสิ่งที่อยู่ในไฟล์ของคุณ ฉันขอแนะนำให้คุณทำเช่นนี้แม้ว่าการใช้ 'rb' จะทำให้ปัญหาหมดไป

repr()คือ (หรือต้องการเป็น) เพื่อนแก้จุดบกพร่องของคุณ มันจะแสดงให้เห็นอย่างชัดเจนว่าคุณมีอะไรในรูปแบบที่เป็นอิสระจากแพลตฟอร์ม (ซึ่งเป็นประโยชน์สำหรับผู้ช่วยที่ไม่รู้ว่าอะไรodคืออะไรหรือทำอะไร) ทำเช่นนี้:

print repr(open('my.csv', 'rb').read(200)) # dump 1st 200 bytes of file

และคัดลอก / วางอย่างระมัดระวัง (อย่าพิมพ์ซ้ำ) ผลลัพธ์ในการแก้ไขคำถามของคุณ (ไม่ใช่ในความคิดเห็น)

นอกจากนี้โปรดทราบว่าหากไฟล์นั้นหลบอยู่จริงๆเช่นไม่ \ r หรือ \ n อยู่ในระยะห่างที่เหมาะสมจากจุดเริ่มต้นของไฟล์หมายเลขบรรทัดที่รายงานreader.line_numจะเป็น (ไม่ช่วย) 1 ค้นหาว่าไฟล์แรก\x00อยู่ที่ไหน(ถ้ามี) โดยทำ

data = open('my.csv', 'rb').read()
print data.find('\x00')

และตรวจสอบให้แน่ใจว่าคุณถ่ายโอนข้อมูลอย่างน้อยจำนวนไบต์ที่มี repr หรือ od

สิ่งที่ไม่data.count('\x00')บอกคุณ? หากมีจำนวนมากคุณอาจต้องการทำสิ่งที่ชอบ

for i, c in enumerate(data):
    if c == '\x00':
        print i, repr(data[i-30:i]) + ' *NUL* ' + repr(data[i+1:i+31])

เพื่อให้คุณสามารถเห็นไบต์ NUL ในบริบท

หากคุณเห็น\x00ในผลลัพธ์ (หรือ\0ในod -cผลลัพธ์ของคุณ) แสดงว่าคุณมี NUL ไบต์อยู่ในไฟล์และคุณจะต้องทำสิ่งนี้:

fi = open('my.csv', 'rb')
data = fi.read()
fi.close()
fo = open('mynew.csv', 'wb')
fo.write(data.replace('\x00', ''))
fo.close()

อย่างไรก็ตามคุณได้ดูไฟล์ (รวมถึงสองสามบรรทัดสุดท้าย) ด้วยโปรแกรมแก้ไขข้อความหรือไม่? ดูเหมือนไฟล์ CSV ที่สมเหตุสมผลเหมือนกับไฟล์อื่น ๆ (ไม่มีข้อยกเว้น "NULL byte") หรือไม่

data_initial = open("staff.csv", "rb")
data = csv.reader((line.replace('\0','') for line in data_initial), delimiter=",")

สิ่งนี้ใช้ได้กับฉัน

การอ่านเป็น UTF-16 ก็เป็นปัญหาของฉันเช่นกัน

นี่คือรหัสของฉันที่ใช้งานได้:

f=codecs.open(location,"rb","utf-16")
csvread=csv.reader(f,delimiter='\t')
csvread.next()
for row in csvread:
    print row

ตำแหน่งคือไดเร็กทอรีของไฟล์ csv ของคุณ

ฉันประสบปัญหานี้เช่นกัน เมื่อใช้csvโมดูลPython ฉันพยายามอ่านไฟล์ XLS ที่สร้างใน MS Excel และพบNULL byteข้อผิดพลาดที่คุณได้รับ ฉันมองไปรอบ ๆ และพบโมดูลxlrd Python สำหรับอ่านและจัดรูปแบบข้อมูลจากไฟล์สเปรดชีต MS Excel ด้วยxlrdโมดูลนี้ฉันไม่เพียง แต่สามารถอ่านไฟล์ได้อย่างถูกต้องเท่านั้น แต่ฉันยังสามารถเข้าถึงส่วนต่างๆของไฟล์ในแบบที่ฉันทำไม่ได้มาก่อน

ฉันคิดว่ามันอาจช่วยคุณได้

การแปลงการเข้ารหัสของไฟล์ต้นฉบับจาก UTF-16 เป็น UTF-8 ช่วยแก้ปัญหาของฉัน

วิธีการแปลงไฟล์เป็น utf-8 ใน Python

import codecs
BLOCKSIZE = 1048576 # or some other, desired size in bytes
with codecs.open(sourceFileName, "r", "utf-16") as sourceFile:
    with codecs.open(targetFileName, "w", "utf-8") as targetFile:
        while True:
            contents = sourceFile.read(BLOCKSIZE)
            if not contents:
                break
            targetFile.write(contents)

คุณสามารถอินไลน์เครื่องกำเนิดไฟฟ้าเพื่อกรองค่า null ได้หากคุณต้องการแสร้งทำเป็นว่าไม่มีอยู่จริง แน่นอนว่านี่เป็นการสมมติว่าไบต์ว่างไม่ได้เป็นส่วนหนึ่งของการเข้ารหัสและเป็นสิ่งประดิษฐ์หรือจุดบกพร่องที่ผิดพลาด

with open(filepath, "rb") as f:
    reader = csv.reader( (line.replace('\0','') for line in f) )

    try:
        for row in reader:
            print 'Row read successfully!', row
    except csv.Error, e:
        sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e))

ทำไมคุณทำเช่นนี้?

 reader = csv.reader(open(filepath, "rU"))

เอกสารค่อนข้างชัดเจนว่าคุณต้องทำสิ่งนี้:

with open(filepath, "rb") as src:
    reader= csv.reader( src )

โหมดต้องเป็น "rb" เพื่ออ่าน

http://docs.python.org/library/csv.html#csv.reader

หาก csvfile เป็นอ็อบเจ็กต์ไฟล์ต้องเปิดด้วยแฟล็ก 'b' บนแพลตฟอร์มที่สร้างความแตกต่าง

เห็นได้ชัดว่าเป็นไฟล์ XLS ไม่ใช่ไฟล์ CSV เนื่องจากhttp://www.garykessler.net/library/file_sigs.htmlยืนยัน

แทนที่จะใช้โปรแกรมอ่าน csv ฉันใช้ไฟล์อ่านและฟังก์ชั่นแยกสำหรับสตริง:

lines = open(input_file,'rb') 

for line_all in lines:

    line=line_all.replace('\x00', '').split(";")

ฉันได้รับข้อผิดพลาดเดียวกัน บันทึกไฟล์ใน UTF-8 และใช้งานได้

สิ่งนี้เกิดขึ้นกับฉันเมื่อฉันสร้างไฟล์ CSV ด้วย OpenOffice Calc มันไม่ได้เกิดขึ้นเมื่อฉันสร้างไฟล์ CSV ในโปรแกรมแก้ไขข้อความแม้ว่าฉันจะแก้ไขในภายหลังด้วย Calc ก็ตาม

ฉันแก้ไขปัญหาของฉันโดยการคัดลอกวางในโปรแกรมแก้ไขข้อความของฉันข้อมูลจากไฟล์ที่สร้างด้วย Calc ไปยังไฟล์ที่สร้างโดยตัวแก้ไขใหม่

ฉันมีปัญหาเดียวกันกับการเปิด CSV ที่สร้างจากบริการเว็บซึ่งแทรก NULL ไบต์ไว้ในส่วนหัวที่ว่างเปล่า ฉันทำสิ่งต่อไปนี้เพื่อล้างไฟล์:

with codecs.open ('my.csv', 'rb', 'utf-8') as myfile:
    data = myfile.read()
    # clean file first if dirty
    if data.count( '\x00' ):
        print 'Cleaning...'
        with codecs.open('my.csv.tmp', 'w', 'utf-8') as of:
            for line in data:
                of.write(line.replace('\x00', ''))

        shutil.move( 'my.csv.tmp', 'my.csv' )

with codecs.open ('my.csv', 'rb', 'utf-8') as myfile:
    myreader = csv.reader(myfile, delimiter=',')
    # Continue with your business logic here...

ข้อจำกัดความรับผิดชอบ: โปรดทราบว่าสิ่งนี้จะเขียนทับข้อมูลเดิมของคุณ ตรวจสอบให้แน่ใจว่าคุณมีสำเนาสำรอง คุณได้รับคำเตือนแล้ว!

สำหรับผู้เกลียดชังไฟล์โหมด 'rU' ทั้งหมด: ฉันเพิ่งลองเปิดไฟล์ CSV จากเครื่อง Windows บน Mac ด้วยโหมดไฟล์ 'rb' และฉันได้รับข้อผิดพลาดนี้จากโมดูล csv:

Error: new-line character seen in unquoted field - do you need to 
open the file in universal-newline mode?

การเปิดไฟล์ในโหมด 'rU' ใช้งานได้ดี ฉันชอบโหมด universal-newline - มันช่วยให้ฉันไม่ยุ่งยากมาก

ฉันพบสิ่งนี้เมื่อใช้ scrapy และดึง csvfile ที่ซิปโดยไม่ต้องมีมิดเดิลแวร์ที่ถูกต้องเพื่อคลายซิปเนื้อหาการตอบสนองก่อนส่งให้ csvreader ดังนั้นไฟล์ไม่ใช่ไฟล์ csv จริงๆและส่งline contains NULL byteข้อผิดพลาดตามนั้น

คุณลองใช้ gzip.open แล้วหรือยัง?

with gzip.open('my.csv', 'rb') as data_file:

ฉันพยายามเปิดไฟล์ที่ถูกบีบอัด แต่มีนามสกุล ".csv" แทน "csv.gz" ข้อผิดพลาดนี้ยังคงแสดงอยู่จนกว่าฉันจะใช้ gzip.open

กรณีหนึ่งคือ - หากไฟล์ CSV มีแถวว่างข้อผิดพลาดนี้อาจปรากฏขึ้น ตรวจสอบแถวเป็นสิ่งที่จำเป็นก่อนที่เราจะเขียนหรืออ่าน

for row in csvreader:
        if (row):       
            do something

ฉันแก้ไขปัญหาของฉันโดยเพิ่มการตรวจสอบนี้ในรหัส