อักขระบรรทัดใหม่ CSV ที่เห็นในข้อผิดพลาดของฟิลด์ที่ไม่ได้ใส่เครื่องหมาย

รหัสต่อไปนี้ใช้งานได้จนถึงวันนี้เมื่อฉันนำเข้าจากเครื่อง Windows และได้รับข้อผิดพลาดนี้:

อักขระบรรทัดใหม่ที่เห็นในฟิลด์ที่ไม่มีเครื่องหมายคำพูด - คุณต้องเปิดไฟล์ในโหมด universal-newline หรือไม่?

import csv

class CSV:


    def __init__(self, file=None):
        self.file = file

    def read_file(self):
        data = []
        file_read = csv.reader(self.file)
        for row in file_read:
            data.append(row)
        return data

    def get_row_count(self):
        return len(self.read_file())

    def get_column_count(self):
        new_data = self.read_file()
        return len(new_data[0])

    def get_data(self, rows=1):
        data = self.read_file()

        return data[:rows]

ฉันจะแก้ไขปัญหานี้ได้อย่างไร

def upload_configurator(request, id=None):
    """
    A view that allows the user to configurator the uploaded CSV.
    """
    upload = Upload.objects.get(id=id)
    csvobject = CSV(upload.filepath)

    upload.num_records = csvobject.get_row_count()
    upload.num_columns = csvobject.get_column_count()
    upload.save()

    form = ConfiguratorForm()

    row_count = csvobject.get_row_count()
    colum_count = csvobject.get_column_count()
    first_row = csvobject.get_data(rows=1)
    first_two_rows = csvobject.get_data(rows=5)

จะเป็นการดีที่จะเห็นไฟล์ csv เอง แต่อาจได้ผลสำหรับคุณลองดูแทนที่:

file_read = csv.reader(self.file)

ด้วย:

file_read = csv.reader(self.file, dialect=csv.excel_tab)

หรือเปิดไฟล์universal newline modeและส่งต่อไปที่csv.readerเช่น:

reader = csv.reader(open(self.file, 'rU'), dialect=csv.excel_tab)

หรือใช้splitlines()ดังนี้:

def read_file(self):
    with open(self.file, 'r') as f:
        data = [row for row in csv.reader(f.read().splitlines())]
    return data

ฉันรู้ว่านี่เป็นโพสต์เก่า แต่ฉันพบปัญหาเดียวกันและไม่เห็นคำตอบที่ถูกต้องดังนั้นฉันจะลองดู

ข้อผิดพลาด Python:

_csv.Error: new-line character seen in unquoted field

เกิดจากการพยายามอ่านไฟล์ CSV ของ Macintosh (รูปแบบ OS X ก่อน) ไฟล์เหล่านี้เป็นไฟล์ข้อความที่ใช้ CR สำหรับจุดสิ้นสุดของบรรทัด หากมีการใช้ MS Office ให้แน่ใจว่าคุณเลือกอย่างใดอย่างหนึ่งธรรมดาCSVรูปแบบหรือCSV (MS-DOS) อย่าใช้ CSV (Macintosh)เป็นประเภท save-as

เวอร์ชัน EOL ที่ฉันต้องการคือ LF (Unix / Linux / Apple) แต่ฉันไม่คิดว่า MS Office มีตัวเลือกให้บันทึกในรูปแบบนี้

สำหรับ Mac OS X ให้บันทึกไฟล์ CSV ของคุณในรูปแบบ "Windows Comma Separated (.csv)"

หากสิ่งนี้เกิดขึ้นกับคุณบน Mac (เหมือนที่เคยทำกับฉัน):

1. บันทึกไฟล์เป็น CSV (MS-DOS Comma-Separated)

2. เรียกใช้สคริปต์ต่อไปนี้

   with open(csv_filename, 'rU') as csvfile:
       csvreader = csv.reader(csvfile)
       for row in csvreader:
           print ', '.join(row)

ลองรันdos2unixบนไฟล์ที่นำเข้า windows ของคุณก่อน

นี่เป็นข้อผิดพลาดที่ฉันต้องเผชิญ ฉันได้บันทึกไฟล์. csv ใน MAC OSX

ขณะบันทึกให้บันทึกเป็น "Windows Comma Separated Values ​​(.csv)" ซึ่งช่วยแก้ปัญหาได้

สิ่งนี้ใช้ได้ผลกับฉันบน OSX

# allow variable to opened as files
from io import StringIO

# library to map other strange (accented) characters back into UTF-8
from unidecode import unidecode

# cleanse input file with Windows formating to plain UTF-8 string
with open(filename, 'rb') as fID:
    uncleansedBytes = fID.read()
    # decode the file using the correct encoding scheme
    # (probably this old windows one) 
    uncleansedText = uncleansedBytes.decode('Windows-1252')

    # replace carriage-returns with new-lines
    cleansedText = uncleansedText.replace('\r', '\n')

    # map any other non UTF-8 characters into UTF-8
    asciiText = unidecode(cleansedText)

# read each line of the csv file and store as an array of dicts, 
# use first line as field names for each dict. 
reader = csv.DictReader(StringIO(cleansedText))
for line_entry in reader:
    # do something with your read data 

ฉันรู้ว่าสิ่งนี้ได้รับคำตอบมาระยะหนึ่งแล้ว แต่ไม่สามารถแก้ปัญหาได้ ฉันใช้ DictReader และ StringIO สำหรับการอ่าน csv ของฉันเนื่องจากมีปัญหาแทรกซ้อนอื่น ๆ ฉันสามารถแก้ปัญหาได้ง่ายขึ้นโดยการแทนที่ตัวคั่นอย่างชัดเจน:

with urllib.request.urlopen(q) as response:
    raw_data = response.read()
    encoding = response.info().get_content_charset('utf8') 
    data = raw_data.decode(encoding)
    if '\r\n' not in data:
        # proably a windows delimited thing...try to update it
        data = data.replace('\r', '\r\n')

อาจไม่สมเหตุสมผลสำหรับไฟล์ CSV ขนาดใหญ่ แต่ใช้ได้ดีกับกรณีการใช้งานของฉัน

ทางเลือกอื่นและวิธีแก้ปัญหาที่รวดเร็ว: ฉันประสบกับข้อผิดพลาดเดียวกัน ฉันเปิดไฟล์ csv "wierd" ใน GNUMERIC บนเครื่อง lubuntu ของฉันและส่งออกไฟล์เป็นไฟล์ csv สิ่งนี้ช่วยแก้ไขปัญหาได้