วิธีการแปลงไฟล์ CSV เป็น JSON หลายบรรทัด

นี่คือรหัสของฉันสิ่งง่ายๆจริงๆ ...

import csv
import json

csvfile = open('file.csv', 'r')
jsonfile = open('file.json', 'w')

fieldnames = ("FirstName","LastName","IDNumber","Message")
reader = csv.DictReader( csvfile, fieldnames)
out = json.dumps( [ row for row in reader ] )
jsonfile.write(out)

ประกาศชื่อฟิลด์บางฟิลด์ผู้อ่านใช้ CSV เพื่ออ่านไฟล์และชื่อที่ยื่นเพื่อดัมพ์ไฟล์เป็นรูปแบบ JSON นี่คือปัญหา ...

แต่ละระเบียนในไฟล์ CSV อยู่คนละแถวกัน ฉันต้องการให้เอาต์พุต JSON เป็นแบบเดียวกัน ปัญหาคือมันทิ้งมันทั้งหมดลงบนเส้นยักษ์เส้นยาว

ฉันได้ลองใช้บางอย่างเช่นfor line in csvfile:แล้วเรียกใช้โค้ดของฉันด้านล่างreader = csv.DictReader( line, fieldnames)ซึ่งจะวนซ้ำในแต่ละบรรทัด แต่มันทำทั้งไฟล์ในบรรทัดเดียวจากนั้นวนซ้ำไฟล์ทั้งหมดในบรรทัดอื่น ... ดำเนินต่อไปจนกว่าจะหมดบรรทัด .

ข้อเสนอแนะสำหรับการแก้ไขนี้หรือไม่?

แก้ไข: เพื่อชี้แจงตอนนี้ฉันมี: (ทุกบันทึกในบรรทัดที่ 1)

[{"FirstName":"John","LastName":"Doe","IDNumber":"123","Message":"None"},{"FirstName":"George","LastName":"Washington","IDNumber":"001","Message":"Something"}]

สิ่งที่ฉันกำลังมองหา: (2 บันทึก 2 บรรทัด)

{"FirstName":"John","LastName":"Doe","IDNumber":"123","Message":"None"}
{"FirstName":"George","LastName":"Washington","IDNumber":"001","Message":"Something"}

ไม่ใช่แต่ละเขตข้อมูลที่เยื้อง / บนบรรทัดแยกกัน แต่เป็นแต่ละระเบียนในบรรทัด

อินพุตตัวอย่างบางส่วน

"John","Doe","001","Message1"
"George","Washington","002","Message2"

ปัญหาเกี่ยวกับผลลัพธ์ที่คุณต้องการคือเอกสาร json ไม่ถูกต้อง; มันเป็นกระแสของเอกสาร json !

ก็ไม่เป็นไรถ้าสิ่งที่คุณต้องการ json.dumpsแต่นั่นหมายความว่าเอกสารที่คุณต้องการในการส่งออกของแต่ละท่านจะต้องโทร

เนื่องจากบรรทัดใหม่ที่คุณต้องการแยกเอกสารของคุณไม่มีอยู่ในเอกสารเหล่านั้นคุณจึงจำเป็นต้องจัดหาด้วยตัวเอง ดังนั้นเราต้องดึงลูปออกจากการเรียกไปที่ json.dump และสอดแทรกบรรทัดใหม่สำหรับเอกสารแต่ละฉบับที่เขียน

import csv
import json

csvfile = open('file.csv', 'r')
jsonfile = open('file.json', 'w')

fieldnames = ("FirstName","LastName","IDNumber","Message")
reader = csv.DictReader( csvfile, fieldnames)
for row in reader:
    json.dump(row, jsonfile)
    jsonfile.write('\n')

คุณสามารถใช้ Pandas DataFrame เพื่อบรรลุเป้าหมายนี้ได้ด้วยตัวอย่างต่อไปนี้:

import pandas as pd
csv_file = pd.DataFrame(pd.read_csv("path/to/file.csv", sep = ",", header = 0, index_col = False))
csv_file.to_json("/path/to/new/file.json", orient = "records", date_format = "epoch", double_precision = 10, force_ascii = True, date_unit = "ms", default_handler = None)

ฉันใช้การตอบสนองของ @ SingleNegationElimination และทำให้ง่ายขึ้นเป็นสามซับที่สามารถใช้ในท่อ:

import csv
import json
import sys

for row in csv.DictReader(sys.stdin):
    json.dump(row, sys.stdout)
    sys.stdout.write('\n')

import csv
import json

file = 'csv_file_name.csv'
json_file = 'output_file_name.json'

#Read CSV File
def read_CSV(file, json_file):
    csv_rows = []
    with open(file) as csvfile:
        reader = csv.DictReader(csvfile)
        field = reader.fieldnames
        for row in reader:
            csv_rows.extend([{field[i]:row[field[i]] for i in range(len(field))}])
        convert_write_json(csv_rows, json_file)

#Convert csv data into json
def convert_write_json(data, json_file):
    with open(json_file, "w") as f:
        f.write(json.dumps(data, sort_keys=False, indent=4, separators=(',', ': '))) #for pretty
        f.write(json.dumps(data))


read_CSV(file,json_file)

เอกสารของ json.dumps ()

คุณสามารถลองสิ่งนี้

import csvmapper

# how does the object look
mapper = csvmapper.DictMapper([ 
  [ 
     { 'name' : 'FirstName'},
     { 'name' : 'LastName' },
     { 'name' : 'IDNumber', 'type':'int' },
     { 'name' : 'Messages' }
  ]
 ])

# parser instance
parser = csvmapper.CSVParser('sample.csv', mapper)
# conversion service
converter = csvmapper.JSONConverter(parser)

print converter.doConvert(pretty=True)

แก้ไข:

แนวทางที่ง่ายกว่า

import csvmapper

fields = ('FirstName', 'LastName', 'IDNumber', 'Messages')
parser = CSVParser('sample.csv', csvmapper.FieldMapper(fields))

converter = csvmapper.JSONConverter(parser)

print converter.doConvert(pretty=True)

ฉันเห็นว่านี่เก่า แต่ฉันต้องการรหัสจาก SingleNegationElimination แต่ฉันมีปัญหากับข้อมูลที่มีอักขระที่ไม่ใช่ utf-8 สิ่งเหล่านี้ปรากฏในช่องที่ฉันไม่ได้กังวลมากเกินไปดังนั้นฉันจึงเลือกที่จะเพิกเฉย อย่างไรก็ตามต้องใช้ความพยายามพอสมควร ฉันยังใหม่กับ python ดังนั้นด้วยการลองผิดลองถูกทำให้ใช้งานได้ รหัสนี้เป็นสำเนาของ SingleNegationElimination ที่มีการจัดการพิเศษของ utf-8 ฉันพยายามทำด้วยhttps://docs.python.org/2.7/library/csv.htmlแต่สุดท้ายก็ยอมแพ้ รหัสด้านล่างใช้งานได้

import csv, json

csvfile = open('file.csv', 'r')
jsonfile = open('file.json', 'w')

fieldnames = ("Scope","Comment","OOS Code","In RMF","Code","Status","Name","Sub Code","CAT","LOB","Description","Owner","Manager","Platform Owner")
reader = csv.DictReader(csvfile , fieldnames)

code = ''
for row in reader:
    try:
        print('+' + row['Code'])
        for key in row:
            row[key] = row[key].decode('utf-8', 'ignore').encode('utf-8')      
        json.dump(row, jsonfile)
        jsonfile.write('\n')
    except:
        print('-' + row['Code'])
        raise

เพิ่มindentพารามิเตอร์ลงในjson.dumps

 data = {'this': ['has', 'some', 'things'],
         'in': {'it': 'with', 'some': 'more'}}
 print(json.dumps(data, indent=4))

โปรดทราบว่าคุณสามารถใช้json.dumpกับ open jsonfile:

json.dump(data, jsonfile)

วิธีใช้ Pandas เพื่ออ่านไฟล์ csv ลงใน DataFrame ( pd.read_csv ) จากนั้นจัดการคอลัมน์หากคุณต้องการ (วางหรืออัปเดตค่า) และสุดท้ายแปลง DataFrame กลับเป็น JSON ( pd.DataFrame.to_json )

หมายเหตุ:ฉันไม่ได้ตรวจสอบว่าจะมีประสิทธิภาพเพียงใด แต่นี่เป็นวิธีที่ง่ายที่สุดวิธีหนึ่งในการจัดการและแปลง csv ขนาดใหญ่เป็น json

เนื่องจากการปรับปรุงคำตอบ @MONTYHS เล็กน้อยการทำซ้ำผ่านชื่อฟิลด์

import csv
import json

csvfilename = 'filename.csv'
jsonfilename = csvfilename.split('.')[0] + '.json'
csvfile = open(csvfilename, 'r')
jsonfile = open(jsonfilename, 'w')
reader = csv.DictReader(csvfile)

fieldnames = ('FirstName', 'LastName', 'IDNumber', 'Message')

output = []

for each in reader:
  row = {}
  for field in fieldnames:
    row[field] = each[field]
output.append(row)

json.dump(output, jsonfile, indent=2, sort_keys=True)

import csv
import json
csvfile = csv.DictReader('filename.csv', 'r'))
output =[]
for each in csvfile:
    row ={}
    row['FirstName'] = each['FirstName']
    row['LastName']  = each['LastName']
    row['IDNumber']  = each ['IDNumber']
    row['Message']   = each['Message']
    output.append(row)
json.dump(output,open('filename.json','w'),indent=4,sort_keys=False)