คำถามติดแท็ก csv

ฉันมีสคริปต์อ่านในไฟล์ csv ที่มีฟิลด์ขนาดใหญ่มาก: # example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples import csv with open('some.csv', newline='') as f: reader = csv.reader(f) for row in reader: print(row) อย่างไรก็ตามสิ่งนี้จะโยนข้อผิดพลาดต่อไปนี้ในไฟล์ csv บางไฟล์: _csv.Error: field larger than field limit (131072) ฉันจะวิเคราะห์ไฟล์ csv ด้วยฟิลด์ขนาดใหญ่ได้อย่างไร การข้ามบรรทัดที่มีฟิลด์ขนาดใหญ่ไม่ใช่ตัวเลือกเนื่องจากต้องวิเคราะห์ข้อมูลในขั้นตอนถัดไป

232 python  csv 

import csv outfile = file('test.csv', 'w') writer = csv.writer(outfile, delimiter=',', quoting=csv.QUOTE_MINIMAL) writer.writerow(['hi','dude']) writer.writerow(['hi2','dude2']) outfile.close() มันสร้างไฟล์test.csvโดยเพิ่มเป็นพิเศษ\rในแต่ละแถวเช่น: test.csv hi,dude\r\r\nhi2,dude2\r\r\n แทนการคาดหวัง: hi,dude\r\nhi2,dude2\r\n ทำไมสิ่งนี้ถึงเกิดขึ้นหรือนี่คือพฤติกรรมที่ต้องการจริง ๆ หรือ? บันทึก: พฤติกรรมนี้สามารถเกิดขึ้นได้กับ Python 2 หรือ 3

231 python  windows  csv  newline 

ฉันมีข้อมูลในฐานข้อมูล MySQL ฉันกำลังส่ง URL ให้ผู้ใช้เพื่อนำข้อมูลออกมาเป็นไฟล์ CSV ฉันมีลิงก์ทางอีเมลแบบสอบถาม MySQL ฯลฯ ครอบคลุม ฉันจะคลิกป๊อปอัพเพื่อดาวน์โหลด CVS พร้อมบันทึกจาก MySQL ได้อย่างไร ฉันมีข้อมูลทั้งหมดที่จะได้รับการบันทึกแล้ว ฉันไม่เห็นวิธีการสร้าง PHP ไฟล์ CSV และให้พวกเขาดาวน์โหลดไฟล์ที่มีนามสกุล. csv

220 php  csv  download  http-headers 

สมมติว่าเรามีโฟลเดอร์ที่มีไฟล์ data.csv หลายไฟล์แต่ละไฟล์มีจำนวนตัวแปรเท่ากัน แต่แต่ละไฟล์มีเวลาต่างกัน มีวิธีใน R ที่จะนำเข้าพวกเขาทั้งหมดพร้อมกันแทนที่จะต้องนำเข้าพวกเขาทั้งหมดที? ปัญหาของฉันคือฉันมีไฟล์ข้อมูลประมาณ 2,000 ไฟล์ที่จะนำเข้าและต้องนำเข้าแต่ละไฟล์โดยใช้รหัส: read.delim(file="filename", header=TRUE, sep="\t") ไม่มีประสิทธิภาพมาก

219 r  csv  import  r-faq 

มีใครบางคนมีความคิดที่ฉันสามารถหารหัสจาวาสคริปต์เพื่อแยกวิเคราะห์ข้อมูล CSV หรือไม่

217 javascript  csv 

ฉันใช้โค้ดด้านล่างเพื่อแก้ไข csv โดยใช้ Python ฟังก์ชั่นที่เรียกว่าในรูปแบบรหัสส่วนบนของรหัส ปัญหา: ฉันต้องการรหัสอ้างอิงด้านล่างเพื่อเริ่มแก้ไข csv จากแถวที่ 2 ฉันต้องการให้ยกเว้นแถวที่ 1 ซึ่งมีส่วนหัว ตอนนี้มันใช้ฟังก์ชั่นในแถวที่ 1 เท่านั้นและแถวส่วนหัวของฉันก็เปลี่ยนไป in_file = open("tmob_notcleaned.csv", "rb") reader = csv.reader(in_file) out_file = open("tmob_cleaned.csv", "wb") writer = csv.writer(out_file) row = 1 for row in reader: row[13] = handle_color(row[10])[1].replace(" - ","").strip() row[10] = handle_color(row[10])[0].replace("-","").replace("(","").replace(")","").strip() row[14] = handle_gb(row[10])[1].replace("-","").replace(" ","").replace("GB","").strip() row[10] …

209 python  python-2.7  csv 

ฉันพยายามเพิ่มแถวใหม่ลงในไฟล์ csv เก่าของฉัน โดยทั่วไปจะได้รับการปรับปรุงทุกครั้งที่ฉันเรียกใช้สคริปต์ Python ตอนนี้ฉันกำลังจัดเก็บค่า csv row เก่าในรายการแล้วลบไฟล์ csv และสร้างอีกครั้งด้วยค่ารายการใหม่ อยากรู้ว่ามีวิธีใดที่ดีกว่าในการทำเช่นนี้

207 python  csv  append  writer 

ฉันใช้pandas.to_datetimeเพื่อแยกวิเคราะห์วันที่ในข้อมูลของฉัน หมีแพนด้าโดยค่าเริ่มต้นจะแสดงวันที่ด้วยdatetime64[ns]แม้ว่าวันที่จะเป็นทุกวันเท่านั้น ฉันสงสัยว่ามีวิธีที่สง่างาม / ฉลาดในการแปลงวันที่ไปdatetime.dateหรือdatetime64[D]เพื่อให้เมื่อฉันเขียนข้อมูลไปยัง CSV 00:00:00วันที่ไม่ได้รับการผนวกเข้ากับ ฉันรู้ว่าฉันสามารถแปลงประเภทองค์ประกอบด้วยตนเองโดยองค์ประกอบ: [dt.to_datetime().date() for dt in df.dates] pandas.to_datetimeแต่นี้เป็นช้าจริงๆเพราะผมมีหลายแถวและการเรียงลำดับของความปราชัยวัตถุประสงค์ของการใช้ มีวิธีการแปลงdtypeคอลัมน์ทั้งหมดในครั้งเดียวหรือไม่? หรือมิฉะนั้นpandas.to_datetimeสนับสนุนข้อกำหนดความแม่นยำเพื่อให้ฉันสามารถกำจัดส่วนเวลาในขณะที่ทำงานกับข้อมูลรายวัน?

206 python  pandas  csv  datetime  series 

ฉันต้องการนำเข้าข้อมูลจากไฟล์ CSV ลงในตารางฐานข้อมูลที่มีอยู่ ฉันไม่ต้องการบันทึกไฟล์ CSV เพียงแค่นำข้อมูลจากนั้นมาวางไว้ในตารางที่มีอยู่ ฉันใช้ Ruby 1.9.2 และ Rails 3 นี่คือตารางของฉัน: create_table "mouldings", :force => true do |t| t.string "suppliers_code" t.datetime "created_at" t.datetime "updated_at" t.string "name" t.integer "supplier_id" t.decimal "length", :precision => 3, :scale => 2 t.decimal "cost", :precision => 4, :scale => 2 t.integer "width" t.integer "depth" …

205 ruby-on-rails  csv  import 

มีวิธีที่เป็นทางการใด ๆ ในการอนุญาตให้ไฟล์ที่จัดรูปแบบ CSV สามารถแสดงความคิดเห็นไม่ว่าจะเป็นในบรรทัดของตนเองหรือในตอนท้ายของบรรทัด ฉันพยายามตรวจสอบวิกิพีเดียเกี่ยวกับเรื่องนี้และRFC 4180แต่ทั้งคู่ไม่ได้พูดถึงสิ่งใดที่ทำให้ฉันเชื่อว่ามันไม่ใช่ส่วนหนึ่งของรูปแบบไฟล์ดังนั้นฉันจึงโชคดีและฉันควรใช้ไฟล์ ReadMe.txt แยกต่างหากเพื่ออธิบาย ไฟล์. สุดท้ายฉันรู้ว่ามันง่ายสำหรับฉันที่จะเพิ่มความคิดเห็นของตัวเองใน แต่ฉันหวังว่าบางสิ่งเช่น Excel สามารถนำเข้าได้ทันทีโดยไม่จำเป็นต้องให้ผู้บริโภคต้องปรับแต่งกระบวนการนำเข้า ดังนั้นความคิด

203 csv  comments  standards  file-format 

ฉันพยายามเขียนลงcsvไฟล์แบบเรียงต่อกันโดยใช้ภาษา C # นี่คือหน้าที่ของฉัน string first = reader[0].ToString(); string second=image.ToString(); string csv = string.Format("{0},{1}\n", first, second); File.WriteAllText(filePath, csv); ฟังก์ชั่นทั้งหมดทำงานภายในวงและทุกแถวควรเขียนลงcsvไฟล์ ในกรณีของฉันแถวถัดไปจะเขียนทับแถวที่มีอยู่และท้ายที่สุดฉันได้รับการบันทึกเดียวในไฟล์ csv ซึ่งเป็นระเบียนสุดท้าย ฉันจะเขียนแถวทั้งหมดในcsvไฟล์ได้อย่างไร?

198 c#  file  csv 

ฉันพยายามอ่านไฟล์ csv ขนาดใหญ่ (aprox. 6 GB) ในนุ่นและฉันได้รับข้อผิดพลาดของหน่วยความจำ: MemoryError Traceback (most recent call last) <ipython-input-58-67a72687871b> in <module>() ----> 1 data=pd.read_csv('aphro.csv',sep=';') ... MemoryError: ความช่วยเหลือเกี่ยวกับเรื่องนี้?

194 python  pandas  csv  memory  chunks 

ฉันมีไฟล์ CSV ที่มีระเบียนประมาณ 2000 รายการ แต่ละระเบียนมีสตริงและหมวดหมู่: This is the first line,Line1 This is the second line,Line2 This is the third line,Line3 ฉันต้องการอ่านไฟล์นี้ลงในรายการที่มีลักษณะดังนี้: data = [('This is the first line', 'Line1'), ('This is the second line', 'Line2'), ('This is the third line', 'Line3')] จะนำเข้า CSV นี้ไปยังรายการที่ฉันต้องการโดยใช้ Python ได้อย่างไร

193 python  csv 

ฉันมีสิ่งง่าย ๆ ที่เพิ่งเอาท์พุทบางอย่างในรูปแบบ CSV แต่มันต้องเป็น UTF-8 ฉันเปิดไฟล์นี้ใน TextEdit หรือ TextMate หรือ Dreamweaver และมันแสดงตัวอักษร UTF-8 อย่างถูกต้อง แต่ถ้าฉันเปิดมันใน Excel มันเป็นการทำสิ่งที่ไร้สาระแทน นี่คือสิ่งที่ฉันได้รับที่หัวหน้าเอกสารของฉัน: header("content-type:application/csv;charset=UTF-8"); header("Content-Disposition:attachment;filename=\"CHS.csv\""); ทั้งหมดนี้ดูเหมือนว่าจะมีผลที่ต้องการยกเว้น Excel (Mac, 2008) ไม่ต้องการนำเข้าอย่างถูกต้อง ไม่มีตัวเลือกใน Excel ให้ฉัน "เปิดเป็น UTF-8" หรืออะไรก็ได้ดังนั้น ... ฉันรู้สึกรำคาญเล็กน้อย ฉันไม่สามารถหาคำตอบที่ชัดเจนเกี่ยวกับเรื่องนี้ได้ทุกที่แม้จะมีคนจำนวนมากที่มีปัญหาเดียวกัน สิ่งที่ฉันเห็นมากที่สุดคือการรวม BOM แต่ฉันไม่สามารถหาวิธีที่จะทำ อย่างที่คุณเห็นด้านบนฉันแค่echoดึงข้อมูลนี้ฉันไม่ได้เขียนไฟล์ใด ๆ ฉันสามารถทำได้ถ้าฉันต้องการฉันไม่เพียงเพราะดูเหมือนจะไม่ต้องการในตอนนี้ ความช่วยเหลือใด ๆ อัปเดต: ฉันพยายามสะท้อน BOM echo pack("CCC", 0xef, 0xbb, …

191 php  csv  utf-8  byte-order-mark 

ฉันกำลังส่งออกข้อมูลทางโปรแกรม (โดยใช้ PHP 5.2) ไปยังไฟล์ทดสอบ. csv ข้อมูลตัวอย่าง: Numéro 1(สังเกต e ที่เน้นเสียง) ข้อมูลคือutf-8(ไม่มี BOM ที่จ่ายล่วงหน้า) เมื่อเปิดไฟล์นี้ใน MS Excel Numéro 1เป็นแสดงเป็น ฉันสามารถเปิดสิ่งนี้ในโปรแกรมแก้ไขข้อความ (UltraEdit) ซึ่งแสดงอย่างถูกต้อง UE decimal 233รายงานตัวอักษรเป็น ฉันจะส่งออกข้อมูลตัวอักษรในไฟล์. csv ได้อย่างไรเพื่อให้MS Excel แสดงผลได้อย่างถูกต้องโดยไม่บังคับให้ใช้ตัวช่วยสร้างการนำเข้าหรือการตั้งค่าตัวช่วยที่ไม่ใช่ค่าเริ่มต้น

190 excel  encoding  csv  diacritics