คำถามติดแท็ก bulkinsert

ฉันต้องการแทรกระเบียน 10 ล้านรายการโดยทางโปรแกรมลงในฐานข้อมูล postgres ปัจจุบันฉันกำลังดำเนินการของคำสั่งแทรก 1,000 รายการใน "แบบสอบถาม" เดียว มีวิธีที่ดีกว่าในการทำคำสั่งแทรกจำนวนมากที่ฉันไม่รู้หรือไม่?

242 postgresql  bulkinsert 

ฉันกำลังทดสอบประสิทธิภาพการแทรก Postgres ฉันมีตารางที่มีหนึ่งคอลัมน์ที่มีตัวเลขเป็นชนิดข้อมูล มีดัชนีอยู่ด้วยเช่นกัน ฉันเติมฐานข้อมูลโดยใช้แบบสอบถามนี้: insert into aNumber (id) values (564),(43536),(34560) ... ฉันแทรก 4 ล้านแถวอย่างรวดเร็ว 10,000 ต่อครั้งพร้อมกับแบบสอบถามข้างต้น หลังจากฐานข้อมูลถึง 6 ล้านแถวประสิทธิภาพลดลงอย่างมากถึง 1 ล้านแถวทุก 15 นาที มีเคล็ดลับในการเพิ่มประสิทธิภาพการแทรกหรือไม่ ฉันต้องการประสิทธิภาพการแทรกที่ดีที่สุดในโครงการนี้ การใช้ Windows 7 Pro บนเครื่องที่มี RAM 5 GB

216 sql  postgresql  bulkinsert  sql-insert 

ฉันต้องการความช่วยเหลือในการนำเข้า.csvไฟล์ไปยัง SQL Server โดยใช้BULK INSERTและฉันมีคำถามพื้นฐานเล็กน้อย ปัญหาที่พบ: ข้อมูลไฟล์ CSV อาจมี,(เครื่องหมายจุลภาค) อยู่ระหว่าง (ตัวอย่าง: คำอธิบาย) ดังนั้นฉันจะนำเข้าจัดการข้อมูลเหล่านี้ได้อย่างไร หากลูกค้าสร้าง CSV จาก Excel ข้อมูลที่มีเครื่องหมายจุลภาคจะถูกปิดล้อมอยู่ภายใน""(เครื่องหมายคำพูดคู่) [ดังตัวอย่างด้านล่าง] ดังนั้นการนำเข้าสามารถจัดการกับสิ่งนี้ได้อย่างไร เราจะติดตามได้อย่างไรหากบางแถวมีข้อมูลไม่ดีซึ่งนำเข้าข้าม (นำเข้าข้ามแถวที่ไม่สามารถนำเข้าได้) นี่คือตัวอย่าง CSV ที่มีส่วนหัว: Name,Class,Subject,ExamDate,Mark,Description Prabhat,4,Math,2/10/2013,25,Test data for prabhat. Murari,5,Science,2/11/2013,24,"Test data for his's test, where we can test 2nd ROW, Test." sanjay,4,Science,,25,Test Only. และคำสั่ง SQL ที่จะนำเข้า: BULK INSERT SchoolsTemp …

186 sql  sql-server  csv  bulkinsert  bulk 

ทุกวันฉันได้รับเอกสาร (อัปเดต) สิ่งที่ฉันต้องการทำคือแทรกแต่ละรายการที่ไม่มีอยู่ ฉันต้องการติดตามครั้งแรกที่ฉันแทรกพวกเขาและครั้งสุดท้ายที่ฉันเห็นพวกเขาในการอัปเดต ฉันไม่ต้องการมีเอกสารซ้ำ ฉันไม่ต้องการลบเอกสารที่ถูกบันทึกไว้ก่อนหน้านี้ แต่ไม่ได้อยู่ในการอัปเดตของฉัน 95% (โดยประมาณ) ของบันทึกจะไม่ได้รับการแก้ไขในแต่ละวัน ฉันใช้ไดรเวอร์ Python (pymongo) สิ่งที่ฉันทำในปัจจุบันคือ (รหัสหลอก): for each document in update: existing_document = collection.find_one(document) if not existing_document: document['insertion_date'] = now else: document = existing_document document['last_update_date'] = now my_collection.save(document) ปัญหาของฉันคือมันช้ามาก (40 นาทีสำหรับน้อยกว่า 100,000 บันทึกและฉันมีนับล้านในการอัปเดต) ฉันค่อนข้างมั่นใจว่ามีบางอย่างในตัวสำหรับการทำเช่นนี้ แต่เอกสารสำหรับการอัปเดต () คือ mmmhhh .... สรุปสั้น ๆ …

146 python  mongodb  bulkinsert  mongodb-query 

ฉันกำลังโหลดข้อมูลจำนวนมากและสามารถคำนวณการปรับเปลี่ยนทริกเกอร์ทั้งหมดใหม่ได้ในราคาถูกกว่าการคำนวณแบบทีละแถว ฉันจะปิดการใช้งานทริกเกอร์ทั้งหมดชั่วคราวใน PostgreSQL ได้อย่างไร

132 postgresql  triggers  bulkinsert 

ฉันส่งชุดข้อมูลขนาดใหญ่ลงในตาราง MySQL ผ่าน PHP โดยใช้คำสั่งแทรกและฉันสงสัยว่าเป็นไปได้หรือไม่ที่จะแทรกประมาณ 1,000 แถวต่อครั้งผ่านการสืบค้นนอกเหนือจากการเติมแต่ละค่าในตอนท้ายของสตริงที่มีความยาวหนึ่งไมล์ รันมัน ฉันกำลังใช้กรอบงาน CodeIgniter เพื่อให้สามารถใช้งานฟังก์ชันได้เช่นกัน

129 php  mysql  codeigniter  insert  bulkinsert