Ruby on Rails - นำเข้าข้อมูลจากไฟล์ CSV

ฉันต้องการนำเข้าข้อมูลจากไฟล์ CSV ลงในตารางฐานข้อมูลที่มีอยู่ ฉันไม่ต้องการบันทึกไฟล์ CSV เพียงแค่นำข้อมูลจากนั้นมาวางไว้ในตารางที่มีอยู่ ฉันใช้ Ruby 1.9.2 และ Rails 3

นี่คือตารางของฉัน:

create_table "mouldings", :force => true do |t|
  t.string   "suppliers_code"
  t.datetime "created_at"
  t.datetime "updated_at"
  t.string   "name"
  t.integer  "supplier_id"
  t.decimal  "length",         :precision => 3, :scale => 2
  t.decimal  "cost",           :precision => 4, :scale => 2
  t.integer  "width"
  t.integer  "depth"
end

คุณกรุณาให้รหัสแก่ฉันเพื่อแสดงวิธีที่ดีที่สุดในการทำเช่นนี้ได้ไหมขอบคุณ

require 'csv'    

csv_text = File.read('...')
csv = CSV.parse(csv_text, :headers => true)
csv.each do |row|
  Moulding.create!(row.to_hash)
end

คำตอบของ yfeldblum เวอร์ชันที่เรียบง่ายกว่าซึ่งง่ายกว่าและทำงานได้ดีกับไฟล์ขนาดใหญ่:

require 'csv'    

CSV.foreach(filename, :headers => true) do |row|
  Moulding.create!(row.to_hash)
end

ไม่จำเป็นต้อง with_indifferent_access หรือ symbolize_keys และไม่จำเป็นต้องอ่านไฟล์เป็นสตริงก่อน

มันไม่ได้เก็บไฟล์ทั้งหมดไว้ในหน่วยความจำพร้อมกัน แต่อ่านทีละบรรทัดและสร้าง Molding ต่อบรรทัด

smarter_csvอัญมณีที่ถูกสร้างขึ้นมาโดยเฉพาะสำหรับการนี้กรณีการใช้งาน: อ่านข้อมูลจากไฟล์ CSV ได้อย่างรวดเร็วและสร้างรายการฐานข้อมูล

  require 'smarter_csv'
  options = {}
  SmarterCSV.process('input_file.csv', options) do |chunk|
    chunk.each do |data_hash|
      Moulding.create!( data_hash )
    end
  end

คุณสามารถใช้ตัวเลือกchunk_sizeเพื่ออ่าน N csv- แถวต่อครั้งจากนั้นใช้ Resque ในลูปด้านในเพื่อสร้างงานซึ่งจะสร้างเรกคอร์ดใหม่แทนที่จะสร้างในทันที - ด้วยวิธีนี้คุณสามารถกระจายภาระของการสร้างรายการ เพื่อคนงานหลายคน

ดูเพิ่มเติมที่: https://github.com/tilo/smarter_csv

คุณอาจลองUpsert:

require 'upsert' # add this to your Gemfile
require 'csv'    

u = Upsert.new Moulding.connection, Moulding.table_name
CSV.foreach(file, headers: true) do |row|
  selector = { name: row['name'] } # this treats "name" as the primary key and prevents the creation of duplicates by name
  setter = row.to_hash
  u.row selector, setter
end

nameหากเป็นสิ่งที่คุณต้องการคุณยังอาจพิจารณาได้รับการกำจัดของคีย์หลักเพิ่มโดยอัตโนมัติจากตารางและการตั้งค่าคีย์หลักเพื่อ อีกทางเลือกหนึ่งหากมีการรวมกันของแอตทริบิวต์ที่เป็นคีย์หลักใช้เป็นตัวเลือก ไม่จำเป็นต้องมีดัชนีมันจะทำให้เร็วขึ้น

สิ่งนี้สามารถช่วย มันมีตัวอย่างโค้ดด้วย:

http://csv-mapper.rubyforge.org/

หรือสำหรับงานที่เสาะหาเพื่อทำสิ่งเดียวกัน:

http://erikonrails.snowedin.net/?p=212

มันจะดีกว่าที่จะห่อกระบวนการที่เกี่ยวข้องกับฐานข้อมูลภายในtransactionบล็อก Code snippet เป็นกระบวนการเต็มรูปแบบของการสร้างชุดของภาษาในรูปแบบภาษา

require 'csv'

namespace :lan do
  desc 'Seed initial languages data with language & code'
  task init_data: :environment do
    puts '>>> Initializing Languages Data Table'
    ActiveRecord::Base.transaction do
      csv_path = File.expand_path('languages.csv', File.dirname(__FILE__))
      csv_str = File.read(csv_path)
      csv = CSV.new(csv_str).to_a
      csv.each do |lan_set|
        lan_code = lan_set[0]
        lan_str = lan_set[1]
        Language.create!(language: lan_str, code: lan_code)
        print '.'
      end
    end
    puts ''
    puts '>>> Languages Database Table Initialization Completed'
  end
end

ตัวอย่างด้านล่างเป็นlanguages.csvไฟล์บางส่วน

aa,Afar
ab,Abkhazian
af,Afrikaans
ak,Akan
am,Amharic
ar,Arabic
as,Assamese
ay,Aymara
az,Azerbaijani
ba,Bashkir
...

ใช้อัญมณีนี้: https://rubygems.org/gems/active_record_importer

class Moulding < ActiveRecord::Base
  acts_as_importable
end

จากนั้นคุณสามารถใช้:

Moulding.import!(file: File.open(PATH_TO_FILE))

เพียงให้แน่ใจว่าส่วนหัวของคุณตรงกับชื่อคอลัมน์ของตารางของคุณ

วิธีที่ดีกว่าคือรวมไว้ในภารกิจคราด สร้างไฟล์ import.rake ภายใน / lib / task / และใส่รหัสนี้ลงในไฟล์นั้น

desc "Imports a CSV file into an ActiveRecord table"
task :csv_model_import, [:filename, :model] => [:environment] do |task,args|
  lines = File.new(args[:filename], "r:ISO-8859-1").readlines
  header = lines.shift.strip
  keys = header.split(',')
  lines.each do |line|
    values = line.strip.split(',')
    attributes = Hash[keys.zip values]
    Module.const_get(args[:model]).create(attributes)
  end
end

หลังจากนั้นเรียกใช้คำสั่งนี้ในเทอร์มินัลของคุณ rake csv_model_import[file.csv,Name_of_the_Model]

ฉันรู้ว่ามันเป็นคำถามเก่า แต่ก็ยังอยู่ในลิงค์ 10 อันดับแรกใน google

ไม่มีประสิทธิภาพในการบันทึกแถวหนึ่งต่อหนึ่งเพราะจะทำให้การเรียกฐานข้อมูลในลูปและคุณหลีกเลี่ยงได้ดียิ่งขึ้นโดยเฉพาะเมื่อคุณต้องการแทรกส่วนข้อมูลขนาดใหญ่

จะดีกว่า (และเร็วกว่ามาก) ในการใช้การแทรกแบบกลุ่ม

INSERT INTO `mouldings` (suppliers_code, name, cost)
VALUES
    ('s1', 'supplier1', 1.111), 
    ('s2', 'supplier2', '2.222')

คุณสามารถสร้างแบบสอบถามดังกล่าวด้วยตนเองและทำกว่าModel.connection.execute(RAW SQL STRING)(ไม่แนะนำ) หรือใช้อัญมณีactiverecord-import(มันถูกเปิดตัวครั้งแรกเมื่อวันที่ 11 สิงหาคม 2010) ในกรณีนี้เพียงแค่ใส่ข้อมูลในอาร์เรย์rowsและโทรModel.import rows

อ้างถึงเอกสารอัญมณีสำหรับรายละเอียด

มันเป็นเรื่องดีที่จะใช้ CSV :: String.encode(universal_newline: true)ตารางและการใช้งาน มันแปลง CRLF และ CR เป็น LF

หากคุณต้องการใช้ SmartCSV

all_data = SmarterCSV.process(
             params[:file].tempfile, 
             { 
               :col_sep => "\t", 
               :row_sep => "\n" 
             }
           )

สิ่งนี้แสดงถึงข้อมูลที่คั่นด้วยแท็บในแต่ละแถว"\t"โดยมีแถวคั่นด้วยบรรทัดใหม่"\n"