การอิมพอร์ตแหล่งข้อมูลไฟล์แฟล็ตขนาดใหญ่ด้วยการรวม Drupal 7 กับ Views 3
เป้าหมายของฉันคือการผลิตที่รวดเร็วเชื่อถือได้และวิธีการแบบอัตโนมัติสำหรับการเข้าถึงแบบอ่านอย่างเดียวข้อมูลที่มีอยู่ในหลายขนาดใหญ่มากแหล่งข้อมูลแบนไฟล์ ( CSV s คงความกว้างและเอกสาร XML) โดยใช้ Drupal 7 ที่สามารถสอบถามกับใช้เข้าชม 3โมดูล. ฉันต้องการใช้โมดูลที่มีอยู่แล้ว แต่การสร้างโมดูลที่กำหนดเองก็เป็นตัวเลือกเช่นกัน เพื่อช่วยแยกแยะโมดูลและวิธีการที่ไม่เหมาะกับงานนี่คือสถิติของไฟล์ที่ฉันใช้งาน: ประจำปีนำเข้า: 8,500,000 เส้นCSVไฟล์ (ล้างและโหลดใหม่ทุกปีมีคีย์หลัก) นำเข้ารายสัปดาห์: ไฟล์ความกว้างคงที่ 350,000 บรรทัด (ล้างและโหลดใหม่ทุกสัปดาห์ไม่มีคีย์หลัก ) นำเข้ารายชั่วโมง: 3,400 บรรทัดCSVไฟล์ (ต้องการอัปเดตและซิงค์บ่อยที่สุดเท่าที่จะทำได้ แต่ไม่เกินทุก ๆ 20 นาทีมีคีย์หลัก) นำเข้ารายวัน: ไฟล์ XML 200 รายการ (ล้างและรีโหลดทุกวันมีคีย์หลัก) การแปลงระหว่างสามรูปแบบไม่ใช่ปัญหาและสามารถทำได้หากจะปรับปรุงประสิทธิภาพการนำเข้าหรืออนุญาตให้ใช้เครื่องมือที่ดีกว่า ( AWKสำหรับความกว้างคงที่เป็น CSVและอื่น ๆ ) การดึงและการแปลงอัตโนมัติทำได้ง่ายผ่าน cron และshสคริปต์ แต่ยังคงต้องทำการรวมระบบ Drupal 7 …