ปรับปรุงประสิทธิภาพ BCP สำหรับข้อมูล BLOB

ฉันเป็นกระบวนการในการวางแผนการโยกย้ายแบบสดของฐานข้อมูล 2TB ไปยังตารางที่แบ่งพาร์ติชัน ระบบกำลังพูดอย่างกว้างขวางในการจัดเก็บเอกสารพื้นที่ส่วนใหญ่ถูกจัดสรรให้กับ LOBs ระหว่าง 50kb และ 500kb โดยมีเปอร์เซ็นต์เล็กน้อยในช่วง 500kb ถึง 1MB ส่วนหนึ่งของการโยกย้ายจะเกี่ยวข้องกับข้อมูล BCPing จากฐานข้อมูลเก่าไปยังฐานข้อมูลใหม่

BCP เป็นวิธีการที่ต้องการเนื่องจากการแบ่งปัจจุบัน / ประวัติศาสตร์ในข้อมูลอนุญาตให้แยกข้อมูลเก่าในขั้นตอน (ในช่วงเวลาที่เงียบสงบ) ล่วงหน้าของสวิตช์สุดท้ายซึ่งช่วยลดผลกระทบต่อระบบถ่ายทอดสด ปริมาณของข้อมูลและความพร้อมของการจัดเก็บติ๊ดในแหล่งกำเนิดสร้างโครงการพาร์ทิชัน

ฉันสงสัยว่าอาจมีการเพิ่มประสิทธิภาพบางอย่างจากการทดลองกับ KILOBYTES_PER_BATCH มากกว่า ROWS_PER_BATCH เนื่องจากเนื้อหา BLOB แนะนำในเอกสารคู่มือBCPที่ SQL สามารถปรับการดำเนินงานให้เหมาะสมตามค่านี้

สิ่งที่ฉันไม่สามารถหาได้คือแนวทางใด ๆ เกี่ยวกับลักษณะของการเพิ่มประสิทธิภาพเหล่านี้หรือที่ที่จะเริ่มการทดสอบของฉัน ในความไม่สมบูรณ์ของคำแนะนำฉันจะลองวิ่งระยะสั้นที่ขอบเขต 4/8/16/32 / 64mb เพื่อเริ่มต้น

อาจได้ประโยชน์จากการเปลี่ยนขนาดแพ็คเก็ต (พารามิเตอร์ BCP -a แทนที่จะเป็นการตั้งค่าระดับเซิร์ฟเวอร์) แต่ฉันมีแนวโน้มที่จะชนสิ่งนี้เป็นจำนวนสูงสุด 65535 เว้นแต่ว่าใครมีวิธีการสูตรมากขึ้น

นี่ไม่ใช่คำตอบสำหรับคำถามของคุณโดยตรง แต่มีบางบทความที่คุณจะได้รับประโยชน์จากการอ่าน (ในกรณีที่คุณไม่พบพวกเขาก่อน :-)) พวกเขากำลังโหลดข้อมูลจำนวนมากโดยใช้สำเนา bcp / กลุ่ม ฉันอ่านพวกเขาทั้งหมดแล้ว แต่ฉันไม่พบรายละเอียดใด ๆ เกี่ยวกับ KILOBYTES_PER_BATCH พวกเขาทั้งหมดกำลังใช้ ROWS_PER_BATCH แต่ฉันแน่ใจว่าคุณจะพบข้อมูลที่มีประโยชน์อื่น ๆ

• โหลด 1TB ในเวลาน้อยกว่า 1 ชั่วโมง (จากทีม SQL CAT) - รายการคำแนะนำจากที่นี่ (อ้าง):

  • เรียกใช้กระบวนการโหลดได้มากเท่าที่คุณมี CPU ที่มีอยู่ หากคุณมี 32 CPU ให้รันการโหลดแบบขนาน 32 ครั้ง หากคุณมี 8 CPU ให้รันโหลดแบบขนาน 8 ตัว
  • หากคุณสามารถควบคุมการสร้างไฟล์อินพุตให้กำหนดขนาดที่สามารถแบ่งให้เท่ากันตามจำนวนเธรดการโหลดที่คุณต้องการรันแบบขนาน ตรวจสอบให้แน่ใจด้วยว่าระเบียนทั้งหมดเป็นของหนึ่งพาร์ติชันหากคุณต้องการใช้กลยุทธ์การสลับพาร์ติชัน
  • ใช้แทรกเป็นกลุ่มแทน BCP ถ้าคุณกำลังเรียกใช้กระบวนการบนเครื่อง SQL Server
  • ใช้การแบ่งตารางเพื่อเพิ่มอีก 8-10% แต่เฉพาะในกรณีที่อินพุตไฟล์ของคุณมีการรับประกันเพื่อให้ตรงกับฟังก์ชันการแบ่งพาร์ติชันของคุณซึ่งหมายความว่าระเบียนทั้งหมดในไฟล์เดียวจะต้องอยู่ในพาร์ติชันเดียวกัน
  • ใช้ TABLOCK เพื่อหลีกเลี่ยงแถวในเวลาที่ล็อค
  • ใช้ ROWS ต่อ BATCH = 2500 หรืออะไรที่ใกล้เคียงนี้ถ้าคุณกำลังนำเข้าสตรีมหลายรายการลงในตารางเดียว

• 10 วิธีปฏิบัติที่ดีที่สุดสำหรับการสร้างคลังข้อมูลเชิงสัมพันธ์ขนาดใหญ่ (จากทีมงาน CAT CAT) - คำแนะนำ (อ้างถึง):

  • ใช้รูปแบบการกู้คืน SIMPLE หรือ BULK LOGGED ระหว่างการโหลดข้อมูลเริ่มต้น
  • สร้างตารางข้อเท็จจริงที่แบ่งพาร์ติชันด้วยดัชนีแบบคลัสเตอร์
  • สร้างตารางการ staging ที่ไม่ได้จัดทำดัชนีสำหรับแต่ละพาร์ติชันและแยกไฟล์ข้อมูลต้นทางสำหรับการเติมแต่ละพาร์ติชัน
  • เติมตารางการจัดเตรียมแบบขนาน (ใช้งาน BULK INSERT, BCP หรือ SSIS หลายงาน)
  • สร้างดัชนีคลัสเตอร์บนแต่ละตาราง staging จากนั้นสร้างข้อ จำกัด CHECK ที่เหมาะสม
  • สลับพาร์ติชันทั้งหมดลงในตารางที่แบ่งพาร์ติชัน
  • สร้างดัชนีที่ไม่ได้ทำคลัสเตอร์บนตารางที่แบ่งพาร์ติชัน

• คู่มือการโหลดข้อมูล (จากทีมงาน CAT CAT)

• การโหลดข้อมูลจำนวนมากลงในตารางที่มีการแบ่งพาร์ติชัน - บทความวิธีปฏิบัติที่ดีที่สุดของ SQL Server (บทความเทคโน)

• กรณีศึกษาการโหลดจำนวนมากที่เพิ่มขึ้นของ SQL Server 2000 (บทความ Technet)

• บทเรียนที่ได้เรียนรู้และข้อค้นพบจาก POC ที่ติดตามเร็ว (จากทีม SQL CAT)

• เคล็ดลับการปรับแต่งประสิทธิภาพสำหรับ SQL Server BCP (โดย Brad McGehee)

• ผลกระทบด้านประสิทธิภาพ: การค้นหาขนาดแบทช์ที่เหมาะสมที่สุด (โดย Linchi Shea)

และการอ้างอิง MSDN ที่ชัดเจน:

• การจัดการแบทช์สำหรับการนำเข้าจำนวนมาก
• การจัดการขนาดแบทช์การคัดลอกจำนวนมาก
• ข้อควรพิจารณาเกี่ยวกับประสิทธิภาพการคัดลอกจำนวนมาก
• แนวทางสำหรับการเพิ่มประสิทธิภาพการนำเข้าจำนวนมาก
• การเพิ่มประสิทธิภาพการนำเข้าจำนวนมาก

จากประสบการณ์ส่วนตัวของฉันฉันประสบความสำเร็จในการสร้างข้อมูลที่รวดเร็วโดยใช้การโหลดแบบขนานและการทดสอบที่มีขนาดแบทช์หลายขนาด ฉันเดาว่าการทดสอบส่วนตัวเท่านั้นที่จะเหมาะกับคุณ หวังว่าคุณจะพบคำแนะนำที่ดีในการอ้างอิง