ถ่ายโอนข้อมูลจำนวนมาก (84 ล้านแถว) ของข้อมูลอย่างมีประสิทธิภาพ

ฉันมีแถวประมาณ 84 ล้านแถว พวกเขาทั้งหมดจะต้องถูกถ่ายโอนไปยังฐานข้อมูลแยกต่างหากบนเซิร์ฟเวอร์เดียวกันจากนั้นฉันลบเพื่อลบประมาณ 60 ล้านแถวจากฐานข้อมูลต้นทาง

84 ล้านแถวทั้งหมดอยู่ในตารางเดียวกัน ตารางนั้นคิดเป็น 90% ของฐานข้อมูลทั้งหมด

ดังนั้น ... ที่มา: 84 ล้านแถว -> 24 ล้านแถวปลายทาง: 0 แถว -> 84 ล้านแถว

แหล่งที่มาใช้โหมดการกู้คืนแบบเต็มปลายทางจะใช้งานง่าย

ฉันสงสัยว่าอะไรจะเป็นวิธีที่มีประสิทธิภาพที่สุดในการทำสิ่งนี้?

แผนก:

1) INSERT INTO destination SELECT * จากแหล่งที่มา

2) แหล่งที่มาตัด

3) INSERT INTO SELECT เลือก * จากปลายทาง WHERE keep_condition = 1

แผนข:

1) คืนค่าสำเนาสำรองของฐานข้อมูลต้นทางเป็นฐานข้อมูลปลายทาง

2) วางทุกตารางยกเว้นตารางที่จำเป็นบนฐานข้อมูลปลายทาง

3) แหล่งที่มาตัด

4) INSERT INTO SELECT เลือก * จากปลายทาง WHERE keep_condition = 1

แผน C:

1) INSERT INTO destination SELECT * จากแหล่งที่มา

2) ลบแหล่ง WHERE keep_condition = 0

หรืออย่างอื่น?

ขอบคุณ

ฉันจะเพิ่มว่า แต่คุณตัดสินใจที่จะเข้าใกล้นี้คุณจะต้องชุดทำธุรกรรมเหล่านี้ ฉันโชคดีมากกับบทความที่เชื่อมโยงเมื่อเร็ว ๆ นี้และฉันซาบซึ้งในวิธีการใช้ประโยชน์จากดัชนีซึ่งตรงข้ามกับโซลูชันที่มีแบทช์มากที่สุดที่ฉันเห็น

แม้แต่การบันทึกเพียงเล็กน้อยก็เป็นธุรกรรมขนาดใหญ่และคุณสามารถใช้เวลามากมายในการจัดการกับการเติบโตของบันทึกที่ผิดปกติ (VLFs, การตัดทอน, การปรับขนาดขวา ฯลฯ )

ขอบคุณ

"ประสิทธิภาพ" สามารถนำไปใช้กับการใช้งานไฟล์บันทึกประสิทธิภาพ I / O เวลา CPU หรือเวลาดำเนินการ

ฉันจะพยายามทำให้การบันทึกมีน้อยที่สุดซึ่งจะค่อนข้างมีประสิทธิภาพจากมุมมองการบันทึก สิ่งนี้จะช่วยคุณประหยัดเวลาในการดำเนินการซึ่งเป็นโบนัส หากคุณมีพื้นที่ tempdb ข้อมูลต่อไปนี้อาจใช้ได้สำหรับคุณ

CREATE TABLE #temp;
ALTER source -> BULK_LOGGED recovery model

BEGIN TRANSACTION;

    INSERT INTO dest SELECT FROM source;
    INSERT INTO #temp SELECT FROM source WHERE keep_condition=1;
    TRUNCATE TABLE source;
    INSERT INTO source SELECT FROM #temp;

COMMIT TRANSACTION;

ALTER source -> FULL recovery model
DROP TABLE #temp;

เพื่อให้การดำเนินการเข้าสู่ระบบน้อยที่สุดจำนวนเงื่อนไขต้องเป็นจริงรวมถึงไม่มีการสำรองข้อมูลที่ทำงานอยู่ในปัจจุบันฐานข้อมูลที่ตั้งค่าเป็นBULK_LOGGEDโหมดการกู้คืนและขึ้นอยู่กับดัชนีของคุณตารางเป้าหมายอาจต้องว่างเปล่า พฤติกรรมบางอย่างนี้ก็เปลี่ยน (ปรับปรุง) จาก SQL Server 2005 เป็น 2008

จากนั้นอีกครั้งโดยไม่ทราบข้อมูลเฉพาะของตารางและข้อมูลของคุณตัวเลือกอื่นใดของคุณอาจทำงานได้ดีขึ้น ลองใช้ดู

SET STATISTICS IO ON;
SET STATISTICS TIME ON;

.. และดูว่าอะไรดีที่สุด

แก้ไข : เมื่อทำการดำเนินการบันทึกจำนวนมากตรวจสอบให้แน่ใจว่าคุณทำการสำรองข้อมูล (บันทึกเต็มหรือธุรกรรม) ก่อนและหลังการดำเนินการหากคุณต้องการความสามารถในการกู้คืน ณ จุดเวลาและคุณสงสัยว่ากิจกรรมอื่น ๆ อาจเกิดขึ้นในฐานข้อมูล ในเวลาเดียวกันกับที่งาน ETL ของคุณกำลังทำงานอยู่

ฉันเขียนโพสต์บล็อกเกี่ยวกับการดำเนินการที่น้อยที่สุดเมื่อไม่นานมานี้มีลิงค์อยู่ในบทความและเอกสารอื่น ๆ

ทำไมไม่ BCP

1. สำรองแหล่งที่มา
2. เปลี่ยน sourcedb เป็นบันทึกจำนวนมาก

3. พร้อมรับคำสั่งเปิด

4. bcp server.sourcedb.table out Filename.flt -T -c

5. bcp "SELECT * FROM sourcedb.table WHERE keep_condition = 1" queryout Filename2.flt -T -c

6. bcp Server.destinationdb.table in Filename.flt -T -c -b1000

7. ตรวจสอบข้อมูล

8. จาก SSMS ตัดทอนตาราง sourcedb
9. bcp server.sourcedb.table in Filename2.flt -T -c -b1000
10. เปลี่ยน sourcedb กลับเป็นเต็ม

อย่าคิดว่าคุณควรจะได้รับการแนะนำให้เปลี่ยนรูปแบบการกู้คืนโดยไม่ต้องทั้งการสำรองฐานข้อมูลหรือเสื้อเข้าสู่ระบบสำรองข้อมูลทั้งหมดก่อนและหลัง หนึ่งในคุณสมบัติของแบบจำลองการกู้คืน BULK_LOGGED คือคุณจะสูญเสียความสามารถในการกู้คืนข้อมูล ณ จุดเวลาสำหรับบันทึก t ที่มีการดำเนินการบันทึกจำนวนมาก สถานการณ์แบบคลาสสิก: การสำรองข้อมูลเต็มรูปแบบทุกคืน, การสำรองข้อมูล t-log ทุกชั่วโมง คุณเปลี่ยนรูปแบบการกู้คืนเป็นบันทึกจำนวนมากและเริ่มการทำงานของคุณ เกิดข้อผิดพลาดบางอย่างและการทำธุรกรรมย้อนกลับ (หรือคุณไม่ได้ใช้) อย่างไรก็ตามคุณไม่แน่ใจว่ามีอะไรเกิดขึ้นในฐานข้อมูลอีกดังนั้นคุณต้องการคืนค่าไปยังจุดที่ทราบดี

คุณสามารถคืนค่ากลับเป็นเมื่อใด ล่าสุดสำรองเสื้อบันทึกรายชั่วโมงที่ไม่ได้มีการดำเนินงานจำนวนมากเข้าสู่ระบบอาจสูญเสียนาที n ของการทำธุรกรรม การสำรองข้อมูลเต็มรูปแบบหรือการสำรองข้อมูล t-log ก่อนที่จะเปลี่ยนรูปแบบการกู้คืนจะสร้างจุดทางเลือก สิ่งที่คุณเลือกขึ้นอยู่กับ RTO ของคุณ

การวางพาร์ติชันออกจากตารางเป็นวิธีที่รวดเร็วและประหยัดทรัพยากรในการลบข้อมูลขนาดใหญ่ออกจากตาราง ตารางนี้ถูกแบ่งพาร์ติชันในลักษณะที่สนับสนุนการแยกต้นทาง / ปลายทางของคุณคำตอบคือการกู้คืนสำเนาวางตารางที่ซ้ำซ้อนและพาร์ติชันที่ซ้ำซ้อนจากปลายทางและวางพาร์ติชันเสริมจากแหล่งที่มา

ต้นทุนของการเปิดใช้งานการแบ่งพาร์ติชันอาจทำให้การดำเนินการโดยรวมมีราคาแพงกว่า