การแบ่งพาร์ติชันตารางสำหรับเก็บข้อมูล

สถานการณ์:

• สองฐานข้อมูล: DB_A และ DB_Archive กับหนึ่งตารางใหญ่มากที่เรียกว่า tableA
• ทุกวันบันทึกที่เก่ากว่า 60 วันจะถูกลบออกจาก DB_A และย้ายไปที่ DB_Archive เป็นหลักเพื่อแยกสิ่ง "แยก" ออกเนื่องจาก tableA ถูกสอบถามอย่างหนักใน DB_A สำหรับบันทึกของ 2 เดือนที่ผ่านมา

ฉันต้องการกำจัดกระบวนการนี้เพราะมันช้าและสิ้นเปลืองทรัพยากรจำนวนมาก ฉันกำลังคิดที่จะนำตารางพาร์ติชั่นไปใช้บน DB_A ด้วยฟังก์ชั่นพาร์ติชั่นในคอลัมน์วันที่และเก็บบันทึกทั้งหมด <2 เดือนในหนึ่งพาร์ติชั่นและทุกเรคคอร์ด> 2 เดือนในอีกพาร์ติชันหนึ่ง คำถามของฉัน:

• สถานการณ์นี้จะทำงานเป็นอย่างไรถ้าฉันมีฐานข้อมูล 2 แบบ ถ้าฉันค้นหา tableA สำหรับบันทึก> getdate () - 30 จะอ่านพาร์ติชันเก็บถาวรหรือไม่
• ฉันคิดว่าฉันต้องแบ่งดัชนีด้วยใช่มั้ย
• ฉันจะจัดการกับความจริงที่ว่าในวันพรุ่งนี้ฟังก์ชั่นพาร์ทิชันของฉันจะ "เปลี่ยน" ฉันหมายความว่าถ้าฉันสร้างฟังก์ชั่นวันนี้ (วันที่ 2 กรกฎาคมช่วงของมันจะเป็นวันที่ 2 พฤษภาคม แต่พรุ่งนี้จะเป็นวันที่ 3 พฤษภาคม) ฉันสามารถสร้างฟังก์ชั่นพาร์ทิชันแบบไดนามิกได้หรือไม่?

ด้วยการแบ่งพาร์ติชั่นคุณจะต้องทำพาร์ติชั่นต่อวันซึ่งกำหนดขีด จำกัด Pre-SQL 2012 ที่ 1,000 พาร์ติชั่นในมุมมองใหม่เนื่องจากจะอนุญาตให้เก็บถาวร 3 ปีเท่านั้น ด้วย SQL Server 2012 คุณจะได้รับ 15000 พาร์ติชั่นซึ่งมีมากมายสำหรับ 1 พาร์ติชั่นต่อวัน

ทุกวันคุณจะเพิ่มพาร์ติชันใหม่ หากคุณต้องการย้ายพาร์ติชัน 61 วันที่ผ่านมาคุณสามารถทำได้อย่างมีประสิทธิภาพ แต่ยังคงเป็นการดำเนินการออฟไลน์ ดูย้ายพาร์ติชันเป็นกลุ่มที่แตกต่างกันอย่างมีประสิทธิภาพไฟล์

ทั้งหมดดัชนีของคุณจะต้องสอดคล้องดูแนวทางพิเศษสำหรับดัชนีพาร์ติชัน

การซื้อพาร์ติชั่นไม่ใช่เรื่องง่ายและอาจเป็นการกัดครั้งใหญ่ที่จะเคี้ยว ... ดูวิธีการตัดสินใจว่าคุณควรใช้การแบ่งตารางหรือไม่ โดยเฉพาะคุณไม่ควรคาดหวังการปรับปรุงประสิทธิภาพจากการแบ่งพาร์ติชัน คุณควรเข้าใกล้ปัญหาประสิทธิภาพตามเวลาที่กำหนดโดยการจัดกลุ่มตามวันที่และเวลา

ฉันไม่ทราบว่าฟังก์ชั่นพาร์ทิชันสามารถเป็นแบบไดนามิก แต่ฉันสงสัย ตัวเลือกบางอย่างสำหรับคุณโดยไม่ต้องไปเส้นทางนั้น:

1 - แบ่งพาร์ติชันในปฏิทิน DATE และย้ายพาร์ติชันที่เก่าแก่ที่สุดในแต่ละวัน

2 - สร้างมุมมองที่กรองวันที่และชี้แบบสอบถามที่มีอยู่ทั้งหมดของคุณ (ซึ่งสามารถจัดการได้ง่ายโดยเปลี่ยนชื่อตารางต้นแบบเป็นอย่างอื่นและตั้งชื่อมุมมองว่าชื่อตารางปัจจุบันคืออะไร) สิ่งนี้สามารถปรับให้เหมาะสมเช่นกันกับการเปลี่ยนแปลงดัชนี

โปรดทราบว่าตัวเลือกแรกด้านบนจะทำงานได้ดีขึ้นมากถ้าคุณใช้เขตข้อมูลวันที่ในแบบสอบถาม หากคุณไม่ทำมันจะเร็วกว่ากระบวนการปัจจุบัน แต่ข้อความค้นหาจะไม่ได้รับการปรับปรุงอย่างมาก การแบ่งพาร์ติชันโดยทั่วไปจะทำงานได้ดีที่สุดหากคุณสามารถกรองข้อมูลในพาร์ติชั่นพาร์ทิชันของคุณได้และออพติไมเซอร์จะรู้ว่าต้องดูพาร์ทิชันใด

นี่คือสิ่งที่ควรใช้กับคุณ: DB_A - tableA ที่มีพาร์ติชันที่แตกต่างกันสำหรับแต่ละ 60 วันล่าสุด - stagingTable เพื่อย้ายข้อมูลจากพาร์ติชันที่เก่าที่สุด

DB_Archive tableA - เก็บข้อมูลทั้งหมดที่เก่ากว่า 60 วัน (ไม่แบ่งพาร์ติชัน)

กระบวนการ: 1. ก่อนสิ้นวัน: เปลี่ยนฟังก์ชั่นพาร์ติชั่น - แบ่งช่วงเพื่อเพิ่มพาร์ติชั่นใหม่สำหรับวันใหม่ (หมายเหตุ: แทนที่จะสร้างพาร์ติชันสำหรับ "วันที่วันนี้ + 1 วัน" คุณอาจต้องการทำขั้นตอนต่อไปเช่น: "วันนี้วันที่ + 5 วัน"

1. หลังจากสิ้นสุดแต่ละวันคุณจะสลับพาร์ติชันที่เก่าที่สุดใน DB_A.tableA เป็น DB_A.stagingTable ผสานพาร์ติชั่นที่เก่าแก่ที่สุด

2. นำเข้าข้อมูลจาก DB_A.stagingTable ไปยัง DB_Archive.tableA ในที่สุด trunacte DB_A.stagingTable

ข้างต้นเรียกว่า Rolling Window และเป็นสถานการณ์ที่พบได้ทั่วไปสำหรับ VLDB เห็นนี้กระดาษสีขาวโดยไมโครซอฟท์ในการแบ่งพาร์ทิชัน: ตารางพาร์ทิชันและดัชนีกลยุทธ์หรือลองนี้เฉพาะในบานเลื่อนหน้าต่างสถานการณ์

คุณสามารถใช้วิธีการแบบไดนามิกของการเก็บถาวรและการล้างข้อมูลใน SQL Server กรุณาทำตามลิงค์ด้านล่างสำหรับสิ่งนั้น

http://www.sqlscientist.com/2012/09/auto-maintain-archival-process.html