สิ่งที่สามารถเพิ่มความเร็วคิวรีแบบสอบถาม SQL?

เมื่อทำการสอบถาม SQL นับ (รวม) สิ่งที่สามารถเพิ่มความเร็วเวลาการดำเนินการในระบบฐานข้อมูล 3 เหล่านี้? ฉันแน่ใจว่าหลายสิ่งหลายอย่างสามารถเร่งความเร็วได้ (ฮาร์ดแวร์สำหรับหนึ่งชิ้น) แต่ฉันเพิ่งเป็นสามเณร DBA ดังนั้นฉันแน่ใจว่าฉันจะได้รับคำตอบที่นี่ ฉันโยกย้ายประมาณ 157 ล้านแถวไปยังฐานข้อมูล SQL Server และแบบสอบถามนี้ใช้เวลานาน แต่ในฐานข้อมูล Netezza ต้นทางของฉันมันใช้เวลาไม่กี่วินาที

ตัวอย่างเช่น:

เนเตซซ่า 6:

SELECT COUNT(*) FROM DATABASENAME..MYTABLE

Oracle 11g:

SELECT COUNT(*) FROM MYTABLE

SQL Server 2012:

SELECT COUNT(*) FROM DATABASENAME.[dbo].[MYTABLE]

Netezza เป็นเครื่องมือที่ออกแบบมาเพื่อสแกนตารางขนาดใหญ่ได้อย่างยอดเยี่ยมดังนั้นนั่นเป็นเหตุผลว่าทำไมคุณถึงได้ผลลัพธ์ที่รวดเร็วบนระบบนั้น

สำหรับ SQL Server ของคุณคุณสามารถเพิ่มจำนวนแถวได้อย่างรวดเร็วโดยการสอบถามจาก sys.dm_db_partition_stats DMV

SELECT s.name AS [Schema], o.name AS [Table], SUM(p.row_count) AS [RowCount]
FROM sys.dm_db_partition_stats p JOIN sys.objects o
ON p.object_id = o.object_id JOIN sys.schemas s
ON o.schema_id = s.schema_id
WHERE p.index_id < 2
AND o.object_id = object_id('MyTable')
GROUP BY o.name, s.name;

ในสภาพแวดล้อมการทำธุรกรรมสูง DMV นี้ไม่รับประกันว่าจะถูกต้อง 100% แต่จากคำถามของคุณดูเหมือนว่าคุณกำลังทำการนับแถวเพื่อยืนยันแต่ละตารางหลังจากการย้ายข้อมูลดังนั้นแบบสอบถามนี้จึงเหมาะสำหรับคุณ

นี่คือโซลูชัน SQL Server ที่ใช้COUNT_BIGภายในมุมมองที่จัดทำดัชนี สิ่งนี้จะช่วยให้คุณได้รับการนับจำนวนที่สอดคล้องกับธุรกรรมโดยไม่มีค่าใช้จ่ายในการสแกนตารางขนาดใหญ่หรือดัชนีและไม่จำเป็นต้องมีหน่วยความจำที่ต้องการ

CREATE TABLE [dbo].[MyTable](id int);
GO

CREATE VIEW [dbo].[MyTableRowCount]
    WITH SCHEMABINDING
AS

    SELECT
        COUNT_BIG(*) AS TableRowCount
        FROM [dbo].[MyTable];
GO

CREATE UNIQUE CLUSTERED INDEX IX_MyTableRowCount
    ON [dbo].[MyTableRowCount](TableRowCount);
GO

SELECT
    TableRowCount
    FROM [dbo].[MyTableRowCount] WITH(NOEXPAND);

สิ่งนี้จะต้องมีการสแกนครั้งแรกครั้งเดียว (ไม่ต้องออกห่างจากสิ่งนี้) และเพิ่มค่าใช้จ่ายเล็กน้อยเพื่อจัดการกับข้อมูลตารางแบบส่วนเพิ่ม หากคุณกำลังทำการดำเนินการขนาดใหญ่ที่มีข้อมูลจำนวนมาก (เมื่อเทียบกับการดำเนินการขนาดเล็กจำนวนมาก) ฉันคิดว่าค่าใช้จ่ายในการเปลี่ยนแปลงควรน้อยมาก

ใน Oracle สามารถใช้ดัชนีต้นไม้แบบไบนารีในคอลัมน์ NOT NULL เพื่อตอบ COUNT (*) ในกรณีส่วนใหญ่จะเร็วกว่าการสแกนแบบเต็มตารางเนื่องจากดัชนีมักจะเล็กกว่าตารางพื้นฐาน

อย่างไรก็ตามดัชนีต้นไม้ไบนารีปกติจะยังคงมีขนาดใหญ่ด้วย 157 Mrows หากตารางของคุณไม่ได้รับการอัปเดตพร้อมกัน (เช่นเฉพาะกระบวนการโหลดเป็นชุด) คุณอาจต้องการใช้ดัชนีบิตแมปแทน

ดัชนีบิตแมปขนาดเล็กที่สุดจะเป็นดังนี้:

CREATE BITMAP INDEX ix ON your_table(NULL);

รายการ Null ถูกนำเข้าบัญชีโดยดัชนีบิตแมป ดัชนีผลลัพธ์จะมีขนาดเล็ก (20-30 8k บล็อกต่อล้านแถว) เมื่อเทียบกับดัชนีต้นไม้ไบนารีปกติหรือตารางฐาน

แผนผลลัพธ์ควรแสดงการดำเนินการต่อไปนี้:

----------------------------------------------
| Id  | Operation                     | Name | 
----------------------------------------------
|   0 | SELECT STATEMENT              |      |
|   1 |  SORT AGGREGATE               |      |
|   2 |   BITMAP CONVERSION COUNT     |      |
|   3 |    BITMAP INDEX FAST FULL SCAN| IX   |
----------------------------------------------

หากตารางของคุณอัปเดตพร้อมกันดัชนีบิตแมปที่มีค่าไม่ซ้ำกันจะเป็นประเด็นของการโต้แย้งและไม่ควรใช้

ใน Oracle แบบสอบถามแบบนับอย่างง่ายมักถูกเรียกใช้งานโดยการสแกนดัชนีแทนที่จะเป็นทั้งตาราง ดัชนีจะต้องเป็นดัชนีบิตแมปหรือกำหนดไว้ในคอลัมน์ที่มีข้อ จำกัด ไม่เป็นโมฆะ สำหรับการสืบค้นที่ซับซ้อนมากขึ้นซึ่งต้องการการสแกนแบบเต็มตารางคุณสามารถใช้การสืบค้นแบบขนาน

ในการเปิดใช้งานการสืบค้นแบบขนาน (จำเป็นต้องมี Enterprise Edition) คุณสามารถใช้คำแนะนำของเครื่องมือเพิ่มประสิทธิภาพ:

select /*+ PARALLEL(mytable, 12) */ count(*) from mytable;

หรือเปิดใช้งานแบบสอบถามแบบขนานสำหรับแบบสอบถามทั้งหมดในตาราง:

alter table mytable parallel 12;