ฉันจะรันสคริปต์ขนาดใหญ่ที่มีส่วนแทรกจำนวนมากโดยไม่ใช้หน่วยความจำไม่เพียงพอได้อย่างไร

คำถาม:

ฉันมีสคริปต์ที่มีการแทรกประมาณ 45,000 รายการจากคำสั่งที่เลือก เมื่อฉันลองและเรียกใช้ฉันได้รับข้อความแสดงข้อผิดพลาดระบุว่าฉันมีหน่วยความจำไม่เพียงพอ ฉันจะทำให้สคริปต์นี้ทำงานได้อย่างไร

บริบท:

1. เพิ่มเขตข้อมูลใหม่บางส่วนเพื่อให้แอปพลิเคชันเล่นได้ดีกับแอปอื่นที่ลูกค้าใช้
2. มีสเปรดชีตข้อมูลจากลูกค้าที่เต็มไปด้วยข้อมูลที่แมปไอเท็มข้อมูลปัจจุบันกับค่าสำหรับฟิลด์ใหม่เหล่านี้
3. แปลงสเปรดชีตเพื่อแทรกคำสั่ง
4. ถ้าฉันใช้คำสั่งบางคำสั่งใช้งานได้ แต่สคริปต์ทั้งหมดไม่ทำงาน
5. ไม่ไม่มีการพิมพ์ผิด

หากมีวิธีอื่นที่ฉันควรจะโหลดข้อมูลนี้เพื่อลงโทษฉันและแจ้งให้เราทราบ

ขนาดแบตช์สูงสุดสำหรับ SQL Server 2005 คือ 65,536 * ขนาดแพ็คเก็ตเครือข่าย (NPS) โดยที่ NPS มักเป็น 4KB ใช้งานได้ถึง 256 MB นั่นหมายความว่าใบแจ้งยอดของคุณจะมีค่าเฉลี่ย 5.8 KB ดูเหมือนจะไม่ถูกต้อง แต่อาจมีช่องว่างที่ไม่เกี่ยวข้องหรือสิ่งผิดปกติในนั้น

คำแนะนำแรกของฉันคือการใส่คำสั่ง "GO" หลังจากทุกคำสั่ง INSERT สิ่งนี้จะแยกชุดคำสั่ง INSERT 45,000 ชุดของคุณออกเป็นชุดละ 45,000 ชุด ควรย่อยง่ายกว่า ระวังถ้ามีเม็ดมีดอันใดอันหนึ่งผิดพลาดคุณอาจพบว่ามีผู้ร้ายได้ยาก คุณอาจต้องการป้องกันตัวเองด้วยการทำธุรกรรม คุณสามารถเพิ่มข้อความเหล่านั้นได้อย่างรวดเร็วหากเครื่องมือแก้ไขของคุณมีการค้นหาและแทนที่ที่ดี (ซึ่งจะช่วยให้คุณค้นหาและแทนที่อักขระที่ส่งคืนเช่น \ r \ n) หรือสิ่งอำนวยความสะดวกของแมโคร

ข้อเสนอแนะที่สองคือการใช้ตัวช่วยสร้างเพื่อนำเข้าข้อมูลโดยตรงจาก Excel ตัวช่วยสร้างจะสร้างแพ็คเกจ SSIS เล็ก ๆ สำหรับคุณที่อยู่เบื้องหลังแล้วเรียกใช้สิ่งนั้น มันจะไม่มีปัญหานี้

BULK INSERTหรือbcpดูตัวเลือกที่เหมาะสมกว่า 45,000 คำสั่งแทรก

หากคุณต้องการติดกับคำสั่งแทรกฉันจะพิจารณาตัวเลือกไม่กี่:

ตอบ: ใช้ธุรกรรมและห่อแบทช์ของงบ 100 หรือ 500 หรือ 1,000 รายการในแต่ละรายการเพื่อลดผลกระทบต่อบันทึกและแบทช์ เช่น

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

B: แทนที่จะใช้คำสั่งแทรกแต่ละคำสั่งใช้คำสั่งUNION ALL100 หรือ 500 คำสั่งในแต่ละครั้งเช่น

INSERT dbo.table(a, ...)
SELECT 1, ...
UNION ALL SELECT 2, ...
...
UNION ALL SELECT 500, ...
GO

INSERT dbo.table(a, ...)
SELECT 501, ...
UNION ALL SELECT 502, ...
...
UNION ALL SELECT 1000, ...
GO

ฉันเหลือข้อผิดพลาดในการจัดการกับความกะทัดรัด แต่ประเด็นก็คือฉันจะไม่พยายามส่งชุดคำสั่งเดี่ยวจำนวน 45,000 ชุดไปยัง SQL Server

ฉันไม่แน่ใจว่าทำไมคุณได้รับข้อผิดพลาดหน่วยความจำไม่เพียงพอ แต่มีวิธีการที่ง่ายกว่า

หากคุณสามารถส่งออกข้อมูลจากสเปรดชีตเป็นรูปแบบที่มีตัวคั่น (เช่น csv) คุณสามารถใช้ตัวช่วยสร้างการนำเข้าข้อมูลใน SSMS เพื่อแทรกข้อมูลให้คุณ:

ใช้ SqlBulkCopy หลายอันสร้างตารางชั่วคราว แทรกข้อมูลใหม่ลงในตาราง temp จากนั้นรวมข้อมูลในตาราง temp ลงในข้อมูลที่มีอยู่ ตัวอย่างการใช้ C # วิธี SqlBulkCopy.WriteToServer (DataTable) หวังว่ามันจะช่วย

ใช่เราทำได้ฉันลองใช้วิธีBCP (โปรแกรมคัดลอกขนาดใหญ่) เพื่อหลีกเลี่ยงปัญหาOutOfMemory

หมายเหตุ : พยายามบน SQL Server 2014

ใน BCP อันดับแรกเราต้องส่งออกข้อมูลฐานข้อมูลต้นทางไปยังไฟล์bcp (ในโฟลเดอร์ไดเรกทอรีในเครื่อง) จากนั้นจำเป็นต้องนำเข้าไฟล์bcpนั้นไปยังฐานข้อมูลปลายทาง

ด้านล่างเป็นขั้นตอนการเดินเค้ก:

บันทึก:

a) ตรวจสอบให้แน่ใจว่ามีตารางว่างอยู่ในฐานข้อมูลปลายทาง

b) ตรวจสอบให้แน่ใจว่าโฟลเดอร์ชั่วคราวมีอยู่ในไดรฟ์C

1. สร้างไฟล์ค้างคาวชื่อเป็นExport_Data.batด้วยคำสั่งที่แสดงด้านล่าง:

   bcp.exe [Source_DataBase_Name].[dbo].[TableName] OUT "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   หยุด

2. เรียกใช้ไฟล์ bat นั้นเนื่องจากไฟล์bcpจะถูกสร้างขึ้นในโฟลเดอร์Temp

3. จากนั้นสร้างไฟล์ bat อีกไฟล์ชื่อเป็นImport_Data.batด้วยคำสั่งต่อไปนี้:

   bcp.exe [Destination_DataBase_Name].[dbo].[TableName] IN "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   หยุด

และไปเลย!