หน่วยความจำที่ใช้ไม่ได้เพิ่มขึ้นหลังจาก SQL BULK Insert / BCP Export

ฉันได้สร้างตาราง SQL พื้นฐานมากดังต่อไปนี้

CREATE TABLE [dbo].[TickData](
[Date] [varchar](12) NULL,
[Time] [varchar](12) NOT NULL,
[Symbol] [varchar](12) NOT NULL,
[Side] [varchar](2) NOT NULL,
[Depth] [varchar](2) NOT NULL,
[Quote] [varchar](12) NOT NULL,
[Size] [varchar](18) NOT NULL
    ) ON [PRIMARY]

จากนั้นฉันก็ทำการแทรก 3 Gig Bulk

    BULK
    INSERT TickData
    FROM 
    'C:\SUMO.csv'
    GO

จากนั้นการใช้ RAM สำหรับเซิร์ฟเวอร์ SQL ทำให้ Skyrocking กิน RAM ขึ้น ~ 30Go:

ฉันชอบที่จะคิดว่านี่เป็นพฤติกรรมที่ผิดปกติและสามารถดำเนินการเพื่อหลีกเลี่ยงปัญหานี้ได้

แก้ไข:
ตกลงนี่น่าจะเป็นพฤติกรรมเริ่มต้น ยุติธรรมพอสมควร
อย่างไรก็ตามเหตุใดหน่วยความจำจึงไม่เพิ่มขึ้นหลังจากการแทรกจำนวนมากเสร็จสิ้นแล้ว

ข้อควรพิจารณาเพิ่มเติมสองประการ:
จากความคิดเห็นเกี่ยวกับเซิร์ฟเวอร์ SQL ที่เพิ่มหน่วยความจำเมื่อมีการ "บอก" โดยระบบปฏิบัติการประสบการณ์บนมือของฉันบนเซิร์ฟเวอร์ 24-Core 32 Gb Xeon พิสูจน์ได้ว่าสิ่งนี้ไม่แน่นอน: เมื่อสารสกัด BCP หน่วยความจำไม่รู้จักจบ ฉันมีกลุ่มของ. Net อินสแตนซ์ของแอปพลิเคชันการประมวลผลข้อมูลของฉันที่ต้องการประมวลผลข้อมูลที่แยกออกมาและพวกเขาถูกทิ้งให้สำลัก / ต่อสู้เพื่อแบ่งปันหน่วยความจำที่เหลือเพื่อพยายามทำงานของพวกเขาซึ่งใช้เวลานานกว่านั้น ปิดและหน่วยความจำพร้อมใช้งานสำหรับแอปพลิเคชันทั้งหมดเพื่อแบ่งปัน ฉันต้องหยุด SQL Server Agent เพื่อให้ทุกอย่างดำเนินไปอย่างราบรื่นและป้องกันไม่ให้แอปหยุดทำงานสำหรับ Articiallt ทำให้เกิดข้อยกเว้น OutOfMemmroy สำหรับการ จำกัด / จำกัด หน่วยความจำแบบ Brutal Memory หากมีหน่วยความจำว่าง ทำไมไม่ใช้ เป็นการดีที่มันค่อนข้างจะถูกตั้งค่าแบบ dinamically เพื่อปรับให้เข้ากับสิ่งที่มีอยู่มากกว่าเพียงแค่การ จำกัด การบังคับโดยการ "สุ่ม" แต่ฉันเดาว่านี่คือการออกแบบดังนั้นกรณีปิดในจุดสุดท้ายนี้

มันเป็นพฤติกรรมปกติสำหรับ SQL Server ที่จะจัดสรรหน่วยความจำให้มากที่สุดเท่าที่จะทำได้ในพูลของบัฟเฟอร์ ฐานข้อมูลทำงานได้ดีที่สุดกับบัฟเฟอร์จำนวนมาก หากคุณต้องการเปลี่ยนลักษณะการทำงานคุณสามารถตั้งค่า'หน่วยความจำเซิร์ฟเวอร์สูงสุด'ได้ มีพื้นฐานการอ่านที่ดีอยู่ที่นี่

หากคุณต้องการให้ระบบปฏิบัติการนำหน่วยความจำกลับมาจาก SQL Server ให้นำไฟล์ขนาดใหญ่ 20 GB แล้วคัดลอกผ่านเครือข่าย SQL Server จะปล่อยหน่วยความจำตามที่ระบบปฏิบัติการต้องการ แต่ฉันจะดูตัวนับประสิทธิภาพที่หลากหลายในขณะที่เกิดขึ้นและดูว่าประสิทธิภาพของ BULK INSERT ของคุณเปลี่ยนไปอย่างไรถ้าคุณเรียกใช้อีกครั้งในขณะที่การคัดลอกเกิดขึ้นหรือทันทีหลังจากนั้น

ถ้าคุณต้องการทำด้วยตนเองคุณควรกำหนดขีด จำกัด ล่างในการตั้งค่าหน่วยความจำเซิร์ฟเวอร์สูงสุดของ SQL Server และเริ่มบริการใหม่ ตอนนี้ SQL Server จะไม่ใช้ 28GB แม้ว่าจะต้องการ แต่นี่ดูเหมือนว่าจะเป็นการ จำกัด เซิร์ฟเวอร์ SQL

สิ่งที่คุณคาดหวังคือพฤติกรรมที่ยืดหยุ่นมากขึ้นซึ่งคุณสามารถมีหน่วยความจำว่างได้ตลอดเวลา เพื่อจุดประสงค์อะไร? นี่เหมือนกับการย่อขนาดไฟล์ฐานข้อมูลเพื่อเพิ่มพื้นที่ว่างในดิสก์ที่คุณไม่สามารถใช้เพื่อวัตถุประสงค์อื่นได้หรือไม่เพราะไฟล์ฐานข้อมูลจะขยายอีกครั้งหรือไม่

เป็นเรื่องตลกถ้าคุณพิมพ์การค้นหาโดย Google สำหรับ "ทำไมจึงไม่ใช่ SQL Server" การเติมข้อความอัตโนมัติที่พบบ่อยที่สุดคือ "ปล่อยหน่วยความจำ"

น่าเสียดายที่มีการออกแบบโปรดอ้างอิงโพสต์นี้ อย่างไรก็ตามในโพสต์นี้จะให้คำแนะนำเกี่ยวกับวิธีการควบคุม

/server/251832/sql-server-bulk-insert-physical-memory-issue

แก้ไขการจัดสรรหน่วยความจำ

หน่วยความจำไม่ได้freedขึ้นอยู่กับการจัดสรรหน่วยความจำเช่นแอปพลิเคชัน. NET เนื่องจากการจัดสรรหน่วยความจำมีราคาแพงมันจะระงับการจัดสรรนั้นเว้นแต่ OS จะร้องขอ แต่ไม่ต้องกลัวถ้าระบบปฏิบัติการต้องการหน่วยความจำก็จะได้รับเหมือนในแอปพลิเคชั่น. NET