สลับขนาดพาร์ติชั่นบนคอมพิวเตอร์ RAM 64 GB เพื่อใช้งานหน่วยความจำมาก

ฉันมี 64 GB RAM และ 240 GB SSDบนคอมพิวเตอร์ของฉันซึ่งฉันจะใช้สำหรับการคำนวณที่ต้องใช้หน่วยความจำมาก (การเรียนรู้ของเครื่องการขุดข้อมูลเป็นต้น) คำแนะนำส่วนใหญ่ที่ฉันพบบนอินเทอร์เน็ตคือคอมพิวเตอร์ RAM ขนาด 2-4-8 GB และพวกเขาแนะนำขนาดพาร์ติชัน RAM swap ขนาด 2x (ประมาณ 128 GB)

มันมีเหตุผลที่จะสร้างพาร์ทิชัน swap ขนาด 128 GB หรือไม่ ฉันจะได้ประโยชน์อะไรจากการสร้างพาร์ทิชัน swap ขนาดใหญ่?

ฉันเข้าใจถูกต้องหรือไม่ว่าในกรณีที่ RAM ของฉันหมด:

1. หากฉันไม่มี swap ฉันจะได้รับข้อผิดพลาด 'หน่วยความจำไม่เพียงพอ'
2. หากฉันมี swap หน้า RAM บางหน้าจะถูกคัดลอกไปยัง swap partition และโปรแกรมจะยังคงทำงานต่อไป (แม้ว่าจะช้ากว่า)

บางคนบอกว่าเป็นความคิดที่ดีที่จะทำการแลกเปลี่ยนกับ SSD เนื่องจากมีจำนวนรอบการอ่าน / เขียน จำกัด การใช้ swap จะช่วยให้รอบการอ่าน / เขียน SSD เร็วเท่าที่ฉันรู้ประมาณ 50000 เขียน IOPS ได้อย่างไร

ฉันใช้ Linux ( Ubuntu 14.04 (Trusty Tahr))

กำลังจะตั้งค่าการสลับขนาด 16 GB สำหรับตอนนี้เนื่องจากมันควรจะเพียงพอแล้ว (ตัวอย่างเช่น RedHat แนะนำ 4 GB) และเนื้อที่ว่างบนดิสก์ 16 GB ไม่ใช่เรื่องใหญ่จริง ๆ

คุณอาจต้องสลับเล็กน้อย เมื่อคุณมี RAM เพียงพอสำหรับชุดการทำงานทั่วไปของคอมพิวเตอร์ซึ่งฉันค่อนข้างแน่ใจว่าคุณทำคุณจะต้องสลับสองอย่าง:

1. คุณต้องสลับเพื่อรับข้อมูลที่ไม่น่าจะเข้าถึงได้จาก RAM เพื่อเพิ่มพื้นที่ว่างในดิสก์แคช แอปพลิเคชันจำนวนมากทำงานเมื่อเริ่มต้นระบบและจะไม่สามารถเข้าถึงได้อีก คุณไม่ต้องการหน้าใด ๆ ที่ติดอยู่ใน RAM ตลอดไป ดังนั้นคุณต้องสลับเพื่อถือพวกเขา

2. คุณต้องสลับเพื่อให้ครอบคลุมการจัดสรรที่จะไม่ถูกเติม พื้นที่นี้จะต้องมีให้แม้ว่ามันจะไม่ถูกใช้ หากไม่มีระบบจะต้องปฏิเสธการจัดสรรหน่วยความจำแม้ว่าจะมี RAM จริงที่ว่างเปล่าเพราะมีหน่วยความจำสำรองไม่เพียงพอที่จะอนุญาตให้จัดสรรพื้นที่ทั้งหมดได้ในครั้งเดียว

ทั้งสองอย่างนี้จำเป็นต้องมีการแลกเปลี่ยนจำนวนมาก ตัวอย่างเช่น 16GB ควรเกินพอ จุดประสงค์ไม่ให้คุณเรียกใช้ชุดการทำงานที่ใหญ่กว่าด้วยความเร็ว จุดประสงค์คือเพื่อให้คุณใช้งาน 64GB ได้อย่างมีประสิทธิภาพและไม่ต้องอุดตันด้วยขยะหรือสำรองไว้สำหรับกรณีขอบที่จะไม่เกิดขึ้น

(ฉันเห็นด้วยกับเบิร์ตว่า 4GB น่าจะเพียงพอแล้ว)

RedHat แนะนำ 4 GB ในเครื่องที่มี 64 GB

อย่างไรก็ตามการสลับขนาดเป็นศิลปะมากกว่าวิทยาศาสตร์ ขึ้นอยู่กับว่าคุณใช้เครื่องอะไรอยู่มีพื้นที่ดิสก์และหน่วยความจำเท่าไหร่รวมถึงปัจจัยอื่น ๆ จำไว้ว่าคุณสามารถเพิ่มการแลกเปลี่ยนได้ในภายหลัง

การใช้กฎหน่วยความจำกายภาพ 2X นั้นล้าสมัยแล้วกับจำนวนของระบบหน่วยความจำที่มีอยู่ทุกวันนี้ แต่ไม่แนะนำให้รันด้วยการแลกเปลี่ยนศูนย์เว้นแต่คุณจะรู้ว่าคุณกำลังทำอะไร คำแนะนำของ 4 GB เป็นจุดเริ่มต้นที่ดี

บน Linux คุณต้องสลับให้เพียงพอเพื่อให้หน่วยความจำเสมือนทั้งหมดที่มีอยู่ (RAM + SWAP) เพียงพอสำหรับกระบวนการทั้งหมดที่คุณต้องการเรียกใช้ในครั้งเดียวและใช้พื้นที่เสมือนสูงสุด

หากคุณมีการสลับน้อยกว่านี้หรือไม่มีการสลับเลยสถานการณ์ต่อไปนี้จะเกิดขึ้น: ระบบมีหน่วยความจำไม่เพียงพอที่พยายามจัดสรรหน้า แต่นี่ยังคงเป็นความล้มเหลวที่อ่อนนุ่มแม้ว่าจะไม่มีการสลับเนื่องจากระบบมีหน้า "เหยื่อ" จำนวนมากที่สามารถลบออกเพื่อให้มีที่ว่าง: กล่าวคือหน้าของการแมปหน่วยความจำที่สำรองไฟล์ทั้งหมดเช่นไฟล์ปฏิบัติการ และไลบรารีที่แชร์!

ในขณะที่ระบบของคุณต้องการพื้นที่มากขึ้นสำหรับข้อมูล (ซึ่งไม่สามารถสลับออกได้) ระบบจะอพยพรหัสปฏิบัติการ (ไลบรารีที่ใช้ร่วมกันและโปรแกรมปฏิบัติการ) มากขึ้นซึ่งนำไปสู่การฟาดอย่างรุนแรงเนื่องจากชุดการทำงานถูกตัดแต่ง หน้า

พื้นที่สว็อปทำให้ปัญหานี้อ่อนลงโดยการระบุสถานที่สำหรับเพจที่ไม่ระบุชื่อ (ไม่ใช่ไฟล์ที่แม็พ) ที่จะถูกสลับ: เพจที่ใช้สำหรับการจัดสรรหน่วยความจำเพื่อให้โค้ดที่ปฏิบัติการได้สามารถอยู่ในหน่วยความจำได้

แม้ว่าคุณจะไม่ได้ทำงานที่ต้องใช้หน่วยความจำบ่อยคุณอาจสามารถหนีจากการทำงานแบบไม่มีส่วนใหญ่และตั้งค่าไฟล์ swap (แทนที่จะเป็นพาร์ติชั่นเฉพาะ) เมื่อคุณต้องการ ในการสร้างไฟล์ swap ในทันทีให้กลายเป็นรูทและ:

dd if=/dev/zero of=/path/to/swapfile size=$((1024 * 1024)) count=32768  # 32 Gb.
mkswap /path/to/swapfile
swapon /path/to/swapfile

เมื่อคุณไม่ต้องการมันอีกต่อไป:

swapoff /path/to/swapfile
rm /path/to/swapfile

หมายเหตุ:

1. แน่นอนคุณไม่จำเป็นต้องกำหนดค่าการสลับอย่างน้อยเท่ากับ RAM กฎของหัวแม่มือนี้ย้อนกลับไปยังระบบปฏิบัติการซึ่งเป็นข้อกำหนดที่ยากเนื่องจากวิธีการแลกเปลี่ยนได้รับการออกแบบ

2. มีวิธีทำให้ Linux ล้มเหลวเมื่อไม่มีหน่วยความจำอยู่นั่นคือผ่านการจัดการค่าของรายการ sysctl เหล่านี้:

   vm.overcommit_memory
   vm.overcommit_ratio
   

มีข้อควรพิจารณาเพิ่มเติม หากคุณต้องการ / ต้องการพักการทำงานคุณต้องมีขนาด RAM อย่างน้อยก็พอ อย่างไรก็ตามดูเหมือนว่าคุณไม่จำเป็นต้องใช้มันเพราะคุณดูเหมือนจะสร้างม้างานคอมพิวเตอร์เป็นหลัก

ในกรณีนี้โปรดใช้ไฟล์ swap แทนพาร์ติชั่น คุณไม่จำเป็นต้องกังวลเกี่ยวกับการปรับขนาดการกำจัดหรือการเพิ่มในภายหลังไม่จำเป็นต้องแบ่งพาร์ติชันใหม่ ไม่มีการลงโทษประสิทธิภาพ (noticable) โดยใช้ไฟล์บนพาร์ติชัน หากคุณเคยต้องการมันมาดูขนาดและสิ่งนี้จะทำให้คุณมีคำแนะนำที่ดี

ปริมาณงานที่คุณต้องการนำไปใช้กับเครื่องต้องการจำนวนหน่วยความจำที่แน่นอนเพื่อให้ทำงานได้ (จำไว้ว่าให้เพิ่มพอสมการจัดการโหลดสูงสุด) และคุณต้องกำหนดค่าคอมพิวเตอร์ของคุณให้มีอย่างน้อย

ระบบปฏิบัติการที่ทันสมัยให้หน่วยความจำเสมือนเป็นการรวมกันของหน่วยความจำกายภาพและพื้นที่สว็อปดังนั้นหากคุณต้องการหน่วยความจำมากกว่าเครื่องที่มีอยู่คุณจะต้องเพิ่มพื้นที่สว็อปเพียงพอเพื่อเติมเต็มช่องว่าง คือถ้าคุณต้องการ 80 GB สูงสุดและเครื่องมี 64 GB คุณต้องสลับ 16 GB

โดยทั่วไปตัวติดตั้งระบบปฏิบัติการจะขอให้คุณสร้างพื้นที่สว็อปเริ่มต้น (เนื่องจากเป็นสิ่งที่ง่ายที่สุดและอนุญาตให้ติดตั้งคอมพิวเตอร์ขนาดเล็กได้) และพบว่ากฎง่ายๆสำหรับการใช้งาน Unix ทั่วไปคือการมีขนาดหน่วยความจำเสมือน หน่วยความจำกายภาพสามเท่าดังนั้นโดยทั่วไปจะแนะนำให้ทำเช่นนี้ อย่างไรก็ตามคุณทราบเพิ่มเติมเกี่ยวกับรูปแบบการใช้งานเพื่อให้คุณสามารถเปลี่ยนแปลงได้ตามความเหมาะสม

ไม่มีอะไรผิดปกติกับการทำงานโดยไม่มี swapspace ถ้าแรงดันหน่วยความจำของคุณน้อยกว่าเสมอ Linux จะใช้หน่วยความจำที่ไม่ได้ใช้ใด ๆ เป็นดิสก์แคชอย่างโปร่งใส

ความคิดที่ดีกว่าการมี "การสลับจำนวนมาก" คือการจัดระเบียบงานของคุณใหม่เพื่อให้ชุดการทำงานนั้นพอดีกับหน่วยความจำจากนั้นใช้ระบบไฟล์เพื่อจัดเก็บและดึงงานที่คุณทำ เช่นแทนที่จะบังคับให้ระบบปฏิบัติการคาดเดาว่ารูปแบบการใช้หน่วยความจำของคุณคืออะไรใช้สิ่งที่คุณรู้เกี่ยวกับปัญหาในการควบคุมรูปแบบการใช้หน่วยความจำของคุณ

เป็นตัวอย่างแบบสุ่มที่เกี่ยวข้องกับฉันทันทีในฤดูร้อนนี้ ... ในการใช้ตะแกรงกำลังสองเราต้องการอาร์เรย์ที่ต่อเนื่องกันขนาดใหญ่ (เห็นได้ชัด) เพื่อทำเครื่องหมาย (ด้วยอัลกอริทึมที่ซับซ้อนซึ่งรายละเอียดไม่สำคัญสำหรับตัวอย่างนี้) อาร์เรย์จะต้องมีรายการ ~ 100 Giga ดังนั้นจึงอยู่ในช่วง 1 TB ได้อย่างง่ายดาย ฉันสามารถทำเป็นจัดสรรและให้ระบบปฏิบัติการทำการแลกเปลี่ยนที่ไม่มีประสิทธิภาพอย่างน่าทึ่งเพื่อให้เพจเข้าและออกจาก RAM เพื่อรองรับการเขียนตามลำดับทั้งหมดผ่านอาร์เรย์ แทนที่จะทำบางสิ่งที่มีอยู่ในหัวฉันได้เตรียมที่จะจัดสรรอาเรย์ที่เล็กกว่าที่พอดีในหน่วยความจำแล้วนำอาเรย์นั้นมาใช้ซ้ำเพื่อครอบคลุมอาเรย์ใหญ่ที่เหลือเป็นชิ้น ๆ ฉันได้ปล้น OS แล้วได้ปลดชุดบริการที่ทำงานอยู่แทนที่เชลล์ด้วย

SSD อาจเร็ว แต่ก็แทบจะไม่เร็วเท่ากับการจัดระเบียบการคำนวณของคุณให้ทำชุดการทำงานเดียวกันโดยไม่ต้องหยุดการแลกเปลี่ยน

อย่างที่คนอื่นพูดถึง swap partition นั้นเป็นความคิดที่ดีแม้ว่าคุณจะมี RAM มากมาย ไม่ใช่ความคิดที่ดีที่จะวางไว้บน SSD การเขียน swap พาร์ติชั่นบ่อยครั้งจะทำให้ฮาร์ดไดรฟ์ของคุณเสีย

หากคุณมีพอร์ต USB 3.0 สำรองฉันขอแนะนำให้ใช้แฟลชไดรฟ์สำหรับพื้นที่สว็อปของคุณ มีแฟลชไดรฟ์ความเร็วสูงจำนวนมากที่เร็วเท่ากับ SSD ของคุณ แต่ราคาถูกกว่ามาก - ราคาถูกพอที่จะเปลี่ยนได้ถ้ามันเริ่มล้มเหลว การค้นหาอย่างรวดเร็วในอเมซอนแสดงให้เห็นว่ามีแฟลชไดรฟ์ USB 3.0 ขนาด 16 GB ราคาต่ำกว่า $ 20 และยังมีไดรฟ์ 64 GB บางรุ่นที่ราคาต่ำกว่า $ 60

แบ่งพาร์ติชันแฟลชทั้งหมดเป็นพื้นที่สว็อปและคุณจะมีพื้นที่สว็อปหากคุณต้องการและวางใจได้ว่าหน่วยความจำที่เขียนซ้ำ ๆ นั้นสามารถเปลี่ยนได้ง่าย (และราคาถูก)

คุณจะสบายแม้กับ 1GiB (และมีโอกาสน้อยกว่า) ในการสลับ คอมพิวเตอร์ที่ทำงานของฉันมักจะใช้งานไม่เกิน 140-150 MiB กิกะไบต์มีการจัดสรรมากเกินไปสำหรับสิ่งนั้น
ถ้าคุณไม่คำนวณงานที่ต้องใช้ชุดข้อมูลในหลายร้อยกิกะไบต์และ (อันนี้สำคัญ!) การเข้าถึงข้อมูลในแบบเข้าถึงครั้งเดียวมากขึ้นหรือน้อยลงคุณจะไม่ต้องการแลกเปลี่ยนมากไปกว่านั้น แต่จากนั้นอีกครั้งการแมปหน่วยความจำที่ datafile ทำงานได้ดีพอ ๆ กันสำหรับแอปพลิเคชันนั้น

แต่การสลับมากขึ้นจะช่วยได้มากขึ้นใช่มั้ย สิ่งอื่นใดดีกว่าเสมอ!

พิจารณาความแตกต่างของการแลกเปลี่ยนพูด 16GiB จะทำ (หรือคิด 64GiB) หากคุณไม่เคยใช้ 16GiB เหล่านี้คุณก็ไม่สามารถตั้งค่าไว้ตั้งแต่แรก แต่ถ้าคุณใช้มันจะเกิดอะไรขึ้น ดิสก์เมื่อเทียบกับหน่วยความจำหลักช้ามาก แม้แต่กับ SATA-600 SSD การถ่ายโอน 16GiB ใช้เวลาระหว่าง 30 และ 40 วินาทีและ 2-4 เท่าในการกำหนดค่าอื่น ๆ
ตอนนี้บางคนอาจคัดค้านว่าคุณค่อนข้างเพจจิ้งและออกหน้าเว็บ 4kiB โหลหรือมากกว่านั้นไม่ใช่ 16GiB ในครั้งเดียว ในขณะที่เป็นจริงจุดยังคงยืน หากคุณต้องการสลับไปมาระหว่างสองหน้าคุณไม่จำเป็นต้องมีการแลกเปลี่ยน 16GiB แต่ถ้าคุณต้องการ 16GiB สำหรับการแลกเปลี่ยนคุณต้องทำการโอนย้ายด้วยเช่นกัน (ไม่ทางใดก็ทางหนึ่ง)

ตามทฤษฎีแล้ว 99.9% ของผู้ใช้ทั้งหมดสามารถใช้เครื่อง 64GiB (หรือเครื่อง 8 + GiB ใด ๆ ) โดยไม่มีการแลกเปลี่ยนใด ๆ และส่วนใหญ่ไม่เคยสังเกตเห็นสิ่งที่ขาดหายไป อย่างไรก็ตามสิ่งนี้ไม่แนะนำ
อันดับแรกเป็นแบบย่อยที่ดีที่สุดเนื่องจากระบบปฏิบัติการมีตัวเลือกน้อยลงในสิ่งที่สามารถละทิ้งเมื่อหน่วยความจำกายภาพหมด มีสองสิ่งที่ทำได้: สลับสิ่งที่ไม่ได้ใช้หรือทิ้งหน้าจากแคชบัฟเฟอร์ หากคุณไม่มีการแลกเปลี่ยนมีเพียงสิ่งเดียวเท่านั้นที่สามารถทำได้ การทิ้งเพจออกจากแคชบัฟเฟอร์นั้นไม่เป็นอันตราย แต่อาจส่งผลกระทบต่อประสิทธิภาพการทำงานได้อย่างชัดเจน
ประการที่สองการแมปส่วนตัวที่ไม่ระบุชื่ออาจล้มเหลวได้หากไม่มีการสลับ ปกติแล้วจะไม่เกิดขึ้น แต่ในที่สุดเมื่อมีหน่วยความจำกายภาพไม่เพียงพอที่จะตอบสนองพวกเขาทั้งหมดและไม่มีการแลกเปลี่ยนระบบปฏิบัติการมีตัวเลือกนี้เพียงอย่างเดียวยกเว้น ...
ประการที่สามนักฆ่า OOM ที่น่ากลัวอาจเตะ ซึ่งหมายความว่ากระบวนการสุ่มที่จะถูกฆ่ามากขึ้นหรือน้อยลง ไม่เป็นไรขอบคุณ. นี่ไม่ใช่สิ่งที่คุณต้องการเกิดขึ้น

จากที่กล่าวมาคำแนะนำเช่นคุณต้องการ swap X คูณจำนวน RAM ที่ติดตั้งมาจากคนที่ทำซ้ำสิ่งที่พวกเขาได้ยิน (และไม่เข้าใจ!) จากคนที่ทำซ้ำสิ่งที่พวกเขาได้ยิน (และไม่เข้าใจ!) หลายสิบปี มาแล้ว
กฎ "ใช้ 2X RAM ของคุณ" นั้นง่ายต่อการจดจำกฎง่ายๆในช่วงปี 1980 และ 1990 มันไม่เคยเป็น "ความจริงทอง" (เป็นเพียงบางสิ่งบางอย่างที่ทำงานได้ดีสำหรับผู้ใช้ส่วนใหญ่) และไม่สามารถใช้ได้เลยในปัจจุบัน .

คุณควรมีจำนวน swap ที่สมเหตุสมผลซึ่งคุณสามารถซื้อได้ง่าย (เช่นกิกะไบต์) ดังนั้นระบบปฏิบัติการสามารถจัดการกับสิ่งที่ค้างอยู่ได้ดังนั้นโลกจะไม่สิ้นสุดทันทีเมื่อคุณขอหน่วยความจำเพิ่มอีกเล็กน้อย แต่นั่นมัน