คำถามติดแท็ก disk-cache

ใช้งาน Ubuntu บนเคอร์เนล 2.6.31-302 x86-64 ปัญหาโดยรวมคือฉันมีหน่วยความจำในหมวดหมู่ 'แคช' ที่เพิ่มขึ้นเรื่อย ๆ และจะไม่ถูกปลดปล่อยหรือใช้งานแม้ว่าแอปพลิเคชันของเราต้องการ ดังนั้นนี่คือสิ่งที่ฉันได้รับจากคำสั่ง 'ฟรี' สิ่งเหล่านี้ไม่ได้ดูออกมาจากภาพธรรมดาในครั้งแรก # free total used free shared buffers cached Mem: 7358492 5750320 1608172 0 7848 1443820 -/+ buffers/cache: 4298652 3059840 Swap: 0 0 0 สิ่งแรกที่ใครบางคนจะพูดคือ "ไม่ต้องกังวล linux จัดการหน่วยความจำนั้นโดยอัตโนมัติ" ใช่ฉันรู้ว่าตัวจัดการหน่วยความจำควรทำงานอย่างไร ปัญหาคือว่ามันไม่ได้ทำในสิ่งที่ถูกต้อง "แคช" 1.4 GB ที่นี่ดูเหมือนว่าจะสงวนไว้และไม่สามารถใช้งานได้ ความรู้เกี่ยวกับ Linux ของฉันบอกฉันว่า 3 …

24 linux  memory  memory-usage  disk-cache 

ข้อมูลผู้ใช้จะถูกเก็บไว้ในสองกลุ่มที่มีขนาดค่อนข้างใหญ่ (> 1 PB) กลุ่มการจัดเก็บข้อมูล OpenStack Swift ขอให้เขาเป็นCluster Aและกลุ่ม B นอกจากนี้ยังมีPoPหลายตัวที่ต้องโต้ตอบกับข้อมูลนั้น เซิร์ฟเวอร์ใน PoP เหล่านี้ไม่มีดิสก์อย่างมีประสิทธิภาพซึ่งหมายความว่าไม่มีการจัดเก็บข้อมูลผู้ใช้ไว้ในเครื่องหรือดาวน์โหลดไปยังพวกเขา PoPs สามารถแบ่งออกเป็นภูมิภาคทั่วโลก(เช่นอเมริกาเหนือ , แอฟริกาใต้ , ยุโรปกลางและคณะ) PoPs บางตัวอยู่ค่อนข้างไกลจากจุดปลายทางสวิฟต์ของกลุ่มใด ๆ แนะนำความล่าช้าที่ไม่พึงประสงค์ เพื่อบรรเทาปัญหานี้ฉันต้องการตั้งค่าเซิร์ฟเวอร์เกตเวย์แคชในแต่ละภูมิภาคซึ่งจะแคชคำขอ r / w ไปยังคลัสเตอร์ที่ใกล้ที่สุด ปัจจุบันลูกค้าใน PoP ใด ๆ สามารถเข้าถึงข้อมูลผู้ใช้โดยระบบไฟล์เสมือน swift ที่ติดตั้งถาวรซึ่งเป็นโมดูล FUSE ที่เมาท์ Swift Object Storage เป็นอุปกรณ์บล็อก (มากหรือน้อย) อย่างไรก็ตาม svfs นั้นไม่เสถียรเท่าที่ควรและในอนาคตลูกค้าควรเข้าถึงแคชเซิร์ฟเวอร์ผ่าน NFS นี่คือแผนภาพของสาขาหนึ่งของสถาปัตยกรรมที่ต้องการ: +------------------+ +------------------+ …

14 nfs  network-share  openstack  disk-cache 

ฉันได้อ่านเมื่อเร็ว ๆ นี้เกี่ยวกับการเขียนแคช NCQ ข้อบกพร่องเฟิร์มแวร์อุปสรรค ฯลฯ เกี่ยวกับไดรฟ์ SATA และฉันไม่แน่ใจว่าการตั้งค่าที่ดีที่สุดที่จะทำให้ข้อมูลของฉันปลอดภัยในกรณีที่ไฟฟ้าขัดข้อง จากสิ่งที่ฉันเข้าใจ NCQ อนุญาตให้ไดรฟ์จัดลำดับการเขียนใหม่เพื่อเพิ่มประสิทธิภาพขณะที่เคอร์เนลแจ้งให้ทราบว่าคำขอใดบ้างที่ถูกเขียนขึ้น แคชการเขียนทำให้ไดรฟ์ตอบสนองคำขอได้เร็วขึ้นมากเนื่องจากไม่ต้องรอข้อมูลที่จะเขียนลงในดิสก์ทางกายภาพ ฉันไม่แน่ใจว่า NCQ และการเขียนแคชผสมกันอย่างไรที่นี่ ... ระบบไฟล์ที่ถูกทำเจอร์นัลเป็นพิเศษต้องแน่ใจว่าเมื่อคำร้องขอเฉพาะถูกเขียนลง นอกจากนี้กระบวนการพื้นที่ผู้ใช้ใช้ fsync () เพื่อบังคับให้ล้างของไฟล์โดยเฉพาะ การเรียก fsync นั้น () ไม่ควรกลับมาจนกว่าระบบไฟล์จะแน่ใจว่าข้อมูลนั้นถูกเขียนลงดิสก์ มีฟีเจอร์ (FUA, Force Unit Access) ซึ่งฉันได้เห็นเฉพาะในไดรฟ์ SAS ซึ่งบังคับให้ไดรฟ์ผ่านการแคชและเขียนลงดิสก์โดยตรง สำหรับทุกสิ่งทุกอย่างนั้นมีอุปสรรคในการเขียนซึ่งเป็นกลไกที่เคอร์เนลจัดไว้ให้ซึ่งสามารถท สิ่งนี้บังคับให้แคชทั้งหมดถูกเขียนลงไม่ใช่เฉพาะข้อมูลที่สำคัญดังนั้นทำให้ทั้งระบบช้าลงหากใช้งานในทางที่ผิดด้วย fsync () จากนั้นมีไดรฟ์ที่มีข้อบกพร่องของเฟิร์มแวร์หรือจงใจอยู่เมื่อข้อมูลถูกเขียนทางกายภาพ มีหลายวิธีในการตั้งค่าไดรฟ์ / ระบบไฟล์: A) NCQ และแคชการเขียนถูกปิดใช้งาน B) เพียงแค่เปิดใช้งาน NCQ C) …

13 filesystems  storage  disk-cache