เซิร์ฟเวอร์ Linux ออกจากพื้นที่

ฉันถูกถามคำถามนี้ในการสัมภาษณ์สองครั้งติดต่อกัน แต่หลังจากการวิจัยและการตรวจสอบกับผู้ดูแลระบบหลายคนฉันไม่ได้รับคำตอบที่ดี ฉันสงสัยว่ามีคนช่วยฉันที่นี่หรือไม่

เซิร์ฟเวอร์มีพื้นที่ดิสก์ไม่เพียงพอ คุณสังเกตเห็นไฟล์บันทึกที่มีขนาดใหญ่มากและตรวจสอบว่าปลอดภัยที่จะลบ คุณลบไฟล์ แต่ดิสก์ยังคงแสดงว่าเต็ม อะไรจะทำให้เกิดสิ่งนี้และคุณจะแก้ไขได้อย่างไร และคุณจะค้นหากระบวนการที่กำลังเขียนไฟล์บันทึกขนาดใหญ่นี้ได้อย่างไร

นี่เป็นคำถามสัมภาษณ์ทั่วไปและสถานการณ์ที่เกิดขึ้นในสภาพแวดล้อมการผลิตที่หลากหลาย

รายการไดเรกทอรีของไฟล์ถูกลบ แต่กระบวนการบันทึกยังคงทำงานอยู่ ระบบปฏิบัติการจะไม่เรียกคืนพื้นที่จนกว่าจะปิดการจัดการไฟล์ทั้งหมด (เช่นกระบวนการถูกฆ่าตาย) และรายการไดเรกทอรีทั้งหมดจะถูกลบ ในการค้นหากระบวนการเขียนไฟล์คุณจะต้องใช้lsofคำสั่ง

ส่วนอื่น ๆ ของคำถามอาจเป็น "คุณจะล้างไฟล์ที่ถูกเขียนไปโดยไม่ฆ่ากระบวนการได้อย่างไร" ตามหลักแล้วคุณจะ"ล็อก" หรือ "ตัด" ไฟล์บันทึกด้วยบางสิ่งเช่น: > /var/log/logfileแทนที่จะลบไฟล์

ยังคงมีลิงก์อื่นไปยังไฟล์ (ฮาร์ดลิงก์หรือตัวจัดการไฟล์ที่เปิด) การลบไฟล์จะลบรายการไดเรกทอรีเท่านั้น ข้อมูลไฟล์และ inode จะวนไปเรื่อย ๆ จนกว่าการอ้างอิงครั้งสุดท้ายจะถูกลบทิ้ง

มันเป็นเรื่องธรรมดาสำหรับบริการที่จะสร้างไฟล์ชั่วคราวและลบทันทีในขณะที่เปิดไฟล์ สิ่งนี้จะสร้างไฟล์บนดิสก์ แต่รับประกันได้ว่าไฟล์จะถูกลบหากกระบวนการหยุดทำงานอย่างผิดปกติและยังป้องกันไม่ให้กระบวนการอื่นกระทืบไฟล์โดยไม่ตั้งใจ ตัวอย่างเช่น MySQL ทำเช่นนี้สำหรับตารางชั่วคราวบนดิสก์ทั้งหมด มัลแวร์มักใช้กลวิธีที่คล้ายกันเพื่อซ่อนไฟล์

ภายใต้ Linux คุณสามารถเข้าถึงไฟล์ที่ถูกลบเหล่านี้ได้อย่าง/proc/<pid>/fd/<filenumber>สะดวก

ฉันไม่ใช่ผู้ดูแลระบบ แต่จากสิ่งที่ฉันรวบรวมบน Unix.SE ระบบ Linux จะไม่ลบไฟล์ (ทำเครื่องหมายพื้นที่ว่างว่าว่าง / นำมาใช้ซ้ำ) หลังจากที่ยกเลิกการเชื่อมโยงจนกว่าตัวบ่งชี้ไฟล์ทั้งหมดจะชี้ไปที่พวกเขา ถูกปิด ดังนั้นเพื่อตอบส่วนแรกพื้นที่ยังไม่ว่างเนื่องจากกระบวนการยังอ่านอยู่ lsofเพื่อที่จะตอบที่สองคุณจะเห็นกระบวนการที่ใช้ไฟล์ที่มี

คำตอบทางเลือกหนึ่งนอกเหนือจากคำตอบฮาร์ดลิงก์ / ไฟล์เปิดที่ชัดเจน: ไฟล์นั้นเป็นไฟล์ที่กระจัดกระจาย (มาก) เช่น/var/log/lastlogบน RHEL ที่ไม่ได้ใช้พื้นที่มากขนาดนั้น การลบมันมีผลกระทบน้อยมากดังนั้นคุณต้องดูไฟล์ที่ใหญ่ที่สุดต่อไป

หากกระบวนการเขียนไฟล์เป็นรูทกระบวนการจะเขียนลงในพื้นที่ไฟล์ที่สงวนไว้ของ superuser ระบบไฟล์มีพื้นที่นี้เพื่อให้ระบบทำงานได้ในกรณีที่งานของผู้ใช้เติมดิสก์ พื้นที่นี้ (imho ต่อ 5% เริ่มต้น) จะมองไม่เห็นเครื่องมือมากมาย

lsof สามารถแสดงให้คุณเห็นว่ากระบวนการใดที่ล็อกไฟล์ Ergo กำลังเขียนลงไป

นอกจากไฟล์ถูกเปิดโดยกระบวนการที่เป็นกรณีที่ 2 คือเมื่อคุณมีระบบไฟล์ที่สนับสนุนภาพรวมเหมือนหรือbtrfsZFS

ตัวอย่างเช่นคุณถ่ายภาพโดยมีไฟล์บันทึกขนาดใหญ่นั้นมีอยู่ หากคุณลบไฟล์ตอนนี้คุณจะลบเฉพาะเดลต้า และเดลต้าจะถูกลบเฉพาะเมื่อไฟล์ไม่ได้ใช้งาน

ดูสิ่งนี้ด้วย:

• https://superuser.com/questions/863588/how-to-delete-a-file-in-all-snapshots-on-a-btrfs-system

• ZFS: การลบไฟล์ออกจากสแน็ปช็อตหรือไม่

กรณีที่ 3 คือเมื่อคุณมีระบบไฟล์ที่รองรับการทำซ้ำระดับบล็อกและไฟล์ส่วนใหญ่จะเหมือนกันกับไฟล์อื่น ฉันไม่คาดหวังว่าสิ่งนี้จะเกิดขึ้นสำหรับบันทึกเว้นแต่ว่าคุณจะมีคอนเทนเนอร์หรือ VM ที่กำลังส่งบันทึกไปยังคอนเทนเนอร์ syslog หรือ VM ซึ่งใช้ FS เดียวกันร่วมกันเพื่อให้เนื้อหาของบันทึกเหมือนกัน