บีบอัดฐานข้อมูล PostgreSQL


13

ฉันมีฐานข้อมูล PostgreSQL ขนาดใหญ่ที่มีขนาดใหญ่กว่า 500GB ซึ่งใหญ่เกินไป อย่างไรก็ตามมีการบีบอัดฐานข้อมูลลงในขนาดที่สามารถจัดการได้มากขึ้นหรือไม่? ฉันพยายามทำเช่นนี้กับ SquashFS และฐานข้อมูลที่บีบอัดลงไปที่ 177GB แต่ PostgreSQL ต้องการให้ฐานข้อมูลที่มีการเข้าถึงการเขียนและระบบ Squashed เป็นแบบอ่านอย่างเดียว ผู้ใช้ฐานข้อมูลที่มีประสบการณ์มากขึ้นมีข้อเสนอแนะใด ๆ เพื่อบรรลุเป้าหมายนี้หรือไม่?

ฐานข้อมูลเก็บข้อมูล GIS สำหรับดาวเคราะห์และจะใช้ภายในระบบที่ปรับใช้ ขณะนี้มันตั้งอยู่บน 1TB SSD แต่ฉันพยายามหลีกเลี่ยงการตบในฮาร์ดไดรฟ์เพิ่มเติมเพียงเพื่อรองรับฐานข้อมูลขนาดใหญ่ ฐานข้อมูลทำงานได้ตามที่ต้องการโดยไม่มีปัญหาฉันเพียงต้องการบีบอัดให้มีขนาดที่จัดการได้มากขึ้นและหลีกเลี่ยงการวางลงในไดรฟ์อื่น


ทำไมมันใหญ่เกินไป หากคุณมีพื้นที่ดิสก์ไม่เพียงพอคุณจำเป็นต้องเพิ่มดิสก์เข้ากับระบบ หากมีข้อมูลที่ไม่ต้องการอีกต่อไปคุณควรหาวิธีเก็บถาวร มิฉะนั้นคุณอาจมีปัญหาเรื่องประสิทธิภาพที่ฐานข้อมูลขนาดเล็กอาจช่วยเหลือหรือไม่ก็ได้
RDFozz

2
ฐานข้อมูลเก็บข้อมูล GIS สำหรับดาวเคราะห์และจะใช้ภายในระบบที่ปรับใช้ ขณะนี้มันตั้งอยู่บน 1TB SSD แต่ฉันพยายามหลีกเลี่ยงการตบในฮาร์ดไดรฟ์เพิ่มเติมเพียงเพื่อรองรับฐานข้อมูลขนาดใหญ่ ฐานข้อมูลทำงานได้ตามที่ต้องการโดยไม่มีปัญหาฉันเพียงต้องการบีบอัดให้มีขนาดที่จัดการได้มากขึ้นและหลีกเลี่ยงการวางลงในไดรฟ์อื่น
MH21209

4
นี่เป็นคำถามที่สมเหตุสมผล ไม่ควรปิด
Evan Carroll

คำตอบ:


10

ระบบไฟล์

มากวิธีที่นิยมใช้ในการดำเนินการนี้จะมีระบบไฟล์ BTRFS และ ZFS ทำงานภายใต้ฐานข้อมูลที่ระดับระบบไฟล์ ทั้งสองสามารถใช้ในอุปกรณ์ลูปแบ็คเพื่อให้คุณสามารถให้พื้นที่ตารางที่บีบอัดโดยไม่ต้องมีพาร์ทิชันอื่น มีข้อควรระวังในเรื่องนี้หาก tablespace ล้มเหลวอาจใช้เวลาคลัสเตอร์ของคุณด้วย

ZFS

ZFS เป็นเกมใหญ่ที่นี่ มันคือสิ่งที่ฉันจะไป

ดูสิ่งนี้ด้วย

Btrfs

Btrfs เป็นคู่แข่งที่แข็งแกร่ง แต่ได้มีการพัฒนาอย่างต่อเนื่องมาเป็นเวลานานและการขาดความวุ่นวายที่สำคัญในการยกตัวเป็นค่าเริ่มต้นทำให้หลายคนสงสัยว่ามันพร้อมหรือไม่สำหรับเวลาที่สำคัญ

PostgreSQL

วิธีการ GIS (PostGIS)

  • สำหรับรูปหลายเหลี่ยม, ST_Simplifyวิธีการหนึ่งคือการลดความซับซ้อนของรูปหลายเหลี่ยมโดยวางจุดด้วย

  • สำหรับคะแนน, วิธีการหนึ่งคือการจัดกลุ่มเชิงพื้นที่

ทั้งสองอย่างนี้ส่งผลให้ข้อมูลสูญหาย PostGIS เช่นเดียวกับคุณสมบัติส่วนใหญ่ของฐานข้อมูลไม่มีตัวเลือก "การบีบอัดเวทมนต์" แบบโปร่งใส

cstore_fdw

นอกจากนี้ยังcstore_fdwมีที่เก็บคอลัมน์ที่มีการบีบอัด มันมีโปรไฟล์ประสิทธิภาพที่แตกต่างดังนั้น ymmv


2
นี่คือสิ่งที่ฉันกำลังมองหา ฉันกำลังปรับใช้ฐานข้อมูลของฉันอีกครั้งบน ZFS ขอบคุณ.
MH21209
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.