การขจัดข้อมูลซ้ำซ้อนระดับบล็อกบน Linux

10

NetApp ให้การป้องกันการซ้ำซ้อนของบล็อกระดับ (ASIS) คุณรู้ระบบไฟล์ใด ๆ (แม้จะเป็นแบบ FUSE) บน Linux (หรือ OpenSolaris, * BSD) ที่มีฟังก์ชั่นการใช้งานเหมือนกันหรือไม่?

(ฉันไม่ได้สนใจในการคัดลอกข้อมูลที่ผิดพลาดเหมือนฮาร์ดลิงก์)

linux netapp deduplication

— Benoît
แหล่งที่มา

6

ตรวจสอบ lessFS ระบบไฟล์การคัดลอกข้อมูลสำหรับ Linux มันยังอยู่ในช่วงเบต้า แต่คุณสามารถลองได้:

http://www.lessfs.com/

ความนับถือ,

MV

— MV
แหล่งที่มา

ยอดเยี่ยม! ยังคงเป็นรุ่นเบต้า แต่เป็นสิ่งที่ต้องเริ่มต้นอย่างแน่นอน

— Benoît

7

การคัดลอกมาถึง ZFS บน OpenSolaris แต่ฟังก์ชั่นการใช้งานนั้นยังไม่พร้อมใช้งานในปัจจุบัน

มันถูกต้นแบบโดย Jeff Bonwick และ Bill Moore ในฤดูหนาวที่ผ่านมาและพวกเขากำลังทำงานเพื่อรวมเข้ากับฤดูร้อนนี้ ดังนั้นจึงควรมีอยู่ใน OpenSolaris รุ่นถัดไปหรือเร็วกว่านั้นหากคุณต้องการที่จะเล่นกับสาขาการพัฒนา

— 3dinfluence
แหล่งที่มา

ดูคำตอบของ @ jlliagre - ใช้ได้แล้วตอนนี้

— James Moore

4

สำหรับคนที่อาจไม่คุ้นเคยกับการขจัดข้อมูลซ้ำซ้อนมันเป็นเทคนิคที่ข้อมูลจะถูกวิเคราะห์ในระดับไฟล์ (หรือ block, I สมมติ) และที่ไฟล์ / บล็อกที่เหมือนกันทั่วทั้งระบบไฟล์จะถูกแทนที่ด้วยโทเค็นขนาดเล็ก สิ่งนี้มีผลต่อการลดขนาดของดิสก์ที่มีประสิทธิภาพอย่างมาก มันอาจจะได้รับการพิจารณารูปแบบของสำเนาเมื่อเขียน อ่านหน้าวิกิบนหน้า

ไม่มีระบบไฟล์ที่ฉันเคยได้ยินในลินุกซ์ที่จะทำซ้ำระดับไฟล์หรือบล็อก สัตว์ร้ายนั้นจะมีประโยชน์แม้ว่าตัวประมวลผลจะค่อนข้างเข้มข้น

— แมตต์ซิมมอนส์
แหล่งที่มา

4

การทำซ้ำสามารถใช้ได้กับ ZFS บน OpenSolaris (รุ่น 128a และรุ่นใหม่กว่า)

— jlliagre
แหล่งที่มา

2

หนึ่งปีต่อมา แต่นี่คือวิธีแก้ปัญหาสำหรับ OpenBSD ที่เรียกว่า Epitome: http://www.peereboom.us/epitome/ หากให้สิทธิ์ใช้งานแบบเสรีมันสามารถทำให้เป็น Linux kernel ได้เป็นอย่างดี

1

ฉันเพิ่งโพสต์โปรเจ็กต์ที่ฉันทำงานอยู่ซึ่งทำหน้าที่ขจัดข้อมูลซ้ำซ้อนแบบอินไลน์ คุณสามารถดูได้ที่นี่หากคุณถูกรบกวน มันขึ้นอยู่กับฟิวส์และทำงานบน linux

0

ฉันไม่ทราบว่าการใช้งานฟรีของ dedup for Linux ฉันเห็นผู้ขายหน่วยเก็บข้อมูลบางรายแนะนำให้ใช้ระบบ HSM (การจัดการพื้นที่เก็บข้อมูลแบบลำดับชั้น) ด้วย VTL (Virtual storage Library) ซึ่งทำหน้าที่ลบข้อมูลซ้ำ

คุณสามารถพิจารณาระบบOccarina like ซึ่งไม่โปร่งใส แต่สามารถให้ผลลัพธ์ที่ดีกว่าการลบข้อมูลซ้ำ

— เจมส์
แหล่งที่มา

0

ดังนั้น ... ไม่มีข่าวเกี่ยวกับการคัดลอกซ้ำบน Linux? opendedupอาจเป็นทางเลือก แต่ให้จาวาแพลตฟอร์มที่ทำงานอยู่ฉันไม่ต้องการปวดหัว ฉันได้ลองแล้วใช่ แต่เครื่องจาวานี้และที่เหลือไม่ได้รับอย่างดีกับความต้องการเวลาตอบสนองการจัดเก็บและความปลอดภัยของฉัน

0

ตัวเลือกการคัดลอกซ้ำมีอยู่ภายใต้ Linux บนระบบไฟล์ BTRFS และ ZFS BTRFS ได้รับการพัฒนาอย่างเป็นธรรมชาติภายใต้ linux และมีเครื่องมือการขจัดข้อมูลซ้ำซ้อนแบบออฟไลน์ ฉันไม่ได้คิดว่า 'ออฟไลน์' คุณจะต้องเมานต์ fs หมายถึงออฟไลน์ข้อมูลที่เขียนอย่างแข็งขันไม่ซ้ำซ้อน แต่ภายหลังคุณเรียกใช้เครื่องมือเพื่อขจัดความซ้ำซ้อนที่คิดว่าเก็บไว้ในตอนนี้ เครื่องมือที่จริงอาจเป็นรุ่นเบต้า วิธีอื่นอยู่ภายใน ZFS มีให้เลือกทั้ง FUSE และ natively: http://zfsonlinux.org/ . นี่คือการทำซ้ำออนไลน์โชคไม่ดีที่เขียนช้าลงเพราะทุกอย่างต้องถูกคำนวณทันที คุณสามารถออนไลน์และพฤติกรรมนี้ หลังจากที่คุณปิดการสำรองข้อมูลซ้ำซ้อนข้อมูลซ้ำซ้อนทั้งหมดจะยังคงถูกจัดเก็บเป็นข้อมูลซ้ำซ้อน การเขียนใหม่จะถูกเก็บไว้เป็น 'ซ้ำ' หากคุณต้องการขจัดข้อมูลซ้ำซ้อนในอนาคตคุณต้องเปิดใช้การคัดลอกซ้ำและเขียนไฟล์ 'ทำซ้ำ' ทั้งหมด

ดูเอกสารที่มีอยู่ในหน้า สำหรับการเพิ่มความเร็วในการเขียนและการอ่านคุณสามารถเพิ่มอุปกรณ์ที่เร็วกว่าลงในพูลหน่วยเก็บข้อมูล (โดยเฉพาะ SDD ไดรฟ์หรืออาจจะเร็วกว่าแฟลช USB ให้ความสนใจกับความน่าเชื่อถือของอุปกรณ์)

— Znik
แหล่งที่มา

-2

DRBDทำอย่างนั้นและทำได้ดีมาก! สามารถทำ Master / Slave หรือ Master / Master :-)

— Antoine Benkemoun
แหล่งที่มา

คุณช่วยชี้ฉันไปที่เอกสารคัดลอกซ้ำได้ไหม ฉันไม่สามารถหาได้ในdrbd.org/home/feature-list

— Benoît

ผมคิดว่าแอนทอนหมายถึง 'ความซ้ำซ้อน' ซึ่งไม่ได้จริงๆสิ่งที่คุณกำลังมองหาฉันรู้

— แมตต์ซิมมอนส์

โอ้ความเลวร้ายของฉันความแตกต่างระหว่างการทำซ้ำและการขจัดข้อมูลซ้ำซ้อนคืออะไร

— แอนทอน Benkemoun

ฉันใส่คำอธิบายอย่างรวดเร็วขึ้นมาในความคิดเห็นของฉัน แต่เป็นหลักการทำสำเนาส่งข้อมูลไปยังโฮสต์อื่นที่เป็นการขจัดข้อมูลซ้ำซ้อนช่วยขจัดข้อมูลที่เหมือนกันทั่ว filesyste เพิ่มพื้นที่ว่างที่มีประสิทธิภาพ

— แมตต์ซิมมอนส์