คำถามติดแท็ก archive

ฉันกำลังเก็บข้อมูลจากเซิร์ฟเวอร์เครื่องหนึ่งไปยังเซิร์ฟเวอร์อื่น ตอนแรกฉันเริ่มrsyncงาน ใช้เวลา 2 สัปดาห์ในการสร้างรายการไฟล์สำหรับข้อมูล 5 TB และอีกหนึ่งสัปดาห์เพื่อถ่ายโอนข้อมูล 1 TB จากนั้นฉันก็ต้องฆ่างานเนื่องจากเราต้องการเวลาหยุดทำงานบนเซิร์ฟเวอร์ใหม่ มีการตกลงกันว่าเราจะเก็บไว้เพราะเราอาจไม่จำเป็นต้องเข้าถึงอีกครั้ง ฉันคิดว่าจะแบ่งมันเป็นชิ้น ๆ 500 GB หลังจากที่ผมแล้วผมจะคัดลอกมันข้ามผ่านtar sshผมใช้tarและpigzแต่ก็ยังคงช้าเกินไป มีวิธีที่ดีกว่าที่จะทำหรือไม่ ฉันคิดว่าเซิร์ฟเวอร์ทั้งสองอยู่ใน Redhat เซิร์ฟเวอร์เก่าคือ Ext4 และเซิร์ฟเวอร์ใหม่คือ XFS ขนาดไฟล์มีตั้งแต่ไม่กี่ kb ถึงไม่กี่ mb และมี 24 ล้าน jpegs ใน 5TB ดังนั้นฉันคาดเดาประมาณ 60-80 ล้านสำหรับ 15TB แก้ไข: หลังจากเล่นกับ rsync, nc, tar, mbuffer และ pigz สองสามวัน คอขวดจะเป็นดิสก์ IO …

79 linux  linux-networking  file-transfer  archive 

ฉันใช้tarในการเก็บกลุ่มขนาดใหญ่มาก (Multi-GB) กbz2ไฟล์ ถ้าฉันใช้tar -tf file.tarเพื่อแสดงรายการไฟล์ภายในไฟล์เก็บถาวรการดำเนินการนี้ใช้เวลานานมากในการดำเนินการให้เสร็จสมบูรณ์ (~ 10-15 นาที) เช่นเดียวกันcpio -t < file.cpioใช้เวลานานพอที่จะทำให้เสร็จสมบูรณ์บวกหรือลบสองสามวินาที ดังนั้นการดึงไฟล์จากไฟล์เก็บถาวร (ผ่านtar -xf file.tar myFileOfInterest.bz2ตัวอย่าง) จึงช้า มีวิธีการเก็บถาวรที่เก็บ "แค็ตตาล็อก" พร้อมกับเก็บถาวรเพื่อให้แต่ละไฟล์ภายในเก็บถาวรสามารถดึงข้อมูลได้อย่างรวดเร็ว? ตัวอย่างเช่นแคตตาล็อกบางประเภทที่เก็บตัวชี้ไปยังไบต์เฉพาะในไฟล์เก็บถาวรรวมถึงขนาดของไฟล์ที่จะเรียกคืน (เช่นเดียวกับรายการเฉพาะระบบไฟล์อื่น ๆ ) มีเครื่องมือ (หรืออาร์กิวเมนต์ไปที่tarหรือcpio) ที่อนุญาตให้เรียกไฟล์ที่มีประสิทธิภาพภายในไฟล์เก็บถาวรได้หรือไม่?

24 linux  tar  archive  cpio 

เรากำลังหาวิธีแก้ปัญหาในการเก็บถาวรอีเมลและสำรองข้อมูลแบบใกล้เคียงกับสภาพแวดล้อม Exchange Server 2007 ของเรา ขณะนี้เรามีกล่องจดหมายประมาณ 200 แห่งและ Mailstore นั้นมีขนาดประมาณ 150 GB เราต้องสามารถเก็บถาวรอีเมลเป็นเวลาหลายปีเพื่อจุดประสงค์ทางกฎหมายและต้องการโซลูชันการเก็บถาวรเพื่อช่วยเร่งการกู้คืนข้อความที่ถูกลบหากเป็นไปได้ ที่ปรึกษาด้านการสนับสนุนระบบของเราแนะนำให้ Mimosa ใครมีประสบการณ์กับ Mimosa หรือผลิตภัณฑ์อื่น ๆ ในพื้นที่ตลาดนี้?

20 exchange  archive  email 

ห้องปฏิบัติการของฉันอยู่ในขั้นตอนการตั้งค่าเซิร์ฟเวอร์ขนาดเล็กที่เก็บข้อมูล (ส่วนใหญ่เป็นข้อมูลวิดีโอและภาพรวมถึงเอกสารบางส่วน) สำหรับโครงการที่กลุ่มของเรากำลังดำเนินการอยู่ในช่วงเวลาหนึ่ง ในอดีตหลังจากโครงการวิจัยสิ้นสุดลงข้อมูลที่จับต้องไม่ได้ถูกเก็บถาวรในฮาร์ดไดรฟ์เดียวหรือกองดีวีดีขนาดใหญ่ (หรือซีดีจำนวนมากในสมัยก่อน) และ / หรือวิดีโอบางส่วนจบลงใน Cassette ของ Sony DV หรือแม้แต่ เทป VHS (แล็บนี้มีการใช้งานมาตั้งแต่ต้นยุค 90) หรือส่วนผสมทั้งหมดข้างต้น ... คำถาม: วิธีที่ดีที่สุดสำหรับ (1) รวมพวกเขาทั้งหมดไว้ในรูปแบบและสื่อจัดเก็บข้อมูลเดียวกันคืออะไรและ (2) สื่อที่ดีที่สุดสำหรับการเก็บถาวรข้อมูลระยะยาวสำหรับการเข้าถึงข้อมูลเป็นครั้งคราว (เช่น 30+ ปี) คืออะไร? น่าเสียดายที่เราไม่มีงบประมาณระดับองค์กร (เราเป็นเพียงห้องทดลองประมาณ 10 คน) ดังนั้นจึงไม่สามารถทำสิ่งที่มีค่าใช้จ่ายหลายแสนดอลลาร์ ขอบคุณ! ป.ล. พิจารณาวิดีโอและรูปภาพเก่าของเรามีความละเอียดน้อยกว่า แต่เมื่อเร็ว ๆ นี้มีขนาดใหญ่มากฉันคิดว่าเรากำลังพูดถึง 30 ~ 40 TB สำหรับข้อมูลเก่าจริง ๆ อีก 10 ~ 20 …

16 backup  storage  archive 

นี่คือปัญหาของฉัน: ฉันต้องเก็บถาวรเพื่อ tar ไฟล์จำนวนมาก (สูงสุด 60 TB) ของไฟล์ขนาดใหญ่ (โดยปกติ 30 ถึง 40 GB ต่อไฟล์) ฉันต้องการทำการตรวจสอบไฟล์ (md5, sha1, อะไรก็ตาม) ของไฟล์เหล่านี้ก่อนทำการเก็บถาวร อย่างไรก็ตามการไม่อ่านทุกไฟล์สองครั้ง (หนึ่งครั้งสำหรับการตรวจสอบสองครั้งสำหรับ tar'ing) มีความจำเป็นมากหรือน้อยกว่าเพื่อให้ได้ประสิทธิภาพการเก็บถาวรที่สูงมาก (LTO-4 ต้องการ 120 MB / s อย่างยั่งยืนและหน้าต่างสำรองมี จำกัด ) ดังนั้นฉันต้องการวิธีการอ่านไฟล์ให้อาหารตรวจสอบเครื่องมือในด้านหนึ่งและสร้าง tar เพื่อเทปในด้านอื่น ๆ บางสิ่งตาม: tar cf - files | tee tarfile.tar | md5sum - ยกเว้นว่าฉันไม่ต้องการให้เช็กซัมของไฟล์เก็บถาวรทั้งหมด (เชลล์โค้ดตัวอย่างทำแค่นี้) แต่เป็นเช็คซัมสำหรับไฟล์แต่ละไฟล์ในไฟล์เก็บถาวร …

16 linux  archive  checksum 

ฉันมีเครื่องทดสอบเก่าของ Debian Wheezy ที่ฉันไม่สามารถอัปเดตได้ในขณะนี้ คลังเก็บ Debian Wheezy ถูกเก็บถาวรในเดือนกุมภาพันธ์ ดังนั้นฉันต้องการล่วงหน้าและอัปเดต/etc/apt/sources.listจากของฉัน deb http://ftp.fr.debian.org/debian wheezy main deb http://security.debian.org/ wheezy/updates main deb http://ftp.fr.debian.org/debian wheezy-updates main ถึง deb http://archive.debian.org/debian wheezy main deb http://security.debian.org/ wheezy/updates main deb http://archive.debian.org/debian wheezy-updates main แต่เมื่อทำงานapt-get updateฉันได้รับข้อผิดพลาดนี้: # apt-get update <snip> Err http://archive.debian.org wheezy-updates/main i386 Packages 404 Not Found [IP : …

15 debian  apt  debian-wheezy  archive 

เกี่ยวข้องกับคำถามนี้เกี่ยวกับการใช้ SSD สำหรับระบบและ HDD สำหรับข้อมูลยกเว้นฉันต้องการให้ระบบของฉันทำสิ่งนี้โดยอัตโนมัติ ... เป็นไปได้หรือไม่ที่จะมีที่เก็บข้อมูลหลายชั้นและผลักรายการระหว่างกันโดยอัตโนมัติโดยใช้ซอฟต์แวร์โอเพนซอร์ซฟรีที่ดีกว่า ฉันรู้ว่าโซลูชันระดับองค์กรที่มีราคาแพงอย่างมหาศาลเช่น EMC SAN-> การเก็บถาวรอัตโนมัติของEMC Centeraแต่ฉันสงสัยว่าการจัดเก็บข้อมูลประเภทนี้เป็นไปได้ที่จะทำโดยอัตโนมัติหรือไม่ มันจะดีถ้ามีหลายเลเยอร์ในเรื่องนี้: หน่วยความจำ -> SSD-> HDD-> HDD หรือเทปที่ช้ากว่าหรือโซลูชันเก็บถาวรอื่น ๆ มีระบบไฟล์ใดบ้างที่สามารถทำได้โดยอัตโนมัติ? (ZFS, Btrfs, HAMMER หรือไม่) ตัวแปรUnixใด ๆก็ใช้ได้เพราะฉันสนใจในการทำงานและไม่ว่ามันจะพกพาไปยัง Linux หรือรสชาติอื่น ๆ (BSD ฯลฯ )

13 linux  unix  ssd  archive  storage 

ฉันต้องการเก็บไฟล์ (ที่มี tar) ซึ่งมีขนาดต่ำกว่า 3 MB แต่ฉันต้องการเก็บไดเรกทอรีที่มีไฟล์เหล่านั้นอยู่ด้วย (ดังนั้นฉันไม่สามารถใช้findคำสั่ง) ฉันแค่ต้องการหลีกเลี่ยงไฟล์ที่มีขนาดใหญ่กว่า 3 MB สิ่งนี้สามารถทำได้?

11 backup  tar  archive 

ตามที่เป็นอยู่ในปัจจุบันคำถามนี้ไม่เหมาะสำหรับรูปแบบคำถาม & คำตอบของเรา เราคาดหวังว่าคำตอบจะได้รับการสนับสนุนจากข้อเท็จจริงการอ้างอิงหรือความเชี่ยวชาญ แต่คำถามนี้อาจเรียกร้องให้มีการอภิปรายโต้แย้งโต้แย้งหรือการอภิปรายเพิ่มเติม หากคุณรู้สึกว่าคำถามนี้สามารถปรับปรุงและเปิดใหม่ได้โปรดไปที่ศูนย์ช่วยเหลือเพื่อขอคำแนะนำ ปิดให้บริการใน7 ปีที่ผ่านมา ล็อคแล้ว คำถามและคำตอบของคำถามนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ ฉันกำลังมองหาแอปพลิเคชันโอเพนซอร์ซที่จะเก็บอีเมลของฉันไว้ อาจทำได้โดยเข้าสู่บัญชี POP3 ของฉันเป็นประจำและคัดลอกอีเมลข้ามหรืออาจอ่านไฟล์ / ไดเรกทอรี Unix mbox / maildir ของฉันโดยตรงบนเซิร์ฟเวอร์อีเมล มันจะต้องเปิดและจะต้องทำงานบน Linux (หรือระบบปฏิบัติการเปิดใด ๆ จริง ๆ ) เป็นการดีที่มันจะมีเว็บอินเตอร์เฟส แต่นี่ไม่ใช่ข้อกำหนดที่สำคัญ MXsense ( http://www.mxsense.com/mxsense.html ) ดูเหมือนจะเป็นสิ่งที่ฉันต้องการมากยกเว้นว่ามันจะไม่เปิด ฉันไม่ต้องการการสนับสนุน MS Exchange ข้อเสนอแนะใด ๆ เหตุผล (อาจจะโง่บิต) คือว่าผมใช้ Linux เฉพาะและจะยังคงไม่ได้มีไคลเอนต์อีเมลที่เป็นได้ทุกที่ใกล้กับ MS Outlook ในแง่ของความสุดยอดดังนั้นฉันพบตัวเองสลับไปมาระหว่างลูกค้าอีเมลบ่อย …

11 backup  email-server  archive  email 

ฉันมีคำถามง่าย ๆ แต่ฉันไม่สามารถค้นหาหรือแก้ไขคำตอบได้ ฉันต้องการสร้างไฟล์เก็บถาวร tar แต่ฉันต้องการแยกไฟล์บางไฟล์ออกโดยใช้นิพจน์ทั่วไป ตัวอย่างของไฟล์ที่จะยกเว้นคือ: 68x640X480.jpg ฉันได้ลองทำสิ่งนี้โดยไม่มีโชค: tar cvf test.tar --exclude=[0-9]+x[0-9X]+\.jpg /data/foto ใครช่วยได้บ้าง

10 linux  tar  regex  archive 

ฉันต้องการระบบจัดเก็บและจัดเก็บที่ดีขึ้นสำหรับไฟล์ของธุรกิจขนาดเล็กของฉัน โดยเฉพาะไฟล์ที่เสร็จสิ้นโครงการวิดีโอ นอกเหนือจากข้อ จำกัด ด้านเวลาและค่าใช้จ่ายสิ่งที่รั้งฉันไว้คือฉันไม่เชื่อในโซลูชันใด ๆ ที่ฉันไตร่ตรอง ดังนั้นฉันจึงกำหนดปัญหาและความคิดของฉัน ฉันขอขอบคุณความคิดเห็นใด ๆ งบประมาณ: ฉันเชื่อในการใช้จ่ายตามที่ควรจะเป็น ดังที่กล่าวมาเราเป็นธุรกิจขนาดเล็ก ฉันหวังว่าฉันจะสามารถใช้ประโยชน์จากสิ่งนี้ได้ <5k และมากกว่านั้นประมาณ 1-3k นั่นอาจเป็นความฝันที่ไพเราะ บอกฉันที ปัญหา: ไฟล์วิดีโอดิบมีขนาดใหญ่ในขนาดไฟล์ เราได้สะสมไปแล้ว 10 + tb และเติบโตเร็ว การตัดต่อวิดีโอจำเป็นต้องมีการเข้าถึงไฟล์แบบอ่าน / เขียนอย่างรวดเร็วดังนั้นเซิร์ฟเวอร์ไฟล์กลางหรือคลาวด์จะไม่เร็วพอ ดังนั้นเราอาจต้องการโซลูชั่นที่ประสบความสำเร็จสำหรับโครงการเก่าและโครงการปัจจุบันจะต้องอยู่ในท้องถิ่น เราต้องการวิธีแก้ปัญหาความซ้ำซ้อนและนอกสถานที่บางประเภท สิ่งที่เราทำในปัจจุบัน: เราใช้ฮาร์ดไดรฟ์ภายนอกคุณภาพสูงขนาดใหญ่ เรามักจะซื้อเป็นคู่และทำซ้ำเนื้อหาด้วยตนเอง ในคำอื่น ๆ เราทำงานอย่างใดอย่างหนึ่งและทำซ้ำไฟล์อื่น ๆ ซึ่งทำหน้าที่เป็นสำรอง / ถอยกลับ HD เหล่านี้เร็วพอกับ firewire800 หรือ USB3 เพื่อใช้งานได้โดยตรง เมื่อได้รับการเติมเต็มแล้วเราได้วางคู่กัน เกิดอะไรขึ้นกับโซลูชันปัจจุบัน: แม้ว่าข้อมูลจะซ้ำกันในสองไดรฟ์ไดรฟ์เหล่านี้จะไม่ …

9 backup  storage  archive  hardware  amazon-glacier