คำถามติดแท็ก rsync

ฉันถ่ายโอนไฟล์หลายพันไฟล์ในแต่ละ ~ 1MB ผ่าน scp และการเชื่อมต่อของฉันก็ขาดหลังจากไฟล์ 2k แรกหรือมากกว่านั้น ฉันต้องการทราบว่ามีวิธีการเริ่มต้นการถ่ายโอนซ้ำโดยไม่มีการเริ่มต้นใหม่ สิ่งที่ต้องการ $ scp -r me@host.com:/datafiles/ ./ ... Happy Transfer ... ... BREAK! ... $ rsync -P me@host.com:/datafiles/ ./ ... Continue transf... ปัญหาคือฉันไม่สามารถแก้ไขไวยากรณ์ให้ถูกต้องได้ถ้าเป็นไปได้ มีใครบ้างไหมที่เปิดไฟหากสามารถทำได้? PS หากคุณระบุเครื่องหมายทับหลัง "datafiles" ในบรรทัด rsync สิ่งนั้นจะถ่ายโอนไดเรกทอรีหรือเนื้อหาในนั้นหรือไม่? ฉันเห็นความคิดเห็นที่ขัดแย้งกันเมื่อฉัน googled

14 rsync  scp  recursion 

ฉันพยายามใช้ rsync เพื่อสำรองไฟล์บางไฟล์ประมาณครึ่ง TB ตอนนี้มันเป็นสถานะที่มันส่งไฟล์เดิมทุกครั้งที่มันทำงานอยู่ ตัวอย่างเช่น: rsync -av /data/source/* user@host:/data/dest sending incremental file list source/file1.txt source/file2.txt ฉันยืนยันว่าไฟล์เหล่านั้นถูกคัดลอก ... rsync -av /data/source/* user@host:/data/dest sending incremental file list source/file1.txt source/file2.txt มีความคิดใดบ้างว่าทำไมไฟล์เหล่านี้ถึงติดขัด ฉันพยายามล้างไดเรกทอรีปลายทางทั้งหมดและเริ่มใหม่ แต่ก็ไม่มีโชค ขอบคุณ

14 linux  ubuntu  rsync 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นหัวข้อสำหรับผู้ใช้ขั้นสูง ปิดให้บริการใน2 ปีที่ผ่านมา ฉันกำลังมองหาบริการสำรองข้อมูลออนไลน์ที่ช่วยให้ฉันสามารถซิงค์การสำรองข้อมูลของฉัน (เพิ่มขึ้น 1-3GB ต่อสัปดาห์รวม 50GB) ขณะนี้ฉันใช้พื้นที่โฮสต์บน Dreamhost สำหรับสิ่งนี้ แต่เนื่องจาก (ขัดแย้ง) กับ TOS ของพวกเขาฉันต้องการย้ายออกจากที่ ฉันสนใจที่จะได้ยินเกี่ยวกับประสบการณ์ของผู้คนที่สำรองข้อมูลจากคอมพิวเตอร์ Linux โดยใช้ rsync ไปยัง: * Amazon S3 โดยตรง (เป็นไปได้หรือไม่) * ที่เก็บ Cloud Rackspace โดยตรง * Jungle Disk ไปยัง Amazon หรือ rackspace * s3rsync ไปยัง Amazon S3 ( พวกเขาดูเหมือนใหม่) * …

14 linux  backup  rsync 

ฉันพยายามใช้ rsync เพื่อสำรองไฟล์บางไฟล์จากฮาร์ดดิสก์ภายในไปยังไดรฟ์ usb (ฉันกำลังทำงานกับโลกหนังสือ mybook NAS) มีสองโฟลเดอร์ที่ฉันต้องการสำรองข้อมูล โฟลเดอร์เพลงและโฟลเดอร์วิดีโอ โฟลเดอร์เพลง (ไฟล์ 864 ไฟล์, ประมาณประมาณ 10 GB) ทำงานได้อย่างสมบูรณ์ในบางสิ่งบางอย่างประมาณ 1 ชั่วโมง (สำหรับความคืบหน้าโดยสมบูรณ์) แต่โฟลเดอร์วิดีโอ (ไฟล์ 1,025 ไฟล์รอบประมาณ 700gb) ยังคงอยู่ใน "การส่งรายชื่อไฟล์ที่เพิ่มขึ้น" เป็นเวลา 8 ชั่วโมง ฉันไม่คิดว่ามีการถ่ายโอนอะไร สิ่งที่อาจทำให้เกิดความแตกต่างเช่นนี้? โฟลเดอร์วิดีโอไม่ได้มีไฟล์อยู่ในนั้นมากมายนัก ใช่มันใหญ่กว่ามาก แต่นั่นไม่ควรสร้างความแตกต่างในการสร้างรายชื่อไฟล์ที่ฉันคิด ฉันใช้คำสั่ง rsync นี้: /shares/extern # rsync -avPc --stats /shares/Public/Shared\ Videos /shares/extern/ ตอนนี้ฉันกำลังทำงานกับ NAS ฉันไม่ได้มีพลัง cpu …

14 rsync 

ฉันพยายามทำrsyncระหว่างสองไดเรกทอรีที่ฉันมีในระบบไฟล์สองเครื่องเชื่อมต่อกับคอมพิวเตอร์เครื่องเดียวกัน bผมต้องการที่จะทำมันได้โดยไม่ต้องลบไฟล์พิเศษใน ฉันว่าแบบเรียบง่ายใช้rsync -a a/dir b/dirงานได้ แต่ดูเหมือนจะไม่เป็นเช่นนั้น นี่เป็นระบบ Linux ที่มีrsync version 3.0.6 protocol version 30: $ mkdir -p a/test $ mkdir -p b/test $ touch a/test/file1 $ touch a/test/file2 $ touch b/test/file3 $ tree a/test b/test a/test ├── file1 └── file2 b/test └── file3 0 directories, 3 files $ rsync …

14 linux  rsync  file-transfer 

ฉันมีหนึ่งล้านภาพที่ใช้พื้นที่ดิสก์ 30GB ซึ่งจำเป็นต้องย้ายจากไดเรกทอรีภายในเครื่องหนึ่งไปยังไดเรกทอรีภายในเครื่องอื่น อะไรจะเป็นวิธีที่มีประสิทธิภาพมากที่สุดในการทำเช่นนี้? ใช้งานmvหรือ? ใช้งานcpหรือ? ใช้งานrsyncหรือ? อื่น ๆ อีก? ฉันต้องการสิ่งเหล่านี้: /path/to/old-img-dir/* 00000000.jpg --------.jpg ## nearly 1M of them! ## ZZZZZZZZ.jpg และย้ายพวกเขาที่นี่: /path/to/new/img/dir/

14 linux  performance  file-io  rsync  mv 

ฉันพยายามคัดลอกไฟล์ทั้งหมดจาก NTFS ไปยังไดรฟ์ภายนอกและต้องการรักษาสิทธิ์และคุณลักษณะทั้งหมดไว้ ไดรฟ์ภายนอกมี NTFS อยู่แล้วและมีไฟล์อื่นอยู่ ฉันถือว่าใช้เครื่องมือต่อไปนี้: ntfscloneไม่ทำงานเนื่องจากทำงานในระดับเซกเตอร์และจะโคลน FS ทั้งหมดดังนั้นจึงเป็นการทำลายข้อมูลเก่า หากใช้เพื่อสร้างไฟล์รูปภาพฉันไม่สามารถเข้าถึงเนื้อหาจากเครื่อง Windows ได้ rsync ไม่เก็บข้อมูลเมตาทั้งหมด อีกทางเลือกหนึ่งคือใช้robocopyใน Windows ที่ใช้งานอยู่ แต่ฉันต้องการคัดลอกไฟล์โดยไม่ต้อง (พาร์ติชันต้นทางใช้เป็นระบบC:\) ฉันจะคัดลอกไฟล์ได้อย่างไร

14 linux  backup  ntfs  rsync 

ฉันมีโฟลเดอร์สองชุด src/ dest/ ฉันต้องการรวมพวกเขาทำต่อไปนี้: หากไฟล์มีเฉพาะในsrcฉันต้องการที่จะย้ายไปdest หากไฟล์มีเฉพาะdestฉันต้องการให้ละเว้น IE เพียงอย่างเดียว หากไฟล์มีทั้งคู่และมีเนื้อหาเหมือนกัน (ขนาดและวันที่เดียวกัน IE) ให้ลบออกsrc หากไฟล์ที่อยู่ในทั้งสองและไม่ได้มีเนื้อหาเหมือนกันทิ้งในsrcดังนั้นฉันด้วยตนเองสามารถผสานพวกเขา ควรมีไฟล์จำนวนน้อยมาก (ระหว่าง 0% ถึง 5% ของไฟล์ทั้งหมด) ในหมวดหมู่สุดท้ายนี้ แต่ฉันไม่ทราบวิธีการแยกทั้งในและต่างจากในทั้งสอง แต่แตกต่างกัน ฉันพยายามที่จะคิดออกว่าจะทำอย่างไรกับrsyncแต่ไม่เป็นประโยชน์

13 linux  bash  rsync 

ฉันมีไฟล์ 500 GB ที่ฉันวางแผนจะสำรองข้อมูลระยะไกล ไฟล์เปลี่ยนแปลงบ่อย ฉันจะส่งสัญญาณจากเดสก์ท็อปไปยังเซิร์ฟเวอร์ ทั้งคู่สามารถเรียกใช้ไคลเอ็นต์หรือเซิร์ฟเวอร์ rsync คำสั่งที่เหมาะสมสำหรับสิ่งนี้คืออะไร? สิ่งที่ฉันได้ลองทำที่โซฟาได้รับการตลอดไปหรือทำตัวแปลก ๆ ตัวอย่างและผลลัพธ์: rsync -cv --partial --inplace --no-whole-file /desktop/file1 myserver.com::module/file1 ดูเหมือนว่าจะทำงาน แต่ถ้าฉันทำมันสองครั้ง (?!) นอกจากนี้ช้า คำสั่งข้างต้นทำการตรวจสอบกับคอมพิวเตอร์ทั้งสองเครื่องหรือเฉพาะในเครื่องที่ส่งหรือไม่ มันถูกต้องเป็นอย่างอื่น?

13 rsync 

มีวิธีใดบ้างที่ฉันจะซิงค์สองไดเรกทอรีเปรียบเทียบชื่อไฟล์เท่านั้น (ไม่ใช่ขนาดไฟล์วันที่แก้ไขหรือเกณฑ์อื่น ๆ )

13 linux  command-line  backup  rsync 

ฉันมี Mac ของฉันให้ตื่นขึ้นมาในตอนกลางคืนและเรียกใช้ rsync เพื่อสำรองข้อมูล สิ่งนี้ถูกกำหนดค่าผ่านตัวประหยัดพลังงาน> กำหนดเวลา อย่างไรก็ตามดูเหมือนว่ามันจะกลับไปนอนก่อนที่จะสามารถทำอะไรได้ดังนั้นฉันต้องหยุดการทำงานระหว่างการดำเนินการของสคริปต์ทุบตีที่ rsync ทำงาน ฉันคิดว่าวิธีที่ดีที่สุด (ถ้าเป็นไปได้) คือการออกคำสั่งให้ตั้งเวลาพักเป็น "ไม่เคย" หรือหมดเวลานานมากก่อนที่จะ rsyncs แล้วกลับสู่ปกติเมื่อมันเสร็จสมบูรณ์ มีวิธีแก้ปัญหาที่ดีกว่าสำหรับการทำสิ่งนี้หรือไม่?

13 mac  bash  sleep  rsync 

ฉันพยายามกู้คืนไฟล์จากดิสก์ที่มีข้อผิดพลาดของฮาร์ดแวร์ ดิสก์ได้รับการซ่อมแซมโดยยูทิลิตี้ของดิสก์ แต่มันบอกฉันว่าดิสก์เสียหายดังนั้นฉันต้องสำรองข้อมูลทุกอย่างก่อนที่จะเกิดความล้มเหลว ดังนั้นฉันจึงพยายามคัดลอกไฟล์ผ่านตัวค้นหา แต่มันติดขัด พยายามสาธารณูปโภคอื่น ๆ และพวกเขาพยายามที่จะคัดลอกไฟล์เมื่อหัวชนบล็อกที่เสียหาย ดังนั้นฉันจึงลอง rsync และดูเหมือนว่าจะใช้งานได้; แต่มันจะใช้ตลอดไปเมื่อฉันตีบล็อกที่ไม่ดี ดังนั้นฉันสงสัยว่าถ้ามีวิธีที่จะบอก Rsync ว่าไม่ต้องรำคาญกับไฟล์ถ้ามันใช้เวลานานเกินไปหรือไม่ฉันสามารถระบุจำนวนครั้งในการลองใช้ไฟล์แต่ละไฟล์ได้หรือไม่ ฉันไม่แน่ใจว่าไดรฟ์นี้จะใช้งานได้นานเท่าไหร่ดังนั้นฉันต้องการลบข้อมูลทั้งหมดออกโดยเร็วที่สุดในขณะที่ฉันยังคงสามารถเมานต์และดูข้อมูลในตัวค้นหาได้ นี่คือสิ่งที่ฉันใช้เป็นคำสั่ง; โปรดให้คำแนะนำหากมีวิธีใดที่จะลดความพยายามในไฟล์ดังนั้นฉันสามารถ rsync เพื่อพยายามอ่านบล็อกที่เสียหาย rsync -arv -e--ignore-errors --partial-dir=/Volumes/backup/partial /Volumes/work /Volumes/backup ขอบคุณล่วงหน้า.

13 macos  rsync 

ฉันต้องการกำหนดค่าระบบเดสก์ท็อปที่ระบบไฟล์ในบ้านจะซ้ำซ้อน (เช่น RAID-1) และจะมีสแน็ปช็อตรายสัปดาห์ ฉันได้ทำสิ่งนี้กับ ZFS แล้วระบบ snapshot นั้นยอดเยี่ยมและด้วย send / recv คุณสามารถสร้างการสำรองข้อมูลบนสื่อภายนอกได้อย่างง่ายดาย น่าเสียดายที่ตอนนี้ฉันต้องการ GNU + Linux ไม่ใช่ FreeBSD หรือ Solaris ดังนั้นฉันจึงมองหาคำแนะนำสำหรับทางเลือกที่ดี ฉันคิดว่าตัวเลือกของฉันคือ: btrfs - zfs sendมันน่าจะเป็นสิ่งที่ฉันต้องการก็มีภาพรวมและคำสั่งที่ช่วยให้คุณสามารถทำซ้ำ แต่เอกสารทั้งหมดระบุว่ามันยังอยู่ในช่วงทดลอง ฉันดูเหมือนจะไม่พบรายงานจริงใด ๆ เกี่ยวกับความน่าเชื่อถือหรือปัญหาการใช้งาน คุณช่วยชี้ให้ฉันเห็นข้อมูลใด ๆ เกี่ยวกับปัญหานั้นที่สามารถชี้แจงได้ว่าจะเป็นทางเลือกที่เป็นไปได้หรือไม่? ฉันมีการตั้งค่าขนาดใหญ่สำหรับตัวเลือกนี้ส่วนใหญ่เป็นเพราะฉันไม่ต้องการฟอร์แมตไดรฟ์เมื่อ btrfs พร้อมใช้งาน แต่ฉันไม่มีข้อมูลว่าสามารถใช้งานได้ทั้งหมดหรือไม่ ที่ฉันไม่สามารถได้คำตอบจะเป็นสิ่งที่ไม่ "ทดลอง" หมายถึง lvm snapshots และ ext4 - ไม่ควรเนื่องจากมันสามารถใช้พื้นที่จำนวนเหลือร้ายเมื่อสร้างไฟล์ใหม่ การสร้างไฟล์ 200 GB …

12 rsync  lvm  snapshot  zfs  btrfs 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นหัวข้อสำหรับผู้ใช้ขั้นสูง ปิดให้บริการใน5 ปีที่ผ่านมา ฉันมีฮาร์ดไดรฟ์ที่มีบล็อกที่ไม่ดีหรือเซกเตอร์ที่ไม่สามารถอ่านได้เนื่องจากปัญหาทางกลที่อาจเกิดขึ้นเช่นหัวดิสก์ที่ไม่ดีมอเตอร์ไม่ดีหรือปัญหาอื่น ๆ ที่ทำให้ฮาร์ดไดรฟ์อ่านข้อมูลอย่างช้า ๆ และมีจำนวนมาก ของข้อผิดพลาดในการอ่าน ฉันเห็นค่าเฉลี่ย 50 KB / วินาทีโดยที่บางคนอ่านลดลงต่ำกว่า 10 KB / วินาทีและบ่อยครั้งที่มันติดอยู่กับไฟล์หรือเซกเตอร์ทั้งหมดโดยปกติจะใช้เวลาค่อนข้างนาน - จาก 2-10 นาทีหรือมากกว่านั้น (เมื่อ ใช้ rsync ก่อนหมดเวลา) ความเร็วดูเหมือนจะแตกต่างกันอย่างดุเดือดและมันก็ติดอยู่กับไฟล์มากมายและเมื่อในที่สุดมันก็ได้ "unstuck" มันก็ดูเหมือนว่าจะระเบิดนาน ๆ ก่อนที่มันจะติดอีกครั้ง ไดรฟ์ยังคงเงียบมากโดยมีเพียงเสียงคัดลอกไฟล์เป็นครั้งคราว (โดยปกติเมื่อมันติดอยู่ / ถอดออกชั่วขณะหนึ่งก่อนที่จะติดอีกครั้ง) ดังนั้นจึงไม่มีเสียงชั่วร้ายที่เกี่ยวข้องกับการเสียชีวิตของ HDD มีคนแนะนำว่าปัญหาที่เกิดขึ้นฟังดูเหมือนว่าอาจเกิดจากหัวดิสก์ที่ไม่ตรงแนวซึ่งต้องการการอ่านซ้ำหลายครั้งก่อนที่จะอ่านข้อมูลในที่สุด ฟังดูน่าเชื่อถือ แต่ฉันเชือนแช ... อย่างไรก็ตามปัญหากับ rsync ก็คือดูเหมือนว่าไม่มีการจัดการข้อผิดพลาดที่เหมาะสม เห็นได้ชัดว่ามันไม่ได้มีไว้สำหรับใช้ในการกู้คืนข้อมูลจากความล้มเหลวของฮาร์ดไดรฟ์ แต่ยูทิลิตี้ที่เรียกว่า …

12 hard-drive  data-recovery  rsync  file-transfer  ddrescue 

เมื่อฉันใช้ rsync เพื่อคัดลอกไฟล์จากคอมพิวเตอร์เครื่องหนึ่งไปยังอีกเครื่องกระบวนการ rsync จะเริ่มต้นที่ปลายทั้งสอง อย่างไรก็ตามในตอนท้ายรีโมตดูเหมือนว่าไฟล์การเริ่มต้นเชลล์ไม่อ่านดังนั้นฉันไม่สามารถตั้งค่าตัวแปรสภาพแวดล้อมสำหรับกระบวนการ rsync ระยะไกลได้ แต่น่าเสียดายที่มีเซิร์ฟเวอร์หนึ่งตัวที่ฉันต้องการ rsync ซึ่ง rsync ต้องการตัวแปรสภาพแวดล้อมเพื่อให้ทำงานได้ ฉันไม่ใช่ผู้ดูแลระบบบนเซิร์ฟเวอร์ดังนั้นฉันไม่สามารถเปลี่ยนการกำหนดค่าส่วนกลาง ฉันจะทำอย่างไรเพื่อตั้งค่า varaibles ของสภาพแวดล้อมสำหรับกระบวนการ rsync ระยะไกล

12 ssh  rsync  environment-variables  remote-connection