คำถามติดแท็ก rsync

ฉันกำลังสำรองเดสก์ท็อปของฉันไปยังเครื่องระยะไกล ฉันทำพื้นrsync -a ~ example.com:backup/อย่างไรก็ตามมีการโหลดไฟล์ขนาดใหญ่เช่นวิกิพีเดียทิ้ง ฯลฯ ส่วนใหญ่ของไฟล์ที่ฉันดูแลมากเกี่ยวกับขนาดเล็กเช่นไฟล์คุกกี้ Firefox .bashrcหรือ มีการขอร้อง rsync ที่จะไม่รวมไฟล์ที่เกินขนาดที่กำหนดหรือไม่? ด้วยวิธีนี้ฉันสามารถคัดลอกไฟล์ทั้งหมดที่น้อยกว่า 10MB ก่อนจากนั้นจึงทำไฟล์ทั้งหมด ด้วยวิธีนี้ฉันสามารถสำรองไฟล์สำคัญที่สุดอย่างรวดเร็วจากนั้นสำรองข้อมูลอีกต่อไป

43 linux  unix  rsync  file-transfer 

ฉันเข้าใจว่า rsync ทำงานอย่างไรในระดับสูง แต่มี 2 ด้าน ด้วย S3 ไม่มีดีมอนที่จะพูดถึง - มี แต่โดยทั่วไปแล้วก็เป็นเพียง HTTP มีวิธีการเล็กน้อย s3rsync (แต่สิ่งนี้จะทำให้ rsync เป็น s3) ซื่อตรง ไม่แน่ใจว่าฉันต้องการพึ่งพาอะไรบางอย่างจากบุคคลที่สาม ฉันหวังว่า s3 เพิ่งรองรับ rsync นอกจากนี้ยังมี 'โคลนนิ่ง' rsync บางส่วนที่เหมือนกันซึ่งซ้ำซ้อนที่อ้างว่าสนับสนุน s3 โดยไม่ต้องโบลต์ แต่จะทำเช่นนี้ได้อย่างไร พวกเขาเก็บไฟล์ดัชนีไว้ในเครื่องหรือไม่? ฉันไม่แน่ใจว่าจะมีประสิทธิภาพได้อย่างไร เห็นได้ชัดว่าฉันต้องการใช้ s3 เพราะมันราคาถูกและเชื่อถือได้ แต่มีหลายสิ่งที่ rsync เป็นเครื่องมือสำหรับเช่นสำรองข้อมูลไดเรกทอรีภาพขนาดใหญ่ ตัวเลือกที่นี่มีอะไรบ้าง ฉันจะเสียอะไรโดยใช้ความซ้ำซ้อน + s3 แทน rsync + s3rsync + s3

42 rsync  amazon-s3  duplicity 

ทั้งแล็ปท็อปและเวิร์กสเตชันของฉันเชื่อมต่อกับกิกะบิตสวิตช์ ทั้งคู่กำลังใช้งาน Linux แต่เมื่อฉันคัดลอกไฟล์ด้วยrsyncจะทำงานได้ไม่ดี ฉันได้ประมาณ 22 MB / s ในทางทฤษฎีฉันควรจะได้รับประมาณ 125 MB / s หรือไม่? อะไรคือปัจจัย จำกัด ที่นี่ แก้ไข:ฉันทำการทดลองบางอย่าง ประสิทธิภาพการเขียนบนแล็ปท็อป แล็ปท็อปมีระบบไฟล์ xfs พร้อมการเข้ารหัสดิสก์เต็มรูปแบบ มันใช้aes-cbc-essiv:sha256โหมดตัวเลขที่มีความยาวคีย์ 256 บิต ประสิทธิภาพการเขียนดิสก์เป็น58.8 MB / s iblue@nerdpol:~$ LANG=C dd if=/dev/zero of=test.img bs=1M count=1024 1073741824 Bytes (1.1 GB) copied, 18.2735 s, 58.8 MB/s อ่านประสิทธิภาพบนเวิร์กสเตชัน ไฟล์ที่ฉันคัดลอกอยู่ในซอฟต์แวร์ RAID-5 มากกว่า …

42 linux  performance  rsync 

ขณะนี้ฉันมีสองไดเรกทอรี A / และ B / ซึ่งเหมือนกันทุกประการยกเว้นการประทับเวลา ดังนั้นถ้าฉันใช้คำสั่ง: rsync --dry-run -crvv A/ B/ จากนั้นไฟล์ทั้งหมดจะถูกทำเครื่องหมาย "uptodate" ในขณะที่คำสั่ง: rsync --dry-run -rvv A/ B/ แสดงให้เห็นว่าไฟล์ทั้งหมดจะถูกคัดลอกมาจาก A / ถึง B / คำถามของฉันคือ: เนื่องจากฉันรู้ว่าไฟล์เหมือนกัน (ในส่วนที่เกี่ยวกับเนื้อหา) จากนั้นจะมีวิธีใด ๆ (ผ่าน rsync หรืออื่น ๆ ) เพื่อตั้งค่าการประทับเวลาสำหรับไฟล์ใน B / ให้เหมือนกับเวลาบันทึกของไฟล์ใน A / โดยไม่คัดลอกไฟล์ทั้งหมดจาก A / B /? ขอบคุณ

42 rsync  copy  synchronization  timestamp 

ไม่กี่วันที่ผ่านมาฉันสังเกตเห็นบางสิ่งที่ค่อนข้างแปลก (อย่างน้อยสำหรับฉัน) ฉันวิ่ง rsync คัดลอกข้อมูลเดียวกันและลบหลังจากนั้นก็จะ NFS /nfs_mount/TESTติดที่เรียกว่า นี้/nfs_mount/TESTจะเป็นเจ้าภาพ / nfs_server-eth1ส่งออกจาก MTU บนเน็ตเวิร์กอินเตอร์เฟสทั้งสองคือ 9000 สวิตช์ในระหว่างรองรับเฟรมขนาดใหญ่เช่นกัน ถ้าฉันจะrsync -av dir /nfs_mount/TEST/ได้รับความเร็วการถ่ายโอนเครือข่าย X MBps ถ้าฉันจะrsync -av dir nfs_server-eth1:/nfs_mount/TEST/ได้รับความเร็วการถ่ายโอนเครือข่ายอย่างน้อย 2X MBps NFS nfs rw,nodev,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountvers=3,mountproto=tcpของฉันติดตัวเลือก Bottom line: การถ่ายโอนทั้งสองผ่านเครือข่ายย่อยเดียวกัน, สายไฟเดียวกัน, อินเทอร์เฟซเดียวกัน, อ่านข้อมูลเดียวกัน, เขียนไปยังไดเรกทอรีเดียวกัน, เป็นต้นความแตกต่างเพียงอย่างเดียวคือผ่าน NFSv3, อีกอันหนึ่งผ่าน rsync ไคลเอนต์คือ Ubuntu 10.04, เซิร์ฟเวอร์ Ubuntu 9.10 ทำไม rsync ถึงเร็วขนาดนี้? วิธีทำให้ …

40 linux  ubuntu  rsync  nfs  optimization 

ฉันสนใจที่จะใช้ Amazon S3 เพื่อสำรองข้อมูลอิมเมจเซิร์ฟเวอร์ของเรา ~ 100gb (สร้างผ่านเครื่องมือสำรองข้อมูลของ Acronis) เห็นได้ชัดว่าการอัปโหลดไฟล์ S3 ทุกคืนจะมีราคาแพงทั้งในแง่ของแบนด์วิดท์และค่าใช้จ่าย ฉันกำลังพิจารณาใช้ rsync กับ S3 และเจอs3rsync ฉันแค่สงสัยว่าใครมีประสบการณ์ใช้งานนี้หรือยูทิลิตี้อื่น ๆ ?

39 rsync  amazon-s3 

เมื่อฉันถ่ายโอนข้อมูลจำนวนมากโดยใช้ rsync มันจะมีประโยชน์ถ้าฉันสามารถมีความเร็วเฉลี่ยจนถึงตอนนี้ได้อย่างรวดเร็วแทนที่จะใช้ความเร็วที่แตกต่างกันสำหรับแต่ละไฟล์

38 performance  rsync 

ฉันต้องการสำรองข้อมูลไฟล์ผู้ใช้จากเซิร์ฟเวอร์หนึ่งไปยังเซิร์ฟเวอร์อื่นด้วย rsync แต่ฉันสังเกตเห็นว่าโฟลเดอร์ผู้ใช้เปลี่ยนเป็นรูท ฉันจะให้สิทธิ์ผู้ใช้กับ rsync (ทำงานโดยรูท) ได้อย่างไร?

36 linux  rsync 

ฉันใช้ rsync เพื่อสำรองข้อมูลไดเรกทอรีที่มีขนาดใหญ่มากประกอบด้วยไดเรกทอรีย่อยและไฟล์จำนวนมากดังนั้นฉันไม่ต้องการเห็น "รายการไฟล์ที่เพิ่มขึ้น" ฉันอยากรู้บทสรุปในที่สุด หากฉันใช้อาร์กิวเมนต์-qจะไม่มีผลลัพธ์ใด ๆ เลย ฉันสามารถสร้างเอาต์พุต rsync เป็นเพียงบทสรุปได้หรือไม่

34 linux  backup  rsync 

เมื่อทั้งต้นทางและปลายทางรีโมต rsync จะบ่น: The source and destination cannot both be remote. rsync error: syntax or usage error (code 1) at main.c(1156) [Receiver=3.0.7] มีอุปสรรคทางเทคนิคผ่านไม่ได้ในการทำ rsync ทำเช่นนี้? หรือมันเป็นเพียงกรณีของการที่ยังไม่ได้ใช้งาน? ดูเหมือนว่าค่อนข้างง่ายในการสร้างบัฟเฟอร์โลคัลในหน่วยความจำที่เป็นสื่อกลางในการถ่ายโอนระหว่างสองรีโมทโดยเก็บทั้งแฮชและข้อมูล แก้ไข เนื่องจากผู้คนกำลังให้คำแนะนำแทนเจนต์ฉันจึงโพสต์คำถามแยกต่างหากซึ่งระบุรายละเอียดกรณีการใช้งานเฉพาะของฉัน นี่เป็นสองแยกจริงๆและฉันคิดว่ามันจะคุ้มค่าที่จะรู้รายละเอียดเฉพาะเหล่านี้สำหรับ rsync

33 rsync  remote 

ใช้ Ubuntu 12.04 ฉันต้องการเปรียบเทียบ 2 ไดเรกทอรีพูด folder1 / และ folder2 / และคัดลอกไฟล์ใด ๆ ที่แตกต่างกับ folder3 / นอกจากนี้ยังมีไฟล์ซ้อนกันดังนั้นควรคัดลอกไดเรกทอรีย่อยที่ตรงกันเช่นกัน มีคำสั่งเดียวที่จะช่วยฉันได้ไหม ฉันสามารถเรียกใช้รายการไฟล์ที่เปลี่ยนแปลงทั้งหมดได้: rsync -rcnC --out-format="%f" folder1/ folder2/ แต่ rsync ดูเหมือนจะไม่มีความสามารถในการ "ส่งออก" ไฟล์เหล่านี้ในไดเรกทอรีเป้าหมายที่แตกต่างกัน ฉันสามารถไพพ์รายการไปยัง cp หรือโปรแกรมอื่น ๆ เพื่อให้คัดลอกไฟล์ในขณะที่สร้างไดเรกทอรีได้หรือไม่? ตัวอย่างเช่นฉันพยายาม rsync -rcnC --out-format="%f" folder1/ folder2/ | xargs cp -t folder3/ แต่นั่นจะไม่เก็บไดเรกทอรีไว้เช่นกันมันก็แค่คัดลอกไฟล์ทั้งหมดใน folder3 /

32 linux  rsync  directory  diff 

ฉันใช้ rsync ด้วยความยินดีอย่างยิ่งสำหรับการสำรองข้อมูลเซิร์ฟเวอร์ของฉันแม้ว่าฉันจะมีคำถามเกี่ยวกับ--delete-excludedพารามิเตอร์ /usr/bin/rsync -a --delete --numeric-ids --relative --delete-excluded --rsh=/usr/bin/ssh root@server01:/etc /.snapshot/hourly.0/server01 จากman rsync: --delete-excluded also delete excluded files from dest dirs สำหรับฉันไม่ใช่เจ้าของภาษาอังกฤษหมายความว่า rsync จะลบไดเรกทอรีที่แยกออกจากไดเรกทอรีปลายทางจริงบนเซิร์ฟเวอร์ระยะไกลดังนั้นถ้าฉันมี/home/backupและ/home/settingsในโฟลเดอร์แยกของฉันโฟลเดอร์เหล่านั้นจะถูกลบออกจากเซิร์ฟเวอร์ระยะไกลจริง ๆ จากแหล่งข้อมูลอื่น ๆ ดูเหมือนว่ามันจะลบไฟล์ออกจากโฟลเดอร์สำรองข้อมูลในเครื่องเพื่อประหยัดพื้นที่ ตัวอย่างเช่นคุณสามารถสร้างการสำรองข้อมูลขนาดเล็กบนเซิร์ฟเวอร์และยกเว้นข้อมูลนี้ดังนั้นคุณจะไม่เสียพื้นที่เก็บข้อมูล เป็นสิ่งสำคัญสำหรับฉันแม้ว่า rsync จะทำงานได้เพียงทางเดียวตามที่ผู้คนบอกว่าใช้งานได้จริงฉันไม่ต้องการรับความเสี่ยงใด ๆ ในการมีซอฟต์แวร์ที่ลบไฟล์ / ไดเรกทอรีบนเซิร์ฟเวอร์ระยะไกล

32 backup  debian  rsync  rsnapshot 

ฉันใช้คำสั่งด้านล่างเพื่อถ่ายโอนไฟล์ข้ามเซิร์ฟเวอร์ scp -rc blowfish /source/directory/* username@domain.net:/destination/directory มีวิธีการโอนไฟล์เฉพาะไฟล์ที่แก้ไขเช่นเดียวกับupdateคำสั่งcpหรือไม่?

30 linux  centos  rsync  scp 

มีประโยชน์ในทางปฏิบัติในการใช้rsyncdเปรียบเทียบกับ rsync over ssh หรือไม่ มันไม่จริงเพิ่มความเร็วความเสถียรอะไร?

30 rsync 

วิธีที่ดีที่สุดในการเปรียบเทียบโครงสร้างไดเรกทอรีคืออะไร ฉันมีอรรถประโยชน์สำรองข้อมูลที่ใช้rsync ฉันต้องการบอกความแตกต่างที่แน่นอน (ในแง่ของขนาดไฟล์และวันที่เปลี่ยนแปลงล่าสุด) ระหว่างแหล่งที่มาและการสำรองข้อมูล สิ่งที่ต้องการ: Local file Remote file Compare /home/udi/1.txt (date)(size) /home/udi/1.txt (date)(size) EQUAL /home/udi/2.txt (date)(size) /home/udi/2.txt (date)(size) DIFFERENT แน่นอนว่าเครื่องมือสามารถสร้างขึ้นมาได้หรือไอเดียสำหรับสคริปต์ไพ ธ อน ขอบคุณมาก! Udi

29 filesystems  rsync  files