คำถามติดแท็ก rsync

เราติดตั้งลินุกซ์ (มันอยู่ใน Amazon AWS ซึ่งเป็นระบบคล้าย CentOS ถึงแม้ว่าเราไม่แน่ใจว่าการปรับแต่งที่ทำกับมัน) ระบบที่มีพื้นที่จัดเก็บ 4TB เป็นปริมาณ XFS บน LVM (ในที่สุดจะใช้สำหรับการให้บริการผ่าน NFS4 แต่ ยังไม่ได้ใช้งานและเรากำลังใช้ rsync เพื่อซิงค์ไฟล์จากเซิร์ฟเวอร์ NFS ที่ใช้งานจริงของเราไปยังโวลุ่ม XFS (เช่นเรา rsync จากแหล่งที่มาเหนือ NFS ไปยังไดรฟ์ที่ใช้ XV บนโลคัล XFS) อย่างไรก็ตามเราสังเกตเห็นว่าในบางจุดใน rsync กลางเริ่มที่จะช้ามากขึ้น (ปริมาณงานลดลงอย่างมาก) และทั้งปริมาณการโหลดและการใช้หน่วยความจำเพิ่มขึ้นในระดับมาก (และ CPU มีสัดส่วนที่มากใน iowait) ในที่สุดฉันรีบูตระบบ XFS และระบบกลับมาทำงานได้ตามปกติโดยมีประสิทธิภาพการทำงานปกติของ rsync มากกว่าตั้งแต่อย่างน้อย 24 ชั่วโมงที่ผ่านมา เราตรวจสอบกราฟการตรวจสอบ munin และไม่สังเกตเห็นอะไรชัดเจน แต่เราพบว่าตัวชี้วัด …

12 linux  rsync  xfs 

ฉันใช้ rsync เพื่อย้ายไดเรกทอรีหนึ่งไปยังอีกไดเรกทอรีหนึ่ง มีวิธีการรับ rsync เพื่อลบไฟล์จากผู้ส่งเพิ่มขึ้นหลังจากที่คัดลอกไปยังผู้รับหรือไม่

12 linux  unix  rsync  file-transfer  command-line-interface 

ฉันฆ่ากระบวนการ "rsync -ah" ในพื้นที่ มันเหลือไฟล์ขยะเช่น ".abc.vmdk.zxivMN" ในไดเรกทอรีเป้าหมาย ไฟล์ขยะไม่ถูกลบในการรัน "rsync -ah" ติดต่อกัน รายละเอียด: ฉันพบความแตกต่างในทั้งสองโฟลเดอร์ที่ฉันซิงค์และรายงาน: "เฉพาะใน / mnt / archive1 / เอกสาร / ทั่วไป: .abc.vmdk.zxivMN" วิธีที่ดีที่สุดในการล้างไฟล์ rsync ชั่วคราวคืออะไร?

12 rsync 

ฉันต้องการซิงค์Server1และServer2บันทึกLogServerของ สำหรับServer1: rsync -avz -e 'ssh -p 2188' user@server1:/usr/local/servers/logs/* /usr/local/logs/ อันนี้ใช้ได้ แต่Server2: rsync -avz -e 'ssh -p 2188' user@server2:/usr/local/servers/logs/* /usr/local/logs/ มันล้มเหลว: shell-init: error retrieving current directory: getcwd: cannot access parent directories: no such file or directory job-working-directory: error retrieving current directory: getcwd: cannot access parent directories: no such file or …

11 linux  ssh  rsync  shell 

ฉันได้รับข้อความนี้ด้วย rsync: symlink has no referent: "/a/path" ดี rsync นั้นถูกต้อง: ในระบบแฟ้มต้นทางลิงก์ (สัญลักษณ์) ชี้ไปยังตำแหน่งที่ไม่มีอยู่จริง นั่นคือตั้งใจ เป้าหมายของลิงก์มีอยู่ในระบบไฟล์ปลายทางเท่านั้น และฉันต้องการ rsync ที่จะไม่สนใจข้อเท็จจริงนั้นและสร้าง symlink ในปลายทาง ฉันจะบังคับ rsync ให้ทำเช่นนั้นได้อย่างไร

11 linux  rsync  symbolic-link 

สิ่งนี้อ้างถึงเรื่องที่ระบุไว้ที่นี่และฉันก็ประสบเช่นเดียวกัน ในหนึ่งในเซิร์ฟเวอร์ของฉันฉันใช้ rsync เพื่อสำรองข้อมูลไดเรกทอรีขนาดใหญ่ (ขนาดใหญ่กว่า 300 Gb) ไปยังดิสก์อื่นติดตั้งบนเครื่องเดียวกัน ไดเรกทอรีที่ถูก rsynced มีไดเรกทอรีและไฟล์หลายพันรายการ ฉันออกคำสั่ง rsync เดียวโดยใช้ 'nohup' จากนั้นผลักคำสั่งเป็นพื้นหลังโดยใช้คำสั่ง '&' คำสั่งที่สมบูรณ์ที่กำหนดบนเชลล์ bash ระยะไกล (ใช้ putty) คือ: nohup rsync -avh /some/local/dir /backup/ >> /opt/rsync.dec22.log & จากนั้นเพื่อตรวจสอบว่าข้อมูลใดที่ถูกคัดลอกอัตราฉันใช้คำสั่ง 'iotop' และพบว่ามี rsync 3 ตัวที่ทำงานด้วยพารามิเตอร์เดียวกัน ในการค้นหาฉันพบลิงค์ด้านบนซึ่งระบุว่าเป็นเรื่องปกติ แต่การทำไอโซโทปเพื่อตรวจสอบกระบวนการเหล่านั้นและกระบวนการ rsync เดียวที่ทำงานบนระบบฉันเห็นว่ากระบวนการหนึ่งกำลังอ่านไฟล์ พฤติกรรมดูเหมือนว่าดีเมื่อกระบวนการหนึ่งทำเพียงครั้งเดียว แต่กระบวนการที่ 3 กำลังทำอะไร (มองว่าเป็นสื่อกลางในภาพด้านล่าง) คำสั่ง iotop ที่ฉันใช้คือ: iotop …

11 linux  rsync  command 

ฉันใช้ rsync เพื่อสำรองข้อมูลบางอย่างจากเซิร์ฟเวอร์หนึ่งไปอีกเซิร์ฟเวอร์หนึ่ง ทุกอย่างทำงานได้ดี แต่อาจใช้เวลานานกว่าจะเสร็จสิ้นทั้งนี้ขึ้นอยู่กับจำนวนข้อมูลที่มีการถ่ายโอน มีวิธีการรับประกันเพื่อให้แน่ใจว่าคำสั่ง rsync ไม่เริ่มก่อนที่คำสั่งก่อนหน้านี้จะเสร็จสิ้นโดยใช้ cronjob ตัวอย่างเช่นทุกชั่วโมงที่ฉันรันคำสั่ง rsync แต่ความเป็นไปได้ที่การถ่ายโอนจะใช้เวลามากกว่า 1 ชั่วโมงจึงจะเสร็จสมบูรณ์ดังนั้นรายการถัดไปจะเริ่มก่อนที่คำสั่งก่อนหน้าจะเสร็จสิ้น

11 linux  cron  rsync 

เรามีพื้นที่เก็บข้อมูลส่วนกลางของไฟล์ในการพูดเซิร์ฟเวอร์ /srv/www1 จากนั้นเรามีเซิร์ฟเวอร์จำนวน N เช่นกัน เราต้องการให้เซิร์ฟเวอร์ -1 สามารถปรับใช้ไฟล์ใน/srv/wwwเซิร์ฟเวอร์ทั้งหมดได้อย่างรวดเร็วและมีประสิทธิภาพที่สุด มีบางอย่างเช่น rsync แต่แทนที่จะระบุเป้าหมายเดียวโดยระบุคลัสเตอร์ (เซิร์ฟเวอร์ N) ของเป้าหมายหรือไม่ ฉันคิดว่าgitอาจใช้งานได้ แต่เราสามารถระบุรีโมตหลายตัวเพื่อผลักดันได้หรือไม่ อะไรคือทางออกที่ดีที่สุดโดยสมมติว่าเซิร์ฟเวอร์ N อาจมีจำนวนหลายร้อย

11 rsync  deployment  git 

เรามีปัญหาใหญ่หนึ่งอย่างในขณะนี้: เราจำเป็นต้องทำการจำลองระบบไฟล์สำหรับลูกค้าของเรา ปกติแล้วไม่ใช่ปัญหา แต่นี่คือ: ในระบบไฟล์นี้มีหนึ่งโฟลเดอร์ที่มีฮาร์ดลิงก์นับล้าน (ใช่! MILLIONS!) rsyncต้องใช้เวลามากกว่า 4 วันในการสร้างผู้สร้าง เราใช้rsyncตัวเลือกต่อไปนี้: rsync -Havz --progress serverA:/data/cms /data/ มีใครบ้างที่คิดว่าจะเร่งความเร็ว rsync นี้หรือใช้ทางเลือกอื่น เราไม่สามารถใช้งานได้ddเนื่องจากดิสก์เป้าหมายมีขนาดเล็กกว่าแหล่งที่มา UPDATE: ในฐานะที่เป็นระบบแฟ้มเดิมคือext3เราจะพยายามและdump restoreฉันจะทำให้คุณ up2date

11 linux  performance  rsync  hardlink 

Berate ฉันในภายหลังในความจริงที่ว่าฉันใช้คอนโซลบริการเพื่อทำอะไรใน ESXi ... ฉันได้รับ rsync binary (v3.0.4) ที่ใช้งานได้ใน ESXi 4.1U1 ฉันมักจะใช้ rsync ผ่าน cp เมื่อทำการคัดลอก VM หรือสำเนาสำรองจากที่เก็บข้อมูลในเครื่องไปยังที่เก็บข้อมูลอื่นในเครื่อง ฉันใช้ rsync เพื่อคัดลอกข้อมูลจากกล่อง ESXi หนึ่งไปยังอีกกล่อง แต่นั่นเป็นเพียงไฟล์ขนาดเล็ก ในตอนนี้พยายามที่จะทำการซิงค์ที่แตกต่างอย่างแท้จริงของการสำรองข้อมูลที่ถ่ายผ่านghettoVCBระหว่างเครื่อง ESXi หลักของฉันและเครื่องรอง แต่แม้เมื่อฉันทำสิ่งนี้ภายในเครื่อง (หนึ่งที่เก็บข้อมูลไปยังอีกที่เก็บข้อมูลในเครื่อง ESXi เครื่องเดียวกัน) rsync จะปรากฏขึ้นเพื่อคัดลอกไฟล์ทั้งหมด ฉันมีสอง VMDK ของทั้งหมด 80GB ในขนาดและ rsync ยังคงใช้เวลาใดก็ได้ระหว่าง 1 และ 2 ชั่วโมง แต่เป็นของ VMDK จะไม่เจริญเติบโตที่มากในชีวิตประจำวัน ด้านล่างนี้เป็นคำสั่ง rsync ที่ฉันกำลังดำเนินการ …

11 vmware-esxi  vmware-esx  rsync 

ฉันต้องการถ่ายโอนไฟล์ / โฟลเดอร์จำนวนมากจาก Windows ไปยัง Linux โดยใช้ Rsync บนเซิร์ฟเวอร์ linux (ปลายทาง) ฉันต้องการตั้งค่าการอนุญาตของไฟล์เป็น 644 และตั้งค่าการอนุญาตของโฟลเดอร์เป็น 755 หากเป็นไปได้ฉันต้องการให้ความเป็นเจ้าของถูกตั้งค่าเป็น root.root สำหรับไฟล์ / โฟลเดอร์ทั้งหมด ฉันลองตัวเลือก -p แล้ว แต่มันไม่ทำงาน ขอบคุณสำหรับความช่วยเหลือ

11 windows  permissions  rsync  chmod 

ฉันกำลังใช้ rsync สำหรับการสำรองข้อมูลจาก FTP ระยะไกลไปยังเครื่องคอมพิวเตอร์ ฉันอ่านบนอินเทอร์เน็ตว่า rsnapshot ดีกว่า แค่อยากรู้ว่าสิ่งใดที่ใช้ในสภาพแวดล้อมการผลิต

11 backup  rsync 

เมื่อฉันใช้rsyncงานสำรองซึ่งเกี่ยวข้องกับการคัดลอกไฟล์ขนาดใหญ่เครื่องที่ทำงานการสำรองข้อมูล (ทั้งเครื่องเดสก์ท็อป Mac และเซิร์ฟเวอร์ Linux) จะหยุดทำงานและหยุดการโหลดเฉลี่ยโดยเฉลี่ย ฉันพยายามแล้ว: niceไอเอ็นจีrsyncกระบวนการ (ไม่ช่วย - คอขวดคือดิสก์) บน Linux reniceอิงkjournald(ช่วย แต่ดูเหมือนว่าแฮ็คและไม่ทำงานบน Mac) การใช้การ--bwlimit rsyncตั้งค่าสถานะ (ช่วย แต่มันหมายถึงการถ่ายโอนทั้งหมดช้า - แม้ว่าพวกเขาไม่จำเป็นต้องเป็น) ดังนั้นมีวิธีใดบ้างที่ฉันสามารถใช้IO nice"" rsyncเพื่อให้เครื่องใช้ในขณะที่กำลังสำรองข้อมูลได้ PS: ฉันตระหนักถึงอันตรายของrsyncการใช้ Mac ... แต่ฉันใช้BackupBouncerเพื่อตรวจสอบการสำรองข้อมูลของฉัน

11 backup  rsync  nice 

ฉันใช้การสำรองข้อมูลของเซิร์ฟเวอร์ที่มี rsync แต่การสำรองข้อมูลเหล่านั้นมีขนาดค่อนข้างใหญ่และฉันต้องการบีบอัดข้อมูลเหล่านั้น มีวิธีที่จะมี wrapper เรียงรอบ rsync เพื่อ gunzip ไฟล์ในการสำรองข้อมูล rsync การเปลี่ยนแปลงจากไฟล์สดแล้ว re-gzip ไฟล์ทันทีที่คัดลอก? เช่นถ้าไฟล์ที่มาในชีวิตอยู่foo , บาร์และbazสำรองมีfoo.gz , bar.gzและbaz.gz ในการเรียกคืน: ฉันต้องการไฟล์บีบอัดที่ปลายด้านหนึ่งและไม่มีการบีบอัดไฟล์ที่ปลายอีกด้าน ฉันไม่ต้องการที่จะบีบอัดก่อนที่จะซิงค์เพราะแม้จะมี --rsyncable ก็ทำให้ rsync มีประสิทธิภาพน้อยลง ฉันรู้เกี่ยวกับตัวเลือก -z เพื่อ rsync ฉันไม่มีพื้นที่บนเครื่องสำรองเพื่อจัดเก็บไฟล์ทั้งหมดที่ไม่มีการบีบอัด

11 backup  rsync  gzip 

ฉันพยายามตั้งค่า rsync เพื่อคัดลอกข้อมูลจากเซิร์ฟเวอร์ทุกวัน เพื่อที่จะทำให้ระบบมีข้อ จำกัด มากที่สุดฉันพยายามใช้โหมดที่อธิบายไว้ในหน้า man เป็น: "การใช้คุณสมบัติ RSYNC-DAEMON ผ่านการเชื่อมต่อแบบเปลือกระยะไกล" ดังนั้นฉันจึงใส่ไฟล์ชื่อ rsyncd.conf ในโฟลเดอร์หลักของรูท: [root] path = / read only = true และพยายามที่จะคัดลอก / etc / passwd เป็นทดสอบ: rsync -vv -e ssh myserver::root/etc/passwd . แต่ฉันได้รับต่อไปนี้: opening connection using: ssh myserver rsync --server --daemon . rsync: connection unexpectedly closed (0 bytes …

11 ssh  rsync