คำถามติดแท็ก file-transfer

ฉันต้องคัดลอกทรีไดเรกทอรีขนาดใหญ่ประมาณ 1.8 TB มันคือทั้งหมดที่ท้องถิ่น ออกจากนิสัยฉันต้องการใช้แต่ฉันสงสัยว่ามีจุดมากและถ้าผมค่อนข้างควรใช้rsynccp ฉันกังวลเกี่ยวกับสิทธิ์และ uid / gid เนื่องจากพวกเขาจะต้องได้รับการเก็บรักษาไว้ในสำเนา (ฉันรู้ว่า rsync ทำเช่นนี้) รวมถึงสิ่งต่าง ๆ เช่น symlinks ปลายทางว่างเปล่าดังนั้นฉันไม่ต้องกังวลกับการอัปเดตบางไฟล์ตามเงื่อนไข มันคือโลคัลดิสก์ทั้งหมดดังนั้นฉันไม่ต้องกังวลกับ ssh หรือเครือข่าย เหตุผลที่ฉันถูกล่อลวงให้ห่างจาก rsync นั้นเป็นเพราะ rsync อาจทำมากกว่าที่ฉันต้องการ rsync ตรวจสอบไฟล์ ฉันไม่ต้องการและกังวลว่าอาจใช้เวลานานกว่า cp ดังนั้นสิ่งที่คุณคิด, rsyncหรือcp?

230 linux  unix  rsync  file-transfer  files 

ฉันพยายามใช้robocopyเพื่อถ่ายโอนไฟล์เดียวจากที่หนึ่งไปอีกที่หนึ่ง แต่robocopyดูเหมือนว่าฉันคิดว่าจะระบุโฟลเดอร์เสมอ นี่คือตัวอย่าง: robocopy "c:\transfer_this.txt" "z:\transferred.txt" แต่ฉันได้รับข้อผิดพลาดนี้แทน: 2009/08/11 15:21:57 ERROR 123 (0x0000007B) Accessing Source Directory c:\transfer_this.txt\ (สังเกต\ที่ท้ายtransfer_this.txt) แต่ถ้าฉันถือว่ามันเหมือนโฟลเดอร์ทั้งหมด: robocopy "c:\folder" "z:\folder" มันใช้งานได้ แต่หลังจากนั้นฉันต้องถ่ายโอนทุกอย่างในโฟลเดอร์ ฉันจะถ่ายโอนไฟล์เดียวได้robocopyอย่างไร

99 file-transfer  robocopy 

ฉันกำลังโยกย้ายเซิร์ฟเวอร์จากสหรัฐอเมริกาไปยังสหราชอาณาจักรจากศูนย์ข้อมูลหนึ่งไปยังอีกแห่งหนึ่ง โฮสต์ของฉันบอกว่าฉันควรจะสามารถบรรลุ 11 เมกะไบต์ต่อวินาที ระบบปฏิบัติการคือ Windows Server 2008 ที่ปลายทั้งสอง ขนาดไฟล์เฉลี่ยของฉันอยู่ที่ประมาณ 100 MB และข้อมูลถูกแบ่งออกเป็นไดรฟ์ 2 TB ห้าตัว วิธีที่แนะนำในการโอนไฟล์เหล่านี้คืออะไร? FTP SMB Rsync / Robocopy อื่น ๆ ? ฉันไม่ได้ใส่ใจเรื่องความปลอดภัยมากนักเพราะเป็นไฟล์สาธารณะ แต่ฉันต้องการโซลูชันที่สามารถผลักดันอัตราการถ่ายโอนแบบเต็ม 11 MB / s เพื่อลดเวลาการถ่ายโอนทั้งหมด

96 file-transfer  large-data 

ฉันต้องการถ่ายโอน mp3 จำนวนมากระหว่างสองบริการ (Ubuntu) โดยขนาดใหญ่ฉันหมายถึงประมาณหนึ่งล้านไฟล์ซึ่งโดยเฉลี่ย 300K ฉันลองด้วยscpแต่ใช้เวลาประมาณหนึ่งสัปดาห์ (ประมาณ 500 KB / s) หากฉันถ่ายโอนไฟล์เดียวด้วย HTTP ฉันจะได้รับ 9-10 MB / s แต่ฉันไม่รู้วิธีถ่ายโอนไฟล์ทั้งหมด มีวิธีการโอนทั้งหมดอย่างรวดเร็วหรือไม่

90 linux  performance  file-transfer 

ฉันกำลังเก็บข้อมูลจากเซิร์ฟเวอร์เครื่องหนึ่งไปยังเซิร์ฟเวอร์อื่น ตอนแรกฉันเริ่มrsyncงาน ใช้เวลา 2 สัปดาห์ในการสร้างรายการไฟล์สำหรับข้อมูล 5 TB และอีกหนึ่งสัปดาห์เพื่อถ่ายโอนข้อมูล 1 TB จากนั้นฉันก็ต้องฆ่างานเนื่องจากเราต้องการเวลาหยุดทำงานบนเซิร์ฟเวอร์ใหม่ มีการตกลงกันว่าเราจะเก็บไว้เพราะเราอาจไม่จำเป็นต้องเข้าถึงอีกครั้ง ฉันคิดว่าจะแบ่งมันเป็นชิ้น ๆ 500 GB หลังจากที่ผมแล้วผมจะคัดลอกมันข้ามผ่านtar sshผมใช้tarและpigzแต่ก็ยังคงช้าเกินไป มีวิธีที่ดีกว่าที่จะทำหรือไม่ ฉันคิดว่าเซิร์ฟเวอร์ทั้งสองอยู่ใน Redhat เซิร์ฟเวอร์เก่าคือ Ext4 และเซิร์ฟเวอร์ใหม่คือ XFS ขนาดไฟล์มีตั้งแต่ไม่กี่ kb ถึงไม่กี่ mb และมี 24 ล้าน jpegs ใน 5TB ดังนั้นฉันคาดเดาประมาณ 60-80 ล้านสำหรับ 15TB แก้ไข: หลังจากเล่นกับ rsync, nc, tar, mbuffer และ pigz สองสามวัน คอขวดจะเป็นดิสก์ IO …

79 linux  linux-networking  file-transfer  archive 

ปัจจุบันฉันมีเซิร์ฟเวอร์ CentOS สองแห่ง ฉันจำเป็นต้องรู้วิธีและสิ่งที่เร็วที่สุดที่จะ "tar" ในไดเรกทอรีรูปภาพและ SCP ได้หรือไม่ นั่นเป็นวิธีที่เร็วที่สุดที่ฉันเพิ่งแนะนำเพราะการเหน็บแนมใช้ไปตลอดกาล ... ฉันวิ่งตามคำสั่ง: tar cvf imagesbackup.tar images และฉันกำลังจะสแกนมันมากกว่า แจ้งให้เราทราบหากมีวิธีที่รวดเร็วกว่า ฉันสามารถเข้าถึงทั้งสองเครื่องจากระยะไกล / SSH ได้

64 file-transfer  scp  tar 

ยิ่งฉันใช้rsyncมากเท่าไหร่ฉันก็ยิ่งรู้ว่ามันเป็นมีดถ่ายโอนไฟล์ของกองทัพสวิส มีตัวเลือกมากมาย เมื่อเร็ว ๆ นี้ฉันพบว่าคุณสามารถไปได้--remove-source-filesและมันจะลบไฟล์จากแหล่งที่มาเมื่อมันถูกคัดลอกซึ่งทำให้เป็นการเคลื่อนไหวมากกว่าโปรแกรมคัดลอก :) คุณชอบเคล็ดลับและลูกเล่นเล็ก ๆ น้อย ๆ rsync อะไรบ้าง?

57 linux  unix  rsync  files  file-transfer 

มีสิ่งใดเทียบเท่าหรือพอร์ตของ ssh-copy-id สำหรับ Windows? นั่นคือมีวิธีง่าย ๆ ในการถ่ายโอนคีย์ SSH จากเครื่องท้องถิ่นไปยังเซิร์ฟเวอร์ระยะไกลใน Windows หรือไม่ ในกรณีที่ช่วยได้ฉันใช้ Pageant และKitty (ทางเลือก Putty) อยู่แล้ว

56 windows  ssh  port  file-transfer  ssh-keys 

ฉันกำลังสำรองเดสก์ท็อปของฉันไปยังเครื่องระยะไกล ฉันทำพื้นrsync -a ~ example.com:backup/อย่างไรก็ตามมีการโหลดไฟล์ขนาดใหญ่เช่นวิกิพีเดียทิ้ง ฯลฯ ส่วนใหญ่ของไฟล์ที่ฉันดูแลมากเกี่ยวกับขนาดเล็กเช่นไฟล์คุกกี้ Firefox .bashrcหรือ มีการขอร้อง rsync ที่จะไม่รวมไฟล์ที่เกินขนาดที่กำหนดหรือไม่? ด้วยวิธีนี้ฉันสามารถคัดลอกไฟล์ทั้งหมดที่น้อยกว่า 10MB ก่อนจากนั้นจึงทำไฟล์ทั้งหมด ด้วยวิธีนี้ฉันสามารถสำรองไฟล์สำคัญที่สุดอย่างรวดเร็วจากนั้นสำรองข้อมูลอีกต่อไป

43 linux  unix  rsync  file-transfer 

ล็อคแล้ว ความคิดเห็นเกี่ยวกับคำถามนี้ถูกปิดใช้งาน แต่ยังคงยอมรับคำตอบใหม่และการโต้ตอบอื่น ๆ เรียนรู้เพิ่มเติม ดูเหมือนว่าจะเกี่ยวข้องกับอันนี้แต่ก็ค่อนข้างแตกต่างกัน มีลิงค์ WAN นี้ระหว่างเว็บไซต์ของ บริษัท สองแห่งและเราจำเป็นต้องถ่ายโอนไฟล์ที่มีขนาดใหญ่มาก (การถ่ายโอนข้อมูล Oracle, ~ 160 GB) เรามีแบนด์วิดท์เต็ม 100 Mbps (ทดสอบแล้ว) แต่ดูเหมือนว่าการเชื่อมต่อ TCP เดียวจะไม่สามารถทำได้สูงสุดเนื่องจากการทำงานของ TCP (ACKs ฯลฯ ) เราทดสอบการเชื่อมโยงกับiperfและผลลัพธ์จะเปลี่ยนไปอย่างมากเมื่อเพิ่มขนาดหน้าต่าง TCP: ด้วยการตั้งค่าพื้นฐานเราจะได้รับปริมาณข้อมูล ~ 5 Mbps ด้วย WS ที่ใหญ่กว่าเราสามารถเพิ่มได้ถึง ~ 45 Mbps แต่ไม่มากไปกว่านั้น เวลาแฝงเครือข่ายอยู่ที่ประมาณ 10 ms จากความอยากรู้เราใช้ iperf โดยใช้การเชื่อมต่อมากกว่าหนึ่งครั้งและเราพบว่าเมื่อใช้งานสี่การเชื่อมต่อพวกเขาจะประสบความสำเร็จในความเร็วที่ ~ 25 Mbps ต่อการเติมแบนด์วิดท์ที่มีอยู่ทั้งหมด …

21 networking  bandwidth  tcp  file-transfer 

ฉันใช้ rsync เพื่ออัปโหลด / ดาวน์โหลดไฟล์ขนาดใหญ่พอสมควร (20Gb) ฉันตระหนักถึงตัวเลือก - ความคืบหน้า แต่สิ่งที่มันทำในกรณีของฉันคือการแสดงผลในตอนท้าย ปัญหาของฉันคือระหว่างการเชื่อมต่อที่ไม่เสถียร - ฉันไม่รู้ว่ามันยังคงดาวน์โหลด / อัพโหลดหรือมีบางอย่างผิดปกติ มีวิธีแสดงแถบความคืบหน้าสำหรับแต่ละไฟล์หรือไม่? สิ่งที่คล้ายกับสิ่งที่ wget ทำโดยค่าเริ่มต้น ขอบคุณ!

21 linux  rsync  file-transfer  files 

เหตุใดจึงต้องพิจารณาตั้งค่าบริการ FTP บนเซิร์ฟเวอร์เมื่อไฟล์ถ่ายโอนทำงานได้ดีโดยใช้ SSH (พร้อม Midnight Commander บน Lunux และ FileZilla บนไคลเอนต์ Windows) ข้อดีและข้อเสียของทั้งคู่คืออะไร ยกเว้นความจริงที่ว่าททท FTP ได้รับการสนับสนุนอย่างกว้างขวางมากขึ้นโดยไคลเอนต์ที่แตกต่างกัน

17 ssh  ftp  file-sharing  file-transfer  scp 

ฉันกำลังถ่ายโอนไฟล์ระหว่างเซิร์ฟเวอร์และเพิ่งเริ่มสังเกตเห็นว่าบางส่วนของพวกเขาได้รับการแก้ไขให้เป็นหนึ่งบรรทัดต่อเนื่องเป็นเวลานานเมื่อเทียบกับการมีผลตอบแทนและตัวแบ่งบรรทัดที่พวกเขามี ฉันสมมติว่าสิ่งนี้เกี่ยวข้องกับการโอนย้ายประเภทไคลเอนต์ FTP ของฉันซึ่ง แต่เดิมตั้งค่าเป็น "อัตโนมัติ" แต่ใช้ "Binary" และ "ASCII" เป็นตัวเลือกเพิ่มเติม ในระยะสั้นความแตกต่างระหว่างวิธีที่ฉันถ่ายโอนไฟล์จากเซิร์ฟเวอร์หนึ่งไปยังอีกเซิร์ฟเวอร์หนึ่งคืออะไรและความแตกต่างเหล่านี้จะสามารถแก้ไขไฟล์ในแบบที่ฉันได้กล่าวไว้ข้างต้นได้อย่างไร โอนจาก Windows ไปยัง Linux

16 file-transfer  ftp  binary  ascii 

ฉันต้องการถ่ายโอนไฟล์จากเซิร์ฟเวอร์ CentOS หนึ่งไปยังเซิร์ฟเวอร์อื่น จะถ่ายโอนไฟล์ 5MB ประมาณทุกๆ 10 นาที ไม่ต้องการการเข้ารหัส อะไรคือความง่ายในการถ่ายโอนไฟล์ที่รวดเร็ว? มีบางอย่างที่ง่ายกว่า ftp หรือไม่? ขอบคุณ!

16 linux  file-transfer 

rsync เป็นตัวเลือกที่ดีสำหรับโครงการของฉันหรือไม่ ฉันต้อง: - คัดลอกไฟล์จากซอร์สไปยังโฟลเดอร์ปลายทางผ่าน SSH - ให้แน่ใจว่าไฟล์ทั้งหมดถูกคัดลอก - ลบไฟล์ต้นฉบับหลังจากคัดลอก - หากฉันมีชื่อที่ขัดแย้งฉันต้องเปลี่ยนชื่อไฟล์ ดูเหมือนว่าฉันสามารถใช้ตัวเลือก: - ลบไฟล์ต้นฉบับ (เพื่อลบไฟล์ต้นฉบับ) แต่วิธีที่ rsync จัดการข้อขัดแย้งฉันจะมีกฎได้อย่างไร ใช้กรณีในโครงการของฉัน: ฉันรันการคำนวณทางวิทยาศาสตร์บนเซิร์ฟเวอร์ A และผลลัพธ์จะถูกแทรกในโฟลเดอร์ "กระบวนการ" สำหรับการคำนวณแต่ละครั้งฉันมีที่เก็บเช่นนี้: / process / calc1 ตอนนี้ฉันต้องการถ่ายโอนพื้นที่เก็บข้อมูล "/ calc1" ไปยังเซิร์ฟเวอร์ B (ฉันได้รับ / ดำเนินการ / calc1) และลบ "calc1" จากเซิร์ฟเวอร์ A. ... ในระหว่างการคำนวณอื่นฉันได้รับ "/ กระบวนการ / calc2" บนเซิร์ฟเวอร์ …

15 linux  unix  rsync  file-transfer