คำถามติดแท็ก scp

ฉันพยายามที่จะคัดลอก 75 กิกะไบต์ tgz (mysql lvm snapshot) จากเซิร์ฟเวอร์ Linux ในศูนย์ข้อมูล LA ของเราไปยังเซิร์ฟเวอร์ Linux อีกแห่งในศูนย์ข้อมูล NY ของเราผ่านลิงก์ขนาด 10MB ฉันได้รับประมาณ 20-30Kb / s ด้วย rsync หรือ scp ซึ่งมีความผันผวนระหว่าง 200-300 ชั่วโมง ในขณะนี้มันเป็นลิงค์ที่ค่อนข้างเงียบเนื่องจากศูนย์ข้อมูลที่สองยังไม่เปิดใช้งานและฉันได้รับความเร็วที่ยอดเยี่ยมจากการถ่ายโอนไฟล์ขนาดเล็ก ฉันได้ทำตามคำแนะนำการปรับแต่ง tcp ต่าง ๆ ที่ฉันพบผ่านทาง google เพื่อประโยชน์ (บางทีฉันกำลังอ่านคำแนะนำที่ไม่ถูกต้องได้รับที่ดี?) ฉันเห็นเคล็ดลับช่องสัญญาณ tar + netcat แต่ความเข้าใจของฉันคือมันดีสำหรับไฟล์ขนาดเล็กจำนวนมากและไม่อัปเดตคุณเมื่อไฟล์ถ่ายโอนเสร็จสิ้นอย่างมีประสิทธิภาพ ก่อนที่ฉันจะจัดส่งฮาร์ดไดรฟ์ใครบ้างมีอินพุตที่ดีบ้าง? อัปเดต: อืม ... มันอาจจะเป็นลิงค์หลังจากนั้น :( ดูการทดสอบของฉันด้านล่าง ... …

20 linux  rsync  scp  files 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นหัวข้อสำหรับข้อบกพร่องของเซิร์ฟเวอร์ ปิดให้บริการใน5 ปีที่ผ่านมา ฉันเป็นยูนิกซ์ noob ดังนั้นโปรดอดใจรอ :-) ฉันมีสคริปต์ที่ scps ไฟล์จำนวนมากไปยังเซิร์ฟเวอร์อื่น สมมติว่าพวกเขาเป็น z1.foo, z2.foo เป็นต้นสิ่งที่ฉันต้องการทำคือการ scp ไฟล์และลบไฟล์ที่เก่ากว่า 5 วันในเซิร์ฟเวอร์ปลายทาง ฉันจะลบไฟล์ออกจากปลายทางได้อย่างปลอดภัยได้อย่างไร ขอบคุณ

18 scripting  scp 

เหตุใดจึงต้องพิจารณาตั้งค่าบริการ FTP บนเซิร์ฟเวอร์เมื่อไฟล์ถ่ายโอนทำงานได้ดีโดยใช้ SSH (พร้อม Midnight Commander บน Lunux และ FileZilla บนไคลเอนต์ Windows) ข้อดีและข้อเสียของทั้งคู่คืออะไร ยกเว้นความจริงที่ว่าททท FTP ได้รับการสนับสนุนอย่างกว้างขวางมากขึ้นโดยไคลเอนต์ที่แตกต่างกัน

17 ssh  ftp  file-sharing  file-transfer  scp 

ฉันใช้ Debian เสถียรภาพและฉันต้องการสร้างสภาพแวดล้อมต่อไปนี้สำหรับผู้ใช้ในกลุ่ม 'sftponly' ของฉัน: ตัดสินจำคุก สามารถถ่ายโอนด้วย SFTP สามารถถ่ายโอนกับ SCP ไม่สามารถเข้าสู่ระบบแบบโต้ตอบกับ SSH จากการทดลองและการวิจัยของฉันดูเหมือนว่าบทต่อไปนี้ใน sshd_config ทำให้ฉันอยู่ที่นั่น 90%: Match group sftponly ChrootDirectory /sftp/%u X11Forwarding no AllowTcpForwarding no ForceCommand internal-sftp สิ่งนี้ทำให้ฉันจำคุก SFTP และไม่มี SSH ซึ่งดี แต่มันก็ปิดการใช้งาน SCP ซึ่งน้อยกว่าอุดมคติเพราะมีลูกค้าเพียงไม่กี่รายที่เป็นกระบวนการที่ใช้สคริปต์ที่ใช้ SCP มากกว่า SFTP (เซิร์ฟเวอร์ที่เราใช้แทนที่รองรับโปรโตคอลทั้งสอง) และเนื่องจากลูกค้าเหล่านั้นไม่ได้อยู่ภายใต้การควบคุมของเรา แก้ไขแล้วมันไม่น่าจะปิดการใช้งาน SCP ได้เลย มันสมเหตุสมผลว่าการกำหนดค่านี้จะปิดการใช้งาน SCP เนื่องจากการเชื่อมต่อของ SCP ที่เข้ามาทำให้ sshd วางไข่กระบวนการ …

16 ssh  sftp  scp  chroot  jail 

ฉันพยายามสำรองไฟล์ผ่านคำสั่ง scp /tmp/backup.tar.gz ชื่อโฮสต์: /home/user/backup.tar.gz เมื่อฉันเรียกใช้แถบความคืบหน้าของ scp จะปรากฏขึ้นและดูเหมือนว่าจะเป็นการถ่ายโอนไฟล์อย่างไรก็ตามเมื่อฉันลงชื่อเข้าใช้เซิร์ฟเวอร์ปลายทางเพื่อตรวจสอบไฟล์การประทับเวลาและขนาดไฟล์ไม่ได้เปลี่ยนแปลงจากรุ่นเก่าดังนั้นจึงดูเหมือนว่า scp ไม่ได้เขียนทับไฟล์เก่าเลย มันเห็นการทำงานเมื่อฉันลบไฟล์จากเซิร์ฟเวอร์ปลายทางด้วยตนเอง ฉันกำลังใช้งาน Ubuntu และสิ่งนี้กำลังเกิดขึ้นบนเซิร์ฟเวอร์สองเครื่อง: หนึ่ง cygwin ssh และ fedora core 3 ใครมีความคิดว่าทำไมสิ่งนี้ถึงเกิดขึ้น ฉันคิดว่า scp จะเขียนทับไฟล์ที่มีอยู่เท่านั้น .. ขอบคุณ

14 linux  timestamp  scp  overwrite 

ฉันทำงานกับ linux pro เมื่อหลายปีก่อนซึ่งทำเคล็ดลับได้ดี เขาสามารถทำmysqldump แต่เปลี่ยนเส้นทางออกกับการเชื่อมต่อ SCP / SSH มากกว่าการเขียนไปยังดิสก์ พวกเราใช้ความเงียบเล็กน้อยที่ฉันเคยทำงาน แต่ฉันจำไม่ได้ว่าจะทำเช่นนี้อีกต่อไป ตอนนี้ฉันประสบกับปัญหาที่ฮาร์ดไดรฟ์ในเซิร์ฟเวอร์ของฉันอยู่ในช่วงขาสุดท้ายและสำหรับการใช้งานแบบเข้มข้นเพื่อการติดตั้งอย่างถาวรเป็นแบบอ่านอย่างเดียว ฉันหวังว่าจะใช้การใช้เล่ห์เหลี่ยมบรรทัดคำสั่งนี้เพื่อยังคงสามารถสำรองฐานข้อมูลของฉันไปยังเซิร์ฟเวอร์ใหม่เนื่องจากการเขียนดัมพ์ไปยัง diska nd ถ่ายโอนท้องถิ่นมันชัดเจนจากคำถาม นี่เป็นเคล็ดลับเล็ก ๆ น้อย ๆ ที่เป็นไปได้จริงหรือ? ถ้าเป็นไวยากรณ์คืออะไร? ฉันได้รับรู้ตั้งแต่เนื่องจากปัญหาระบบไฟล์แบบอ่านอย่างเดียวฉันพบว่าฉันไม่สามารถเชื่อมต่อกับ mysql เพื่อถ่ายโอนข้อมูลได้ แต่ฟีดของคุณกลับมาเยี่ยมมากและหวังว่าจะใช้กับคนอื่นในอนาคต

13 linux  linux-networking  scp  mysql  pipe 

ฉันเชื่อมต่อกับเครื่อง Debian Linux สองเครื่องผ่าน 1 Gbit LAN ฉันสามารถวัดสิ่งนี้ด้วยการถ่ายโอนไฟล์ HTTP แบบดิบwgetซึ่งมีขนาดประมาณ 100MB / s ในทิศทางใดทิศทางหนึ่ง เมื่อตอนนี้ผมใช้scpสูงสุดโดยไม่ต้องบีบอัดที่ฉันได้รับอยู่ที่ประมาณ15MB / s การเปิดใช้การบีบอัดที่มี-Cธงให้ฉันขึ้นอยู่กับเนื้อหาสูงสุดถึง50MB /วินาที ยังมีแบนด์วิดท์จำนวนมากที่สูญเสียไปที่นี่ดูเหมือนว่า ฉันไม่ได้รำคาญเป็นเวลานานจนผมต้องคิดเกี่ยวกับการโอน logfile บางส่วนมีขนาดใหญ่มากและเพียงแค่รู้ว่าผิดปกติช้าscpคือ มันเป็นธรรมชาติสำหรับฉันที่จะใช้scpแม้ในสภาพแวดล้อมของ บริษัท เพราะโครงสร้างพื้นฐานทั้งหมดตั้งค่าไว้ จำกัด ประสิทธิภาพของ scp มากน้อยเพียงใด CPU ถูกผูกไว้เนื่องจากการเข้ารหัสหรือไม่ เมื่อฉันใช้htopดูเหมือนว่ามันจะไม่ได้ใช้ประโยชน์จาก CPU แบบมัลติคอร์เพียงหนึ่งในสี่ของ CPU ที่ได้รับการขยายให้ใหญ่สุด มีวิธีเพิ่มปริมาณงานหรือไม่? ฉันมีเซิร์ฟเวอร์ HTTP และแซมบ้า แต่สำหรับการย้ายไฟล์ระหว่างเครื่อง Linux ฉันมักจะใช้ SSH นั่นคือวิธีที่ฉันเติบโตมาด้วย แต่ตอนนี้ทำให้ฉันคิดเกี่ยวกับมันดูเหมือนว่าฉันต้องพิจารณาวิธีการถ่ายโอนอื่น ๆ สำหรับข้อมูลจำนวนมาก HTTP …

13 networking  bandwidth  scp 

ฉันใช้ SCP เป็นประจำเพื่อย้ายไฟล์ระหว่างเซิร์ฟเวอร์และฉันได้ยินข่าวลือว่าคุณสามารถใช้การกรอกข้อมูลแท็บบนเซิร์ฟเวอร์ระยะไกลหากคุณใช้กุญแจสาธารณะ แต่จนถึงตอนนี้ฉันก็ไม่มีโชค สิ่งที่ฉันพยายามทำให้สำเร็จคือ: scp -r remote.ip.address:/remote/dir/folder<TAB> /local/destiation/ lsบนเซิร์ฟเวอร์ระยะไกลของ/dir/จะเปิดเผย 3 โฟลเดอร์: /remote/dir/folder_1 /remote/dir/folder_2 /remote/dir/folder_3 ฉันต้องการให้ SCP เปิดเผยว่าโฟลเดอร์ใดตรงกัน (ถ้ามี) เช่นเดียวกับการทำพา ธ ปกติเมื่อใช้ระบบไฟล์ในเครื่อง ความสมบูรณ์ของแท็บทำงานบนพา ธ โลคัลในscpบรรทัดคำสั่ง แต่ฉันสังเกตว่าเมื่อพา ธ ของเครื่องรีโมตตรงกับโลคัล (เช่น: "~ /") มันจะทำ / แนะนำไฟล์ / โฟลเดอร์จากระบบไฟล์ในระบบแทน กว่าระยะไกล การเรียกใช้งานต่อไปนี้ใช้สำหรับล็อกอินโดยไม่ต้องใช้รหัสผ่าน `ssh remote.ip.address` ... ดังนั้นฉันจึงรู้ว่ามีการตั้งค่าคีย์อย่างถูกต้อง มีความคิดเห็นเกี่ยวกับวิธีการทำงานนี้หรือไม่?

13 linux  ssh  command-line-interface  mac-osx  scp 

วิธีรับไฟล์จากพา ธ ของฉัน d: /test.txt และคัดลอกไปยัง /etc/var/test/test.txt ฉันเคยลองแล้ว: scp d:/test.txt /etc/var/test/test.txt แต่นั่นไม่ได้ผลวิธีการตั้งค่าฮาร์ดดิสก์จากที่ฉันคัดลอกไฟล์ของฉัน?

13 linux  windows  centos  scp 

ฉันมีเซิร์ฟเวอร์ต้นทาง 1 ตัวที่มีไฟล์ประมาณ 30GB ซึ่งฉันต้องการคัดลอกไปยังเซิร์ฟเวอร์อื่น ๆ 7 แห่ง ตอนนี้ฉัน SCP ไฟล์ไปยังเซิร์ฟเวอร์สี่ตัวแรกและเมื่อการถ่ายโอนนั้นสมบูรณ์ SCP ไปยังเซิร์ฟเวอร์ 3 ตัวสุดท้าย การใช้ BitTorrent จะเร็วกว่าเพื่อแจกจ่ายไฟล์ให้กับทั้ง 7 ในครั้งเดียวหรือไม่ การเชื่อมต่อภายในมีความรวดเร็วและสอดคล้องกันระหว่างเซิร์ฟเวอร์แต่ละตัว ฉันรู้ว่ามันอาจจะใช้เวลาโหลดออกเซิร์ฟเวอร์แหล่งที่มา แต่มันจะใช้เวลานานในการกระจายไฟล์? ไคลเอนต์สคริปต์ที่ดีที่ฉันสามารถใช้จากเชลล์คืออะไร ฉันต้องการให้ทุกคนหยุดการเพาะหลังจาก 100%

12 shell  copy  scp  bittorrent 

ฉันพยายามscpไฟล์จากเซิร์ฟเวอร์ไปยังเครื่องของฉัน แต่มันทำให้ฉันมีข้อผิดพลาดนี้: protocol error: unexpected <newline> นี่คือไวยากรณ์ของฉัน: scp user@server:/path/to/file . มันไม่ทำงานบนเซิร์ฟเวอร์นี้ แต่จากนั้นฉันลองคำสั่งเดียวกันบนเซิร์ฟเวอร์อื่นของฉันดังนั้นฉันสามารถสันนิษฐานได้ว่ามันผิดปกติกับเซิร์ฟเวอร์ของฉันเท่านั้นไม่ใช่ไวยากรณ์ของscpคำสั่ง ความคิดใด ๆ

11 ssh  scp 

ฉันมีไฟล์หลายชุดที่ฉันต้องการคัดลอกผ่าน SCP ผ่าน VPN ผ่านเซิร์ฟเวอร์ลินุกซ์ระยะไกลในแต่ละคืน ไฟล์มีขนาดไม่ใหญ่เรากำลังพูดถึงหลายสิบเมกะไบต์ที่นี่ แต่การคัดลอกไฟล์มักจะหยุดทำงานหลังจากไม่กี่วินาที ใช้คำสั่ง SCP ด้วย -vvv ฉันเห็นสิ่งต่อไปนี้ซ้ำแล้วซ้ำอีกตลอดกระบวนการคัดลอกที่พยายาม: debug2: channel 0: rcvd adjust 131072 debug2: channel 0: rcvd adjust 131072 debug2: channel 0: rcvd adjust 131072 ความคิดใด ๆ ฉันเห็นคำถามนี้ถูกถามในที่ต่างๆ แต่ไม่มีคำตอบเลย ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชม

11 linux  ssh  vpn  scp 

ฉันต้องการถ่ายโอนไฟล์KVM vdisk ขนาด 20 GB จัดเก็บระบบไฟล์รูทของ CentOS 6.5 VM จากเซิร์ฟเวอร์ห้องปฏิบัติการหนึ่งไปยังอีกห้องหนึ่ง ขนาดไฟล์ขนาดใหญ่และความจริงที่ฉันเคยบีบอัดไฟล์ vdisk ไปหลายร้อยล้านไบต์ทำให้ฉันเปิดใช้งานการบีบอัดด้วยสัญชาตญาณscpแต่ฉันแปลกใจที่เห็นความเร็วในการถ่ายโอนค่อนข้างต่ำ จากนั้นฉันก็ลองใช้bzip2ร่วมกับsshและcatและก็ตกใจ นี่คือบทสรุปของวิธีการและปริมาณงานเฉลี่ย scp -C vm1-root.img root@192.168.161.62:/mnt/vdisks/, 11 MB / s bzip2 -c vm1-root.img | ssh -l root 192.168.161.62 "bzip2 -d -c > /mnt/vdisks/vm1-root.img"5 MB / s แม้ผลลัพธ์ที่ต่ำกว่านี้จะได้รับการค้นหาบนอินเทอร์เน็ต scp -c arcfour -C vm1-root.img root@192.168.161.62:/mnt/vdisks/, 13 MB / s …

11 ssh  scp  file-transfer 

ใช้หลายหัวข้อ scp พร้อมกัน: พื้นหลัง: ฉันมักจะหาตัวเองมิเรอร์ชุดของเซิร์ฟเวอร์ไฟล์จำนวนมากและรวมอยู่ในไฟล์เหล่านี้เป็นเซิร์ฟเวอร์หลายพันไฟล์ 1kb-3KB เล็ก ๆ น้อย ๆ เซิร์ฟเวอร์ทั้งหมดเชื่อมต่อกับพอร์ต 1Gbps โดยทั่วไปจะกระจายอยู่ในศูนย์ข้อมูลที่หลากหลาย ปัญหา: SCP ถ่ายโอนไฟล์ขนาดเล็กเหล่านี้ทีละหนึ่งและใช้เวลานานและฉันรู้สึกว่าฉันกำลังสูญเสียทรัพยากรเครือข่ายที่สวยงามที่ฉันมี สารละลาย?: ฉันมีความคิด การสร้างสคริปต์ซึ่งแบ่งไฟล์เป็นจำนวนเท่ากันและเริ่มเธรด 5-6 scp ซึ่งในทางทฤษฎีแล้วจะทำเสร็จเร็วขึ้น 5-6 ครั้งใช่ไหม แต่ฉันไม่มีประสบการณ์การเขียนสคริปต์ linux! คำถาม (s): มีวิธีแก้ไขปัญหาดังกล่าวดีกว่าหรือไม่ มีอะไรแบบนี้ที่มีอยู่แล้วเหรอ? ถ้าไม่มีมีคนที่จะให้ฉันเริ่มต้นหรือช่วยฉันออกมา? หากไม่ใช่ 2 หรือ 3 จะเป็นที่ไหนดีที่เริ่มมองหาการเรียนรู้การเขียนสคริปต์ linux ชอบทุบตีหรืออื่น ๆ

11 linux  centos  scp  multi-threading