ถ่ายโอนไฟล์ขนาดใหญ่ (8 GB) ผ่าน ssh

ฉันลองกับ SCP แล้ว แต่มีข้อความว่า "ขนาดไฟล์เชิงลบ"

>scp matlab.iso xxx@xxx:/matlab.iso
matlab.iso: Negative file size

ลองใช้ SFTP อีกครั้งทำงานได้ดีจนกระทั่งไฟล์ 2 GB โอนแล้วหยุด

sftp> put matlab.iso
Uploading matlab.iso to /home/x/matlab.iso
matlab.iso                                           -298% 2021MB -16651.-8KB/s   00:5d
o_upload: offset < 0

มีความคิดอะไรที่อาจจะผิดหรือเปล่า? SCP และ SFTP ไม่รองรับไฟล์ที่มีขนาดใหญ่กว่า 2 GB หรือไม่ ถ้าเป็นเช่นนั้นฉันจะถ่ายโอนไฟล์ที่ใหญ่กว่าผ่าน SSH ได้อย่างไร

ระบบไฟล์ปลายทางคือ ext4 การกระจาย Linux คือ CentOS 6.5 ระบบไฟล์ในปัจจุบันมีไฟล์ขนาดใหญ่ (เข้าถึงได้) ในนั้น (สูงสุด 100 GB)

ปัญหาดั้งเดิม (อ้างอิงจากการอ่านความคิดเห็นทั้งหมดเกี่ยวกับคำถาม OP) คือscpไฟล์ที่ปฏิบัติการได้ในระบบ 64 บิตนั้นเป็นแอพพลิเคชั่น 32 บิต การประยุกต์ใช้แบบ 32 บิตที่ไม่ได้รวบรวมกับ"การสนับสนุนขนาดใหญ่ไฟล์"จบลงด้วยขอคำแนะนำว่าจะถูก จำกัด 2^32 =~ 4GBให้

คุณอาจบอกได้ว่าscpเป็น 32- บิตโดยใช้fileคำสั่ง:

file `which scp`

ในระบบที่ทันสมัยส่วนใหญ่จะเป็น 64- บิตดังนั้นจึงไม่มีการตัดทอนไฟล์:

$ file `which scp`
/usr/bin/scp: ELF 64-bit LSB  shared object, x86-64 ...

แอปพลิเคชั่น 32 ตัวควรจะสามารถรองรับ "ไฟล์ขนาดใหญ่" ได้ แต่จะต้องรวบรวมจากแหล่งที่มาพร้อมกับการรองรับไฟล์ขนาดใหญ่ซึ่งกรณีนี้ไม่ชัดเจน

วิธีแก้ปัญหาที่แนะนำคืออาจใช้การกระจาย 64- บิตแบบเต็มมาตรฐานซึ่งแอพจะถูกรวบรวมเป็น 64- บิตโดยค่าเริ่มต้น

rsyncเหมาะอย่างยิ่งสำหรับการถ่ายโอนไฟล์ขนาดใหญ่ผ่าน ssh เนื่องจากสามารถถ่ายโอนต่อที่ถูกขัดจังหวะเนื่องจากสาเหตุบางประการ เนื่องจากมันใช้ฟังก์ชั่นแฮชเพื่อตรวจจับบล็อกไฟล์ที่เท่ากันคุณสมบัติต่อไปจึงค่อนข้างแข็งแกร่ง

เป็นเรื่องที่น่าแปลกใจที่sftp/ scpรุ่นของคุณดูเหมือนจะไม่รองรับไฟล์ขนาดใหญ่ - ถึงแม้จะมีไบนารี 32 บิต แต่การสนับสนุน LFSควรเป็นมาตรฐานที่ค่อนข้างดีในทุกวันนี้

ฉันไม่แน่ใจเกี่ยวกับขนาดไฟล์ที่ จำกัด ของ SCP และ SFTP แต่คุณอาจลองแก้ไขปัญหาด้วยการแบ่ง:

split -b 1G matlab.iso

นี้จะสร้างไฟล์ 1 xaa, xab, xac, ...ลิ่มซึ่งโดยค่าเริ่มต้นมีชื่อเป็น จากนั้นคุณสามารถใช้ scp เพื่อถ่ายโอนไฟล์:

scp xa* xxx@xxx:

จากนั้นบนระบบรีโมตสร้างไฟล์ต้นฉบับด้วย cat:

cat xa* > matlab.iso

แน่นอนว่าบทลงโทษสำหรับวิธีแก้ปัญหานี้คือเวลาที่ใช้ในการดำเนินการแยกและ cat รวมถึงพื้นที่ดิสก์เพิ่มเติมที่จำเป็นสำหรับระบบโลคัลและระบบระยะไกล