วิธีการกระจายไฟล์ฝนตกหนัก?

15

ฉันกำลังทำงานที่มีการแจกจ่ายกับเซิร์ฟเวอร์คลาวด์ RackSpace และฉันใช้ bittorrent เพื่อแจกจ่ายไฟล์ของฉัน มันใช้งานได้ดีอย่างน่าประหลาดใจ อย่างไรก็ตามการกระจายไฟล์ torrent เองนั้นไม่ค่อยดีนัก คุณจะทำเช่นนั้นได้อย่างไร? ตอนนี้ฉันเพิ่งสแกนไฟล์ torrent ไปยังเซิร์ฟเวอร์และแน่นอนฉันสามารถเขียนสคริปต์ที่คัดลอกไปยังsqrt(n)เซิร์ฟเวอร์ที่สั่งให้คัดลอกแต่ละครั้งอีกครั้งsqrt(n)แต่นั่นเป็น pita ที่ใช้งานได้

cloud bittorrent

— CHX
แหล่งที่มา

23

ไม่ทราบว่าปัญหาของคุณคืออะไรฉันสามารถแนะนำpscpจากparallel-sshเป็นเครื่องมือในการอัปโหลดไฟล์ขนาดเล็กไปยังเซิร์ฟเวอร์หลายเครื่อง

คุณจัดทำรายการเซิร์ฟเวอร์ที่จะอัปโหลดและแจ้งให้ทราบว่าจะต้องดำเนินการภายในเครื่องและวางไว้ที่ไหนจากระยะไกล ตัวอย่างเช่น:

$ pscp -h list-of-servers file.torrent /tmp/
[1] 02:11:22 [SUCCESS] 10.0.0.21
[2] 02:11:22 [SUCCESS] 10.0.0.20
[3] 02:11:22 [SUCCESS] 10.0.0.45
[4] 02:11:22 [SUCCESS] 10.0.0.19
[5] 02:11:22 [SUCCESS] 10.0.0.2
[6] 02:11:22 [SUCCESS] 10.0.0.5
[7] 02:11:25 [FAILURE] 10.0.0.3 Exited with error code 1

— chutz
แหล่งที่มา

1

นอกจากนี้ยังมีcode.google.com/p/pdsh

— chx

15

โดยปกติแล้วไฟล์ขนาดเล็กมากคุณไม่สามารถใช้เพียงแค่ 'ดรอปบ็อกซ์' โดยใช้ HTTP กับสคริปต์ของ cron'ed เพื่อทำ curl / wget ด้วยไวด์การ์ด?

— Chopper3
แหล่งที่มา

2

นี่เป็นวิธีที่ฉันจะใช้ไม่จำเป็นต้องส่งไฟล์ไปยังเซิร์ฟเวอร์แต่ละเครื่องและดูแลรายชื่อเซิร์ฟเวอร์ให้ตรวจสอบไฟล์ .torrent ใหม่เป็นระยะ

— jwbensley

2

คุณสามารถใช้หุ่นเชิดเพื่อทำสิ่งนี้ได้

— Noah Yetter

8

คุณสามารถให้ไคลเอนต์ torrent ตรวจสอบฟีด RSS สำหรับไฟล์ทอเรนท์ใหม่หรือเปลี่ยนเป็นลิงค์แม่เหล็กแทนไฟล์ทอเรนท์

— chewbakka
แหล่งที่มา

RSS อาจไม่ใช่ตัวเลือกหากเขา / เธอกำลังใช้ไคลเอนต์บรรทัดคำสั่งพื้นฐาน torrent

— Hengjie

เขาช่วยให้คุณFlexgetกับ rtorrent ได้โดยไม่ต้อง gui

— chewbakka

อืม flexget และ rtorrent จะทำงานได้ดีสำหรับเรื่องนี้

— Grant

+1 "สลับเป็นลิงก์แม่เหล็กแทนไฟล์ฝนตกหนัก"

— ไมเคิล

2

คุณอาจต้องการพิจารณาคดีฆาตกรรม

Murder เป็นวิธีการใช้ Bittorrent เพื่อแจกจ่ายไฟล์ไปยังเซิร์ฟเวอร์จำนวนมากภายในสภาพแวดล้อมการใช้งานจริง สิ่งนี้จะช่วยให้สามารถปรับขนาดและปรับใช้อย่างรวดเร็วในสภาพแวดล้อมของเซิร์ฟเวอร์นับแสนถึงหมื่นนับหมื่นที่ระบบการกระจายแบบรวมศูนย์จะไม่ทำงาน

.

การฆาตกรรมนั้นพัฒนาโดยคนที่twitterและพวกมันใช้มันทุกวันเพื่อแจกจ่ายไฟล์

— Jens Timmerman
แหล่งที่มา

ไม่มีการดูแลโครงการอีกต่อไป

— chovy