วิธีการโหลดอินสแตนซ์ SFTP ยอดคงเหลือบน AWS


10

ผมชอบที่จะรู้ว่ามันเป็นไปได้เพื่อความสมดุลของการโหลดเซิร์ฟเวอร์ในsftp AWSฉันมีเซิร์ฟเวอร์ 2 เครื่องและเซิร์ฟเวอร์ของฉันแต่ละเครื่องใช้s3fs-fuseเพื่อเมาต์เหมือนกันS3 bucketบนจุดเมานท์ ec2อินสแตนซ์ทั้งสองของฉันสามารถอ่าน / เขียนไปยังจุดเมานต์ได้และจากS3ฉันสามารถดูไฟล์จากเซิร์ฟเวอร์ทั้งสองได้

สิ่งที่ฉันกำลังมองหาคือการSFTPถ่ายโอนไฟล์และใช้Amazon S3ในการจัดเก็บไฟล์ของฉัน ไฟล์จะถูกอัปโหลดและดาวน์โหลดทุกวัน

https://github.com/s3fs-fuse/s3fs-fuse

สำหรับขั้นตอนต่อไปของฉันฉันอยากรู้ว่าฉันจะโหลดsftpเซิร์ฟเวอร์ของฉันได้อย่างไรเพื่อที่ว่าเมื่อผู้ใช้เชื่อมต่อกับที่อยู่ IP ที่เฉพาะเจาะจงมันจะเปลี่ยนเส้นทางไปยังsftpเซิร์ฟเวอร์ใดเซิร์ฟเวอร์หนึ่งของฉัน ฉันลองดูelastic load balancersแต่ดูเหมือนว่าจะอนุญาตเฉพาะพอร์ตเท่านั้น ฉันได้ตรวจสอบHAProxyแล้ว แต่ฉันไม่แน่ใจว่าโซลูชันนั้นจะปลอดภัยเพียงใด ฉันต้องคำนึงHIPAAถึง balancer โหลดจะต้องมีที่อยู่ IP DNS hostnamesคงเป็นผู้ขายของเราไม่ได้สนับสนุน


7
ฉันไม่เคยต้องการที่จะจุดไฟเผาตัวเองเหมือนตอนนี้
Wesley

3
TBH การใช้ s3fs-fuse สำหรับ PHI นั้นค่อนข้างโง่
EEAA

สำหรับบันทึกที่ ELBs ไม่สนับสนุนในปัจจุบันพอร์ตทั้งหมด (1-65535): aws.amazon.com/blogs/aws/... แต่ ELB ยังต้องการให้ลูกค้าใช้ชื่อ DNS ที่สร้างจาก AWS (ซึ่งชี้ไปยังที่อยู่ IP สาธารณะสองแห่งซึ่งสามารถเปลี่ยนแปลงได้)
Jukka

คำถามที่ใหญ่ที่สุดคือทำไมคุณต้องการโหลดยอดเงิน หากเป็นของ HA คุณจะยังคงมี SPoF ใน haproxy ของคุณ หากเป็นเพราะความต้องการของซีพียูของ ssh นั้นจะยากที่จะเชื่อ แต่เป็นเหตุผลที่ถูกต้อง
w00t

นอกจากนี้คุณยังได้ขอให้ผู้ขายของคุณสนับสนุนการอัปโหลด S3 ที่เข้ารหัสหรือไม่ ไม่ยากเลย…
w00t

คำตอบ:


22

ความคิดเห็นของฉันอาจใช้การชี้แจงบางอย่าง ฉันพ่นออกไปพร้อมกับคารมคมคายของจามรีที่มึนเมา:

ฉันไม่เคยต้องการที่จะจุดไฟเผาตัวเองเหมือนตอนนี้

ทำไม? ทำไมฉันถึงพูดแบบนี้? ส่วนใหญ่เป็นเพราะฉันเป็นคนที่น่ากลัว อย่างไรก็ตามนอกเหนือจากนั้นฉันสามารถอธิบายการปะทุของฉันโดยไปที่โพสต์ต้นฉบับทีละน้อย:

ฉันอยากรู้ว่าเป็นไปได้หรือไม่ที่จะโหลดเซิร์ฟเวอร์ sftp ใน AWS

ใช่. เป็นไปไม่ได้เป็นอะไร แต่รู้ว่าถ้าคุณไม่ได้รับแพ็คเกจ SFTP พิเศษการปรับสมดุลโหลดจะขึ้นอยู่กับคุณในการสร้าง บริการ SFTP และการโฮสต์ใน AWS นั้นไม่สำคัญ

ฉันมีเซิร์ฟเวอร์ 2 เครื่องและเซิร์ฟเวอร์ของฉันแต่ละเครื่องใช้ s3fs-fuse เพื่อเมานต์ชุดฝากข้อมูล S3 เดียวกันไปยังจุดเมานท์ อินสแตนซ์ ec2 ของฉันทั้งสองสามารถอ่าน / เขียนไปยังจุดเมานต์ได้และจาก S3 ฉันสามารถดูไฟล์จากเซิร์ฟเวอร์ทั้งสองได้

คุณเริ่มต้นได้ดีด้วยระบบไฟล์ที่ใช้ร่วมกันประสิทธิภาพและความน่าเชื่อถือของการตั้งค่าแม้จะมี

สำหรับขั้นตอนต่อไปของฉันฉันอยากรู้ว่าฉันจะโหลดเซิร์ฟเวอร์ sftp ของฉันได้อย่างไรเพื่อที่ว่าเมื่อผู้ใช้เชื่อมต่อกับที่อยู่ IP ที่เฉพาะเจาะจงมันจะเปลี่ยนเส้นทางไปยังเซิร์ฟเวอร์ sftp ของฉัน

คำถามคือตอนนี้: ทำไมคุณต้องการโหลดยอดเงิน มีปริมาณงานและกำลังการประมวลผลที่ยอดเยี่ยมสำหรับแคตตาล็อกอินสแตนซ์ของ Amazon และความต้องการโหลดยอดคงเหลือ SFTP จะหมายถึงคุณกำลังเข้าใกล้ระดับสื่อลามกของกิจกรรมเครือข่าย ทำให้ง่ายทำซ้ำและยืดหยุ่นได้ทุกที่ที่เป็นไปได้ รับ i2.x ใหญ่ด้วย SFTP daemon ที่กำลังทำงานอยู่และคุณควรจะสบายดีไม่ว่าอะไรก็ตาม สร้างด้วย Puppet / Chef / $trendy-config-management-toolและคุณอยู่ในธุรกิจ ย้ายที่ ...

ฉันดูที่ load balancer ยืดหยุ่น แต่พวกเขาดูเหมือนจะอนุญาตเฉพาะพอร์ตเท่านั้น ฉันได้ตรวจสอบ HAProxy ด้วยเช่นกัน แต่ฉันไม่แน่ใจว่าโซลูชันนั้นจะปลอดภัยเพียงใด

HAproxy เป็นเครื่องมือชนิดที่คุณต้องการอย่างแท้จริง ความไม่แน่นอนของคุณเกี่ยวกับความปลอดภัยนั้นลดลงอย่างง่ายดายด้วยการอ่านเพียงไม่กี่ชั่วโมง ความปรารถนาของฉันที่จะเผาผลาญตนเองเพิ่มขึ้นจากจุดนี้ไป หากคุณไม่แน่ใจเกี่ยวกับบางสิ่งบางอย่างไปแน่ใจเกี่ยวกับมัน HAProxy เป็นตัวเลือกสำหรับสถาบันการเงินโรงพยาบาลและรัฐบาลต่างๆ

ฉันต้องคำนึงถึงการปฏิบัติตาม HIPAA

เข้าใจโดยสิ้นเชิง แต่การปฏิบัติตามกฎระเบียบนั้นไม่ได้มีบทบาทเป็นเครื่องมือเป็นหลัก คุณจะต้องเข้าใจแนวคิดที่อยู่เบื้องหลังข้อกำหนดการปฏิบัติตาม HIPAA และดูว่า HAproxy สามารถปฏิบัติตามข้อกำหนดได้อย่างไร HAProxy ไม่ใช่ทั้ง HIPAA และ HIPAA ที่ไม่เข้ากัน ไม่ว่าคุณจะใช้เครื่องมือชนิดใดคุณจะต้องตรวจสอบสมมติฐานและข้อกำหนดพื้นฐานของข้อกำหนดการปฏิบัติตามกฎระเบียบและข้อบังคับของคุณอย่างอิสระ ในความเป็นจริงถ้ามีอะไร S3 และการใช้อินสแตนซ์ของ Amazon ควรได้รับการตรวจสอบอย่างรอบคอบมากกว่าการใช้ HAproxy

ตัวโหลดบาลานซ์ต้องเป็นที่อยู่ IP แบบคงที่เนื่องจากผู้ขายของเราไม่สนับสนุนชื่อโฮสต์ DNS

นี้. นี่มัน ผู้ขายของคุณไม่ดีและควรรู้สึกแย่ ตอนนี้ฉันต้องการกระโดดลงไปในลาวา ไม่รองรับบางสิ่งพื้นฐานเช่นความละเอียด DNS ไม่เกี่ยวข้องทั้งหมด แต่ก็เหมือนกับการพูดว่า "รถยนต์ต้องมีเครื่องมือให้ฉันใช้งาน" แน่นอน แน่นอนว่าตัวโหลดบาลานซ์จะมีความสามารถในการใช้ที่อยู่ IP แบบคงที่ มีข้อควรพิจารณาอีกมากมายที่คุณต้องคำนึงถึงข้างต้นที่อยู่ IP แบบคงที่แบบง่ายๆ

TL; DR

ใช่คุณสามารถโหลดยอดคงเหลือ SFTP ด้วย HAproxy การปฏิบัติตาม HIPAA ขึ้นอยู่กับคุณว่าจะแยกแยะและเครื่องมือที่เลือกจะไม่ทำเครื่องหมายในช่อง คุณมี Googling to do และเอกสารที่ต้องอ่าน

ฉันมีเปลวไฟที่จะดับ


ขอบคุณสำหรับคำติชมและข้อเสนอแนะที่ซื่อสัตย์ ฉันจะตรวจสอบพวกเขา แต่นี่จะทำให้ฉันเริ่มต้น
popopanda

7
นี่คือคำตอบที่ฉันโปรดปรานใน SF ในบางครั้ง <3
ceejayoz

Netscaler ยังมีโหมด SFTP สำหรับเซิร์ฟเวอร์เสมือนอาจต้องการพิจารณาเช่นกัน อุปกรณ์ Netscaler ที่สนับสนุนโดยอินสแตนซ์ EC2 (พร้อมตัวเลือกแบนด์วิดท์ที่แตกต่างกัน) มีอยู่ในตลาด AWS แม้ว่าค่าใช้จ่ายเงิน
Jukka

หลังจากทำงานด้านการดูแลสุขภาพด้านไอทีมาเป็นเวลาเกือบทศวรรษผู้ขายบุคคลที่สามไม่สามารถรองรับการค้นหา dns ได้โดยใช้โดเมนที่ไม่สามารถเข้าถึงระหว่างระบบและแปลก ๆ ในระดับอื่น ๆ บ่อยกว่าที่ทุกคนต้องการ ตัวอย่างเช่นเมื่อหลายปีก่อนผู้ขายบอกฉันว่าพวกเขาไม่สามารถรองรับการตรวจสอบสิทธิ์กุญแจสาธารณะของ ssh ได้เพราะไม่ได้ใช้รหัสผ่านที่สามารถหมุนได้ทุก 30 วัน HIPAA ดูเหมือนจะทำให้เกิดความหวาดระแวงและความสับสนในระดับหนึ่ง ฉันประหลาดใจที่ AWS ยินดีที่จะเป็นปริญญาตรี
Andrew Domaszek

0

ใช่. เป็นไปได้โดยใช้ AWS Load Balancer

  1. สร้าง Load Balancer ด้วย Listener ที่พอร์ต 22
  2. สร้างกลุ่มเป้าหมายโดยมี 2 ในอินสแตนซ์ SFTP ของคุณ
  3. จัด SGs ของคุณอย่างเหมาะสมทั้งอินสแตนซ์และโหลดบาลานเซอร์
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.