การปรับที่เก็บข้อมูล iSCSI


29

นี่เป็นคำถามที่ยอมรับได้เกี่ยวกับ iSCSI ที่เราสามารถใช้เป็นข้อมูลอ้างอิง

iSCSI เป็นโปรโตคอลที่ทำให้คำสั่ง SCSI เป็นเพย์โหลดลงในแพ็กเก็ตเครือข่าย TCP ด้วยเหตุนี้มันจึงมีปัญหาที่แตกต่างไปจากไฟเบอร์แชนเนล ตัวอย่างเช่นหากลิงค์ได้รับความแออัดและบัฟเฟอร์ของสวิตช์เต็มโดยค่าเริ่มต้นอีเธอร์เน็ตจะดร็อปเฟรมแทนการบอกให้โฮสต์ช้าลง สิ่งนี้นำไปสู่การส่งสัญญาณใหม่ซึ่งนำไปสู่เวลาแฝงที่สูงสำหรับปริมาณการใช้พื้นที่เก็บข้อมูลที่น้อยมาก

มีวิธีแก้ไขปัญหานี้ขึ้นอยู่กับระบบปฏิบัติการไคลเอนต์รวมถึงการปรับเปลี่ยนการตั้งค่าเครือข่าย สำหรับรายการระบบปฏิบัติการต่อไปนี้การกำหนดค่าไคลเอนต์ iSCSI ที่เหมาะสมจะมีลักษณะอย่างไร มันเกี่ยวข้องกับการเปลี่ยนการตั้งค่าบนสวิตช์หรือไม่? แล้วที่เก็บข้อมูลล่ะ?

  • VMWare 4 และ 5
  • Windows Hyper-V 2008 และ 2008r2
  • Windows 2003 และ 2008 บนโลหะเปลือย
  • Linux บนโลหะเปลือย
  • AIX VIO
  • ระบบปฏิบัติการอื่นใดที่คุณคิดว่าเกี่ยวข้อง

iSCSI นั้นซับซ้อนกว่านั้นมาก - แต่ด้วยความเคารพต่อ IP-stack ทั้งหมดนั้นมีผลกับการเชื่อมต่อ IP ที่มีความเร็วสูงและมีความหน่วงต่ำ - ไม่ได้พิเศษที่นี่
นิลส์

คำตอบ:


6

ฉันไม่คุ้นเคยกับ VMware แต่ฉันใช้ Xenserver และฉันใช้ Hyper-V (R2)

ด้วยการกำหนดค่า Xenserver ปัจจุบันของฉันฉันมี:

  • 8 เซิร์ฟเวอร์ Dell Poweredge 29xx
  • 2 สวิตช์ Dell Powerconnect 6248
  • 2 Dell MD3000i SAN (iSCSI)

ฉันได้ตั้งค่าสวิตช์ของฉันในการตั้งค่ามัลติพา ธ และปรับให้เหมาะสมสำหรับ iSCSI โดย:

  • แยกสวิตช์ของฉันออกเป็น 3 VLANS (2 สำหรับ iSCSI ทราฟฟิกและ 1 สำหรับการจัดการ)
  • ใช้ JumboFrames
  • การใช้การปรับให้เหมาะสมที่สุด "iSCSI" ที่สายเชื่อมต่อมี

เซิร์ฟเวอร์แต่ละเครื่องมีการ์ดเครือข่ายหลายใบเพื่อให้การเชื่อมต่อกับสวิตช์แต่ละตัวซึ่งจะเป็นการสำรองข้อมูลซ้ำซ้อนผ่านการเชื่อมต่อระหว่างเซิร์ฟเวอร์และ iSCSI SAN iSCSI VLANs ไม่มีทราฟฟิกอื่นนอกเหนือจาก iSCSI

ฉันยินดีที่จะรายงานว่าด้วยการกำหนดค่านี้ Xenserver "cluster" ทำงานได้อย่างยอดเยี่ยม

ในหมายเหตุด้านข้างฉันมีเซิร์ฟเวอร์ Windows 2008 เชื่อมต่อโดยตรงโดย iSCSI กับ HP SAN (เซิร์ฟเวอร์ไฟล์เก่า) มันใช้เพื่อเรียกใช้ Windows 2003 และเป็นประจำจะลดการเชื่อมต่อ (แม้หลังจากติดตั้ง 2003); อย่างไรก็ตามทันทีที่ฉันอัพเกรดเป็น windows 2008 จะยังคงเชื่อมต่ออยู่

ฉันยินดีที่จะตอบคำถามเกี่ยวกับการตั้งค่าของฉัน


1
คุณใช้สายเคเบิลซ้อนระหว่างสวิตช์ Dell สองสวิตช์หรือไม่
SpacemanSpiff

ทำไมต้อง iSCSI ทำไมไม่ DRBD บน MD3000 ที่เชื่อมต่อโดยตรง?
นิลส์

@SpacemanSpiff สวิตช์ของฉันไม่ซ้อนกัน
Steve

@ ไม่มีฉันไม่ได้ค้นคว้า DRBD แม้ว่าฉันจะเคยได้ยินก็ตาม DRBD จะเสนออะไรใน iSCSI สำหรับพื้นที่เก็บข้อมูลที่เชื่อมต่อโดยตรงของฉัน
Steve

DRBD ไม่มีค่าใช้จ่าย SCSI อีกสิ่งหนึ่งคือคุณไม่สามารถกำจัดกระบวนการไคลเอนต์ iSCSI เมื่อเซิร์ฟเวอร์ iSCSI ของคุณตายหรือไม่สามารถเข้าถึง (หลังไม่ควรมีปัญหาในการตั้งค่าของคุณ)
นิลส์

3

ยังไม่ได้รับคำตอบ ... ยัง นี่คือกรอบการทำงานสำหรับคำตอบทั่วไป หากคุณมีเวลากรุณากรอกสิ่งที่คุณรู้เกี่ยวกับ เกี่ยวกับการกำหนดค่าฮาร์ดแวร์เฉพาะกรุณาโพสต์คำตอบแยกต่างหากสำหรับผู้ขายแต่ละรายเพื่อให้เราสามารถเก็บข้อมูลนั้นไว้เป็นระเบียบและแยกจากกัน

โปรไฟล์ QoS ไปยังพอร์ตรวมถึงการปิดการควบคุมพายุตั้งค่า MTU เป็น 9000 เปิดการควบคุมการไหลและใส่พอร์ตเข้ากับพอร์ตพอร์ต

ปริมาณงานและความหน่วง

อัปเดตเฟิร์มแวร์ไดรเวอร์และระบบอื่น ๆ

MPIO

จัมโบ้เฟรม / MTU

เมื่อความเร็วของการเชื่อมโยงเครือข่ายเพิ่มจำนวนของแพ็คเก็ตที่อาจเกิดขึ้นก็เพิ่มขึ้นเช่นกัน สิ่งนี้ให้เวลา CPU / การขัดจังหวะที่มากขึ้นและใช้เวลามากขึ้นในการสร้างแพ็คเก็ตซึ่งมีผลกระทบต่อทั้งระบบการส่งสัญญาณที่ไม่เหมาะสม

เฟรมที่เรียกว่า "จัมโบ้" คือเฟรมอีเธอร์เน็ตที่เกินขีด จำกัด บัญญัติ 1518 ไบต์ ในขณะที่ตัวเลขอาจแตกต่างกันไปขึ้นอยู่กับผู้ขายสวิตช์ระบบปฏิบัติการและขนาดของแพ็คเก็ตจัมโบ้ขนาดใหญ่ที่สุดของ NIC คือ 9000 และ 9216 ไบต์ (ซึ่งภายหลังเป็นเรื่องธรรมดาที่สุด) เนื่องจากข้อมูลประมาณ 6X สามารถใส่ลงในเฟรมขนาด 9K จำนวนแพ็กเก็ตจริง (และอินเตอร์รัปต์) จะลดลงตามจำนวนที่คล้ายกันในโฮสต์ การเพิ่มขึ้นเหล่านี้มีความเด่นชัดในการเชื่อมโยงความเร็วสูง (เช่น 10GE) ที่ส่งข้อมูลจำนวนมาก (เช่น iSCSI)

การเปิดใช้งานเฟรมจัมโบ้นั้นต้องการการกำหนดค่าของทั้งโฮสต์และสวิตช์อีเธอร์เน็ตและควรใช้ความระมัดระวังอย่างมากก่อนการติดตั้ง ควรปฏิบัติตามแนวทางหลายประการ -

1. ) ภายในส่วนอีเธอร์เน็ตที่กำหนด (VLAN) โฮสต์และเราเตอร์ทั้งหมดควรมีการกำหนดค่า MTU เดียวกัน อุปกรณ์ที่ไม่มีการกำหนดค่าที่เหมาะสมจะเห็นเฟรมที่ใหญ่กว่าว่าเป็นข้อผิดพลาดในการเชื่อมโยง (โดยเฉพาะ "ไจแอนต์") และวางไว้

2. ) ภายในโปรโตคอล IP โฮสต์สองเครื่องที่มีขนาดเฟรมต่างกันต้องใช้กลไกบางอย่างในการเจรจาขนาดเฟรมทั่วไปที่เหมาะสม สำหรับ TCP นี่คือการค้นพบพา ธ MTU (PMTU) และอาศัยการส่งแพ็กเก็ต ICMP ที่ไม่สามารถเข้าถึงได้ ตรวจสอบให้แน่ใจว่า PMTU เปิดใช้งานในทุกระบบและกฎ ACL หรือไฟร์วอลล์ใด ๆ ที่อนุญาตแพ็กเก็ตเหล่านี้

การควบคุมการไหลของอีเธอร์เน็ต (802.3x)

แม้จะได้รับการแนะนำโดยผู้จำหน่าย iSCSI บางราย แต่การควบคุมการไหลของอีเทอร์เน็ต 802.3x อย่างง่ายไม่ควรเปิดใช้งานในสภาพแวดล้อมส่วนใหญ่เว้นแต่ว่าจะเปลี่ยนพอร์ต, NICs และลิงก์ทั้งหมดโดยเฉพาะกับการรับส่งข้อมูลของ iSCSIและไม่มีอะไรอื่น หากมีทราฟฟิกอื่น ๆ บนลิงก์ (เช่นการแชร์ไฟล์ SMB หรือ NFS, heartbeats สำหรับหน่วยเก็บข้อมูลแบบคลัสเตอร์หรือ VMware, การควบคุมปริมาณการใช้งานการควบคุม / ตรวจสอบ NIC teaming / อื่น ๆ ) ไม่ควรใช้การควบคุมกระแส 802.3x อย่างง่ายการรับส่งข้อมูลที่ไม่ใช่ iSCSI อื่น ๆ จะถูกบล็อกเช่นกัน ประสิทธิภาพที่เพิ่มขึ้นของการควบคุมการไหลของอีเธอร์เน็ตมักจะน้อยที่สุดหรือไม่มีอยู่จริงการเปรียบเทียบความจริงควรดำเนินการกับการรวมกันของ OS / NIC / switch / storage ทั้งหมดเพื่อพิจารณาว่ามีประโยชน์จริงหรือไม่

คำถามที่เกิดขึ้นจริงจากมุมมองของเซิร์ฟเวอร์คือ: ฉันจะหยุดการรับส่งข้อมูลเครือข่ายหรือไม่ถ้า NIC หรือเครือข่ายของฉันทำงานหนักเกินไปหรือฉันเริ่มส่งและส่งแพ็กเก็ตใหม่หรือไม่ การเปิดการควบคุมการไหลจะทำให้บัฟเฟอร์ NIC ว่างเปล่าที่ด้านรับ แต่จะเน้นบัฟเฟอร์ที่ด้านผู้ส่ง (โดยปกติอุปกรณ์เครือข่ายจะบัฟเฟอร์ที่นี่)

การควบคุมความแออัดของ TCP (RFC 5681)

TOE (เอ็นจิน TCP / IP Offload Engines)

iSOE (iSCSI Offload Engines)

LSO (การแบ่งส่วน TCP / ส่งออกขนาดใหญ่)

การแยกเครือข่าย

แนวปฏิบัติทั่วไปที่ดีที่สุดสำหรับ iSCSI คือการแยกทั้งตัวเริ่มต้นและเป้าหมายจากทราฟฟิกเครือข่ายที่ไม่ใช่ที่เก็บข้อมูลอื่น ๆ สิ่งนี้ให้ประโยชน์ในแง่ของความปลอดภัยความสามารถในการจัดการและในหลาย ๆ กรณีการอุทิศทรัพยากรเพื่อการจัดเก็บข้อมูล การแยกนี้อาจมีหลายรูปแบบ:

1. ) การแยกทางกายภาพ - ผู้เริ่มต้นทั้งหมดมี NIC อย่างน้อยหนึ่งรายการที่อุทิศให้กับการรับส่งข้อมูล iSCSI เท่านั้น ฮาร์ดแวร์เครือข่ายเฉพาะอาจเป็นหรือไม่ก็ได้ซึ่งขึ้นอยู่กับความสามารถของฮาร์ดแวร์ที่มีปัญหาและข้อกำหนดด้านความปลอดภัยและการปฏิบัติงานเฉพาะภายในองค์กรที่กำหนด

2. ) การแยกแบบลอจิคัล - พบมากที่สุดในเครือข่ายที่เร็วขึ้น (เช่น 10GE) ผู้เริ่มต้นมีการติดแท็ก VLAN (ดู 802.1q) กำหนดค่าเพื่อแยกการจัดเก็บข้อมูลและปริมาณการใช้งานที่ไม่ใช่การจัดเก็บ

ในหลายองค์กรมีการใช้กลไกเพิ่มเติมเพื่อรับรองว่าผู้ริเริ่ม iSCSI ไม่สามารถติดต่อกันผ่านเครือข่ายเฉพาะเหล่านี้และยิ่งไปกว่านั้นเครือข่ายเฉพาะเหล่านี้ไม่สามารถเข้าถึงได้จากเครือข่ายข้อมูลมาตรฐาน มาตรการที่ใช้ในการทำสิ่งนี้ ได้แก่ รายการควบคุมการเข้าถึงมาตรฐาน VLAN ส่วนตัวและไฟร์วอลล์

มีบางอย่างเกี่ยวกับ backplane และเนื้อผ้าสลับที่นี่ด้วย

QoS (802.1p)

vLAN (802.1q)

STP (RSTP, MSTP, ฯลฯ )

การปราบปรามการจราจร (การควบคุมสตอร์ม, การควบคุมแบบหลาย / ตัวอักษร

ความปลอดภัย

การรับรองความถูกต้องและความปลอดภัย

CHAP

IPSec

LUN Mapping (แนวทางปฏิบัติที่ดีที่สุด)


มีการปรับแต่งสำหรับ RFC 5681 บนอุปกรณ์ใด ๆ หรือไม่? ถ้าไม่เราควรลบส่วนนั้น
นิลส์

จะเป็นการเพิ่มมูลค่าหรือไม่ที่เฟรมจัมโบ้จะไม่ค่อยสนับสนุนการจำลองแบบ iSCSI (เนื่องจากอุปกรณ์ WAN ตัวกลางทั้งหมดจะต้องรองรับ)
Jeremy

@ Jeremy แน่ใจ - เขียนมันขึ้นมาข้างต้น แม้แต่ในระบบ LAN - หากคุณลืมอุปกรณ์หนึ่งชิ้นในระหว่างทาง (หรือถ้าทีมเครือข่ายของคุณได้ทำการกำหนดค่าบางอย่างผิดพลาด) เส้นทาง MTU จะไม่รองรับเฟรมจัมโบ้
นิลส์

เห็นด้วยกับเจเรมี Nils หาก TCP-CC พร้อมใช้งานจะมีประโยชน์และผลที่ตามมาอย่างน้อยควรระบุไว้เป็นอย่างน้อย
Chris S

1

การพิจารณาและการวิจัยบางอย่างที่คุณควรนำมาประกอบการพิจารณา:

1) Multi-pathing - โซลูชัน SAN และระบบปฏิบัติการของคุณไม่ว่าจะเป็นไฮเปอร์ไวเซอร์หรือระบบโลหะเปลือยอาจต้องใช้ซอฟต์แวร์เฉพาะของผู้จำหน่ายเพื่อให้สามารถทำงานได้อย่างถูกต้อง

2) ผู้ริเริ่ม - คุณต้องตรวจสอบว่าผู้ริเริ่มซอฟต์แวร์มีประสิทธิภาพเพียงพอเพียงพอหรือไม่ตามความต้องการ นิคส์หลายแห่งมีความสามารถในการถ่าย iSCSI ซึ่งสามารถปรับปรุงปริมาณงานได้อย่างมีนัยสำคัญ ข้อเสนอที่เป็นผู้ใหญ่มากขึ้น (ESXi 4.1+) ดูเหมือนจะทำได้ดี

3) การรักษาความปลอดภัย / การอนุญาต - ให้แน่ใจว่าได้ตรวจสอบอย่างเต็มที่ว่าผู้เริ่มต้นต้องการเข้าถึง LUN ใด ... คุณจะอยู่ในวันที่แย่ถ้าผู้ดูแลระบบในเครื่อง Windows เครื่องใดเครื่องหนึ่งของคุณ "เริ่มต้นดิสก์" บนดิสก์ที่ มีการใช้งานจริงโดยเซิร์ฟเวอร์อื่นเป็น VMware datastore


เกี่ยวกับการทำหลายเส้นทาง - จริง ๆ แล้วคุณสามารถทำสิ่งนี้ผ่านเครือข่ายที่แตกต่างกันเช่นกัน - ซึ่งค่อนข้างยุ่งยากกับ IP มากกว่า FC-SAN (ซึ่งแนวคิดของ SAN A / B ที่มีเนื้อผ้าฮาร์ดแวร์ที่แตกต่างกันเป็นเรื่องธรรมดา)
นิลส์

ประสบการณ์ของฉันกับการทำหลายเส้นทางนั้นส่วนใหญ่จะเป็นเรื่องที่เท่าเทียมกันซึ่งในกรณีนี้ลูกค้ามักจะได้รับที่อยู่ IP ที่ค้นพบ (กลุ่ม IP) จากนั้นก็เจรจากับที่อยู่นั้นสำหรับที่อยู่เป้าหมายจริง ฉันคิดว่าสิ่งนี้สามารถทำได้กับเครือข่ายที่แตกต่างกันและลูกค้าจะมีเส้นทางไปยังที่หรือไม่ แต่การค้นพบจะลงไปถ้าเครือข่ายย่อยที่กลุ่ม IP ที่อยู่บนเป็นคนที่เสียชีวิต
SpacemanSpiff

ฉันลอง multipathing (ดั้งเดิม) บน SLES11 บน VLANs ที่ต่างกัน ส่วนที่ยุ่งยากคือการแก้ไขการตั้งค่ามัลติพา ธ ดังนั้นเป้าหมายของ iSCSI ที่ไปยังที่เก็บข้อมูลฟิสิคัลเดียวกันจึงถูกมองว่าเป็นอุปกรณ์เดียวกัน
นิลส์
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.