Fibre Channel ระยะทางไกล

ฉันต้องการดวงตาคู่ใหม่

เรากำลังใช้สายไฟเบอร์ออปติก 15 กม. ซึ่ง Fibrechannel และ 10GbE นั้นเป็นมัลติเพล็กซ์ สำหรับ FC เรามีเลเซอร์ระยะไกลที่เหมาะสมสูงสุด 40 กม. ( Skylane SFCxx0404F0D ) มัลติเพล็กเซอร์นั้นถูก จำกัด โดย SFP ซึ่งสามารถทำได้สูงสุด แผ่นใย 4Gb สวิตช์ FC เป็นซีรีย์ Brocade 5000 ความยาวคลื่นที่เกี่ยวข้องคือ 1550,1570,1590 และ 1610nm สำหรับ FC และ 1530nm สำหรับ 10GbE

ปัญหาคือผ้า 4GbFC แทบไม่เคยทำความสะอาดเลย บางครั้งพวกเขาอยู่พักหนึ่งถึงแม้จะมีปริมาณการใช้ข้อมูลมาก จากนั้นพวกเขาก็อาจเริ่มต้นสร้างข้อผิดพลาด (RX CRC, การเข้ารหัส RX, ความไม่เท่าเทียมกัน RX, ... ) แม้จะมีเพียงการรับส่งข้อมูลเพียงเล็กน้อยเท่านั้น ฉันกำลังแนบข้อผิดพลาดและกราฟปริมาณการใช้งาน ข้อผิดพลาดอยู่ในลำดับของข้อผิดพลาด 50-100 ต่อ 5 นาทีเมื่อมีการรับส่งข้อมูล 1Gb / s

นี่คือกำลังไฟฟ้าของพอร์ตเดียวที่สรุป (รวบรวมโดยใช้sfpshowสวิตช์ที่แตกต่างกัน)

SITE-A units = uW (microwatt) SITE-B
**********************************************
FAB1
SW1 TX 1234.3 RX 49.1 SW3 1550nm (ko)
      RX 95.2 TX 1175.6
FAB2
SW2 TX 1422.0 RX 104.6 SW4 1610nm (ตกลง)
      RX 54.3 TX 1468.4      

สิ่งที่ฉันอยากรู้ในตอนนี้คือความไม่สมดุลของระดับพลังงาน ในขณะที่ SW2 ส่งสัญญาณด้วย 1422uW ซึ่ง SW4 รับด้วย 104uW แต่ SW2 จะรับสัญญาณ SW4 ที่มีกำลังงานดั้งเดิมใกล้เคียงกับ 54uW เท่านั้น

ในทางกลับกันสำหรับ SW1-3

อย่างไรก็ตาม SFPs นั้นมีความไว RX ต่ำถึง -18dBm (ประมาณ 20uW) ดังนั้นในกรณีใด ๆ ก็ควรจะดี ... แต่ไม่มีอะไร

SFP บางตัวได้รับการวินิจฉัยว่าผิดปกติจากผู้ผลิต (ตัวที่ 1550nm แสดงไว้ด้านบนด้วย "ko") เห็นได้ชัดว่าคลื่น 1610nm นั้นโอเคพวกเขาได้รับการทดสอบโดยใช้เครื่องสร้างการจราจร สายเช่าได้รับการทดสอบมากกว่าหนึ่งครั้ง ทั้งหมดอยู่ในความคลาดเคลื่อน ฉันกำลังรอการทดแทน แต่ด้วยเหตุผลบางอย่างฉันไม่เชื่อว่ามันจะทำให้ดีขึ้นเพราะสิ่งที่ดีที่เห็นได้ชัดไม่ได้ทำให้เกิดข้อผิดพลาดเป็นศูนย์เช่นกัน

ก่อนหน้านี้มีการใช้งานอุปกรณ์ที่เกี่ยวข้อง (ชนิดของ 4GFC retimer) ก่อนที่จะวางสัญญาณบนบรรทัด ไม่รู้ว่าทำไม อุปกรณ์นั้นถูกกำจัดเนื่องจากปัญหาดังนั้นตอนนี้เรามี:

• เลเซอร์ทางไกลในสวิตช์
• (ใหม่) สาย monomode LC-SC LC-SC ไปยัง mux (สำหรับแต่ละเนื้อผ้า)
• สายเช่า
• สิ่งเดียวกัน แต่กลับด้านอื่น ๆ ของลิงค์

นี่คือการกำหนดค่าพอร์ตจากโบรเคดportcfgshow(เหมือนกันทั้งสองด้าน)

จำนวนพื้นที่: 0
ระดับความเร็ว: 4G
เติมคำ (เปิดใช้งาน) 0 (ไม่ได้ใช้งาน)
เติมคำ (ปัจจุบัน) 0 (ไม่ได้ใช้งาน)
AL_PA Offset 13: OFF
Trunk Port ON
ทางไกล LS
ปิดใช้งานลิงก์ VC แล้ว
ระยะทางที่ต้องการ 32 กม
บัฟเฟอร์สำรอง 70
ล็อค L_Port OFF
ล็อค G_Port OFF
ปิดการใช้งาน E_Port OFF
ล็อค E_Port OFF
ปิดโหมด ISL R_RDY
RSCN ถูกระงับ
ปิดการใช้งานถาวร
LOS TOV เปิดใช้งาน OFF
เปิดความสามารถของ NPIV
QOS E_Port OFF
ปิดการใช้งานพอร์ตอัตโนมัติ: ปิด
อัตรา จำกัด OFF
ปิดพอร์ต EX
มิร์เรอร์พอร์ต OFF
เปิดการกู้คืนเครดิต
F_Port บัฟเฟอร์ปิด
Fault Delay: 0 (R_A_TOV)
ขีด จำกัด ของ NPIV PP: 126
โหมด CSCTL: ปิด

การบังคับให้ลิงก์ไปยัง 2GbFC นั้นไม่มีข้อผิดพลาด แต่เราซื้อ 4GbFC และเราต้องการ 4GbFC

ฉันไม่รู้จะดูอีกต่อไป ความคิดใดที่จะลองต่อไปหรือทำอย่างไร

หากเราไม่สามารถทำให้ 4GbFC ทำงานได้อย่างน่าเชื่อถือฉันสงสัยว่าคนที่ทำงานกับ 8 หรือ 16 ทำอย่างไรฉันไม่คิดว่า "มีข้อผิดพลาดเล็กน้อยที่นี่และที่นั่น" เป็นที่ยอมรับ

โอ้และ BTW เราได้ติดต่อกับทุกคนของผู้ผลิต (FC switch, MUX, SFP, ... ) ยกเว้น SFP ที่จะเปลี่ยน (บางคนเคยเปลี่ยนมาก่อน) ไม่มีใครมีเงื่อนงำ Brocade SAN Health กล่าวว่าผ้านั้นใช้ได้ MUX เอ่อมันแฝงเป็นเพียงปริซึมธรรมชาติที่ดีที่สุด

ภาพใด ๆ ในที่มืด?

@ Chopper3: นี่คือ Brocades รุ่นที่สองที่แสดงปัญหา ก่อนที่เราจะมี 5,000 ตอนนี้เรามี 5100s ในการเริ่มต้นเมื่อเรายังมี MUX ที่ใช้งานอยู่เราเช่าเลเซอร์ระยะไกลหนึ่งครั้งเพื่อใส่มันลงในสวิตช์โดยตรงเพื่อทำการทดสอบสำหรับหนึ่งวันในวันนั้นแน่นอนว่ามันสะอาด แต่อย่างที่ฉันพูดบางครั้งมันก็สะอาดแบบนั้น และบางครั้งมันก็ไม่ได้ สวิตช์ทางเลือกจะหมายถึงการสร้าง SAN ทั้งหมดขึ้นใหม่พร้อมกับการทดสอบเท่านั้น ทางเลือก SFPs พวกเขายากที่จะทำเช่นนั้น

@ longneck: เช่าบรรทัดแล้ว มันเป็นเส้นใยมืด (โมโนโมด 9um) ดังนั้นจึงไม่มีใครมองเห็นมัน แน่ใจว่ามี splices ฉันไปและดูไม่ได้ แต่ฉันต้องเชื่อว่าพวกเขาทำถูกต้องแล้ว อย่างที่บอกไปแล้วว่าเส้นนั้นได้รับการตรวจสอบและตรวจสอบอีกครั้ง (โดยใช้เครื่องวัดการสะท้อนกลับของโดเมนแสง) เห็นได้ชัดว่าคุณไม่มีอุปกรณ์ทั้งหมดนี้ด้วยตัวเองเพราะมันแพงเกินไป

@ mdpc: สายเคเบิลแบบไหนที่คุณคิดว่าผิด? ขึ้นอยู่กับสวิทช์ทุกอย่างก็คือโหมดโมโนโครมใช่ ตัวเชื่อมต่อนั้นถูกต้องเช่นกัน ใช่ฉันรู้ว่ามีสีเขียวที่เส้นใยถูกตัดออกในมุมที่แน่นอน ฯลฯ แต่เรามีสิ่งที่ถูกต้องสำหรับทุกสิ่งที่ฉันรู้

เรามีสองเนื้อผ้า (= 2x2 สวิตช์) ด้วย Brocade 5100 กับ FabricOS 6.4.1 และอีกสองเนื้อผ้า (อีก 2x4 สวิตช์) บน FabricOS 7.0.2

บน ISL ทางไกล (หนึ่งในแต่ละแฟบริค) มันกลับกลายเป็นว่าด้วย FOS 6.4.1 การตั้งค่าเป็นปัญหาทางไกลเกี่ยวกับคำเตือนเกี่ยวกับการตั้งค่า VC Init และดังนั้นคำเติม แต่นั่นเป็นเพียงการเตือน FOS 7.0.2 กำหนดให้คุณทำการแก้ไข VCI และคำเติมสำหรับลิงก์ทางไกล

การตั้งค่า FOS 6.4.1 ไปยังการตั้งค่า LS (ระยะทางสแตติกทางไกล) ด้วยการตั้งค่า VCI ที่ผิดและการป้อนข้อความทำให้ทั้งผ้าไม่ทำงาน (ติดอยู่ในลูป SCN ใช้fabriclog -sเพื่อดูคุณไม่เห็นที่ใดเลย เคาน์เตอร์หรืออะไรก็ได้ที่เพิ่มขึ้น)

ขณะนี้ฉันกำลังให้ผ้าหนึ่งที่มีการตั้งค่าการเต้นที่ถูกต้องมากขึ้นของ IMHO และดูเหมือนว่าจะทำได้ดีในขณะที่อีกอันที่ไม่มีทราฟฟิกมากยังคงมีข้อผิดพลาดอยู่ที่นี่และที่นั่น

ในระยะสั้น:

• เราได้กำจัดส่วนที่ใช้งานอยู่ของ MUX (the retimer FC)
• เรากำลังวาง SFP ทางไกลลงในอุปกรณ์ปลายทางด้วยตนเอง
• เพียงเพื่อให้แน่ใจว่าเราซื้อสายโมโนโมดใหม่เพื่อเชื่อมต่ออุปกรณ์ปลายกับส่วนที่เหลือของ MUX
• ตอนนี้เรากำลังลองการกำหนดค่าทางไกลหลายรายการ

มันเกือบจะเป็นเวทมนตร์ดำ ทุกอย่างที่เกิดขึ้นส่วนใหญ่เป็นเชิงประจักษ์ดูเหมือนว่าไม่มีใครรู้ว่าอะไรคือเหตุผลที่แน่นอนที่จะทำอะไรบางอย่าง ("เราได้ลองสิ่งนี้และมันใช้งานไม่ได้แล้วเราก็ลองมันและมันใช้งานได้เราเลยติดอยู่กับมัน" แต่ดูเหมือนว่าไม่มีใครรู้ว่าทำไมจริง ๆ )

ฉันจะแจ้งให้คุณทราบ

เราได้เลเซอร์ใหม่สำหรับผ้าที่รับประกัน มันสะอาดเป็นพิเศษแม้ใน 4GbFC

พวกเขากำลังส่งสัญญาณด้วยคร่าวๆ 2mW (3dBm) ในขณะที่คนอื่น ๆ จะอยู่ที่ 1.5mW (1.5dBm) แม้ว่ามันจะเพียงพอจริง ๆ

ผ้าอื่น (ซึ่งเห็นได้ชัดว่าเลเซอร์ตกลง) ยังคงผลิตซีอาร์ซีหนึ่งหรือสองครั้งไม่บ่อยนัก

การใช้sfpshowSFP ทำให้เกิดข้อผิดพลาด RX จริงแสดงให้เห็น

สถานะ / Ctrl: 0x82
ธงสัญญาณเตือน [0,1] = 0x5, 0x40
คำเตือนสถานะ [0,1] = 0x5, 0x40

ตอนนี้ฉันจะต้องค้นหาความหมาย ไม่แน่ใจว่ามันเคยมีมาก่อน

ก่อนอื่นฉันจะล้างหัวด้วยสัปดาห์วันหยุด 8-)

ตกลงฉันเดาว่าฉันต้องโพสต์คำตอบ ในหนึ่งคำมันคือยืนยัน

ปัญหาไม่ได้รับการแก้ไข 100% ตามความชอบของฉันเนื่องจากเรายังคงมีเนื้อผ้าเดียวที่มีข้อผิดพลาด CRC 1 (หนึ่ง) เป็นระยะ ๆ อีกอันหนึ่งสะอาด แต่ฉันสามารถอยู่กับสิ่งนั้นได้

ไม่ว่าในกรณีใดเราจะไม่ใช้หน่วย CWDM ต่อไปเป็นเวลานาน แต่จะเปลี่ยนเป็น DWDM แบบมัลติเพล็กเซอร์แบบพาสซีฟในปีหน้าเนื่องจากโครงสร้างพื้นฐานของเราจะเปลี่ยนไปมาก เห็นได้ชัดว่าเลเซอร์ DWDM นั้นแพงน้อยกว่า CWDM เช่นกัน โอ้เราจะเห็นและบางทีฉันจะมีปัญหามากมายที่จะถามคุณแล้ว :-)

อัปเดต Nope ไปด้านบนเราซื้อ CWDM อีกครั้งและมันราคาถูกกว่าจริงๆ AFAICS สำหรับแอปพลิเคชั่นบางอย่างคุณต้องไป DWDM เพราะไม่มีเลเซอร์ CWDM ในที่สุดเราก็พยายามที่จะเข้าใกล้ผู้ผลิตมากที่สุดเท่าที่จะทำได้และทุกอย่างก็มาอยู่ที่ประมาณ 1/5 ของราคาเมื่อเปรียบเทียบกับการซื้อจากผู้จัดจำหน่ายหรือแม้แต่ผู้รวมระบบ

ดังนั้นฉันสามารถสรุปได้ถ้าคุณซื้อโซลูชันที่ไม่ทำงานตามที่คาดไว้: ยืนยัน ในด้านเทคนิคเราทำสองสิ่ง

• ลบส่วนที่ใช้งานของ MUX (ไม่สามารถบอกได้ว่าฉันเสียใจ แต่ก็ไม่แน่ใจว่าในที่สุดนั้นเป็นแหล่งที่มาของข้อผิดพลาดหรือไม่)
• มี SFP ตรวจสอบอย่างละเอียด

(และแน่นอนการวินิจฉัยมาตรฐานทั้งหมดเปลี่ยนสิ่งหนึ่งครั้งดูสิ่งที่เกิดขึ้น ฯลฯ ไม่จำเป็นต้องบอกคุณดังนั้นเราจึงตรวจสอบแต่ละบรรทัดและสายเคเบิล ฯลฯ ด้วยโชคไม่ดีที่ค่าใช้จ่ายของเรา)

ในกรณีนี้ใช้เวลานานในการยืนยัน แต่ในที่สุดเราก็มาถึงระดับที่ผู้ผลิตเองใช้เวลาไม่กี่คนและมีอุปกรณ์บางอย่างในการตรวจสอบที่ช่วย และแน่นอนว่าเรามีผู้รวมระบบจ่ายให้เนื่องจากฮาร์ดแวร์ของเราอยู่ระหว่างการบำรุงรักษา ดังนั้นนี่เป็นความท้าทายด้านการค้าที่มากพอ ๆ กับเทคนิค

PS โอ้และธงที่ฉันพูดถึงในการอัปเดตครั้งล่าสุดของฉันไม่ได้บ่งบอกถึงสิ่งที่ไม่ดี แต่ฉันจำไม่ได้ว่าพวกเขาหมายถึงอะไร เมื่อฉันพบคำสั่งฉันจะอัปเดตคำตอบเพื่อประโยชน์ของความสมบูรณ์

ในที่สุดธงหมายถึงสิ่งที่ไม่ดีหลังจากทั้งหมด เห็นได้ชัดว่ามันไม่แน่ใจว่าลิงค์ด้านไหนเป็นสาเหตุของข้อผิดพลาด ดังนั้นคู่นั้นจะต้องมีการเปลี่ยนแปลงด้วย

โอ้และ BTW ตัวรับส่งสัญญาณ DWDM 8GbFC นั้นถูกกว่าเมื่อเทียบกับ 8G CWDM ;-) วิธีที่ถูกที่สุดที่จะไปคือ 4GbFC บน CWDM แล้วใช้ ISL trunking (ถ้าคุณมีใบอนุญาต)