สิ่งที่ทำให้เกิดปัญหา (อาจสูญเสียต) ในสถานการณ์นี้

ฉันกำลังพยายามวิเคราะห์ปัญหาที่เกี่ยวกับเครือข่าย - โปรดเข้าใจประเด็นเหล่านี้ก่อนที่จะแนะนำคำตอบ (ขออภัยหากต้องการข้อมูลเพิ่มเติมฉันจะเพิ่มสิ่งที่ผู้คนถาม)

เรามีเซิร์ฟเวอร์เครือข่ายเท่านั้น (5 แอพเซิร์ฟเวอร์, เซิร์ฟเวอร์ 4 เดซิเบล, เซิร์ฟเวอร์อื่น ๆ ไม่กี่) ที่ดูเหมือนว่าจะสูญเสียแพ็คเก็ตระหว่างเซิร์ฟเวอร์
ฉันเห็นสิ่งนี้เกิดขึ้นใน wireshare - มี TCP Retransmissions จำนวนมาก, TCP_Out-of-Order, TCP DupACK และฉันคิดว่าบางแพ็กเก็ต TCP_ZeroWindow ด้วย
ดูเหมือนจะมี Checksums ไม่ดีจำนวนมากบนโปรโตคอล IP
ฉันคิดว่าอะแดปเตอร์เครือข่ายมีการโหลดที่คงที่และสูงมาก (90-100%) เนื่องจากการลองใหม่เพิ่มเติมที่เกิดจากการสูญเสียแพ็กเก็ตนี้
เมื่อคำขอภายนอกในเครือข่ายนี้เพิ่มขึ้น (ไปยังเซิร์ฟเวอร์แอป) ประสิทธิภาพของเครือข่ายจะลดลง
เซิร์ฟเวอร์แอปสร้างปริมาณการใช้งานของตนเองเมื่อใช้โดยคำขอภายนอก
คำขอภายนอกมาจากเราเตอร์หลักและเครือข่ายอยู่ในส่วนของตัวเอง
โหลดที่สูงมาก "หายไปอย่างน่าอัศจรรย์" หลังจาก 1-2 วันฉันพูดอย่างน่าอัศจรรย์เพราะเราเพียงตรวจสอบที่อะแดปเตอร์ในเวลาที่โหลดลดลง แต่ก็ยังมีการสูญเสียแพ็กเก็ตที่แสดงใน wireshark แม้ว่าจะมีจำนวนน้อยลง
ไม่มีสิ่งใดชี้ไปยังเซิร์ฟเวอร์ที่ถูกบุกรุก
น่าเสียดายที่เราไม่สามารถเข้าถึงฮาร์ดแวร์ใด ๆ ได้
เราไม่สามารถขัดขวางบริการปัจจุบัน

จากวิธีข้างต้นวิธีที่ดีที่สุดในการพิจารณาว่าอะไรทำให้แพ็กเก็ตสูญเสีย (เราคาดว่ามันจะเป็นสวิตช์ที่มีการจัดการ)

มีซอฟต์แวร์ใดบ้างที่สามารถให้หลักฐานเชิงประจักษ์กับเราว่าเป็นสาเหตุของปัญหาหรือไม่

ขอบคุณล่วงหน้า

— Mr Shoubs
แหล่งที่มา

คุณเห็นการสูญเสียแพ็คเก็ตใน Wireshark อย่างไร คุณเห็นอะไรใน Wireshark คุณเห็นปริมาณการออกอากาศหรือการรับส่งข้อมูลปริมาณมาก คุณเห็น ACTR หรือ TCP Restransmits ซ้ำจำนวนมากหรือไม่

— joeqwerty

แก้ไข - มี TCP Retransmissions จำนวนมาก TCP_Out-of-Order, TCP DupACK และฉันคิดว่าบางแพ็กเก็ต TCP_ZeroWindow ด้วย มีทราฟฟิกออกอากาศและฮาร์ทบีทที่เกิดจากกลุ่ม db ของเรา แต่ไม่มีอะไรผิดปกติ

— Mr Shoubs

ตกลงจากประสบการณ์ของฉันอาการที่คุณอธิบายเป็นผลมาจากความแออัดของเครือข่าย ฉันเคยเห็นสิ่งนี้เกิดขึ้นกับเซิร์ฟเวอร์ load load เนื่องจากปริมาณของแพ็กเก็ต heartbeat ที่สร้างขึ้น ฉันจะดูว่าปริมาณการรับส่งข้อมูลฮาร์ทบีทที่แน่นอนคืออะไรและปริมาณการรับส่งข้อมูลทั่วไปคืออะไร (ARP และเครือข่ายออกอากาศ) เครื่องมือที่ดีสำหรับการแสดงภาพนี้และการวิเคราะห์ปริมาณข้อมูลที่จับได้คือ ColaSoft Capsa มีรุ่นฟรีให้บริการที่นี่: colasoft.com/download

— joeqwerty

ขอบคุณฉันจะดู แต่ทราฟฟิก heartbeat นั้นอยู่ที่นั่นเสมอ - ไม่มีอะไรเปลี่ยนแปลงบนเซิร์ฟเวอร์ของเราเลยและมันก็ทำงานได้โดยไม่มีปัญหาใด ๆ จนกระทั่งวันอื่น ฉันสงสัยอย่างจริงจังว่าการรับส่งข้อมูลนี้เป็นต้นเหตุของปัญหาในทันที

— Mr Shoubs

จากประสบการณ์ของฉัน Wireshark สามารถส่งคืนผลลัพธ์ที่ไม่น่าเชื่อถือบนอินเตอร์เฟสที่ใช้ฮาร์ดแวร์ TCP-Offload แพ็คเก็ตที่ซ้ำกันเป็นหนึ่งในอาการของที่

ที่กล่าวว่าหากคุณกำลังใช้พอร์ต span / mirror เพื่อจับภาพ Acks ที่ซ้ำกันบนสายเป็นปัญหาที่สำคัญ

ทำซ้ำ ACKs, out-of-orders, และ retransmits ซ้ำเป็นสัญญาณว่าสแต็ค TCP ในบางสิ่งไม่ถูกต้อง การเชื่อมโยงโหนดเครือข่ายใดที่มีแนวโน้มที่จะโยนข้อผิดพลาดจะช่วยแยกว่าโฮสต์ใดที่ต้องตรวจสอบเพิ่มเติม ความแตกต่างในการจับเครือข่ายระหว่างการจับพอร์ต span / mirror และเซสชัน wireshark บนโหนดนั้นจะช่วยเน้นปัญหาที่อาจเกิดขึ้น หากคุณเห็นบางอย่างให้ตรวจสอบการอัปเดตไดรเวอร์เครือข่ายเนื่องจากเป็นวิธีที่แก้ไขได้ง่ายที่สุดสำหรับปัญหาประเภทนั้น (Broadcom มีชื่อเสียงในเรื่องนี้อย่างน่าเศร้า) ประการที่สองการอัปเดตเฟิร์มแวร์สำหรับ NIC สามารถช่วยได้เช่นกัน

หากทุกอย่างมีสุขภาพที่ดีคุณอาจเห็นความล้มเหลวปกติที่ TCP ทำเมื่อมีการรับส่งข้อมูลมากเกินไปที่จะจัดการ

TCP Zero-Window ยังเป็นสัญลักษณ์ของสแต็ก TCP / IP ที่ไม่แข็งแรงแม้ว่าในประสบการณ์ของฉันที่บางครั้งก็เกิดขึ้นเมื่อสแต็ค TCP / IP ที่แตกต่างกันสองตัวไม่เข้ากัน เช่นสามารถเกิดขึ้นกับ Windows 2008 และสแต็ค TCP / IP ที่เก่ากว่าบางตัวในพื้นที่ Linux

— sysadmin1138
แหล่งที่มา

มีข้อมูลที่เป็นประโยชน์มากมายสำหรับฉันในการตรวจสอบที่นั่น ฉันจะตั้งค่าการจับภาพโดยใช้ span / mirror ได้อย่างไร หากถูกต้องของคุณในความพยายามที่ ฯลฯ เป็นอาการของเครือข่ายที่แออัด - เครือข่ายจะได้รับความแออัดมากขึ้นเมื่อมีการส่งความพยายามมากขึ้นเนื่องจากความแออัด

— Mr Shoubs

ดูเหมือนจะมี Checksums ไม่ดีจำนวนมากบนโปรโตคอล IP ด้วย

— Mr Shoubs

@MrShoubs checksums ที่ไม่ถูกต้องเป็นสัญญาณว่ามี TCP-offload เกิดขึ้นใน NIC ของคุณด้านล่างเลเยอร์ Wireshark จับแพ็คเก็ต การขยายหรือพอร์ตมิเรอร์เป็นคุณสมบัติหนึ่งในสวิตช์เครือข่ายของคุณซึ่งคุณสามารถส่งต่อการรับส่งข้อมูลทั้งหมดที่ผ่านพอร์ตเฉพาะและทำมิเรอร์บนพอร์ตที่สอง บางครั้งเรียกว่าพอร์ตมอนิเตอร์ วิธีการที่แน่นอนแตกต่างกันไปตามสวิตช์ ซิสโก้, HP, จูนิเปอร์และอื่น ๆ ทั้งหมดทำมันแตกต่างกัน

— sysadmin1138