บังคับใช้การเจรจาใหม่ของความเร็วลิงก์ PCI Express หรือไม่ การ์ด x2 เปลี่ยนกลับเป็นความกว้าง x1

ในความพยายามที่จะหลีกเลี่ยงความเข้ากันได้และอุปสรรคด้านต้นทุนในการใช้ไดรฟ์ SSD กับเซิร์ฟเวอร์ HP ProLiant Gen8 รุ่นใหม่ฉันกำลังตรวจสอบ SSDs ที่ใช้ PCIe บนแพลตฟอร์ม ฉันได้รับการทดสอบด้วยผลิตภัณฑ์ที่น่าสนใจจากอื่น ๆ คอมพิวเตอร์ทั่วโลกที่เรียกว่าAccelsior E2

นี่คือการออกแบบขั้นพื้นฐาน การ์ด PCIe ที่มีตัวควบคุม SATA RAID ของ Marvell 6Gbpsและ SSD "Blade" สองตัวที่เชื่อมต่อกับการ์ด สิ่งเหล่านี้สามารถส่งผ่านไปยังระบบปฏิบัติการสำหรับซอฟต์แวร์ RAID ( ZFSเป็นต้น) หรือยกระดับเป็นฮาร์ดแวร์ RAID0 แถบหรือคู่มิเรอร์ RAID1 ดี เป็นเพียงการบีบอัดคอนโทรลเลอร์และดิสก์ให้เป็นฟอร์มแฟคเตอร์ขนาดเล็กมาก

ปัญหา:

ดูที่ขั้วต่อ PCIe นั้น นั่นเป็นอินเทอร์เฟซPCie x2 ทางกายภาพPCIe ขนาดของช่อง / เลนมักจะx1, x4, x8 และ x16ที่มีการเชื่อมต่อไฟฟ้ามักจะเป็น x1, x4, x8 และ x16 ไม่เป็นไร. ฉันเคยใช้การ์ด x1ในเซิร์ฟเวอร์มาก่อน

ฉันเริ่มทดสอบประสิทธิภาพของการ์ดนี้บนระบบที่บู๊ตแล้วและพบว่าความเร็วในการอ่าน / เขียนที่มีปริมาณถึง ~ 410 MB / s โดยไม่คำนึงถึงการกำหนดค่าเซิร์ฟเวอร์ / สล็อต / BIOS เซิร์ฟเวอร์ที่ใช้งานอยู่คือระบบ HP ProLiant G6, G7 และ Gen8 (Nehalem, Westmere และ Sandy Bridge) ที่มีสล็อต x4 และ x8 PCIe เมื่อดูที่ไบออสของการ์ดแสดงให้เห็นว่าอุปกรณ์เจรจา: PCIe 2.0 5.0Gbps x1- ดังนั้นจึงใช้ PCIe เลนเดียวแทนที่จะเป็นสองเท่านั้นดังนั้นจึงมีเพียงครึ่งหนึ่งของแบนด์วิดท์ที่โฆษณา

มีวิธีใดที่จะบังคับให้อุปกรณ์ PCIe ทำงานด้วยความเร็วที่แตกต่างกันหรือไม่?

การวิจัยของฉันแสดงให้เห็นว่า PCIe x2 เป็นความกว้างของคี่บอลเล็กน้อย ... มาตรฐาน PCI Express ไม่ต้องการความเข้ากันได้กับความกว้าง x2 เลนดังนั้นฉันเดาว่าตัวควบคุมบนเซิร์ฟเวอร์ของฉันกลับไปที่ x1 ... ฉันมีความช่วยเหลือหรือไม่?

lspci -vvvเอาต์พุตแบบย่อ สังเกตความแตกต่างระหว่างLnkStaและกับLnkCapเส้น

05:00.0 SATA controller: Marvell Technology Group Ltd. Device 9230 (rev 10) (prog-if 01 [AHCI 1.0])
        Subsystem: Marvell Technology Group Ltd. Device 9230
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
                DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr- TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x2, ASPM L0s L1, Latency L0 <512ns, L1 <64us
                        ClockPM- Surprise- LLActRep- BwNot-
                LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
        Kernel driver in use: ahci
        Kernel modules: ahci

— ewwhite
แหล่งที่มา

ฉันสมมติว่าคุณใส่การ์ดเข้าไปในช่องเสียบ x4 ใช่ไหม ไม่ว่าในกรณีใดฉันไม่แน่ใจว่า HP จะจัดการกับการ์ด x2 อย่างไร ในช่องเสียบ x4 ควรใช้ทั้งสองเลนได้ แต่อย่างที่คุณกล่าวถึงไม่มีการรับประกันว่าจะต้องใช้งาน ทั้งหมดที่กล่าวไปแล้วฉันไม่แน่ใจว่าคุณจะเห็นประสิทธิภาพของการชนมากแค่ไหนเพราะ 6gbs SATA ยังคงถูกมองว่า จำกัด อยู่ที่สูงสุด 4.8 gb / s โดยมีการเข้ารหัสโอเวอร์เฮดด้วย PCIe เลนเดียวที่มีปริมาณงาน สูงสุด 5gbs

— Rex

@Rex "สล็อต PCIe x4 และ x8"ถูกลองแล้ว การ์ดนี้มีออนบอร์ด 6Gbps SATA SSD แยกกันสองตัวดังนั้นจึงมีความเร็วในการชนหนึ่งครั้ง / หากมีการต่อเชื่อม PCIe x2

— ewwhite

อ่า .. พลาด x4 / ช่อง x8 ในคำถาม แต่คุณพูดว่า "การ์ด PCIe กับควบคุม RAID Marvell SATA 6Gbps" เทียบเท่าควบคุมเดียว :) ถ้ามันมีสองตัวควบคุมที่ไม่ต่อเนื่องเป็นแต่ละ SSD เชื่อมต่อกับมันควบคุมตัวเอง? ถ้าอย่างนั้นจะทำ RAID ฮาร์ดแวร์กับทั้งสองคอนโทรลเลอร์ที่ต่างกันได้อย่างไร?

— Rex

@Rex มีการเชื่อมต่อ SSD สองตัวกับตัวควบคุมเดียว คอนโทรลเลอร์ RAID 6Gbps มีแบนด์วิดท์ 6Gbps ต่อช่องทาง SAS / SATA

— ewwhite

ข้อมูลจำเพาะ PCIe ไม่ต้องการให้สล็อตรองรับสิ่งใดนอกจาก 1x เมื่อใส่การ์ดโฮสต์จะทำการค้นหาเพื่อรองรับช่องทางและใช้พลังงานสูงสุดเท่าที่รองรับได้ทั้งสองแบบ (ดังนั้น 1x, 2x, 4x, 8x, 16x หรือ 32x) นอกจากนี้แต่ละเลนบนปลายทาง (โฮสต์หรือการ์ด) อาจรองรับการเจรจาเริ่มต้น แต่โดยทั่วไปจะมีเพียงเลนแรกเท่านั้น (เมื่อเลนเพิ่มเติมรองรับการเจรจาช่องเสียบจะสามารถแยกไปสองทางได้โดยเสียบการ์ดมากกว่าหนึ่งตัวผ่านการใช้ตัวแยก ) ดังที่ระบุไว้ด้านล่างเซิร์ฟเวอร์ที่เป็นปัญหาไม่รองรับโหมด 2x เลน

— Chris S

นั่นคือคำตอบอย่างเป็นทางการจาก OWS ตอนนี้อีกคำตอบถ้าเป็นไปได้ที่จะบังคับให้ตัวควบคุม hp เพิ่มขึ้นถึงความกว้าง x2 ที่จะต้องมีการวิจัยเพิ่มเติม -)

ป้อนคำอธิบายรูปภาพที่นี่

— Danila Ladner
แหล่งที่มา

แต่การ์ดอยู่ใน G6 ProLiant ในขณะนี้Manufacturer: HP Product Name: ProLiant DL180 G6

— ewwhite

ถูกต้องมีแนวโน้มว่าตัวควบคุม Proliant DL pci ทั้งหมดจะมีปัญหากับการ์ด

— Danila Ladner

ดูคุณไปที่แหล่งที่มา !!

— ewwhite

ใน Gen7, Gen8 สำหรับสล็อตแรกบน pcie riser จะได้รับ 1x: 1 PCIe 2.0 X1 X4 ครึ่งความยาว / ความสูงเต็มจากที่นี่: h18000.www1.hp.com/products/quickspecs/14339_na/14339_na.pdfฉันคิดว่าคุณได้ลองแล้ว ช่องต่าง ๆ

— Danila Ladner

ฉันลองอีกครั้งในแพลตฟอร์ม HP ที่แตกต่างกันเล็กน้อยคือ 2U HP ProLiant DL380p Gen8 กับ 1U DL360p Gen8 ฉันได้รับผลลัพธ์ที่เหมาะสมโดยใช้ชุดค่าผสมของฮาร์ดแวร์นี้

ปัจจุบันโฮสต์เฟิร์มแวร์ Gen8 อนุญาตให้เชื่อมโยง PCIe เพื่อต่อรองด้วยความเร็วที่เหมาะสมดังนั้นอุปกรณ์เหล่านี้เข้ากันได้กับเซิร์ฟเวอร์ ProLiant DL380p Gen8

Speed 5GT/s, Width x2, ASPM L0s L1, Latency L0 <512ns, L1 <64us
LnkSta: Speed 5GT/s, Width x2, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

— ewwhite
แหล่งที่มา

ฉันมีเซิร์ฟเวอร์ IBM ที่มีการ์ด Broadcom 4 × 1GbE อยู่ในนั้น ... ตกลงจาก 2.0x4 เป็น 2.0x2:

0b:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet (rev 20) 
Subsystem: IBM Device 03a9 
Capabilities: [ac] Express (v2) Endpoint, MSI 00
LnkCap: Port #0, Speed 5GT/s, Width x4, ASPM L0s L1, Latency L0 <2us, L1 <2us 
LnkSta: Speed 5GT/s, Width x2, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

มันมีตัวเชื่อมต่อ x4 ที่ฉันคาดเดาว่าจะใช้อย่างเต็มที่เมื่อใส่ลงในสล็อต PCIe v1 เท่านั้นดังนั้นจึงดูเหมือนว่าจะต่อรองลงมาเป็น x2 เมื่อใช้ในสล็อต PCIe v2 (เนื่องจาก 5GT / s สองทิศทางนั้นเพียงพอสำหรับ 4 × 1GbE )

สิ่งเดียวกันนี้เกิดขึ้นกับการ์ดของคุณหรือไม่?

(ถ้าไม่ใช่คำตอบของฉันคือ: ใช้ IBM แทน HP: P)

— MikeyB
แหล่งที่มา

ไม่มี IBM !!! ไม่;)

— ewwhite