กำหนดโหนด NUMA ของอุปกรณ์ PCIe

10

สมมติว่า Linux OS ค่อนข้างล่าสุดมีวิธีที่ง่ายในการพิจารณาว่า NUMA ใดที่สล็อต PCIe ซึ่งเป็นอุปกรณ์ที่เสียบอยู่เป็นของ?

linux pci-express numa

10

คุณต้องไปที่ไดเรกทอรีของสล็อต PCIe ที่เป็นปัญหาตัวอย่างเช่นeth0:

 cd /sys/class/net/eth0/device

ซึ่งคุณจะพบnuma_node, local_cpusและlocal_cpulistสามไฟล์ที่สนใจของคุณ คุณสามารถทำได้เพียงแค่catพวกเขาและดูข้อมูลที่ต้องการ

— MariusMatutiae
แหล่งที่มา

อืมมมผมได้และnuma_node = -1 local_cpulist = 0-15ไม่ถูกต้องฉันมี 2 โหนด numa ตามที่ยืนยันโดย hwloc

— Navin

3

คุณยังสามารถใช้ hwloc ( http://www.open-mpi.de/projects/hwloc/ ) หากคุณรู้รหัสอุปกรณ์ อย่างไรก็ตามหากคุณมีอุปกรณ์ 2 ชิ้นเดียวกัน (ตัวอย่างเช่น GPUs) วิธีเดียวที่จะรู้โหนด NUMA ที่มีการเชื่อมต่อสล็อตจริงนั้นคือดูที่คู่มือมาเธอร์บอร์ด

สำหรับ Asus Z9PE-D8 ( http://dlcdnet.asus.com/pub/ASUS/mb/LGA2011/Z9PE-D8-WS/Manual/e8726_z9pe-d8_ws.pdf ) อยู่ในหน้า 223

— GuillermoMA
แหล่งที่มา

ถ้าเป็นจริงมันอาจขึ้นอยู่กับสถาปัตยกรรม ยกตัวอย่างเช่นตัวประมวลผล Intel Xeon ที่ผ่านมาหลายรุ่นสะพานราก PCIe อยู่บนชิปซีพียูเอง ดังนั้นการรู้ซ็อกเก็ต CPU ที่มีบัส PCIe ของอุปกรณ์เป็นข้อกำหนดหลักสำหรับการทำงาน นี่คือหลักฐานโดยคำตอบ "/ sys / class ... " ข้างต้นในกรณีนี้ ในระบบเดียวกันนี้ CPU ที่เหมือนกันสองตัวในซ็อกเก็ตที่แตกต่างกันจะแสดงอุปกรณ์ NUMA ที่แตกต่างกัน หรือในระบบส่วนใหญ่อุปกรณ์ในบัสที่ต่างกันจะมีที่อยู่ PCIe ที่แตกต่างกันอย่างมากเช่น 1a: 00.0 บนซ็อกเก็ต 1 และ 89: 00.0 ในซ็อกเก็ต 2

— Paul

3

คำตอบที่ยอมรับนั้นใช้ได้กับการ์ดเครือข่ายเท่าที่ฉันพบ ตามคำตอบของ GuillermoMA hwloc จะให้ข้อเสนอที่แท้จริงถึงคุณแม้ว่าจะไม่ชัดเจน lstopoพบได้ในแพ็คเกจ hwloc (อย่างน้อยใน RHEL 7):

# lstopo
Machine (256GB)
  NUMANode L#0 (P#0 128GB)
    Socket L#0 + L3 L#0 (20MB)
      L2 L#0 (256KB) + L1d L#0 (32KB) + L1i L#0 (32KB) + Core L#0 + PU L#0 (P#0)
      L2 L#1 (256KB) + L1d L#1 (32KB) + L1i L#1 (32KB) + Core L#1 + PU L#1 (P#2)
      L2 L#2 (256KB) + L1d L#2 (32KB) + L1i L#2 (32KB) + Core L#2 + PU L#2 (P#4)
      L2 L#3 (256KB) + L1d L#3 (32KB) + L1i L#3 (32KB) + Core L#3 + PU L#3 (P#6)
      L2 L#4 (256KB) + L1d L#4 (32KB) + L1i L#4 (32KB) + Core L#4 + PU L#4 (P#8)
      L2 L#5 (256KB) + L1d L#5 (32KB) + L1i L#5 (32KB) + Core L#5 + PU L#5 (P#10)
      L2 L#6 (256KB) + L1d L#6 (32KB) + L1i L#6 (32KB) + Core L#6 + PU L#6 (P#12)
      L2 L#7 (256KB) + L1d L#7 (32KB) + L1i L#7 (32KB) + Core L#7 + PU L#7 (P#14)
    HostBridge L#0
      PCIBridge
        PCI 1000:005d
          Block L#0 "sda"
      PCIBridge
        PCI 14e4:16a1
          Net L#1 "eth0"
        PCI 14e4:16a1
          Net L#2 "eth1"
        PCI 14e4:16a1
          Net L#3 "eth2"
        PCI 14e4:16a1
          Net L#4 "eth3"
      PCI 8086:8d62
      PCIBridge
        PCIBridge
          PCIBridge
            PCIBridge
              PCI 102b:0534
      PCI 8086:8d02
        Block L#5 "sr0"
  NUMANode L#1 (P#1 128GB)
    Socket L#1 + L3 L#1 (20MB)
      L2 L#8 (256KB) + L1d L#8 (32KB) + L1i L#8 (32KB) + Core L#8 + PU L#8 (P#1)
      L2 L#9 (256KB) + L1d L#9 (32KB) + L1i L#9 (32KB) + Core L#9 + PU L#9 (P#3)
      L2 L#10 (256KB) + L1d L#10 (32KB) + L1i L#10 (32KB) + Core L#10 + PU L#10 (P#5)
      L2 L#11 (256KB) + L1d L#11 (32KB) + L1i L#11 (32KB) + Core L#11 + PU L#11 (P#7)
      L2 L#12 (256KB) + L1d L#12 (32KB) + L1i L#12 (32KB) + Core L#12 + PU L#12 (P#9)
      L2 L#13 (256KB) + L1d L#13 (32KB) + L1i L#13 (32KB) + Core L#13 + PU L#13 (P#11)
      L2 L#14 (256KB) + L1d L#14 (32KB) + L1i L#14 (32KB) + Core L#14 + PU L#14 (P#13)
      L2 L#15 (256KB) + L1d L#15 (32KB) + L1i L#15 (32KB) + Core L#15 + PU L#15 (P#15)
    HostBridge L#7
      PCIBridge
        PCI 15b3:1003
          Net L#6 "eth4"
          Net L#7 "eth5"

แน่นอน NUMANode L # 0 คือ CPU0 และ NUMANode L # 1 คือ CPU1 จากนั้นคุณสามารถนำหมายเลข PCI ที่คุณโปรดปรานจากด้านบนเช่น 14e4: 16a1 และค้นพบว่ามันคืออะไรและที่อยู่ PCI ของมันสำหรับการวิเคราะห์เพิ่มเติมจากlspci:

# lspci -nn | grep 14e4:16a1
01:00.0 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.1 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.2 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.3 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)

ในหนึ่งในเครื่องของฉันการ์ด Emulex Fibre Channel ไม่แสดงขึ้นในlstopoเอาต์พุต ฉันพบว่าใช้lstopo --whole-ioโดยดำเนินการกระบวนการค้นหาแบบย้อนกลับ (เลื่อนไปทางขวาหากคุณต้องการเพื่อดูหมายเลขฐานสิบหก 10df ที่ฉัน grep ใช้):

# lspci -nn | grep -i emulex
03:00.0 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03)
03:00.1 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03)
# lstopo --whole-io | grep 10df   
        PCI 10df:f100
        PCI 10df:f100

ลบคำสั่ง pipp grep ด้านบนและค้นหาผ่านอุปกรณ์กึ่งตัวนำด้วยตนเองเพื่อค้นหาอุปกรณ์ในlstopo --whole-ioจอแสดงผลเต็มรูปแบบ(ซ้ายเป็นแบบฝึกหัดสำหรับผู้อ่าน)

— ไมค์เอส
แหล่งที่มา

lspci -nn | grep PCINUMBERทำวันของฉัน ฉันมี Samsung 970 Pro สองตัวและคำสั่งนั้นช่วยให้ฉันระบุได้จากltopoผลลัพธ์ ขอบคุณ.

— pietrop

0

หนึ่งสามารถใช้: # cat /sys/bus/pci/devices/<PCI device>/numa_node

รับที่อยู่อุปกรณ์ PCI โดยใช้ # lspci -nn

— มิ้ม
แหล่งที่มา