Information about Root Complex and PCI-E Switch (PLX) of Dell Poweredge C4130 and Supermicro 4028GR-TRT & 4028GR-TRT2

안녕하세요.

다산데이타 입니다.

GPU 서버의 Root Complex 와 PCI-E Switch 에 대한 자료 입니다.

Dell 의 고밀도 (1U Rack) Poweredge C4130 서버와 함께

저희가 주력으로 취급하는 제품은 아니지만 (아직 DELL에서 대체 가능한 제품이 없어) 

SuperMicro 및 NVIDIA® DIGITS™ DevBox 에 대한 자료도 함께 알아 보았습니다.

---

Dell PowerEdge C4130

http://www.dell.com/kr/business/p/poweredge-c4130/pd

C4130은 총 6가지의 GPU 구성으로 주문이 가능하지만

주문 후에는 업그레이드나 구성변경이 불가 하기때문에 

가능한 모든 장치를 구성하여 주문하는 것이 유리하므로 (2CPU + 4GPU)

비교 대상은 아래와 같이 세가지 구성으로 압축 됩니다.

 

1. Configuration B - Single Root (optimized for peer to peer communication)

2. Configuration C - Multiple Root (Balanced with four GPUs)

3. Configuration G - 가상스위치를 이용한 Single + Multiple Root 

아래 링크에서 각 구성별 벤치마킹 결과를 살펴볼 수 잇는데요

각 구성별 차이는 크지 않은 것 으로 확인 됩니다.

Dell TechCenter - Accelerating HPC applications using K80 GPUs

http://en.community.dell.com/techcenter/high-performance-computing/b/general_hpc/archive/2015/11/12/accelerating-hpc-applications-using-k80-gpus

내장되는 PCI-e 스위치에 대한 정보는 찾을 수 없었습니다.

---

SuperServer 4028GR-TRT

https://www.supermicro.com/products/system/4u/4028/sys-4028gr-trt.cfm

최대 8개의 PCI-E 3.0 x16 (double-width) slots

하지만, Single Root Complex는 지원하지 않습니다.

확장보드는 X9DRG-O-PCIE 을 사용하는데

PEX 8747, PCI Express Gen 3 Switch, 48 Lanes 칩셋이 4개 사용되는 것으로 확인됩니다.

https://www.microway.com/product/octoputer-4u-8-gpu-server-2-5-drives

5-12 Page - https://www.supermicro.com/manuals/superserver/4U/MNL-1800.pdf

X9DRG-O(T)F-CPU/X9DRG-O-PCIE Platform User’s Manual

ftp://supermicro.com/CDR-X9_1.30_for_Intel_X9_platform/MANUALS/X9DRG-OF.pdf

PEX 8747, PCI Express Gen 3 Switch, 48 Lanes

https://docs.broadcom.com/docs/12351854

---

SuperServer 4028GR-TRT2

https://www.supermicro.com/products/system/4U/4028/SYS-4028GR-TRT2.cfm

최대 10개의 PCI-E 3.0 x16 (double-width) slots

Single Root Complex도 지원 합니다.

확장보드는 X10DRG-O-PCIE 을 사용하는데 웹상에 정확한 정보가 표시되어 있지 않지만, 

PEX8796, PCI Express Gen3 Switch, 96 Lanes 칩셋을 2개 사용하는 것으로 보입니다.

https://www.microway.com/product/octoputer-4u-10-gpu-server-single-root-complex

5-13 Page - https://www.supermicro.com/manuals/superserver/4U/MNL-1800.pdf

PEX8796, PCI Express Gen3 Switch, 96 Lanes

https://docs.broadcom.com/docs/12351860

---

NVIDIA® DIGITS™ DevBox

https://developer.nvidia.com/devbox

DevBox는 최대 4개의 PCI-E 3.0 x16 (double-width) slots 과 

Single Root Complex 도 지원 합니다.

메인보드는 Asus X99-E_WS 를 사용 합니다.

http://dlcdnet.asus.com/pub/ASUS/mb/Socket2011-R3/X99-E_WS/Manual/E9552b_X99-E_WS_UM_V2_WEB.pdf?_ga=1.242067394.1720401254.1485240341

http://dlcdnet.asus.com/pub/ASUS/mb/Socket2011-R3/X99-E_WS/Manual/X99-E_WS_block_diagram.pdf?_ga=1.196887148.1720401254.1485240341

X99-E WS 의 block diagram 에는 plx의 칩셋명이 안나와 있고

X99-E 10G WS 에는 표시가 되는데, 아마 같은 칩셋을 사용하는 것으로 예상 됩니다.

http://dlcdnet.asus.com/pub/ASUS/mb/Socket2011-R3/X99-E-10G_WS/Manual/E11723_X99-E-10G_WS_UM_WEB_20160810.pdf?_ga=1.267759182.1720401254.1485240341

좀더 찾아보니 해외 포럼에서 찍어놓은 사진이 있네요 ^^;

http://www.overclock.net/t/1516058/official-asus-x99-e-ws-owners-thread

PEX 8747, PCI Express Gen 3 Switch, 48 Lanes

https://docs.broadcom.com/docs/12351854

---

감사합니다.