정보공유

Information about Root Complex and PCI-E Switch (PLX) of Dell Poweredge C4130 and Supermicro 4028GR-TRT & 4028GR-TRT2

CheekyKite 2017. 1. 24.

안녕하세요.

다산데이타 입니다.


GPU 서버의 Root Complex 와 PCI-E Switch 에 대한 자료 입니다.


Dell 의 고밀도 (1U Rack) Poweredge C4130 서버와 함께

저희가 주력으로 취급하는 제품은 아니지만 (아직 DELL에서 대체 가능한 제품이 없어) 

SuperMicro 및 NVIDIA® DIGITS™ DevBox 에 대한 자료도 함께 알아 보았습니다.






Dell PowerEdge C4130

http://www.dell.com/kr/business/p/poweredge-c4130/pd





C4130은 총 6가지의 GPU 구성으로 주문이 가능하지만

주문 후에는 업그레이드나 구성변경이 불가 하기때문에 

가능한 모든 장치를 구성하여 주문하는 것이 유리하므로 (2CPU + 4GPU)

비교 대상은 아래와 같이 세가지 구성으로 압축 됩니다.

 

1. Configuration B - Single Root (optimized for peer to peer communication)

2. Configuration C - Multiple Root (Balanced with four GPUs)

3. Configuration G - 가상스위치를 이용한 Single + Multiple Root 



아래 링크에서 각 구성별 벤치마킹 결과를 살펴볼 수 잇는데요

각 구성별 차이는 크지 않은 것 으로 확인 됩니다.


Dell TechCenter - Accelerating HPC applications using K80 GPUs

http://en.community.dell.com/techcenter/high-performance-computing/b/general_hpc/archive/2015/11/12/accelerating-hpc-applications-using-k80-gpus



내장되는 PCI-e 스위치에 대한 정보는 찾을 수 없었습니다.










SuperServer 4028GR-TRT

https://www.supermicro.com/products/system/4u/4028/sys-4028gr-trt.cfm


최대 8개의 PCI-E 3.0 x16 (double-width) slots

하지만, Single Root Complex는 지원하지 않습니다.


확장보드는 X9DRG-O-PCIE 을 사용하는데

PEX 8747, PCI Express Gen 3 Switch, 48 Lanes 칩셋이 4개 사용되는 것으로 확인됩니다.






https://www.microway.com/product/octoputer-4u-8-gpu-server-2-5-drives





5-12 Page https://www.supermicro.com/manuals/superserver/4U/MNL-1800.pdf





X9DRG-O(T)F-CPU/X9DRG-O-PCIE Platform User’s Manual

ftp://supermicro.com/CDR-X9_1.30_for_Intel_X9_platform/MANUALS/X9DRG-OF.pdf





PEX 8747, PCI Express Gen 3 Switch, 48 Lanes

https://docs.broadcom.com/docs/12351854









SuperServer 4028GR-TRT2

https://www.supermicro.com/products/system/4U/4028/SYS-4028GR-TRT2.cfm



최대 10개의 PCI-E 3.0 x16 (double-width) slots

Single Root Complex도 지원 합니다.


확장보드는 X10DRG-O-PCIE 을 사용하는데 웹상에 정확한 정보가 표시되어 있지 않지만, 

PEX8796, PCI Express Gen3 Switch, 96 Lanes 칩셋을 2개 사용하는 것으로 보입니다.











PEX8796, PCI Express Gen3 Switch, 96 Lanes







NVIDIA® DIGITS™ DevBox

https://developer.nvidia.com/devbox




DevBox는 최대 4개의 PCI-E 3.0 x16 (double-width) slots 과 

Single Root Complex 도 지원 합니다.


메인보드는 Asus X99-E_WS 를 사용 합니다.



http://dlcdnet.asus.com/pub/ASUS/mb/Socket2011-R3/X99-E_WS/Manual/E9552b_X99-E_WS_UM_V2_WEB.pdf?_ga=1.242067394.1720401254.1485240341



http://dlcdnet.asus.com/pub/ASUS/mb/Socket2011-R3/X99-E_WS/Manual/X99-E_WS_block_diagram.pdf?_ga=1.196887148.1720401254.1485240341



X99-E WS 의 block diagram 에는 plx의 칩셋명이 안나와 있고

X99-E 10G WS 에는 표시가 되는데, 아마 같은 칩셋을 사용하는 것으로 예상 됩니다.


http://dlcdnet.asus.com/pub/ASUS/mb/Socket2011-R3/X99-E-10G_WS/Manual/E11723_X99-E-10G_WS_UM_WEB_20160810.pdf?_ga=1.267759182.1720401254.1485240341




좀더 찾아보니 해외 포럼에서 찍어놓은 사진이 있네요 ^^;

http://www.overclock.net/t/1516058/official-asus-x99-e-ws-owners-thread





PEX 8747, PCI Express Gen 3 Switch, 48 Lanes

https://docs.broadcom.com/docs/12351854






감사합니다.

댓글