NVIDIA AI GPU 서버: PCIe 대 SXM

Nvidia의 GPU 상호 연결 기술에는 PCIe와 SXM이라는 두 가지 주요 메모리 슬롯 유형이 있습니다. 이 두 인터페이스는 기능과 성능이 다릅니다.

PCIe 인터페이스는 널리 사용되는 일반 프로토콜입니다. 포괄적인 기능을 갖추고 있지만 GPU 상호 연결의 전송 속도가 상대적으로 느립니다. 그럼에도 불구하고 PCIe 인터페이스 GPU 카드는 PCIe 슬롯을 통해 서버의 CPU 및 기타 GPU 카드와 계속 통신할 수 있습니다. 또한 네트워크 카드를 통해 외부 서버 노드의 장치와 데이터를 교환할 수도 있습니다. 사용자가 PCIe GPU 카드의 전송 속도를 향상시키려는 경우 NVLink 브리지를 사용하여 GPU와 CPU 간의 빠른 통신을 달성할 수 있습니다. 그러나 이 방법은 일반적으로 두 GPU 카드 간의 연결만 지원한다는 점에 유의해야 합니다. 즉, PCIe GPU 카드는 일반적으로 쌍으로 나타나야 하고 NVLink 브리지로 연결되어야 하며 PCIe 채널을 통해 데이터를 전송해야 합니다. 최신 PCIe 표준의 네트워크 대역폭 제한은 128GB/s라는 점은 주목할 가치가 있습니다.

이와 대조적으로 SXM 인터페이스는 고성능을 위해 특별히 설계되었습니다. GPU 상호 연결. 이는 회로 기판에 배치된 전용 프로토콜을 사용하므로 SXM은 다음을 수행할 수 있습니다. off카드 간 연결 측면에서 PCIe보다 전송 속도가 더 빠르고 기본 NVLink 지원이 더 좋습니다. 메모리 대역폭도 PCIe보다 우수합니다. SXM 아키텍처는 GPU를 NVIDIA의 독점 DGX 및 HGX 시스템에 연결하는 데 특히 적합합니다. 이러한 시스템에서 SXM 기반 GPU는 통신을 위해 PCIe에 의존하지 않고 마더보드에 통합된 NVSwitch를 통해 연결됩니다. 이 설계를 통해 SXM은 상호 연결된 최대 8개의 GPU를 지원하여 매우 높은 대역폭을 달성할 수 있습니다. 예를 들어, 절단되지 않은 A100과 H100은 각각 600GB/s와 900GB/s의 대역폭에 도달할 수 있는 반면, 약간 절단된 A800과 H800은 400GB/s의 대역폭에 도달할 수 있습니다.

사용자는 일반적으로 특정 애플리케이션 시나리오 및 성능 요구 사항에 따라 PCIe 기반 또는 SXM 기반 GPU의 장단점을 평가해야 합니다.

PCIe(PCI 익스프레스) 소개

PCI Express의 약자인 PCIe는 고급 컴퓨터 확장 버스 표준으로, 핵심 목표는 장치 간 데이터 처리량과 통신 속도를 향상시키는 것입니다. 전이중 연결 버스인 PCIe의 데이터 전송 속도는 레인 수에 따라 달라집니다. 각 레인은 두 쌍의 데이터 라인(송신용, 수신용)으로 구성되며, 각 데이터 라인 쌍에는 두 개의 차동 라인이 포함됩니다. 예를 들어, X1은 1개의 레인과 2개의 데이터 라인을 의미하며, 이는 클록 사이클당 방향당 2비트 데이터를 전송할 수 있습니다. X12는 16개의 레인과 32개의 데이터 라인을 의미하며 사이클당 XNUMX비트 데이터를 전송할 수 있습니다. 마찬가지로 XXNUMX, XXNUMX, XXNUMX 및 기타 구성도 있습니다.

1.0년 PCIe 2003이 출시된 이후 전송 속도는 꾸준히 증가해 왔습니다. PCIe 1.0은 채널당 250MB/s의 전송 속도를 지원하며 총 전송 속도는 2.5GT/s입니다. 2007년에는 PCIe 2.0 사양이 총 전송 속도를 5GT/s로 두 배 늘렸고, 채널당 전송 속도도 500MB/s로 증가했습니다. 2022년까지 PCIe 6.0 사양은 총 전송 속도를 64GT/s로 더욱 높였습니다. 같은 해 7.0월 PCI-SIG 얼라이언스는 PCIe 1 사양을 발표했는데, 이는 128년 출시될 최종 버전에서 단일 채널(x2025) 단방향 전송 속도 XNUMXGT/s를 달성할 것으로 예상된다.    

PCIe 처리량 계산

PCIe 처리량(또는 사용 가능한 대역폭)을 계산할 때 전송 속도와 인코딩 체계라는 두 가지 요소를 고려해야 합니다. 전송 속도는 일반적으로 초당 전송되는 비트 수(Gbps)가 아닌 물리 계층 통신 프로토콜의 속도 속성을 나타내는 GT/s(초당 기가 전환)로 표시됩니다. 이는 전송 속도에 추가 처리량을 제공하지 않는 오버헤드 비트가 포함되어 있기 때문입니다. 예를 들어, PCIe 1.x 및 PCIe 2.x는 8b/10b 인코딩 방식을 사용합니다. 즉, 원래 채널 대역폭의 20%가 오버헤드에 사용됩니다.

따라서 PCIe 2.0 프로토콜은 5.0GT/s의 전송 속도를 지원하지만 8b/10b 인코딩 솔루션을 사용하므로 각 레인의 실제 유효 속도는 5*8/10=4Gbps, 즉 500MB/s입니다. 에스. 마찬가지로 PCIe 3.0 프로토콜은 8.0GT/s의 전송 속도를 지원하지만 128b/130b 인코딩 방식을 사용한 후 각 레인의 실제 유효 속도는 약 7.877Gbps 또는 984.6MB/s입니다.

PCIe 아키텍처는 RC(루트 컴플렉스), EP(스위치), 엔드포인트(EP)와 같은 다양한 유형의 PCIe 장치로 구성됩니다. 그 중 RC는 버스 아키텍처에서 프로세서와 메모리 하위 시스템을 I/O 장치와 연결하는 역할을 하는 유일한 시스템입니다. 스위치의 기능은 일반적으로 기존 PCI 장치와의 호환성을 보장하기 위해 두 개 이상의 논리적 PCI-PCI 브리지(PCI-PCI 브리지)를 포함하는 소프트웨어로 구현됩니다. 이 아키텍처는 고성능 컴퓨팅 및 통신을 강력하게 지원합니다.

NVLink: GPU 통신을 가속화하는 고속 상호 연결 기술

컴퓨팅 성능이 계속해서 향상되면서 멀티 GPU 카드가 성능 향상의 핵심이 되었습니다. 그러나 기존 PCIe 버스는 데이터 전송 속도와 대기 시간에 병목 현상이 발생하여 GPU 병렬 컴퓨팅의 효율성과 성능을 제한하는 경향이 있습니다.

이런 문제를 해결하기 위해 엔비디아는 GPU가 PCI 익스프레스를 통해 다른 GPU의 메모리에 직접 접근할 수 있게 해 데이터 교환 지연 시간을 줄이는 GPUDirect P2P 기술을 도입했다. 그러나 그럼에도 불구하고 PCI Express 버스 프로토콜 및 토폴로지 제한으로 인해 여전히 더 높은 대역폭 요구 사항을 충족할 수 없습니다. 이러한 이유로 NVIDIA는 NVLink 고속 상호 연결 기술을 추가로 출시했습니다. NVLink는 CPU와 GPU, GPU와 GPU 간의 데이터 전송 속도를 높여 보다 효율적이고 지연 시간이 짧은 상호 연결 솔루션을 제공하는 것을 목표로 합니다. NVLink는 2014년 첫 출시 이후 지속적으로 업그레이드되어 대역폭이 증가해 왔습니다. P100의 160GB/s에서 V100의 300GB/s, 그리고 A100의 600GB/s까지 NVLink의 대역폭은 증가하여 고성능 컴퓨팅을 강력하게 지원합니다.

NVLink 고속 상호 연결에는 두 가지 주요 구현 방법이 있습니다. 하나는 브리지를 통하는 것이고, 다른 하나는 마더보드에 NVLink 인터페이스를 통합하는 것입니다. 두 방법 모두 GPU 간의 고속 상호 연결을 달성하고 시스템 성능을 향상시킬 수 있습니다.

NVSwitch: 원활한 고대역폭 다중 GPU 통신

GPU 간의 통신 불균형 문제를 해결하기 위해 NVIDIA는 NVSwitch 칩을 출시했습니다. NVSwitch는 스위치와 유사한 물리적 칩(ASIC)으로, NVLink 인터페이스를 통해 여러 GPU를 고속으로 연결할 수 있습니다. 원활한 고대역폭 다중 노드 GPU 클러스터를 생성하여 모든 GPU가 전체 대역폭 연결을 통해 클러스터에서 함께 작동할 수 있도록 함으로써 서버 내 여러 GPU 간의 통신 효율성과 대역폭을 향상시킬 수 있습니다.

NVLink와 NVSwitch의 결합을 통해 NVIDIA는 AI 성능을 여러 GPU로 효율적으로 확장하여 고성능 컴퓨팅 및 인공 지능 애플리케이션에 대한 강력한 지원을 제공할 수 있습니다. 2018년 4세대 NVSwitch가 출시된 이후 NVSwitch는 64세대로 진화했습니다. 4.0세대 NVSwitch는 TSMC의 900N 프로세스로 제작되었으며 각 칩에는 XNUMX개의 NVLink XNUMX 포트가 있으며 GPU 간 통신 속도는 최대 XNUMXGB/s입니다. 이 혁신적인 기술은 미래의 고성능 컴퓨팅 및 인공 지능 애플리케이션을 위한 더 넓은 개발 공간을 제공합니다.