InfiniBand와 HPC의 이더넷 비교

InfiniBand와 이더넷 간의 경쟁은 고성능 컴퓨팅 분야에서 항상 존재해 왔습니다. 기업과 조직은 이 두 기술의 장점과 단점을 비교하여 자신의 요구 사항에 가장 적합한 네트워크 기술을 선택해야 합니다. 시스템을 최적화할 때 다양한 옵션을 갖는 것은 좋은 일입니다. 소프트웨어마다 다르게 작동하고 기관마다 예산이 다르기 때문입니다. 따라서 우리는 HPC 시스템에서 다양한 상호 연결과 프로토콜의 사용을 보고 있으며, 특히 무어의 법칙이 점차 종말에 가까워짐에 따라 이러한 다양성이 감소하지 않고 증가할 수 있다고 생각합니다.

500년에 두 번 발표되는 상위 XNUMX대 슈퍼컴퓨터 순위에서 인터커넥트 동향을 자세히 살펴보는 것은 언제나 흥미롭습니다. 목록에 있는 새로운 시스템과 순위에 반영된 모든 컴퓨팅 지표를 분석했으며 이제 상호 연결을 살펴볼 차례입니다. Gilad Shainer, Quantum의 수석 부사장 겸 제품 관리자 인피니밴드 Nvidia(이전 Mellanox Technology의 일부)의 스위치는 항상 Top500의 상호 연결을 분석하고 이를 우리와 공유합니다. 이제 그의 분석을 여러분과 공유할 수 있습니다. 본격적으로 살펴보겠습니다. 먼저 500년 2007월부터 2021년 XNUMX월까지 TopXNUMX 목록에 포함된 상호 연결 기술의 개발 동향을 살펴보겠습니다.

Top500 목록에는 학계, 정부, 업계의 고성능 컴퓨팅 시스템은 물론 서비스 제공업체, 클라우드 구축업체, 대규모 컴퓨팅 플랫폼이 구축한 시스템이 포함됩니다. 따라서 사람들은 일반적으로 기존 시뮬레이션 및 모델링 작업 부하를 실행하는 시스템을 슈퍼컴퓨터라고 부르기 때문에 이것은 순수한 "슈퍼컴퓨터" 목록이 아닙니다.

10Gb/초 이하의 속도로 실행되는 InfiniBand와 이더넷은 지난 2021년 반 동안 부침을 겪었습니다. InfiniBand는 상승세를 보이고 있는 반면, Omni-Path 변형(이전에는 Intel이 관리하고 현재는 Cornelis Networks가 소유)은 XNUMX년 XNUMX월 순위에서 약간 하락했습니다.

CORNELIS, OMNI-PATH 상호 연결 로드맵 출시

그러나 25Gb/초 이상의 속도로 실행되는 이더넷은 특히 2017년과 2019년 사이의 급속한 성장에서 증가하고 있습니다. 이는 100Gb/초 스위치(일반적으로 Mellanox Spectrum-2 스위치)가 이전 100Gb/초 기술보다 저렴하기 때문입니다. 더 비싼 전송 모드에 의존하므로 대부분의 고성능 컴퓨팅 센터에서는 이러한 모드 사용을 고려하지 않습니다. 많은 하이퍼스케일 및 클라우드 빌더와 마찬가지로 백본 및 데이터 센터 상호 연결을 제외하고 200Gb/초 이더넷 생성을 건너뛰고 400Gb/초 스위치 비용이 하락하여 400Gb/초 장치를 사용할 수 있을 때까지 기다렸습니다.

2021년 207월 순위에서 Nvidia InfiniBand 및 Intel Omni-Path 데이터를 합산하면 InfiniBand 상호 연결이 있는 시스템이 41.4개로 목록의 500%를 차지합니다. 우리는 목록에 있는 "독점"이라고 불리는 일부 상호 연결(주로 중국산)도 InfiniBand의 변형일 것이라고 강하게 의심합니다. 이더넷의 경우, 속도에 관계없이 상위 248대 목록에서 이더넷 상호 연결의 비율은 지난 2021년 동안 271년 2019월의 최저 XNUMX개 시스템에서 최고 XNUMX년 XNUMX월의 XNUMX개 시스템까지 다양했습니다. 최근 몇 년 동안 InfiniBand는 이더넷의 위치를 ​​잠식해 왔는데, 이는 고성능 컴퓨팅(현재는 인공 지능) 워크로드가 대기 시간에 매우 민감하고, InfiniBand의 가격이 판매가 늘어나면서 시간이 지남에 따라 감소했기 때문에 이는 놀라운 일이 아닙니다. 점차 증가해 왔습니다. (하이퍼스케일 및 클라우드 빌더의 InfiniBand 채택은 가격을 낮추는 데 도움이 됩니다.)

대부분의 Top100 시스템과 Top10 시스템은 진정한 슈퍼컴퓨터라고 할 수 있습니다. 이는 이들이 주로 전통적인 고성능 컴퓨팅 작업에 종사한다는 의미입니다. 그러나 점점 더 많은 기계가 일부 인공 지능 워크로드를 실행하고 있습니다. 다음은 이러한 상위 시스템 간의 상호 연결 분포입니다.

위 그림에서 볼 수 있듯이 이더넷은 여기에서 지배적이지 않지만 HPE가 이미 " Perlmutter” 시스템은 노드당 200개의 100Gb/초 포트를 갖춘 Lawrence Berkeley 국립 연구소의 시스템입니다. 우리는 또한 Sunway TaihuLight 시스템(중국 우시의 국립 슈퍼컴퓨팅 센터에 있음)이 InfiniBand의 변형을 사용하고 있다고 강하게 의심합니다(Mellanox나 연구실에서는 이를 확인한 적이 없지만). 이전 6위 "Fugaku"(일본 RIKEN 연구소)는 독점 2D 토러스 토폴로지 및 프로토콜을 구현하는 Fujitsu가 개발한 2세대 Tofu D 상호 연결 기술을 사용합니다. "Tianhe-XNUMXA"(중국 광저우 국립 슈퍼컴퓨팅 센터)는 독특한 TH Express-XNUMX 독점 상호 연결 기술을 채택했습니다.

Top100 컴퓨터 순위에서 Cray 상호 연결에는 최초의 Slingshot 시스템뿐만 아니라 이전 세대의 "Aries" 상호 연결을 사용하는 일련의 시스템도 포함됩니다. 2021년 100월 순위에서는 Top6에 Slingshot 머신 9대와 Aries 머신 79대가 포함되었습니다. Slingshot을 이더넷으로 간주하면 이더넷의 점유율은 100%이고 독점 Cray의 점유율은 XNUMX%로 떨어집니다. Mellanox/Nvidia InfiniBand를 Intel Omni-Path와 결합하면 InfiniBand는 TopXNUMX에 XNUMX개의 시스템을 갖게 됩니다.

Top100에서 Top500으로 확장할 때마다 매번 100개의 머신을 추가하여 상호 연결 배포는 다음과 같습니다.

많은 학술 및 산업 고성능 컴퓨팅 시스템이 InfiniBand를 감당할 수 없거나 이더넷에서 전환할 의사가 없기 때문에 목록이 확장됨에 따라 이더넷의 보급률도 높아질 것으로 예상됩니다. 그리고 이러한 서비스 제공업체, 클라우드 구축업체, 대규모 운영업체는 정치적 또는 비즈니스적 이유로 클러스터의 작은 부분에서 Linpack을 실행합니다. 상대적으로 느린 이더넷은 Top500 목록의 하위 절반에 인기가 있는 반면 InfiniBand의 보급률은 Top70의 10%에서 전체 Top34의 500%로 떨어집니다.

다음 그림은 Top500 목록에 있는 대부분의 InfiniBand 및 이더넷을 집계한 또 다른 차트이며, Nvidia가 Mellanox를 인수하기 위해 6.9억 달러를 지불한 이유를 부분적으로 설명합니다.

Nvidia의 InfiniBand는 34개의 시스템으로 Top500 상호 연결의 170%를 점유하고 있지만 Top2에서 Mellanox Spectrum 및 Spectrum-500 이더넷 스위치의 상승은 또 다른 148개의 시스템을 추가하기 때문에 분명하지 않습니다. 이로써 Nvidia는 Top63.6 순위에서 모든 상호 연결의 500%를 차지하게 되었습니다. 이는 Cisco Systems가 엔터프라이즈 데이터 센터에서 20년 동안 누린 성과입니다.