스마트 컴퓨팅 센터에서 연결된 기술 결정 발견

2024 년 7 월 23 일

캐서린

광통신 엔지니어

원래 100개의 NVIDIA H256 GPU를 통합하도록 설계된 NVIDIA DGX H100 시스템은 상업적 채택에 어려움을 겪었습니다. 업계 논의에 따르면 가장 큰 장애물은 비용 효율성의 부족이었습니다. 이 시스템은 GPU 연결을 위해 광섬유를 많이 활용하여 표준 NVL8 구성에 경제적으로 합리적인 수준 이상으로 BoM(재료 명세서) 비용이 증가했습니다.

NVIDIA가 확장된 NVL256이 2B MoE 훈련에 대해 최대 400배의 처리량을 제공할 수 있다고 주장했음에도 불구하고 일부 대규모 고객은 여전히 회의적입니다. 최신 NDR InfiniBand가 400Gbit/s에 접근하고 NVLink4가 이론적으로 450GB/s에 도달하는 반면, 128개의 L1 NVSwitch와 36개의 외부 L2 NVSwitch를 특징으로 하는 시스템 설계는 2:1 차단 비율을 생성합니다. 결과적으로 각 서버는 대역폭의 절반만 사용하여 다른 서버에 연결할 수 있습니다. NVIDIA는 NVLink SHARP 기술을 사용하여 네트워크를 최적화하고 동등한 전체 대 전체 대역폭을 달성합니다.

Hot Chips 100 컨퍼런스에서 H256 NVL34 BoM(Bill of Materials)을 분석한 결과, NVLink256으로 확장하면 슈퍼유닛(SU)당 BoM 비용이 약 30% 증가한 것으로 나타났습니다. 시스템이 2048 H100 GPU 이상으로 확장됨에 따라 XNUMX계층 InfiniBand 네트워크 토폴로지에서 XNUMX계층 토폴로지로 전환하면 InfiniBand 비용 비율이 약간 줄어듭니다.

NVIDIA는 NVL256/NVL32 Blackwell 디자인과 유사한 구리 백플레인 스파인을 활용하여 NVL36를 만들기 위해 NVL72을 재설계했습니다. AWS는 Project Ceiba 이니셔티브를 위해 16개의 GH200 NVL32를 구매하기로 합의했습니다. 새롭게 디자인된 NVL32의 비용 프리미엄은 표준 고급 HGX H10 BoM(Bill of Materials)보다 100% 더 높은 것으로 추정됩니다. 워크로드가 계속 증가함에 따라 NVIDIA는 NVL32가 1.7k H3에 비해 GPT-175 16B 및 200k GH2의 경우 500배 더 빠르고, 16B LLM 추론의 경우 100배 더 빠를 것이라고 주장합니다. 이러한 매력적인 성능 대비 비용 비율로 인해 더 많은 고객이 NVIDIA의 새로운 디자인을 채택하게 되었습니다.

GB200 NVL72의 예상 출시와 관련하여 NVIDIA는 H100 NVL256의 실패로부터 교훈을 얻었습니다. 이제 그들은 비용 문제를 해결하기 위해 "NVLink 스파인"이라고 하는 구리 케이블을 사용합니다. 이번 설계 변경으로 인해 제품 비용(COG)이 절감되고 GB200 NVL72의 성공 기반이 마련될 것으로 예상됩니다. NVL72는 구리 설계를 채택함으로써 GB6 NVL200 랙당 비용을 약 72배 절감할 것으로 예상되며, 결과적으로 GB20 NVL200 랙당 약 72kW, GB10 NVL200 랙당 32kW의 전력 절감 효과를 얻을 수 있습니다. H100 NVL256과 달리 GB200 NVL72는 컴퓨팅 노드 내에서 NVLink 스위치를 사용하지 않습니다. 대신 플랫 레일에 최적화된 네트워크 토폴로지를 사용합니다. 72GB200 GPU마다 18개의 NVLink 스위치가 있습니다. 모든 연결이 동일한 랙 내에 유지되므로 가장 먼 연결 범위는 19U(0.83미터)에 불과하며 활성 구리 케이블을 사용하면 가능합니다.

Semianalytic 보고서에 따르면 NVIDIA는 자사의 설계가 단일 NVLink 도메인 내에서 최대 576GB200 GPU 연결을 지원할 수 있다고 주장합니다. 이를 달성하려면 추가 NVLink 스위치 레이어를 추가해야 할 수 있습니다. NVIDIA는 GB NVL2 SU 내에서 1개의 L144 NVLink 스위치와 1개의 L36 NVLink 스위치를 사용하여 2:576 차단 비율을 유지할 것으로 예상됩니다. 또는 1개의 L4 NVLink 스위치만 활용하여 보다 공격적인 18:2 차단 비율을 채택할 수도 있습니다. 그들은 계속해서 광학 OSFP 트랜시버를 사용하여 랙의 L1 NVLink 스위치에서 L2 NVLink 스위치로 연결을 확장합니다.

NVL36과 NVL72가 NVIDIA Blackwell 납품의 20% 이상을 차지한다는 소문이 있었습니다. 그러나 NVL576으로 확장하려면 추가 광학 부품 비용이 필요하기 때문에 대규모 고객이 더 비싼 NVL576을 선택할지는 의문입니다. NVIDIA는 이로부터 교훈을 얻은 것으로 보이며 구리 케이블 상호 연결 비용이 광섬유보다 훨씬 낮다는 것을 인식하고 있습니다.

반도체 산업 전문가인 Doug O'Langhlin에 따르면, 구리 상호 연결은 랙 규모 수준에서 지배적 역할을 하여 광학으로 전환하기 전에 구리의 가치를 극대화할 것입니다. 새로운 무어의 법칙은 랙에 가장 많은 컴퓨팅 성능을 담는 데 중점을 둡니다. O'Langhlin은 패시브 구리를 통한 NVLink 도메인이 성공을 위한 새로운 벤치마크이므로 GB200 NVL72 랙이 B200보다 합리적인 선택이라고 믿습니다.

산업 관점에서 구리 상호 연결은 단거리 통신 시나리오에서 명확한 이점이 있습니다. 고속 데이터 센터 상호 연결에서 중요한 역할을 하며 열 효율성, 낮은 전력 소비 및 비용 효율성에서 이점을 제공합니다. SerDes 속도가 56G 및 112G에서 224G로 진행됨에 따라 단일 포트 속도는 1.6채널을 기준으로 8T에 도달하여 고속 전송에서 상당한 비용 절감으로 이어질 것으로 예상됩니다. 고속 구리 케이블 전송 손실을 해결하기 위해 AEC 및 ACC는 내장 신호 부스터를 통해 신호 거리를 향상시키는 반면 구리 케이블 모듈 생산 프로세스는 계속 진화하고 있습니다.

Light Counting에 따르면 패시브 직접 연결 케이블(DAC)과 액티브 광케이블(AOC)의 글로벌 시장 규모는 각각 연평균 성장률 25%와 45%로 성장할 것으로 예상됩니다.

2010년부터 2022년 사이에 스위치 칩 대역폭 용량이 640Gbps에서 51.2Tbps로 증가하여 전체 시스템 전력 소비가 80배 증가했습니다. 특히, 광학 부품의 전력 소비가 26배 증가했습니다.

구리 케이블 상호 연결은 광전자 변환이 없기 때문에 전력 소비가 낮습니다. 현재 구리 직접 연결 케이블(DAC)은 0.1W 미만의 전력을 소비하므로 무시할 수 있는 반면, 활성 케이블(AEC)은 전력을 5W 이내로 유지하여 컴퓨팅 클러스터의 전체 전력 소비를 줄이는 데 기여합니다.

구리 케이블의 도달 가능한 고속 신호 전송 거리 내에서 비용은 광섬유 연결에 비해 낮습니다. 또한 구리 케이블 모듈은 짧은 거리에서 매우 낮은 지연 시간의 전기 신호 전송을 제공하고 높은 신뢰성을 유지하여 특정 환경에서 광섬유가 겪을 수 있는 신호 손실 또는 간섭 위험을 방지합니다. 또한 구리 케이블의 물리적 특성으로 인해 추가 변환 장비가 필요 없이 취급, 유지 관리 및 높은 호환성을 제공합니다.