AI 하드웨어에 대한 수요가 급증하고 있으며 컴퓨팅 칩 출하도 가속화될 것으로 예상된다. FiberMall은 컴퓨팅 전력 산업 체인에 대한 FiberMall의 연구를 기반으로 NVIDIA의 H 시리즈 및 B 시리즈 칩 출하량이 3.56년에 각각 350,000만 개와 2024개에 이를 것으로 예측합니다. 2025년에는 GB200의 추가 공급으로 총 B 시리즈 GPU 출하량은 2.5만개에 이를 것으로 예상된다. 또한 FiberMall은 Google의 TPU 및 AMD의 MI300 배포도 계속될 것으로 예상하며, 이들 모두는 네트워크 수준에서 800G OSFP 및 1.6T OSFP-XD 광학 모듈의 동기화된 램프업을 촉진할 것입니다.
산업 체인의 긍정적인 발전으로 인해 1.6T에 대한 수요는 예상을 뛰어넘을 것으로 예상됩니다. OFC 2024에서는 여러 전시업체가 최신 1.6T OSFP-XD 광 모듈 제품을 선보였습니다. 이전에 GTC 컨퍼런스에서 발표된 NVIDIA의 새로운 Blackwell AI 칩은 상호 연결성에 대한 더 높은 요구 사항을 제기했으며 X800 시리즈 스위치는 1.6T 네트워크 구축을 가능하게 합니다. 한편, Marvell은 1.6G의 단일 채널을 갖춘 200T DSP가 2024년 말까지 배포될 것으로 예상하고 Broadcom은 200G EML이 대량 생산 준비가 되어 있다고 밝히는 등 업스트림 광 모듈 산업 체인도 점진적으로 자리잡고 있습니다. FiberMall은 업스트림과 다운스트림 모두에서 1.6T 산업 체인이 성숙을 가속화하고 있다고 믿습니다. 배치 측면에서 파이버몰은 2024년 하반기에는 엔비디아의 B 시리즈 칩 양산에 맞춰 1.6T OSFP-XD 광모듈이 배치돼 초기에는 소규모 램프업을 달성한 뒤 이후 2025T OSFP-XD 광모듈이 배치될 것으로 예상하고 있다. 기술적으로 FiberMall은 EML 단일 모드가 1.6T 시대에도 여전히 주류가 될 것이라고 믿으며 실리콘 포토닉스 및 선형과 같은 신기술 솔루션의 보급률이 빠르게 성장할 것이라고 낙관하고 있습니다. -LPO(플러그형 광학 장치)를 구동합니다.
수요 측면에서 FiberMall은 2025년에 다음과 같이 예측합니다.
1) 해외 상위 1~2위 고객사의 수요가 800G OSFP에서 1.6T로 빠르게 전환되어 1.6T OSFP-XD 광모듈의 급격한 증가로 이어질 것입니다.
2) 일부 고객의 800G OSFP 수요는 더 빠른 속도로의 마이그레이션으로 인해 감소할 수 있지만, 다른 고객 그룹의 수요는 400G OSFP에서 800G OSFP로 전환되어 전체 800G OSFP 수요에 대한 확실한 지원을 제공할 것입니다.
1.6년 총 출하량 2025T에 대한 FiberMall의 시나리오 분석은 두 가지 핵심 변수를 기반으로 합니다. 1) AI 하드웨어 조달의 전반적인 번영(B 시리즈 GPU 출하량 2~3만 대); 2) 1.6T 네트워크의 성숙도 타임라인(1.6T 네트워킹 솔루션과 결합된 B 시리즈 GPU의 비율은 70%-90%). 분석에 따르면 총 출하량이 1.6T OSFP-XD 2025년 광학 모듈은 3.6만~5.95만 개가 될 것이며, 중립 시나리오는 4.7만 개로 현재 시장 기대치보다 높다.
1.6T OSFP-XD 광모듈 수요 시나리오 분석
FiberMall은 NVIDIA, TPU, MI300과 같은 AI 칩의 예상 출하량, 광 모듈과 AI 칩 간의 상관 관계, 광 모듈 속도 구성 선택을 고려하여 종합적인 분석을 수행했습니다. 분석에 따르면 800년 1.6G OSFP와 2025T OSFP-XD 광모듈 수요는 각각 7.91만개와 4.7만개에 달할 것으로 예상된다. 주요 가정은 다음과 같습니다.
- AI 칩 출하 예측: GTC 2024 컨퍼런스에서 NVIDIA는 Blackwell 아키텍처를 기반으로 한 200세대 B 시리즈 클라우드 GPU와 새로운 GB200 CPU+GPU 아키텍처 슈퍼 칩 및 해당 GB72 NVL1 컴퓨팅 유닛을 발표했습니다. 단일 캐비닛에서 슈퍼컴퓨팅 수준의 300E Flops 성능을 제공하여 칩에서 시스템까지 성능 업그레이드를 달성합니다. FiberMall은 범용 GPU 외에도 Google의 TPU 및 AMD의 MI800 배치가 계속되어 1.6G OSFP/XNUMXT OSFP-XD 광학 모듈 구성에 대한 수요를 촉진할 것으로 예상합니다.
- 광 모듈과 AI 칩 간의 상관 관계 추정: InfiniBand 팻 트리 네트워크 아키텍처에서는 비수렴 네트워크 특성으로 인해 각 네트워크 계층의 총 대역폭이 일관됩니다. FiberMall은 AI 가속 카드와 네트워크 카드의 비율이 1:1이라는 가정을 바탕으로 H100과 800G OSFP 광 모듈의 비율이 1레이어 네트워크 아키텍처에서는 3:1, 2레이어 네트워크 아키텍처에서는 2024:800라고 계산합니다. 레이어 아키텍처. GTC 3400 컨퍼런스에서 NVIDIA는 X4 시리즈 스위치를 발표했는데, 그 중 InfiniBand 프로토콜을 기반으로 하는 Q144-RA 800U 스위치에는 72개의 1.6G OSFP 포트가 있으며 이는 800개의 144T 포트와 동일하게 할당될 수 있습니다. FiberMall은 9700개 포트를 갖춘 Quantum-X64 시리즈 스위치의 성능이 800개 포트를 갖춘 이전 세대 QM1 시리즈에 비해 크게 향상되었으며, Fat-Tree 아키텍처의 2레이어 Quantum-X1.6 스위치가 지원하는 클러스터 수도 향상되었다고 믿습니다. 올랐다. 상대적으로 보수적인 관점에서 FiberMall은 B 시리즈 GPU와 XNUMXT OSFP-XD 광 모듈의 XNUMX:XNUMX 비율을 기반으로 광 모듈에 대한 유효 수요를 예측합니다.
- 광 모듈 속도 구성 선택: 일반적으로 FiberMall은 클라우드 제공업체나 AI 제조업체가 클러스터의 컴퓨팅 성능을 극대화하기 위해 고속 네트워크 구성을 우선시하는 경향이 있을 것으로 예상합니다. 그러나 FiberMall은 1.6T 하드웨어 생태계가 2024년에 아직 완전히 성숙되지 않았다는 점을 고려하여 고객이 올해 NVIDIA의 B 시리즈 칩을 사용하여 소규모 네트워크를 배포할 때 주로 800G OSFP 속도를 채택하고 B와 결합된 1.6T 구성을 채택할 것으로 예측합니다. -시리즈 칩은 2025T 산업 체인이 성숙해짐에 따라 1.6년까지 주류 솔루션이 될 것으로 예상됩니다. 현 단계에서 업계에서는 2025년 B 시리즈 GPU 전체 출하량에 대한 명확한 주문 지침이 없으며, B 시리즈 칩 출하량 전망 역시 GPT-5 출시 일정 등 다양한 변수에 따라 달라질 수 있습니다. , 새로운 AI 대형 모델 또는 애플리케이션의 배포, AI의 상업적 생존 가능성 탐구. 이러한 요소는 주요 클라우드 제공업체 및 기타 AI 업계 참가자의 AI 하드웨어의 전반적인 조달에 영향을 미칠 것입니다. FiberMall은 2024년 북미 상위 2025개 클라우드 제공업체의 자본 지출에 대한 시장의 기대치가 작년에 비해 상향 조정된 것을 관찰했으며, 이들 회사는 AI 인프라에 대한 투자를 계속 늘릴 것이라고 공개적으로 밝혔습니다. AI 산업의 지속적인 발전과 기반 하드웨어 수요 확대. FiberMall은 XNUMX년 AI 하드웨어에 대한 선도 기업의 자본 지출이 AI 산업 변화의 영향을 계속 받을 것이라고 믿습니다.
FiberMall은 두 가지 핵심 변수를 사용하여 1.6년 2025T OSFP-XD 광 모듈의 총 출하량에 대한 시나리오 분석을 수행했습니다. 1) AI 하드웨어 조달의 전반적인 번영(B 시리즈 GPU 출하량 2~3만개); 2) 1.6T 네트워크의 성숙도 타임라인(1.6T 네트워킹 솔루션과 결합된 B 시리즈 GPU의 비율은 70%-90%이고 나머지는 800G OSFP입니다).
AI 산업 수요의 번영과 1.6T 광 포트 핵심 기술의 상업적 성숙 일정을 변수로 고려할 때 FiberMall의 시나리오 분석에 따르면 1.6년 2025T OSFP-XD 광 모듈의 총 출하량은 3.6만~5.95만 유닛, 전체 제품군 수준은 현재 시장 기대치보다 높습니다. 차세대 컴퓨팅 클러스터는 고속 광 모듈에 대한 높은 수요를 유지하고 산업 체인의 번영이 공명합니다.
AI 개발의 물결 속에서 차세대 컴퓨팅 클러스터는 두 가지 변화 추세를 보이고 있습니다.
- 동서 트래픽을 주요 동인으로 하는 네트워크 트래픽의 급속한 증가: China Mobile Research Institute에서 발행한 "스마트 컴퓨팅 센터 네트워크 진화에 관한 백서(2023)"에 따르면 지능형 컴퓨팅에는 대량의 병렬 컴퓨팅이 필요합니다. , 수백 GB에 달하는 All Reduce(집단 통신) 데이터 볼륨을 생성합니다. FiberMall은 대형 모델의 확산을 배경으로 "천 모델 전쟁"이 네트워크 트래픽의 성장을 더욱 촉진할 것이라고 믿습니다. 한편, 동서(서버 간) 트래픽의 비율은 크게 증가했으며, Cisco의 예측에 따르면 현재 동서 트래픽 비율은 네트워크 트래픽의 80~90%에 도달했을 수 있습니다.
- 일반적인 네트워크 아키텍처는 2계층 트리형 아키텍처에서 스파인-리프 아키텍처로 대표되는 멀티 코어 아키텍처로 전환되고 있습니다. NVIDIA의 차세대 데이터 센터 네트워크에 대한 NVIDIA와 Inspur China 공동 교육의 공개 정보에 따르면 제품에 따르면, 데이터 센터는 주로 전통적인 XNUMX층 아키텍처를 기반으로 하며 나무 모양의 아키텍처로 XNUMX개의 코어를 갖고 점차 위쪽으로 수렴되며 남북 트래픽이 주요 방향입니다. XNUMX계층 네트워크 아키텍처는 액세스 계층, 집합 계층, 코어 계층으로 구성됩니다. 액세스 레이어는 사용자와 직접 연결하고, 어그리게이션 레이어는 액세스 레이어와 코어 레이어를 연결하여 방화벽, SSL 등의 서비스를 제공합니다. off로딩, 침입 탐지, 네트워크 분석 등이 있으며 코어 레이어는 네트워크의 고속 스위칭 백본입니다. 지능형 컴퓨팅에서 통신 성능에 대한 수요가 증가함에 따라 AI 클라우드 교육 및 추론에 대한 수요로 인해 데이터 센터 네트워크 아키텍처가 다층적이고 비수렴적이며 보다 확장 가능한 형태로 진화하고 있습니다.
FiberMall은 스마트 컴퓨팅 센터의 전반적인 트래픽 증가와 네트워크 아키텍처의 진화가 함께 연결 수요의 증가를 주도하여 광 모듈 사용 및 속도 업그레이드의 증가로 이어진다고 믿습니다.
NVIDIA의 데이터 센터는 팻 트리 아키텍처를 사용하여 비수렴형 네트워크를 구축합니다. 여기서 3계층 네트워크는 2계층 네트워크보다 더 많은 노드를 연결할 수 있습니다. 기존의 팻 트리 모델과 비교하여 NVIDIA의 데이터 센터 팻 트리 모델은 다수의 고성능 스위치를 사용하여 대규모 비차단 네트워크를 구축하고 업링크 포트를 늘려 패킷 손실 및 네트워크 붕괴를 방지합니다. 확산형 아키텍처와 더 유사합니다. 레이어 수 측면에서 2레이어와 3레이어 네트워킹 옵션이 있는데, 3레이어 네트워크 아키텍처는 2레이어 아키텍처보다 더 많은 노드를 연결할 수 있어 더 많은 AI 칩이 상호 연결될 수 있어 산업 환경에 적합합니다. 더 큰 매개변수를 사용하여 AI 대형 모델을 훈련합니다.
DGX H100 SuperPOD는 두 가지 네트워킹 옵션을 제공합니다.
- CX-100 네트워크 카드와 InfiniBand 스위치를 사용하여 서버 간 연결을 달성하는 A7 SuperPOD와 유사한 네트워킹 접근 방식을 채택합니다. NVIDIA 웹사이트의 회로도에 따르면 FiberMall은 각 H100 서버가 8개의 400G ConnectX-7 단일 포트 스마트 네트워크 카드로 구성되어 있고 7개의 CX-2 네트워크 카드가 하나의 네트워크 모듈에 통합되어 있으며 두 개의 네트워크 모듈이 InfiniBand 스위치 XNUMX개 * 400G NDR OSFP 포트는 각각 4개의 800G OSFP 광 모듈에 해당합니다. 즉, 네트워크 카드 측은 4개의 800G OSFP 광 모듈에 해당하며, 첫 번째 레이어 스위치에 대한 네트워크 카드 연결에도 8개의 800G OSFP 광 모듈이 필요합니다. 즉, 첫 번째 레이어 네트워크에는 총 1개의 1G OSFP 광 모듈이 필요합니다. 비수렴적 네트워크 특성으로 인해 InfiniBand 팻트리 네트워크 아키텍처의 각 계층에 해당하는 총 대역폭은 일관되며 AI 가속 카드와 네트워크 카드의 비율이 100:800이라는 가정을 바탕으로 FiberMall은 다음과 같이 계산합니다. H1 대 3G OSFP 광 모듈의 비율은 1레이어 네트워크 아키텍처에서는 2:XNUMX이고 XNUMX레이어 아키텍처에서는 XNUMX:XNUMX입니다.
- 새로운 NVLink 스위칭 시스템 채택: 서버 내 고속 GPU 상호 연결에 사용되는 NVLink를 256노드 클러스터로 외부화하고, 1세대 NVLink 및 2세대 NVSwitch를 사용하여 32계층(L256 및 L1) NVLink 네트워크 구축 , 최대 1개 노드(2개 GPU)의 직접 상호 연결 및 공유 메모리 액세스가 가능합니다. 이 NVLink 네트워킹 솔루션에서는 GPU와 L18 NVSwitch(캐비닛 내)가 구리 케이블을 사용하여 상호 연결되고 L800 및 L100 NVSwitch 레이어는 광학 상호 연결을 사용하므로 더 높은 비율의 800쌍의 256G OSFP 연결이 필요합니다. H200~200G OSFP를 첫 번째 네트워킹 옵션과 비교합니다. 800 DGX GH1 AI 슈퍼컴퓨터에서 FiberMall은 GH9 대 8G OSFP 광 모듈의 비율이 200:3로 더 증가할 수 있다고 추정합니다. 핵심 가정은 각 노드(1개의 GH32 칩 포함)와 200개의 L36 NVS 간의 상호 연결입니다. 노드는 구리 케이블을 사용하며 DGX GH2의 1,152개 노드는 광 상호 연결을 통해 32개의 L36 NVS에 연결되어 L1과 L2 사이에 2,304(800*XNUMX)쌍의 연결이 이루어지며 이는 XNUMX개의 XNUMXG OSFP 광 모듈에 해당합니다. 광모듈 사용량이 크게 증가했습니다.
256-GPU 상호 연결된 SuperPOD를 기반으로 클러스터를 1024개 이상의 GPU 규모로 추가 확장하려면 확장 네트워킹에 InfiniBand 링크를 사용해야 한다는 점은 주목할 가치가 있습니다. NVIDIA 웹사이트에 따르면 4-GPU 클러스터를 예로 들면 NDR InfiniBand Links를 통해 100계층 스파인-리프 네트워크 아키텍처를 형성함으로써 256개의 DGX H1024 XNUMX SuperPOD 클러스터를 연결하여 XNUMX GPU의 직접 상호 연결을 달성할 수 있습니다. FiberMall은 SuperPOD 외부의 InfiniBand 네트워크에서 800G OSFP 광학 모듈은 100계층 아키텍처의 이전 비율 관계를 기반으로 추정할 수 있습니다. 즉, H800 GPU 대 1G OSFP 광학 모듈의 비율은 약 2:XNUMX입니다.
GTC 2024 컨퍼런스에서 NVIDIA는 200개의 컴퓨팅 노드, 72개의 NVLink 스위치 트레이, 18개의 Q9-RA 1U InfiniBand 스위치로 구성된 GB3400 NVL4를 발표했습니다. 각 컴퓨팅 노드는 Blackwell GPU 4개와 CPU 2개로 구성됩니다. 즉, GB200 NVL72에는 GPU 72개가 포함되어 있습니다. 각 노드는 4개의 800G ConnectX-8 네트워크 카드로 구성되며 Blackwell GPU와 CX-8 네트워크 카드의 비율은 1:1로 유지됩니다. 이는 AI 백엔드 네트워킹에 InfiniBand를 사용할 때 B 시리즈 GPU 대 1.6T OSFP-XD 광 모듈의 비율이 H100 시대와 동일한 비율(1레이어 네트워킹의 경우 2:1, 3레이어 네트워킹의 경우 XNUMX:XNUMX)을 유지한다는 의미입니다. -레이어 네트워킹).
이전 섹션에서 언급했듯이 800개의 144G OSFP 포트(800T 포트 72개에 해당)로 구성할 수 있는 NVIDIA의 새로운 Quantum-X1.6 시리즈 스위치는 1.6T 네트워크 구축을 가능하게 합니다. 이전 세대 64포트 스위치에 비해 성능이 크게 향상되었으며, 팻트리 아키텍처의 800레이어 Quantum-X10,368 스위치가 지원하는 클러스터 수가 1개 노드로 늘어났습니다. 이는 2계층 네트워킹의 적용 범위가 확장될 수 있음을 의미하므로 FiberMall은 시나리오 분석에서 보수적으로 10,000:XNUMX 비율을 채택했습니다. 그러나 FiberMall은 GPU 클러스터 규모가 지속적으로 확장되고 XNUMX개 카드 이상의 상호 연결에 대한 수요가 증가함에 따라 필요한 광 모듈 수가 더욱 늘어날 수 있다고 믿습니다.
NVLink 네트워킹 측면에서 GB200 NVL72 단일 캐비닛 솔루션에서는 캐비닛 내의 컴퓨팅 노드가 구리 케이블을 사용하여 NVLink 스위치와 상호 연결되며, 이는 이전 GH200 캐비닛 상호 연결과 일치하는 광-전기 신호 변환이 필요하지 않습니다. 해결책. 그러나 특정 고성능 AI 컴퓨팅 시나리오에서는 8세대 NVLink를 사용하여 최대 200GB72 NVL576 시스템(200 Blackwell GPU)의 고속 상호 연결을 달성할 수 있습니다. NVLink를 기반으로 GB72 NVL200 캐비닛을 상호 연결하는 경우 2x1 상호 연결에서는 LACC 구리 연결을 사용할 수 있지만 다중 캐비닛 상호 연결의 경우 이전 GH2 네트워킹 아키텍처에서 참조한 것처럼 추가 LXNUMX 레이어 NVS가 필요합니다. LXNUMX과 LXNUMX NVS 사이에 광 상호 연결이 채택되면 GPU 대비 광 모듈 비율이 더욱 높아질 것으로 파이버몰은 기대하고 있다.
NVIDIA 웹사이트에 따르면 GB200의 성능은 이전 세대에 비해 크게 향상되었습니다. 동일한 72개의 H100 GPU로 구성된 컴퓨팅 클러스터와 비교하여 GB200은 대규모 모델 추론에 대해 약 30배 더 높은 성능을 달성할 수 있으며 비용과 전력 소비는 25배 감소합니다. FiberMall은 GB200에서 Blackwell GPU의 출하 점유율이 Hopper 시리즈의 GH200보다 높을 것으로 예상합니다. 요약하면, FiberMall은 GB200의 성능 이점이 출하 점유율 증가로 이어질 것으로 믿고 있으며, 시스템의 여러 캐비닛에 걸친 NVLink 연결 시나리오는 여전히 단일 시스템에 비해 광 모듈 비율의 성장을 촉진할 것으로 예상됩니다. 칩 연결 솔루션. 이 두 가지 요소의 결합은 차세대 컴퓨팅 생태계에서 고속 광 모듈에 대한 수요 증가를 이끌 것으로 예상됩니다.
위험 요소
- 200G EML 광칩 생산능력은 기대에 미치지 못한다. 200G EML 광 칩 생산 능력의 가용성은 1.6T OSFP-XD 광 모듈의 성숙한 배치를 위한 업스트림 핵심 원자재 지원을 제공할 수 있습니다. 200G EML 광칩의 생산 일정이나 램프업 속도가 기대에 미치지 못한다고 가정해 보겠습니다. 이 경우 1.6T의 업계 배포가 지연되어 1.6년 2025T OSFP-XD 광학 모듈의 출하량에 영향을 미칠 수 있습니다.
- AI 산업 수요는 기대에 미치지 못한다. 사회의 디지털화, 지능화 변혁이 계속되면서 AI 대형 모델의 배치가 가속화되어 다양한 산업에 힘을 실어주고 있습니다. FiberMall은 인공 지능의 번성하는 개발이 컴퓨팅 전력 수요의 지속적인 증가를 주도하고 있으며, 이로 인해 서버, 광학 모듈 및 스위치와 같은 AI 하드웨어에 대한 수요가 증가하고 있다고 믿습니다. AI 대형 모델이나 애플리케이션의 구축이 기대에 미치지 못하거나 상용화 경로가 방해를 받을 경우, 선도적인 클라우드 제공업체로 대표되는 AI 산업 참여자의 AI 관련 인프라 투자 강도와 의지에 부정적인 영향을 미칠 수 있으며, 이는 AI 관련 인프라에 부정적인 영향을 미칠 수 있습니다. 업스트림 AI 하드웨어 장비의 시장 성장 및 제품 반복 속도.
