InfiniBand 대 이더넷: AI 스케일아웃 주도권을 놓고 Broadcom과 NVIDIA의 경쟁

고성능 컴퓨팅 상호 연결의 핵심 전투

이더넷은 스케일아웃 데이터센터에서 주류 지위를 되찾을 것으로 보이며, 인피니밴드는 고성능 컴퓨팅(HPC) 및 AI 교육 분야에서 강력한 성장세를 유지하고 있습니다. 브로드컴과 엔비디아는 시장 주도권을 놓고 치열한 경쟁을 벌이고 있습니다.

인공지능 모델의 규모가 기하급수적으로 증가함에 따라, 데이터 센터 확장은 기존의 수직적 스케일업(단일 시스템) 아키텍처에서 수만 개의 상호 연결된 노드를 포함하는 대규모 수평적 스케일아웃 아키텍처로 전환되었습니다. 스케일아웃 네트워킹 시장은 현재 두 가지 경쟁 기술이 주도하고 있습니다.

• 인피니밴드: NVIDIA의 자회사인 Mellanox가 주도하는 오랜 성능 리더로서, 기본 RDMA 프로토콜을 활용하여 초저 지연 시간(2마이크로초 미만)과 패킷 손실 없는 성능을 제공합니다.
• Ethernet: Broadcom 등의 적극적인 지원을 받고 있으며, 개방형 생태계와 상당히 낮은 비용의 이점을 누리고 있습니다.

2025년 6월, 이더넷은 강력한 반격을 시작했습니다. 울트라 이더넷 컨소시엄(UEC)은 네트워크 프로토콜 스택을 완전히 재구성하고 InfiniBand에 필적하는 성능을 달성하는 UEC 1.0 사양을 공식 발표했습니다. 이더넷은 여러 장점을 바탕으로 시장 점유율을 점차 확대할 것으로 예상됩니다. 이러한 기술적 변화는 스케일아웃 시장의 전반적인 경쟁 구도를 재편하고 있습니다.

스케일아웃의 주요 전장: InfiniBand의 장점 vs. 이더넷의 반격

주류 스케일아웃 InfiniBand 아키텍처는 기본적으로 원격 직접 메모리 액세스(RDMA)를 지원합니다. 작동 원리는 다음과 같습니다.

• 데이터 전송 중에 DMA 컨트롤러는 RDMA 지원 네트워크 인터페이스 카드(RNIC)로 데이터를 전송합니다.
• RNIC는 데이터를 캡슐화하여 수신 RNIC로 직접 전송합니다.
• 이 프로세스는 기존 TCP/IP와 달리 CPU를 완전히 우회하므로 InfiniBand는 매우 낮은 지연 시간(<2 µs)을 달성합니다.

또한 InfiniBand는 링크 계층에서 크레딧 기반 흐름 제어(CBFC)를 사용하여 수신기에 사용 가능한 버퍼 공간이 있을 때만 데이터가 전송되도록 하여 패킷 손실이 전혀 없음을 보장합니다.

네이티브 RDMA가 제대로 작동하려면 InfiniBand 스위치가 필요합니다. 오랫동안 이러한 스위치는 NVIDIA의 Mellanox 사업부가 독점해 왔으며, 이로 인해 상대적으로 폐쇄적인 생태계가 형성되어 조달 및 유지 관리 비용이 더 높습니다. 하드웨어 비용은 동급 이더넷 스위치의 약 3배에 달합니다.

개방형 생태계, 수많은 공급업체, 유연한 배포 옵션, 낮은 하드웨어 비용 덕분에 이더넷은 점차 널리 채택되었습니다.

RDMA 기능을 이더넷에 적용하기 위해 InfiniBand Trade Association(IBTA)은 2010년에 RoCE(RDMA over Converged Ethernet)를 도입했습니다.

• RoCE v1: 링크 계층에 이더넷 헤더를 추가하여 동일한 2계층 서브넷으로 통신을 제한하고 라우터나 다른 서브넷을 통한 전송을 방지합니다.
• RoCE v2 (2014년 출시): 레이어 3의 InfiniBand 글로벌 라우팅 헤더(GRH)를 IP/UDP 헤더로 교체했습니다. 이러한 변경을 통해 표준 이더넷 스위치와 라우터가 RoCE 패킷을 인식하고 전달할 수 있게 되어 서브넷 간 및 라우터 간 전송이 가능해지고 배포 유연성이 크게 향상됩니다.

그러나 RoCE v2 지연 시간은 기본 RDMA(~5µs)보다 약간 더 높고 패킷 손실 위험을 줄이기 위해 PFC(우선순위 흐름 제어) 및 ECN(명시적 혼잡 알림)과 같은 추가 메커니즘이 필요합니다.

원본 문서의 비교 차트는 InfiniBand와 개방형 RoCE 기술 간의 주요 차이점을 강조합니다.

• InfiniBand는 완전히 독점적인 폐쇄형 프로토콜 스택을 사용하여 가능한 가장 낮은 지연 시간을 달성합니다.
• RoCE v1은 이더넷을 통한 InfiniBand 아키텍처를 시뮬레이션하지만 동일한 레이어 2 서브넷으로 제한됩니다.
• RoCE v2는 IP 네트워크 계층을 사용하고, 서브넷 간 통신을 지원하며, 기존 이더넷 데이터 센터 인프라와 가장 높은 호환성을 제공합니다.

InfiniBand는 초저지연성과 무손실 패킷이라는 고유한 장점을 유지하며 오늘날 AI 데이터 센터에서 선호되는 선택입니다. 그러나 높은 하드웨어 및 유지 관리 비용과 제한된 공급업체 옵션으로 인해 이더넷 기반 아키텍처로의 점진적인 전환이 이루어지고 있습니다.

폭발적인 AI 데이터 센터 수요와 비용/생태계 변화에 힘입어 NVIDIA는 이더넷 시장에 본격적으로 진출했습니다. NVIDIA는 자사의 InfiniBand Quantum 시리즈 스위치 외에도 Spectrum 시리즈 이더넷 제품을 제공합니다.

2025 :

• Quantum-X800: 800Gbps/포트 × 144포트 = 총 115.2Tbps
• Spectrum-X800: 800Gbps/포트 × 64포트 = 총 51.2Tbps
• Quantum-X800과 Spectrum-X800의 CPO(Co-Packaged Optics) 버전은 각각 2025년 하반기와 2026년 하반기에 출시될 예정입니다.

Spectrum 스위치는 경쟁사의 이더넷 스위치보다 가격이 높지만 NVIDIA의 강점은 하드웨어와 소프트웨어의 긴밀한 통합(예: BlueField-3 DPU 및 DOCA 2.0 플랫폼)으로 매우 효율적인 적응형 라우팅이 가능하다는 것입니다.

스위치 ASIC 비용과 CPO 구축 경쟁: 이더넷이 선두, InfiniBand가 바짝 뒤쫓다

이더넷 분야에서 브로드컴은 이더넷 스위치 실리콘 분야에서 꾸준히 기술 리더십을 유지해 왔습니다. 브로드컴의 토마호크 시리즈는 "약 2년마다 총 대역폭을 두 배로 늘린다"는 원칙을 따릅니다.

브로드컴은 2025년까지 당시 세계 최고 대역폭 스위치 칩이었던 토마호크 6를 출시했습니다. 토마호크 6는 총 용량 102.4Tbps로 64개의 1.6Tbps 포트를 지원합니다. 토마호크 6는 또한 UEC(Ultra Ethernet Consortium) 1.0 프로토콜을 기본적으로 지원하여 다중 경로 패킷 스프레잉, 링크 계층 재시도(LLR), 크레딧 기반 흐름 제어(CBFC)를 구현하여 지연 시간과 패킷 손실 위험을 더욱 줄입니다.

Broadcom은 또한 CPO(Co-Packaged Optics) 기술 분야에서도 선두를 달리고 있습니다.

• 2022: 토마호크 4 훔볼트 CPO 버전
• 2024: 토마호크 5 바이
• 2025: 토마호크 6 데이비슨

브로드컴이 2025년에 출시한 102.4Tbps 토마호크 6와 비교했을 때, 엔비디아는 102.4Tbps 스펙트럼-X1600을 2026년 하반기에 출시할 것으로 예상됩니다. 이는 약 2년 후의 일입니다. 엔비디아의 102.4Tbps 스펙트럼-X 포토닉스 CPO 버전 또한 2026년 하반기에 출시될 예정입니다.

Broadcom-NVIDIA의 대결을 넘어서:

• Marvell은 2023년에 51.2Tbps Teralynx 10을 출시했습니다.
• Cisco는 2023년에 CPO 프로토타입과 함께 51.2Tbps Silicon One G200 시리즈를 출시했습니다.

전기적 상호 연결은 한계에 도달하고 광 통합이 초점이 됩니다.

기존의 구리 기반 전기 배선은 물리적 한계에 부딪히고 있습니다. 전송 거리가 증가함에 따라 광섬유 배선은 확장형 환경에서 손실 감소, 대역폭 증가, 전자파 간섭 저항 강화, 그리고 도달 범위 확대라는 확실한 이점을 보여줍니다.

현재 광 솔루션은 주로 플러그형 트랜시버를 사용하여 단일 레인 200Gbps와 총 1.6Tbps(8×200Gbps)를 달성합니다.

속도가 증가함에 따라 PCB의 전력 소비와 신호 손실이 심각해집니다. 실리콘 포토닉스(SiPh)는 이러한 문제를 해결하기 위해 개발되었으며, 작은 트랜시버 부품을 실리콘에 직접 통합하여 광집적회로(PIC)를 형성합니다. 이 PIC는 칩 내부에 공동 패키징되어 전기 경로를 단축하고 광학 경로로 대체합니다. 이를 공동 패키징 광학(CPO)이라고 합니다.

더 광범위한 CPO 개념은 온보드 광학(OBO), 공동 패키지 광학(CPO), 광학 I/O(OIO) 등 여러 형태를 포함합니다.

광학 엔진(OE) 패키징은 주요 ASIC에 점점 더 가까워지고 있습니다.

• OBO: PCB의 OE(현재는 거의 사용되지 않음)
• 좁은 CPO: 기판 상의 OE(현재 주류) → 전력 <0.5× 플러그 가능(~5 pJ/비트), 대기 시간 <0.1×(~10 ns)
• OIO: 인터포저의 OE(향후 방향) → 전력 <0.1×(<1pJ/비트), 대기 시간 <0.05×(~5ns)

CPO는 여전히 열 관리, 본딩, 그리고 커플링 분야에서 어려움을 겪고 있습니다. 광통신이 한계에 다다름에 따라, CPO와 실리콘 포토닉스 분야의 획기적인 발전이 차세대 경쟁 구도를 결정할 것입니다.

이더넷 캠프 결집: UEC, UEC 1.0 표준 홍보

앞서 언급했듯이 InfiniBand는 초저지연성 덕분에 생성 AI 분야에서 초기부터 상당한 점유율을 확보했습니다. 하지만, 주류 고성능 네트워킹 생태계인 이더넷 또한 유사한 지연 시간 달성을 위해 노력하고 있습니다.

울트라 이더넷 컨소시엄(UEC)은 2023년 8월 AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta, Microsoft를 포함한 초기 회원사로 설립되었습니다. NVIDIA가 주도하는 InfiniBand 생태계와 달리, UEC는 단일 벤더 종속을 피하기 위해 개방형 표준과 상호 운용성을 강조합니다.

2025년 6월, UEC는 UEC 1.0을 출시했습니다. 이는 단순히 RoCE v2를 개선한 것이 아니라 모든 계층(소프트웨어, 전송, 네트워크, 링크, 물리적 계층)을 완벽하게 재구성한 것입니다.

지연 시간을 줄이는 주요 개선 사항에는 전송 계층의 패킷 전달 하위 계층(PDS)이 포함되며, 그 특징은 다음과 같습니다.

• 여러 개의 동일 비용, 동일 속도 경로(차선/트랙)를 통한 다중 경로 전송
• NIC는 최대 대역폭을 위해 모든 경로에 패킷을 분사하기 위해 엔트로피를 사용합니다.

이러한 다계층 구조는 초고속 네트워크 복구와 InfiniBand에 가까운 적응형 라우팅을 가능하게 합니다.

패킷 손실을 최소화하기 위해 UEC 1.0은 두 가지 주요 메커니즘을 도입했습니다.

• 선택적 링크 계층 재시도(LLR): 패킷 손실 시 빠른 로컬 재전송 요청으로 PFC 의존도 감소
• 선택적 크레딧 기반 흐름 제어(CBFC): 송신자는 전송하기 전에 수신자로부터 크레딧을 얻어야 하며, InfiniBand CBFC와 동일한 진정한 무손실 동작을 달성합니다.

중국의 대규모 개발: 국제 표준과 독자적 혁신의 조화

중국의 AI 인프라 스케일아웃 아키텍처는 자율성과 국제 호환성이라는 두 가지 원칙에 따라 발전하고 있습니다. 주요 국내 기업들은 글로벌 이더넷 표준을 준수하는 동시에 자체 아키텍처에 막대한 투자를 통해 중국 특유의 스케일아웃 시스템을 점차 구축하고 있습니다.

알리바바, 바이두, 화웨이, 텐센트 등 여러 기업이 UEC에 가입하여 표준을 공동 개발하고 있습니다. 동시에, 이들은 InfiniBand를 직접 벤치마킹하여 저지연성과 무손실 패킷을 목표로 하는 스케일아웃 패브릭을 독립적으로 개발하고 있습니다.

주목할 만한 토착 건축물:

• China Mobile – GSE(General Scheduling Ethernet): 2023년 5월 UEC 이전에 출시되었습니다. GSE 1.0은 포트 수준 로드 밸런싱 및 엔드포인트 혼잡 인식을 통해 기존 RoCE를 최적화합니다. GSE 2.0은 다중 경로 스프레잉 및 DGSQ 흐름 제어를 갖춘 완전한 프로토콜 스택 재구축 버전입니다.
• Alibaba Cloud – 고성능 네트워크(HPN): HPN 7.0은 "듀얼 업링크 + 멀티레인 + 듀얼 플레인" 설계를 사용합니다. 차세대 HPN 8.0은 102.4Tbps 800G 스위치 칩을 자체 개발하여 탑재할 예정입니다.
• Huawei – UB-Mesh 상호 연결: 다차원 nD 풀 메시 토폴로지를 사용하여 Ascend NPU 플랫폼에 배포되어 3D+ 차원에서 확장 및 실제 확장을 모두 지원합니다.

ZTE, Accelink 등의 참여로 중국은 완전한 국내 광 모듈과 실리콘 광자공학 공급망을 빠르게 구축하고 있습니다.

차세대 AI 데이터 센터: 기술 혁신과 기회

수년간 NVIDIA의 InfiniBand는 2µs 미만의 지연 시간과 제로 패킷 손실로 AI 스케일아웃 시장을 장악해 왔습니다. 그러나 2025년 6월 UEC 1.0이 출시되면서 이더넷은 지연 시간과 안정성 면에서의 격차를 빠르게 좁히는 동시에 경쟁력을 되찾고 있습니다. Broadcom은 2년간의 대역폭 배가 주기를 지속하며 이더넷 하드웨어 성능을 끊임없이 발전시키고 있습니다.

속도가 1.6Tbps 이상에 도달함에 따라 플러그형 광케이블의 전력 및 지연 시간이 병목 현상이 되어 CPO가 미래의 주류가 될 것입니다. Broadcom은 2022년부터 CPO 구축을 주도해 왔으며, NVIDIA는 2025년 하반기에 InfiniBand CPO를 계획하고 있습니다.

이더넷과 CPO가 성숙해짐에 따라 AI 데이터 센터 네트워크는 고속 광 상호 연결로 완전히 전환되고 있으며, 이로 인해 광 트랜시버와 상류 공급망(실리콘 광자 칩, 레이저, 광섬유 모듈)에 엄청난 기회가 창출되고 있습니다.

확장형 도메인에서:

• NVIDIA는 기존 InfiniBand 부문에서도 계속해서 선두를 유지할 것으로 예상됩니다.
• Broadcom은 뛰어난 고대역폭 ASIC, CPO 리더십, UEC 구현을 통해 이더넷 시장에서 지배적인 점유율을 유지할 태세를 갖추고 있습니다.

2025년 8월, NVIDIA와 Broadcom은 모두 여러 데이터 센터에 걸쳐 연결성을 확장하는 "Scale-Across" 개념을 공개했습니다. 이는 고성능 네트워킹의 차세대 패러다임입니다.