EtherNET 또는 EtherNOT?

주요 공급업체의 AI 네트워크 위치 조사 2023년 XNUMX월 Linux 재단과 공동 개발 재단이 시작한 UEC(Ultra Ethernet Consortium)가 off공식적으로 출시되어 격동하는 AI 네트워크 상호 연결 생태계에 큰 폭의 요금을 부과합니다. 2023년 XNUMX월, 고급 하드웨어 및 소프트웨어 아키텍처와 다양한 인터커넥트 네트워크 구현에 초점을 맞춘 HOTI(IEEE Hot Interconnects) 국제 포럼에서 Intel, Nvidia, AMD 및 기타 기업의 대표자들이 ''라는 질문에 대한 패널 토론에 참여했습니다. EtherNET or EtherNOT'을 발표하며 이더넷에 대한 견해를 밝혔습니다. 새로운 AI/ML 워크로드로 인해 고성능 네트워크 상호 연결에 대한 수요가 늘어나고 있습니다. 약 XNUMX년 전 RoCE(RDMA over Converged Ethernet)가 이더넷 아키텍처에 저지연 데이터 전송을 도입했지만 다른 네트워크 기술에 비해 이더넷은 기술 개발이 뒤처진 것처럼 보였습니다. EtherNET과 EtherNOT 간의 전쟁이 다시 다가오고 있습니까? 이더넷 시대에는 클라우드 공급업체, 장비 공급업체 및 기타 당사자가 각자의 이해관계를 갖고 있으며 중요한 의사 결정 기간입니다. 그들은 어떻게 선택할 것인가?

“EtherNET or EtherNOT”라는 주제는 이미 2005년 HOTI 컨퍼런스에서 논의된 바 있으며 당시의 결론은 다음과 같습니다.

2023 HOTI 컨퍼런스 토론에서 Intel 네트워크 및 엣지 그룹의 수석 연구원이자 수석 하드웨어 설계자인 Brad Burres와 AMD의 데이터 센터 GPU 시스템 설계자인 Frank Helms는 이더넷을 선호했습니다. Brad Burres는 어떤 기술을 채택하든 전체 산업의 비용을 줄이고 필요한 소프트웨어 인프라를 달성하려면 개방형 생태계가 필요하다고 주장했습니다. 프로토콜이 성숙해짐에 따라 다른 개방형 표준 구조(예: CXL)가 즉시 등장하지 않는 한 이더넷이 승자가 될 것입니다. Frank Helms는 글로벌 슈퍼컴퓨터 TOP500 목록에서 각각 11위, XNUMX위, XNUMX위를 차지했으며 Frontier, Aurora, LUMI는 모두 이더넷 기반 HPE Cray Slingshot-XNUMX 연결 네트워크 구조를 기반으로 합니다. 그는 이더넷이 상호 연결 기술의 선두에 있다고 믿었습니다. UEC(Ultra Ethernet Alliance)의 등장은 대규모 AI 훈련 클러스터 상호 연결을 위해 이더넷에 대한 수요가 많이 억제되었음을 반영합니다. NVIDIA의 네트워크 연구 이사인 Larry Dennison은 이더넷과 AI 워크로드 요구 사항 충족 사이에 여전히 격차가 있다고 믿었습니다. 이더넷이 이러한 요구 사항을 모두 충족한다면 여전히 이더넷입니까? 얼마나 오래 달성할 수 있나요? 이더넷 시장은 실제로 거대하며 사라지지 않을 것입니다. 그러나 향후 몇 년 동안 이더넷의 개발 속도는 이 시장의 요구를 충족시키지 못할 것입니다. ETH 취리히 교수이자 마이크로소프트의 대규모 인공지능 및 네트워크 분야 컨설턴트인 Torsten Hoefler는 이더넷이 데이터센터와 슈퍼컴퓨터의 현재와 미래이지만 지금 우리가 말하는 이더넷이 아니라 이더넷이 필요로 하는 것이라고 지적했다. 진화하다.

개방형 생태학 or 공급업체 종속?

역사적으로 InfiniBand와 이더넷은 모두 개방형 표준이라는 점에서 AI/HPC 시장을 장악하기 위해 경쟁해 왔습니다. 그러나 주요 차이점은 InfiniBand는 현재 Nvidia에서 단일 공급업체로 지원되는 반면, 이더넷은 다중 공급업체 지원을 통해 활기차고 경쟁력 있는 생태계를 조성한다는 것입니다. 그러나 AI/HPC 네트워크 솔루션 분야에서도 이더넷 솔루션에는 "부분 맞춤형" 라벨이 함께 제공될 수 있으며, 이는 공급업체 종속으로 이어질 수 있습니다.

예를 들어, Broadcom의 Jericho3 이더넷 스위치는 고성능 "완전 예약된 패브릭" 모드에서 실행될 때 전체 네트워크 패브릭이 동일한 스위치 칩을 사용해야 합니다. Cisco의 Silicon One 스위치와 Nvidia의 Spectrum-X 스위치도 비슷한 상황에 있습니다. 즉, 고성능 요구 사항으로 인해 공급업체가 종속될 수 있습니다. 일부 하이퍼스케일 기업은 "맞춤형" NIC를 설계했으며, 이는 맞춤형 네트워크로 이어질 수도 있습니다. 따라서 이더넷 솔루션을 선택할 때에도 맞춤형 구현 및 공급업체 종속이 발생할 수 있습니다. AI/HPC 네트워크는 Beyond Ethernet Alliance가 추구하는 비전인 ROCEv2 RDMA 프로토콜을 부분적으로 또는 완전히 대체하여 새롭고 개방적이며 보다 강력한 전송 표준으로 전환할 수 있습니다.

AI/ML 네트워킹 기술 인벤토리

하이퍼스케일 공급업체는 AI/ML 네트워크 기술을 어떻게 선택합니까? EtherNET인가요, EtherNOT인가요?

아마존 AWS

Amazon은 InfiniBand RD 프로토콜에서 영감을 얻어 HPC 네트워크용 SRD(Scalable Reliable Datagram) 전송 프로토콜을 출시했습니다. Amazon은 독점 Nitro 칩을 기반으로 하는 ENA(Enhanced Network Adapter)를 "독점적으로" 사용합니다. SRD는 UDP를 사용하고, 여러 링크에 걸쳐 패킷 스프레이를 지원하고, "순서대로" 패킷 전달 요구 사항을 제거하여 패브릭 혼잡과 테일 대기 시간을 줄입니다. 필요한 경우 패킷 재정렬은 SRD의 상위 계층에서 처리됩니다. Amazon은 기본 AI/HPC 네트워크 전략을 계속 추구하고 있으며 아마도 NVIDIA와 가장 협력적이지 않을 것입니다.

구글

Google은 TPU와 NVIDIA의 GPU를 혼합하여 사용합니다. TPU와 GPU는 서로 경쟁하며 워크로드 적합성에 따라 배포될 수 있습니다. Google은 자사 네트워크에서 InfiniBand 제품을 사용하지 않을 것입니다. Google의 AI/ML 네트워크는 상대적으로 맞춤화되어 있으며 수년 동안 유사한 NVLink "일관성" 아키텍처를 배포해 왔습니다. Google은 네트워크 스택에서 많은 혁신을 이루었고 일반 데이터 센터와 인공 지능 데이터 센터에 MEM 미러(Micro-Electro-Mechanical Systems) 기반 회로 스위치인 '네이티브' OCS(광 스위칭 시스템)를 배포했습니다. 광 스위치는 일반적으로 물리적 스위치 계층을 제거하고 더 높은 기수 구성을 지원하며 전력 소비와 대기 시간을 줄입니다. 광 스위치는 빛을 "반사"하며 네트워크 프로토콜 및 네트워크 스위치 업그레이드와 독립적입니다. 단점은 미러 재구성 시간이 일반적으로 수십 밀리초 범위로 길기 때문에 이러한 OCS 스위치가 고정 용량 "회로"로 작동한다는 것입니다. 인공지능 훈련 네트워크의 경우 트래픽 패턴이 예측 가능하므로 이는 큰 문제가 되지 않습니다.

Microsoft

Microsoft는 하이퍼스케일 기업 중에서 가장 실용적이며 인피니밴드 파트너인 OpenAI를 위한 인공지능 네트워크를 조기에 구축했습니다. Microsoft는 맞춤형 네트워크 어댑터를 개발하고 Azure 클라우드용 맞춤형 RDMA 프로토콜을 사용했지만 InfiniBand에 대한 개방성, NVIDIA의 전체 스택 AI/ML 솔루션 수용, OpenAI와의 긴밀한 협력 덕분에 NVIDIA가 선호하는 고객이 되었습니다. Microsoft는 트래픽, 정체 및 오류 제어를 처리하고 테일 대기 시간을 최적화하는 UDP 기반의 안정적인 데이터그램 프로토콜인 True Fabric을 개발한 Fungible을 인수했습니다. Fungible의 기술 혁신 중 일부는 Microsoft의 향후 제품 및 오픈 소스 기여에 나타날 수 있습니다.

메타

Meta는 AI 경쟁에서 다크호스로, 인공지능 프로그램은 다음과 같은 뛰어난 기능을 갖추고 있습니다.

• Llama와 같은 기본 모델을 사용하는 오픈 소스 접근 방식을 채택합니다.
• PyTorch 소프트웨어 프레임워크/생태계를 통해 AI를 사용자 친화적으로 만들고 모든 소프트웨어 엔지니어가 액세스할 수 있게 만듭니다.
• 이는 개방형 하드웨어 혁신의 핵심 기둥으로 Open Compute Project 커뮤니티를 구축합니다.
• 대규모 GPU 클러스터를 배치하고 추천 시스템(DLRM 모델)을 통해 AI 혁신의 선두에 섰습니다.

Meta의 AI 기반 모델과 PyTorch 생태계는 거대한 오픈 소스 AI 혁신 라이브러리를 지원하고, 이더넷 및 InfiniBand 기반 AI/ML 클러스터를 배포하며, DLRM 모델 및 비디오 트랜스코딩을 위한 ASIC을 구축합니다.

메타는 AI를 민주화하고 있으며, 아직 충분한 인지도를 얻지는 못했지만 이러한 추세는 곧 바뀔 것입니다.

신탁

Oracle은 이더넷을 확실하게 지원하며 InfiniBand를 사용하지 않습니다. OCI(Oracle Cloud Infrastructure)는 Nvidia GPU 및 ConnectX NIC를 활용하여 ROCEv2 RDMA 기반 슈퍼클러스터를 구축합니다. OCI는 DC-QCN의 맞춤형 혼잡 알림 프로토콜을 기반으로 별도의 RDMA 네트워크를 구축하고, PFC 사용을 최소화하며, AI 및 HPC 워크로드에 대한 맞춤형 프로필을 미세 조정합니다.

NVIDIA

NVIDIA의 GPU와 풀 스택 AI/ML 솔루션은 NVIDIA를 시장에서 확실한 업스트림 플레이어로 만들어줍니다. NVIDIA DGX Cloud 솔루션은 Quantum-2(25.6Tbs) InfiniBand 스위치를 ConnectX 및 Bluefield 네트워크 어댑터와 통합합니다. 이러한 네트워크 어댑터는 이더넷과 InfiniBand를 모두 지원합니다. DGX Cloud를 기반으로 하는 풀 스택 InfiniBand 솔루션은 NVIDIA와 OEM을 통해 통신 및 기업 시장에도 판매될 예정입니다. 그러나 NVIDIA는 Spectrum-X 스위치를 통해 이더넷에도 막대한 투자를 하고 있습니다. 몇 년 전만 해도 InfiniBand는 AI 훈련에 선호되는 아키텍처였으며 NVIDIA의 통합 DGX 클라우드 솔루션에 이상적인 선택이었습니다. NVIDIA Spectrum-X 이더넷 스위치(51.2Tbs 용량, InfiniBand 스위치 용량의 2배) 출시로 NVIDIA는 대규모 GPU 배포를 위해 이더넷으로 전환하여 이더넷의 더 빠른 포트 속도, 비용 효율성, 그리고 확장성. Spectrum-X 이더넷 스위치는 RoCE 적응형 라우팅 및 정체 제어, 원격 측정 지원, Collective라고 불리는 네트워크 내 컴퓨팅(NVIDIA의 SHARP 제품을 통해) 등 고급 ROCEvXNUMX 확장을 지원합니다.

브로드 컴

브로드 컴 off스위치 칩과 네트워크 어댑터를 포함한 포괄적인 AI/HPC 네트워크 솔루션입니다. Broadcom의 "Corright Networks" 전략적 인수는 EQDS UDP 기반의 전송 프로토콜을 도입하여 모든 대기열 활동을 코어 네트워크에서 전송 호스트 또는 리프 스위치로 이동시킵니다. 이 접근 방식은 패킷 스프레이, 리프 스위치의 버퍼 재정렬, 경로 재조정, 혼잡 알림 삭제 및 하드웨어 기반 대역 내 오류 복구 메커니즘을 갖춘 "완전히 예약된 패브릭"인 Jericho3/Ramon3 칩 조합의 스위치 최적화를 지원합니다. Tomahawk(52Tbs) 시리즈는 단일 칩 용량을 최적화하도록 설계되었으며 완전히 예약된 패브릭이 아닙니다. Tomahawk 스위치는 에지 큐뿐만 아니라 글로벌 패브릭 수준 로드 밸런싱 및 경로 재밸런싱과 같은 하드웨어의 대기 시간에 중요한 기능도 지원합니다. Tomahawk는 리프 스위치에서 패킷 정렬을 지원하지 않으므로 패킷 재정렬 버퍼를 구현해야 합니다. 네트워크 어댑터 (엔드포인트).

시스코

Cisco는 최근 Silicon One 52Tb/s 스위치를 출시하여 네트워크 솔루션의 다양성을 입증했습니다. 스위치는 P4 프로그래밍이 가능하므로 다양한 네트워크 사용 사례에 맞게 유연한 프로그래밍이 가능합니다. Cisco의 Silicon One 기반 스위치는 전체 예약된 패브릭, 로드 밸런싱, 하드웨어 오류 격리 및 원격 측정을 지원합니다. Cisco는 여러 NIC 공급업체와 협력하여 완전한 AI/ML 네트워크 솔루션을 제공합니다.

결론

AI/HPC 네트워크를 위한 이더넷 표준화 여정은 이제 막 시작되었으며, 확장, 개방형 혁신, 다중 공급업체 경쟁을 통해 추가 비용과 전력 절감이 필요합니다. Super Ethernet Alliance는 주요 네트워크 이해관계자들로 구성되어 있으며 AI/HPC 워크로드에 적합한 개방형 "풀 스택" 이더넷 솔루션을 만들기 위해 노력하고 있습니다. 위에서 언급했듯이 "필요한" AI/HPC 네트워크 기술의 대부분은 다양한 이더넷 공급업체와 하이퍼스케일러에 의해 어떤 형태나 방식으로 배포되었습니다. 따라서 표준화의 과제는 기술적인 것이 아니라 합의를 구축하는 것입니다.