UEC(울트라 이더넷 컨소시엄)란 무엇입니까?

UEC(울트라 이더넷 컨소시엄)는 off19년 2023월 XNUMX일에 공식적으로 설립되었습니다. 리눅스재단과 공동개발재단의 후원을 받아 설립된 새로운 조직입니다. UEC는 RDMA(Remote Direct Memory Access) 및 RoCE(RDMA over Converged Ethernet)와 같은 기존 이더넷 기능을 뛰어넘어 고성능 컴퓨팅 및 인공 지능에 최적화된 고성능, 분산 및 무손실 전송 계층을 제공하는 것을 목표로 합니다. 이는 경쟁사의 전송 프로토콜인 InfiniBand를 직접 겨냥합니다.

울트라 이더넷 컨소시엄

UEC의 창립 멤버로는 AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta 및 Microsoft가 있으며, 모두 네트워킹, 인공 지능, 클라우드 및 고성능 컴퓨팅의 대규모 배포 분야에서 수십 년의 경험을 보유하고 있습니다.

창립 멤버

이더넷에 UEC가 필요한 이유는 무엇입니까?

UEC는 현재 이더넷과 어떻게 다릅니까?

인공 지능과 고성능 컴퓨팅은 더 큰 규모, 더 높은 대역폭 밀도, 다중 경로, 혼잡에 대한 신속한 대응, 개별 데이터 흐름 실행에 대한 상호 의존성(꼬리 대기 시간이 핵심 포인트)에 대한 필요성과 같은 네트워크에 새로운 과제를 안겨줍니다. 고려하다). UEC 사양은 이러한 격차를 해소하고 이러한 워크로드에 필요한 대규모 네트워킹을 제공하도록 설계되었습니다. UEC는 여러 프로토콜 계층의 기술 문제를 해결하고 구성 및 관리가 쉬운 기능을 제공하는 완전한 통신 스택을 목표로 합니다.

UEC는 현재의 다른 프로토콜과 어떻게 다릅니까?

기존 프로토콜은 위 문제의 일부 측면(레거시 혼잡 관리 등)을 해결할 수 있지만 일반 네트워크용으로 설계되었기 때문에 다중 경로 및 손쉬운 구성과 같은 인공 지능 및 고성능 컴퓨팅에 중요한 기능이 부족합니다. 기존 프로토콜도 관련 시나리오에서 취약할 수 있습니다. 인공 지능 배포 및 고성능 컴퓨팅 작업 부하에 대한 UEC 회원의 풍부한 경험을 바탕으로 UEC는 오늘날 이더넷이나 다른 네트워크 기술에서는 사용할 수 없는 새로운 하드웨어 및 소프트웨어 제품을 제공하는 강력하고 포괄적인 솔루션을 제공할 것입니다.

UEC는 무엇을 할 계획인가요?

UEC는 대규모 인공 지능 및 고성능 컴퓨팅에 대한 증가하는 네트워크 요구를 충족하기 위해 이더넷을 기반으로 하는 개방적이고 상호 운용 가능한 고성능 전체 통신 스택 아키텍처를 제공할 것입니다. UEC는 물리적 계층에서 소프트웨어 계층까지 이더넷 스택의 여러 계층을 변경할 계획입니다. UEC 회장 Dr. J Metz는 "이것은 이더넷 혁명에 관한 것이 아닙니다."라고 말했습니다. “특정 성능 요구 사항이 있는 워크로드에 대해 더 효율적으로 만들기 위해 이더넷을 조정하는 것입니다. 우리는 대규모 효율성과 성능을 향상시킬 수 있는 최선의 방법을 찾기 위해 물리적 계층부터 소프트웨어 계층까지 모든 계층을 살펴보고 있습니다.” Metz는 오늘날 이더넷을 위한 네트워크 표준과 조직이 부족하지 않으며 IEEE가 중요한 역할을 담당했지만 UEC는 IEEE가 일반적으로 중점을 두는 물리적 전송 계층 이상의 것에 중점을 두고 있다고 지적했습니다. UEC의 목표는 이더넷을 개선하는 데 필요한 모든 요소를 ​​연구한 다음 관련 표준화 조직 및 기술 그룹과 협력하여 이러한 개선 사항을 구현하는 것입니다. 컨소시엄은 통신 스택의 변경을 최소화하면서 이더넷 상호 운용성을 유지하고 촉진하기 위해 노력할 것입니다. UEC의 기술적 목표는 다음을 정의하기 위한 사양, API 및 소스 코드를 개발하는 것입니다.

• 이더넷 통신을 위한 프로토콜, 전기 및 광 신호 특성, 응용 프로그램 인터페이스/데이터 구조.

• 기존 링크 및 전송 프로토콜을 확장하거나 대체하는 링크 수준 및 종단 간 네트워크 전송 프로토콜입니다.

• 링크 수준 및 종단 간 정체, 원격 측정 및 신호 메커니즘은 모두 인공 지능, 기계 학습 및 고성능 컴퓨팅 환경에 적합합니다.

• 다양한 워크로드와 운영 환경을 지원하는 소프트웨어, 스토리지, 관리 및 보안 아키텍처입니다.

RDMA 대 UEC 전송

UEC는 이더넷을 개선하기 위해 UEC 전송 프로토콜을 제안했습니다. Metz는 현재보다 더 나은 이더넷 전송을 제공하기 위해 UEC 전송이 개발되고 있다고 말했습니다. RDMA (여전히 RDMA 지원) 이더넷/IP의 장점을 유지하면서 AI 및 HPC 애플리케이션에 필요한 성능을 제공합니다. UEC 전송은 일부 의미 조정 및 정체 알림 프로토콜과 향상된 보안 기능을 갖춘 전송 계층에 가까운 새로운 형식입니다. UEC는 무손실 네트워킹이 필요하지 않은 보다 유연한 전송을 제공하여 다대다 AI 워크로드에 필요한 다중 경로 및 비순차적 패킷 전송과 같은 기능을 허용합니다. UEC 전송 프로토콜:

• 처음부터 IP 및 이더넷에서 실행되도록 설계된 개방형 프로토콜 사양

• 다중 경로, 패킷 스프레이 전송을 통해 중앙 집중식 로드 밸런싱 알고리즘 및 라우팅 컨트롤러 없이 혼잡이나 HOL 차단 없이 AI 네트워크를 완벽하게 활용합니다.

• 패킷 손실을 최소화하면서 대상 호스트에 대한 최종 링크의 팬인을 제어하는 ​​인캐스트 관리 메커니즘

• 효율적인 속도 제어 알고리즘을 통해 경쟁 스트림의 성능 손실 없이 전송을 회선 속도로 빠르게 높일 수 있습니다.

• 메시지를 순서대로 완료하는 옵션을 갖춘 비순차적 패킷 전달을 위한 API로, 네트워크 및 애플리케이션 동시성을 최대화하고 메시지 대기 시간을 최소화합니다.

• 1,000,000개의 엔드포인트를 지원하는 확장 가능한 미래 네트워크

• 네트워크가 필요 없는 성능 및 최적의 네트워크 활용도 및 혼잡 알고리즘 매개변수의 워크로드별 조정

• 유선 속도 성능을 지원하도록 설계되었습니다. 800G, 1.6T 및 상용 하드웨어의 미래보다 빠른 이더넷

UEC가 앞으로 나아갈 길

앞으로 AI와 고성능 컴퓨팅의 워크로드와 네트워킹 요구 사항은 점점 더 중복될 것으로 예상됩니다. 대역폭과 대기 시간에 대한 다양한 민감도를 고려하여 UEC 사양은 AI에 최적화된 프로필과 HPC에 최적화된 프로필의 두 가지 프로필을 제공합니다.

UEC 기술 자문 위원회 회장인 Uri Elzur는 플러그인 테스트 및 규정 준수 테스트를 통한 상호 운용성을 보장하는 것이 향후 중점 사항이 될 것이라고 말했습니다. UEC의 목표는 개방성과 상호 운용성을 보장하는 것입니다. UEC 초안 사양이 곧 출시되어 공개될 예정입니다.