DPU 기술 개발

클라우드 컴퓨팅 및 가상화 기술의 발전으로 네트워크 카드도 발전했으며 기능 및 하드웨어 구조 측면에서 XNUMX단계로 나눌 수 있습니다.

기존 기본 네트워크 카드(NIC)

적은 하드웨어로 데이터 패킷 송수신을 담당 off로딩 기능. 하드웨어는 ASIC 하드웨어 로직을 사용하여 네트워크 물리적 링크 계층 및 MAC 계층 패킷 처리를 구현하며 이후 NIC 표준 카드도 CRC 검사와 같은 기능을 지원합니다. 프로그래밍 기능이 없습니다.

스마트 네트워크 카드(SmartNIC)

특정 데이터 플레인 하드웨어가 있습니다. offOVS/vRouter 하드웨어와 같은 로딩 기능 off로딩. 하드웨어 구조는 FPGA 또는 FPGA 및 프로세서 코어가 포함된 통합 프로세서(여기서는 프로세서 기능이 약함)를 사용하여 데이터 평면 하드웨어를 구현합니다. off로드.

FPGA 기반 DPU

데이터 플레인과 컨트롤 플레인을 모두 지원하는 스마트 네트워크 카드입니다. off로딩은 물론 제어 및 데이터 플레인에 대한 어느 정도의 프로그래밍 가능성도 제공됩니다. 하드웨어 구조 개발에는 인텔 CPU 등 FPGA 기반의 범용 CPU 프로세서를 추가한다.

단일 칩 DPU

이것은 풍부한 하드웨어를 갖춘 단일 칩 범용 프로그래밍 가능 DPU 칩입니다. off가속 및 프로그래밍 기능을 로드하고 다양한 클라우드 컴퓨팅 시나리오와 통합 리소스 관리 기능을 지원합니다. 하드웨어 측면에서는 단일 칩 SoC 형식을 채택하여 성능과 전력 소비의 균형을 유지합니다. 하드웨어 설계에서 FPGA 기반 DPU의 주요 과제는 칩 면적과 전력 소비에서 비롯됩니다. 면적 측면에서 PCIe 인터페이스의 구조 크기는 보드의 칩 면적을 제한합니다. 전력 소비 측면에서 보드의 방열 설계는 칩 및 보드 전체의 전력 소비와 밀접한 관련이 있습니다. 이 두 가지 요소는 FPGA 솔루션의 지속적인 개발을 제한합니다. DPU SoC 솔루션은 NIC에서 FPGA 기반 DPU까지의 소프트웨어 및 하드웨어 경험과 성과를 바탕으로 하며, DPU 중심의 데이터센터 아키텍처의 중요한 진화 경로입니다.

DPU는 소프트웨어 정의 칩의 대표적인 대표자로 '소프트웨어 정의, 하드웨어 가속'이라는 개념을 바탕으로 데이터 처리를 칩의 핵심 기능으로 통합한 범용 프로세서이다. DPU 범용 처리 장치는 컨트롤 플레인 업무를 처리하는 데 사용되며, 전용 처리 장치는 데이터 플레인 처리 성능을 보장하여 성능과 일반성 사이의 균형을 이룹니다. DPU 전용 처리 장치는 일반 인프라 가상화의 성능 병목 현상을 해결하는 데 사용되며, 범용 처리 장치는 DPU의 일반성을 보장하여 DPU를 클라우드 인프라의 다양한 시나리오에 널리 적용하고 가상화 소프트웨어 프레임워크의 원활한 마이그레이션을 실현합니다. DPU에.

NIC의 개발과 응용

네트워크 어댑터라고도 알려진 전통적인 기본 네트워크 카드 NIC는 컴퓨터 네트워크 시스템에서 가장 기본적이고 중요한 연결 장치입니다. 주요 기능은 전송해야 하는 데이터를 네트워크 장치가 인식할 수 있는 형식으로 변환하는 것입니다. 네트워크 기술의 발전에 힘입어 기존의 기본 네트워크 카드에도 더 많은 기능이 추가되었으며 처음에는 몇 가지 간단한 하드웨어만 보유했습니다. offSR-IOV 및 트래픽 관리 QoS를 지원하는 로딩 기능(예: CRC 검사, TSO/UF0, LSO/LR0, VLAN 등). 기존 기본 네트워크 카드의 네트워크 인터페이스 대역폭도 원래 100M, 1000M에서 10G, 25G, 심지어 100G로 발전했습니다.

클라우드 컴퓨팅 가상화 네트워크에서 전통적인 기본 네트워크 카드는 세 가지 주요 방법으로 가상 머신에 대한 네트워크 액세스를 제공합니다.

(1) 네트워크 카드는 트래픽을 수신하고 운영 체제 커널 프로토콜 스택을 통해 가상 머신으로 전달합니다.

(2) DPDK 사용자 모드 드라이버는 네트워크 카드를 인계받아 데이터 패킷이 운영 체제 커널 프로토콜 스택을 우회하고 가상 머신 메모리에 직접 복사할 수 있도록 합니다.

(3) SR-IOV 기술을 사용하면 물리적 네트워크 카드 PF가 네트워크 카드 기능을 갖춘 여러 가상 VF로 가상화된 다음 VF가 가상 머신에 직접 전달됩니다.

VxLAN과 같은 터널 프로토콜과 OpenFlow, 0VS 등의 가상 스위칭 기술로 인해 네트워크 처리의 복잡성이 점차 증가하고 더 많은 CPU 리소스가 필요합니다. 그리하여 SmartNIC이 탄생했습니다.

SmartNIC 개발 및 적용

SmartNIC는 기존 기본 네트워크 카드의 네트워크 전송 기능 외에도 풍부한 하드웨어를 제공합니다. off클라우드 컴퓨팅 네트워크의 전달 속도를 향상시키고 호스트 CPU 컴퓨팅 리소스를 해제할 수 있는 로딩 가속 기능.

SmartNIC에는 범용 프로세서 CPU가 없으며 제어 평면을 관리하려면 호스트 CPU가 필요합니다. 주요 offSmartNIC의 로딩 가속 개체는 데이터 평면 Fastpath와 같은 데이터 평면입니다. off가상 스위치 0VS/vRouter, RDMA 네트워크 로드 off로딩, NVMe-oF 스토리지 off로딩 및 IPsec/TLS 데이터 플레인 보안 off로딩 등

그러나 클라우드 컴퓨팅 애플리케이션의 네트워크 속도가 계속 증가함에 따라 호스트는 트래픽을 분류, 추적 및 제어하기 위해 여전히 많은 귀중한 CPU 리소스를 소비합니다. 호스트 CPU의 '제로 소비'를 달성하는 방법은 클라우드 공급업체의 다음 연구 방향이 되었습니다.

FPGA 기반 DPU 개발 및 적용

SmartNIC와 비교하여 FPGA 기반 DPU는 하드웨어 아키텍처에 범용 CPU 처리 장치를 추가하여 FPGA+CPU 아키텍처를 형성합니다. off네트워크, 스토리지, 보안, 관리 등 일반 인프라를 로딩합니다. 현 단계에서 DPU의 제품형태는 주로 FPGA+CPU이다. FPGA+CPU 하드웨어 아키텍처를 기반으로 하는 DPU는 우수한 소프트웨어 및 하드웨어 프로그래밍 기능을 갖추고 있습니다.

DPU 개발 초기 단계에서는 대부분의 DPU 제조업체가 이 방식을 선택했습니다. 이 방식은 개발 시간이 상대적으로 짧고 반복 속도가 빠르며 맞춤형 기능 개발을 신속하게 완료할 수 있어 DPU 제조업체가 신속하게 제품을 출시하고 시장을 점유하는 데 편리합니다. 그러나 네트워크 대역폭이 25G에서 100G로 마이그레이션됨에 따라 FPGA+CPU 하드웨어 아키텍처 기반 DPU는 칩 프로세스 및 FPGA 구조에 의해 제한되어 더 높은 처리량을 추구할 때 칩 면적 및 전력 소비를 효과적으로 제어하기가 어렵습니다. , 따라서 이 DPU 아키텍처의 지속적인 개발을 제한합니다.

DPU SoC NIC 개발 및 적용

DPU SoC는 ASIC 기반의 하드웨어 아키텍처로, ASIC과 CPU의 장점을 결합하고 전용 가속기의 뛰어난 성능과 범용 프로세서의 프로그래밍 가능한 유연성의 균형을 유지합니다. 클라우드 컴퓨팅 기술 발전을 주도하는 단일 칩 DPU 기술 솔루션입니다.

이전 단락에서 언급했듯이 DPU는 클라우드 컴퓨팅에서 중요한 역할을 하지만 기존 DPU 솔루션은 대부분 FPGA 기반 방식으로 제공됩니다. 25G에서 차세대 100G 서버로의 서버 마이그레이션으로 인해 비용, 전력 소비, 기능 및 기타 측면이 심각한 문제에 직면합니다. 단일 칩 DPU SoC는 비용과 전력 소비 측면에서 큰 이점을 제공할 뿐만 아니라 높은 처리량과 유연한 프로그래밍 기능도 갖추고 있습니다. 가상 머신 및 컨테이너의 애플리케이션 관리 및 배포뿐만 아니라 베어메탈 애플리케이션도 지원합니다.

DPU 기술의 지속적인 개발로 인해 범용 프로그래밍 가능 DPU SoC는 클라우드 공급업체의 데이터 센터 구축에서 핵심 구성 요소가 되고 있습니다. DPU SoC는 데이터센터의 컴퓨팅 리소스와 네트워크 리소스를 경제적이고 효율적으로 관리할 수 있습니다. 풍부한 기능과 프로그래밍 가능 기능을 갖춘 DPU SoC는 다양한 클라우드 컴퓨팅 시나리오와 통합 리소스 관리를 지원하고 데이터 센터 컴퓨팅 리소스 활용을 최적화할 수 있습니다.

DPU의 설계, 개발 및 사용에 있어 국내외 주요 칩 대기업과 클라우드 서비스 제공업체는 많은 R&D 자원을 투자했으며 지속적인 탐색과 실습을 통해 좋은 비용 효율성을 달성했습니다.

AWS(Amazon Cloud)의 DPU

AWS는 세계 최고의 클라우드 컴퓨팅 서비스 및 솔루션 제공업체입니다. AWS Nitro DPU 시스템은 AWS 클라우드 서비스의 기술적 초석이 되었습니다. AWS는 Nitro DPU 시스템을 사용하여 네트워크, 스토리지, 보안, 모니터링 기능을 분해하여 전용 하드웨어 및 소프트웨어로 이전하고, 서버의 거의 모든 리소스를 서비스 인스턴스에 제공하여 비용을 크게 절감합니다. Amazon Cloud에 Nitro DPU를 적용하면 서버가 연간 수천 달러 더 많은 수익을 올릴 수 있습니다. Nitro DPU 시스템은 주로 다음과 같은 부분으로 구성됩니다.

(1) 니트로 카드. 전반적인 시스템 성능을 향상시키기 위한 네트워크, 스토리지, 제어용 전용 하드웨어 시리즈입니다.

(2) 니트로 보안 칩. 가상화 및 보안 기능을 전용 하드웨어 및 소프트웨어로 이전하고 공격 표면을 줄이며 안전한 클라우드 플랫폼을 구현합니다.

(3) 니트로 하이퍼바이저. 메모리 및 CPU 할당을 관리하고 베어메탈과 구별할 수 없는 성능을 제공하는 경량 하이퍼바이저 관리 프로그램입니다.

Nitro DPU 시스템은 키, 네트워크, 보안, 서버 및 모니터링 기능을 제공하고 고객의 가상 머신에 대한 기본 서비스 리소스를 해제하며 AWS가 더 많은 베어 메탈 인스턴스 유형을 제공하고 특정 인스턴스의 네트워크 성능을 향상시켜 100Gbps.

NVIDIA DPU

NVIDIA는 AI 및 고성능 컴퓨팅(HPC) 분야에서 널리 사용되는 그래픽 처리 장치(GPU)를 주로 설계 및 판매하는 반도체 회사입니다. 2020년 6.9월 NVIDIA는 네트워크 칩 및 장치 회사인 Mellanox를 XNUMX억 달러에 인수한 후 BlueField DPU 시리즈를 출시했습니다.

NVIDIA BlueField-3 DPU(그림 7 참조)는 BlueField-2 DPU의 고급 기능을 계승했으며 AI 및 가속 컴퓨팅을 위해 설계된 최초의 DPU입니다. BlueField-3 DPU는 최대 400Gbps 네트워크 연결하고 할 수 있습니다 off로드, 가속화 및 격리하여 소프트웨어 정의 네트워크, 스토리지, 보안 및 관리 기능을 지원합니다.

인텔 IPU

Intel IPU는 강화된 가속기와 이더넷 연결을 갖춘 고급 네트워크 장치로, 긴밀하게 결합된 전용 프로그래밍 가능 코어를 사용하여 인프라 기능을 가속화하고 관리할 수 있습니다. IPU는 완벽한 인프라를 제공합니다. off로드하고 인프라 애플리케이션 실행을 위한 호스트 제어 지점 역할을 하여 추가 보안 계층을 제공합니다. Intel IPU를 사용하면 모든 인프라 서비스를 off서버에서 IPU로 로드되어 서버 CPU 리소스를 확보하고 클라우드 서비스 제공업체에 독립적이고 안전한 제어 지점을 제공합니다.

2021년 인텔은 인텔 아키텍처 데이에서 Oak Springs Canyon 및 Mount Evans IPU 제품을 발표했습니다. 그 중 오크스프링스 캐년(Oak Springs Canyon)은 FPGA 기반 IPU 제품이고, 마운트 에반스(Mount Evans) IPU는 ASIC 기반 IPU 제품이다.

Intel Oak Springs Canyon IPU에는 Intel Agilex FPGA 및 Xeon-D CPU가 장착되어 있습니다. Intel Mount Evans IPU는 Intel과 Google이 공동으로 설계한 SoC(System-on-a-Chip)입니다. Mount Evans는 주로 I0 하위 시스템과 컴퓨팅 하위 시스템의 두 부분으로 나뉩니다. 네트워크 부분에서는 패킷 처리를 위해 ASIC을 사용하는데, FPGA보다 성능은 훨씬 뛰어나고 전력 소모는 낮다. 컴퓨팅 하위 시스템은 매우 강력한 컴퓨팅 기능을 갖춘 16개의 ARM Neoverse N1 코어를 사용합니다.

Alibaba Cloud의 DPU

Alibaba Cloud는 또한 지속적으로 DPU 기술을 탐구하고 있습니다. 2022년 알리바바 클라우드 서밋에서 알리바바 클라우드는 offShenlong 아키텍처를 기반으로 하는 클라우드 인프라 프로세서 CIPU를 공식적으로 출시했습니다. CIPU의 전신은 기능과 위치 측면에서 DPU의 정의를 충족하는 MoC 카드(Micro Server on a Card)입니다. MoC 카드에는 독립적인 I0, 스토리지 및 처리 장치가 있으며 네트워크, 스토리지 및 장치 가상화 작업을 수행합니다. XNUMX세대 및 XNUMX세대 MoC 카드는 좁은 의미의 컴퓨팅 가상화 제로 오버헤드 문제를 해결했으며 소프트웨어는 여전히 가상화의 네트워크 및 스토리지 부분을 구현합니다. XNUMX세대 MoC 카드는 일부 네트워크 전달 기능의 강화를 실현하고 네트워크 성능이 크게 향상되었습니다. XNUMX세대 MoC 카드는 완전한 하드웨어를 구현합니다. off네트워크 및 스토리지를 로드하고 RDMA 기능도 지원합니다.

Feitian 시스템용으로 설계된 데이터 센터 프로세서 시스템인 Alibaba Cloud CIPU는 Alibaba Cloud가 차세대 완전한 소프트웨어 및 하드웨어 클라우드 컴퓨팅 아키텍처 시스템을 구축하는 데 중요한 의미를 갖습니다.

화산 엔진의 DPU

볼케이노엔진도 자체 개발한 DPU의 길을 끊임없이 탐색하고 있다. 자체 개발한 DPU는 소프트 및 하드 통합 가상화 기술을 채택하여 사용자에게 탄력적이고 확장 가능한 고성능 컴퓨팅 서비스를 제공하는 것을 목표로 합니다. 볼케이노엔진의 탄력적 컴퓨팅 제품에는 XNUMX세대 탄력적 베어메탈 서버와 XNUMX세대 클라우드 서버에 자체 개발한 DPU가 탑재돼 제품 성능과 애플리케이션 시나리오에서 폭넓게 검증됐다. Volcano Engine의 XNUMX세대 EBM 인스턴스입니다. off2022년 최초로 상용화한 볼케이노 엔진은 자체 개발한 DPU를 최초로 탑재한 엔진입니다. 기존 물리적 머신의 안정성과 보안 이점을 유지하고 안전한 물리적 격리를 달성할 수 있을 뿐만 아니라 가상 머신의 탄력성과 유연성 이점도 갖추고 있습니다. 다양한 장점을 갖춘 차세대 고성능 클라우드 서버입니다. 2023년 상반기 출시된 볼케이노 엔진의 XNUMX세대 ECS 인스턴스 역시 볼케이노 엔진이 자체 개발한 최신 DPU 아키텍처와 자체 개발한 가상 스위치 및 가상화 기술을 결합해 네트워크 및 스토리지 IO 성능을 갖췄다. 크게 개선되었습니다.