NVIDIA의 BlueField-3 DPU의 힘 이해하기

개요

NVIDIA의 H100 SXM 서버로 작업할 때 종종 BFD-3 장치 두 개가 포함된 구성을 볼 수 있습니다. 이는 특히 시스템에 이미 CX-7 400G 네트워크 카드 여덟 개가 포함되어 있기 때문에 의문을 제기합니다. CX-3과 비교했을 때 BFD-7의 근본적인 차이점과 역할은 무엇입니까? 게다가 서버의 마더보드에 이미 BMC 포트가 포함되어 있는데 BFD에 BMC 포트가 있는 이유는 무엇입니까?

기존 데이터 센터에서는 CPU가 핵심이었습니다. 그러나 무어의 법칙이 적용되지 않게 되면서 CPU 컴퓨팅 성능 증가가 더 이상 데이터 폭증을 따라가지 못해 병목 현상이 발생하고 있습니다. CPU 워크로드를 네트워크 어댑터(네트워크 인터페이스 카드)로 오프로드하는 것이 필수적이 되면서 Smart NIC의 급속한 개발이 촉진되었습니다. NVIDIA는 DPU 기반 Smart NIC를 일반적으로 시스템 CPU가 처리하는 작업을 오프로드하는 네트워크 인터페이스 카드로 정의합니다. DPU 기반 Smart NIC는 온보드 프로세서를 사용하여 암호화/복호화, 방화벽, TCP/IP 및 HTTP 처리 작업을 모두 수행할 수 있습니다. 기본적으로 다양한 작업을 CPU에서 처리하도록 지원하고, 자체 CPU를 통해 네트워크 보안 관련 작업을 독립적으로 처리합니다. 하이퍼스케일 클라우드 기술로 인한 데이터 센터 아키텍처 변화에 대응하기 위해 NVIDIA는 BlueField DPU 시리즈를 출시했습니다. 이러한 새로운 프로세서는 가상화, 네트워킹, 스토리지, 보안 및 기타 클라우드 기반 AI 서비스에서 생성되는 막대한 컴퓨팅 작업 부하를 오프로드하고 가속화하기 위해 데이터 센터 인프라 소프트웨어용으로 특별히 설계되었습니다.BlueField-3는 서버의 PCIe 경로에 통합된 "독립 노드" 역할을 합니다.

• ARM + OS: 원래 호스트 OS에서 처리하던 다양한 작업을 오프로드할 수 있습니다.
• 통합 가속기: 데이터 처리, 보안 및 저장의 효율성을 개선합니다.
• PCIe 스위치 칩: NVMe SSD 확장 캐비닛에서 사용할 수 있습니다.
• BMC 칩: 클라우드 환경에서 호스트의 원래 리소스를 독립적으로 관리할 수 있도록 합니다.

NVIDIA® BlueField®-3 DPU는 400세대 인프라 컴퓨팅 플랫폼으로, 기업이 클라우드에서 코어 데이터 센터 및 엣지 환경까지 소프트웨어 정의 및 하드웨어 가속 IT 인프라를 구축할 수 있도록 지원합니다. 400Gb/s 이더넷 또는 NDR XNUMXGb/s InfiniBand 네트워크 연결을 통해 BlueField-3 DPU 소프트웨어 정의 네트워킹, 스토리지, 보안 및 관리 기능의 부하를 분산, 가속화 및 격리하여 데이터 센터 성능, 효율성 및 보안을 크게 향상시킬 수 있습니다. BlueField-3 DPU의 기능과 애플리케이션을 이해함으로써 기업은 이 기술을 효과적으로 활용하여 최신 데이터 센터의 요구를 충족하고 견고하고 확장 가능하며 안전한 인프라를 확보할 수 있습니다.

NIC, Smart NIC 및 DPU 간의 논리적 관계

그 차이점을 이해하기 위해 다음 사항을 비교해 보겠습니다(참고로 개인적인 견해입니다):

NVIDIA DPU와 SuperNIC의 차이점

• DPU(데이터 처리 장치): BlueField 아키텍처를 기반으로 강력한 컴퓨팅 기능(멀티코어 ARM CPU), 고속 네트워킹(최대 400Gb/s), 그리고 프로그래밍 기능을 통합합니다. 네트워킹, 스토리지, 보안 등 데이터 센터 작업의 부하를 분산하고 가속화하도록 설계되어 클라우드 컴퓨팅 및 고성능 컴퓨팅과 같은 복잡한 워크로드에 적합합니다.
• SuperNIC: BlueField-3 아키텍처를 기반으로 하지만 AI 워크로드에 특화되어 있습니다. 크기가 작고 전력 소비가 적으며, GPU 간 고대역폭, 저지연 데이터 전송(예: RoCE를 통한 400Gb/s RDMA)에 중점을 두어 하이퍼스케일 AI 컴퓨팅에 이상적입니다.

스마트 NIC 및 DPU의 등장 이유

기존 NIC 시대

기존 데이터 센터에서는 CPU가 절대적인 핵심이었습니다. 그러나 무어의 법칙이 덜 적용되면서 CPU 컴퓨팅 파워의 성장은 더 이상 데이터 폭발을 따라잡을 수 없어 병목 현상이 발생했습니다. CPU의 작업 부하를 네트워크 어댑터(네트워크 인터페이스 카드)로 오프로드하는 것이 필요해지면서 스마트 NIC의 급속한 개발이 촉진되었습니다.

스마트 NIC 시대(1세대)

1세대 스마트 NIC는 주로 데이터 플레인에서 작업을 오프로드하는 데 중점을 두었습니다. 예로는 OVS Fastpath 하드웨어 오프로드, RoCEv2 및 vXNUMX 기반 RDMA 네트워크 하드웨어 오프로드, 무손실 네트워크 기능(PFC, ECN, ETS)을 위한 하드웨어 오프로드, 스토리지 도메인의 NVMe-oF 하드웨어 오프로드, 보안 전송을 위한 데이터 플레인 오프로드가 있습니다.

DPU 스마트 NIC 시대(2세대)

DPU(데이터 처리 장치)는 데이터 센터의 세 가지 주요 문제를 해결하기 위해 등장했습니다.

노드 간: 서버 데이터 교환의 효율성이 낮고 데이터 전송이 신뢰할 수 없습니다.

노드 내부: 비효율적인 데이터 센터 모델 실행, 낮은 I/O 스위치 효율성, 유연하지 못한 서버 아키텍처.

네트워크 시스템: 안전하지 않은 네트워크.

NVIDIA BlueField-3 DPU와 ConnectX-7 NIC의 차이점

NVIDIA BlueField-3 DPU를 포괄적으로 이해하려면 NVIDIA의 ConnectX-7 OSFP NIC 및 ConnectX-7 QSFP112 NIC와 비교해 보는 것이 중요합니다. 이 두 장치는 데이터 센터 네트워킹에서 각기 다른 역할을 수행하며, 각 장치의 차이점과 장점을 이해하면 조직이 필요에 맞는 솔루션을 선택하는 데 도움이 될 수 있습니다.

기능 범위: DPU 대 NIC

NVIDIA BlueField-3 DPU는 완벽하게 프로그래밍 가능한 인프라 컴퓨팅 플랫폼으로, 16개의 Arm A78 코어로 구성된 강력한 클러스터, 고속 네트워킹(최대 400Gb/s 이더넷 또는 NDR InfiniBand), 그리고 네트워킹, 스토리지, 보안 등의 작업을 위한 하드웨어 가속기를 통합합니다. 기존 NIC와 달리 BlueField-3 DPU는 자체 운영 체제를 갖춘 독립 노드로 작동하여 가상화, NVMe-oF(NVMe over Fabrics), 제로 트러스트 보안과 같은 복잡한 워크로드를 호스트 CPU에서 오프로드할 수 있습니다. 이를 통해 CPU 오버헤드를 줄이고 성능을 향상시키며 에너지 효율을 개선합니다.

이와 대조적으로 NVIDIA ConnectX-7 OSFP NIC와 ConnectX-7 QSFP112 NIC는 고속 연결에 중점을 둔 고급 네트워크 인터페이스 카드입니다. ConnectX-7 OSFP NIC는 단일 포트 400Gb/s 이더넷 또는 NDR InfiniBand를 지원하는 반면, ConnectX-7 QSFP112 NIC는 듀얼 포트 200Gb/s 또는 단일 포트 400Gb/s 구성을 제공합니다. 이러한 NIC는 저지연, 고대역폭 데이터 전송에 탁월하지만 BlueField-3 DPU의 프로그래밍 가능한 컴퓨팅 기능과 독립 OS가 부족합니다. TCP/IP 처리, RDMA(Remote Direct Memory Access), 기본 오프로드와 같은 기존 네트워킹 작업을 처리하도록 설계되었지만 DPU가 제공하는 광범위한 워크로드 격리 및 가속을 지원하지 않습니다.

BlueField-3 DPU의 장점

BlueField-3 DPU는 ConnectX-7 NIC에 비해 여러 가지 장점을 제공하며, 특히 최신 소프트웨어 정의 데이터 센터에 적합합니다.

• 포괄적인 워크로드 오프로드: BlueField-3 DPU는 소프트웨어 정의 네트워킹(SDN), 스토리지(예: NVMe-oF), 보안(예: 방화벽, DDoS 완화)을 포함한 광범위한 작업을 오프로드하고 가속화할 수 있습니다. 이를 통해 호스트 CPU의 컴퓨팅 부하를 줄여 수익 창출 애플리케이션에 집중할 수 있습니다. 예를 들어, BlueField-3는 HPC/AI MPI 집합 연산을 처리하여 대규모 슈퍼컴퓨팅 환경에서 최대 20%의 속도 향상과 상당한 비용 절감 효과를 제공합니다.
• 독립형 컴퓨팅 플랫폼: 16개의 Arm 코어와 독립형 OS를 갖춘 BlueField-3 DPU는 독립형 컴퓨팅 노드로 작동하여 마이크로 세그먼테이션, 멀티 테넌시, 엣지 컴퓨팅과 같은 고급 사용 사례를 지원합니다. 이는 확장성과 보안이 중요한 AI 팩토리 및 클라우드 네이티브 환경에 특히 유용합니다.
• 강화된 보안: DPU의 워크로드 격리 기능은 제로 트러스트 보안을 보장하여 AI 모델과 중요 데이터를 위협으로부터 보호합니다. 예를 들어, F5의 BIG-IP Next for Kubernetes와 함께 BlueField-3는 통합 방화벽, DDoS 완화 및 API 보호 기능을 제공하여 AI 워크로드를 위한 안전한 아키텍처를 구축합니다.
• 에너지 효율성: BlueField-3는 CPU의 작업 부담을 줄여 전력 소비를 줄여 지속 가능한 데이터 센터에 이상적입니다. 높은 메모리 대역폭과 하드웨어 가속기를 통해 와트당 성능을 더욱 최적화합니다.

ConnectX-7 NIC의 장점

BlueField-3 DPU가 인프라 작업에 강력한 성능을 제공하는 반면, ConnectX-7 OSFP 및 QSFP112 NIC도 고유한 장점을 가지고 있습니다.

• 단순성과 비용 효율성: ConnectX-7 NIC는 DPU의 추가 컴퓨팅 오버헤드 없이 고속 네트워킹에 최적화되어 있습니다. 고성능 컴퓨팅(HPC) 클러스터 또는 기존 데이터 센터 네트워킹과 같이 간단하고 지연 시간이 짧은 연결이 필요한 애플리케이션에 이상적입니다.
• 유연한 포트 구성: ConnectX-7 QSFP112 NIC는 듀얼 포트 200Gb/s 또는 싱글 포트 400Gb/s 옵션을 제공하여 다양한 네트워크 토폴로지에 유연성을 제공합니다. 싱글 포트 400Gb/s 설계의 OSFP NIC는 고대역폭 단일 연결 시나리오에 적합합니다.
• 복잡성 감소: 고급 오프로드나 프로그래밍 기능이 필요하지 않은 환경에서 ConnectX-7 NIC는 더 간단한 배포 모델을 제공하여 DPU의 프로그래밍 가능 아키텍처에 비해 설정 및 유지 관리 복잡성을 줄입니다.

사용 사례 시나리오

BlueField-3 DPU와 ConnectX-7 NIC 중 어떤 것을 선택할지는 데이터 센터의 특정 요구 사항에 따라 달라집니다.

• BlueField-3 DPU: 최신 소프트웨어 정의 데이터 센터, AI 팩토리, 엣지 컴퓨팅 환경에 가장 적합합니다. 클라우드 네이티브 슈퍼컴퓨팅, NVMe-oF 스토리지, 제로 트러스트 보안 등 광범위한 워크로드 오프로드가 필요한 시나리오에서 탁월한 성능을 발휘합니다. 예를 들어, Oracle Cloud Infrastructure(OCI)은 BlueField-3를 통합하여 네트워킹 및 보안을 최적화하고 클라우드 성능을 향상시킵니다.
• ConnectX-7 NIC: 고속, 저지연 연결이 주요 요구 사항인 기존 네트워킹 작업에 이상적입니다. HPC 클러스터, 비디오 스트리밍 또는 고급 컴퓨팅 오프로드가 필요하지 않은 네트워크 집약적 애플리케이션에 적합합니다.

NVIDIA 생태계와의 통합

BlueField-3 DPU와 ConnectX-7 NIC는 모두 NVIDIA의 DOCA 소프트웨어 개발 키트(SDK)를 활용하여 프로그래밍 기능을 향상시키고 혁신을 가속화합니다. 특히 BlueField-3 DPU는 DOCA와의 긴밀한 통합을 통해 개발자가 네트워킹, 스토리지 및 보안을 위한 맞춤형 애플리케이션을 개발할 수 있도록 지원합니다. 따라서 DPU는 차세대 데이터 센터를 위한 더욱 다재다능한 플랫폼으로 자리매김할 수 있습니다. 또한, BlueField-3는 DGX SuperPOD와 같은 NVIDIA AI 시스템과 호환되어 대규모 AI 배포 환경에서 원활한 성능을 보장합니다.

BlueField-3 DPU의 고급 기능 및 성능 측정 기준

업계 논의에서 강조된 최근의 발전 및 구축 사례를 바탕으로, BlueField-3 DPU는 특히 고성능 컴퓨팅(HPC), AI 및 클라우드 환경에서 ConnectX-7 NIC와 차별화되는 고유한 기능을 제공합니다. 아래에서는 이러한 기술을 더욱 차별화하는 데 도움이 되는 추가 기능, 성능 지표 및 실제 적용 사례를 살펴보겠습니다.

AI 및 HPC 워크로드를 위한 고급 오프로드

BlueField-3 DPU는 호스트 CPU에서 중요한 작업을 오프로드하여 AI 및 HPC 환경의 집중적인 요구를 처리하도록 설계되었습니다. 업계 분석에 따르면 BlueField-3는 AI 및 HPC 클러스터의 분산 컴퓨팅에 필수적인 MPI(Message Passing Interface) 집합 연산을 가속화할 수 있습니다. 이를 통해 NVIDIA의 DGX SuperPOD 구축 사례에서 입증된 바와 같이 대규모 슈퍼컴퓨팅 작업에서 최대 20%의 성능 향상을 달성할 수 있습니다. 반면, ConnectX-7 NIC는 RDMA 및 고속 데이터 전송을 지원하지만 이러한 복잡한 오프로드를 처리할 수 있는 프로그래밍 가능한 컴퓨팅 기능이 부족하여 컴퓨팅 가속보다는 연결성 향상에 그 역할이 제한됩니다.

NVMe-oF를 통한 스토리지 가속

BlueField-3 DPU는 스토리지 가속, 특히 NVMe over Fabrics(NVMe-oF)에서 탁월한 성능을 발휘합니다. 하드웨어 가속기를 활용하여 분산 스토리지 시스템의 지연 시간을 줄이고 처리량을 향상시킵니다. 예를 들어, BlueField-3는 CPU 사용량을 최소화하면서 NVMe-oF 워크로드를 처리할 수 있어 소프트웨어 기반 솔루션 대비 최대 2배 높은 IOPS(초당 입출력 작업 수)를 달성합니다. ConnectX-7 NIC는 RoCE(RDMA over Converged Ethernet)와 같은 RDMA 프로토콜을 통해 NVMe-oF를 지원하지만, 대부분의 스토리지 작업을 호스트 CPU에 의존하기 때문에 복잡한 스토리지 워크로드에는 효율이 떨어집니다.

클라우드 기반 환경을 위한 보안 및 격리

클라우드 네이티브 환경에서 BlueField-3 DPU는 워크로드 격리 및 제로 트러스트 아키텍처를 통해 강력한 보안 기능을 제공합니다. 방화벽 및 침입 탐지 시스템과 같은 가상화된 보안 기능을 DPU에서 직접 실행하여 호스트 시스템의 공격 범위를 줄일 수 있습니다. 예를 들어, F5의 BIG-IP Next for Kubernetes와의 통합을 통해 BlueField-3는 Kubernetes 클러스터에서 AI 워크로드를 보호하는 데 필수적인 고급 API 보호 및 DDoS 완화 기능을 제공할 수 있습니다. ConnectX-7 NIC는 IPsec과 같은 기본적인 보안 오프로드를 지원하지만, 이러한 포괄적인 보안 기능에 필요한 독립적인 컴퓨팅 플랫폼이 부족합니다.

실제 배포 및 생태계 시너지

BlueField-3 DPU는 Oracle Cloud Infrastructure(OCI) 및 NVIDIA 자체 AI 팩토리와 같은 최첨단 구축 환경에 도입되었습니다. OCI 환경에서 BlueField-3는 네트워크 가상화 및 스토리지 가속을 최적화하여 데이터 집약적인 워크로드에서 클라우드 성능을 최대 30% 향상시킵니다. 또한 NVIDIA DOCA SDK와의 통합을 통해 개발자는 실시간 분석이나 엣지 AI와 같은 특정 사용 사례에 맞춰 맞춤형 애플리케이션을 구축할 수 있습니다. ConnectX-7 NIC는 NVIDIA 네트워킹 생태계에 필수적인 요소이지만, HPC 클러스터나 데이터센터 백본과 같이 고속 상호 연결이 필요한 시나리오에서 주로 사용되며, 동일한 수준의 프로그래밍 기능이나 생태계 통합은 제공되지 않습니다.

성능 지표 비교

차이점을 정량화하려면 다음 지표를 고려하세요.

• BlueField-3 DPU: 최대 400Gb/s 처리량, 16개의 Arm A78 코어, 32GB 온보드 DDR4 메모리, 그리고 암호화, 압축 및 저장을 위한 하드웨어 가속기를 탑재했습니다. OVS(Open vSwitch) 및 NVMe-oF와 같은 작업의 부하를 분산시켜 가상화 환경에서 CPU 사용률을 최대 50%까지 줄일 수 있습니다.
• ConnectX-7 OSFP NIC: 단일 포트 400Gb/s 이더넷 또는 NDR InfiniBand, 저지연 RDMA(서브 마이크로초 지연)에 최적화되었지만, 독립적인 처리를 위한 온보드 컴퓨팅 코어나 메모리는 없습니다.
• ConnectX-7 QSFP112 NIC: 듀얼 포트 200Gb/s 또는 싱글 포트 400Gb/s, OSFP와 유사한 RDMA 성능을 제공하지만, 컴퓨팅 집약적 작업보다는 유연한 포트 구성에 적합하게 설계되었습니다.

이러한 측정 기준은 BlueField-3 DPU가 네트워킹과 컴퓨팅 작업을 모두 처리할 수 있는 능력을 보여주며, 연결성에만 최적화된 ConnectX-7 NIC에 비해 현대적 데이터 센터에 더욱 다양한 용도로 활용할 수 있는 솔루션임을 보여줍니다.

올바른 솔루션 선택

AI 팩토리, 클라우드 네이티브 데이터 센터 또는 엣지 컴퓨팅 솔루션을 구축하는 조직에게 BlueField-3 DPU는 프로그래밍 기능, 워크로드 오프로드, 보안 기능 덕분에 탁월한 선택입니다. 예를 들어, AI 학습 클러스터에서 BlueField-3는 NVIDIA DGX H100 시스템에서 볼 수 있듯이 통신 작업을 오프로드하여 학습 시간을 단축할 수 있습니다. 반대로, ConnectX-7 NIC는 고급 컴퓨팅 오프로드 없이도 고속, 저지연 연결이 주요 요구 사항인 엔터프라이즈 데이터 센터 또는 HPC 클러스터와 같은 기존 네트워킹 환경에 더 적합합니다.

간단한 설명: DPU가 스마트 NIC보다 우수한 이유

NVIDIA는 DPU 기반 스마트 NIC를 일반적으로 시스템 CPU에서 처리하는 작업을 오프로드하는 네트워크 인터페이스 카드로 정의합니다. 온보드 프로세서를 사용하여 DPU 기반 SmartNIC는 암호화/복호화, 방화벽, TCP/IP 및 HTTP 처리 작업의 조합을 수행할 수 있습니다. 기본적으로 다양한 작업에서 CPU를 지원하고 네트워크 보안 관련 작업을 독립적으로 처리할 자체 CPU가 있습니다.

NVIDIA BlueField-3 DPU 개요

하이퍼스케일 클라우드 기술로 인한 데이터 센터 아키텍처의 변화를 해결하기 위해 NVIDIA는 BlueField DPU 시리즈를 출시했습니다. 이 새로운 프로세서는 데이터 센터 인프라 소프트웨어를 위해 특별히 설계되어 가상화, 네트워킹, 스토리지, 보안 및 기타 클라우드 네이티브 AI 서비스에서 생성된 방대한 계산 워크로드를 오프로드하고 가속화합니다.

NVIDIA BlueField-3 DPU의 시스템 레이아웃

BlueField-3는 서버의 PCIe 경로에 통합된 "독립 노드"로 기능합니다.

1. ARM + OS: 원래 호스트 OS에서 처리하던 다양한 작업을 오프로드할 수 있습니다.
2. 통합 가속기: 데이터 처리, 보안 및 저장의 효율성을 향상시킵니다.
3. PCIe 스위치 칩: NVMe SSD 확장 캐비닛에서 사용할 수 있습니다.
4. BMC 칩: 클라우드 환경에서 원래 호스트 리소스를 독립적으로 관리할 수 있습니다.

BlueField-3의 권장 사용 사례

NVIDIA® BlueField®-3 DPU는 400세대 인프라 컴퓨팅 플랫폼으로, 기업이 클라우드에서 코어 데이터 센터 및 에지 환경까지 소프트웨어 정의, 하드웨어 가속 IT 인프라를 구축할 수 있도록 합니다. 400Gb/s 이더넷 또는 NDR 3Gb/s InfiniBand 네트워크 연결을 통해 BlueField-XNUMX DPU는 소프트웨어 정의 네트워킹, 스토리지, 보안 및 관리 기능을 오프로드, 가속 및 격리하여 데이터 센터 성능, 효율성 및 보안을 크게 향상시킬 수 있습니다.

VMware Private Cloud에서 BlueField-3의 예제 적용

NVIDIA DPU 로드맵

BlueField-3 DPU의 기능과 응용 분야를 이해함으로써 기업은 이 기술을 효과적으로 활용하여 현대적 데이터 센터의 요구 사항을 충족하고 견고하고 확장 가능하며 안전한 인프라를 보장할 수 있습니다.