NVIDIA ConnectX-7 400GbE 및 NDR Infiniband NIC 소개

NVIDIA ConnectX-7 제품군의 네트워크 어댑터는 InfiniBand 및 이더넷 프로토콜을 모두 지원하여 광범위한 네트워킹 요구 사항에 맞는 다목적 솔루션을 제공합니다. 이러한 어댑터는 지능적이고 확장 가능하며 기능이 풍부한 네트워킹 기능을 제공하도록 설계되어 기존 엔터프라이즈 애플리케이션의 요구 사항은 물론 AI, 과학 컴퓨팅 및 하이퍼스케일 클라우드 데이터 센터의 고성능 워크로드를 충족합니다.

ConnectX-7 네트워크 어댑터는 스탠드업 PCIe 카드와 OCP(Open Compute Project) 사양 3.0 카드의 두 가지 폼 팩터로 제공됩니다. 이러한 유연성을 통해 사용자는 특정 배포 요구 사항에 가장 적합한 어댑터를 선택할 수 있습니다.

400Gbps 네트워크는 PCIe Gen5 x16 슬롯에서 처리할 수 있는 새로운 기능입니다. NDR 400Gbps를 사용하기 위한 구성을 살펴보겠습니다. 인피니밴드/400GbE.

앵글 1샷 NVIDIA ConnectX 7 400G OSFP의

MCX75310AAS-NEAT 어댑터의 하드웨어 개요

ConnectX-7(MCX75310AAS-NEAT)은 PCIe Gen5 x16 슬롯용으로 설계된 로우 프로파일 카드입니다. 아래 이미지는 전체 높이 브래킷을 보여주지만 상자에 로우 프로파일 브래킷도 포함되어 있습니다.

앞에 엔비디아 ConnectX 7 400G OSFP

냉각 솔루션의 크기에 주목할 가치가 있습니다. 그러나 NVIDIA는 이러한 네트워크 어댑터의 전원 사양을 공개하지 않습니다.

각도 2 샷 NVIDIA ConnectX 7 400G OSFP의

다음은 방열판 백플레이트가 있는 카드 뒷면입니다.

NVIDIA ConnectX 7 400G OSFP 카드 뒷면

다음은 PCIe Gen5 x16 커넥터에서 본 카드의 측면도입니다.

NVIDIA ConnectX 7 400G OSFP 커넥터 각도

이것은 카드 상단에서 본 카드의 또 다른 모습입니다.

NVIDIA ConnectX 7 400G OSFP 상단 각도

대부분의 서버에서 공기 흐름 방향에서 본 모습입니다.

이것은 400Gbps의 속도로 작동하는 평평한 단일 포트 카드입니다. 엄청난 양의 대역폭을 제공합니다.

NVIDIA ConnectX-7 400G 어댑터 설치

이러한 카드의 가장 중요한 측면 중 하나는 속도를 활용할 수 있는 시스템에 설치하는 것입니다.

ConnectX-7 어댑터 카드의 설치 절차에는 다음 단계가 포함됩니다.

1. 시스템의 하드웨어 및 소프트웨어 요구 사항을 확인하십시오.
2. 호스트 시스템 내의 공기 흐름 고려 사항에 주의하십시오.
3. 안전 예방 조치를 따르십시오.
4. 패키지의 포장을 풉니다.
5. 사전 설치 체크리스트를 따르십시오.
6. (선택 사항) 전체 높이 장착 브래킷을 제공된 짧은 브래킷으로 교체하십시오.
7. 시스템에 ConnectX-7 PCle x16 어댑터 카드/ConnectX-7 2x PCle x16 소켓 다이렉트 어댑터 카드를 설치합니다.
8. 케이블 또는 모듈을 카드에 연결합니다.
9. 시스템에서 ConnectX-7을 식별합니다.

NVIDIA ConnectX 111 7Gbps 어댑터를 탑재한 Supermicro SYS 400C NR 1

다행스럽게도 우리는 이러한 장치를 Supermicro SYS-111C-NR 1U 및 Supermicro SYS-221H-TNR 2U 서버에 성공적으로 설치했으며 잘 작동하고 있습니다.

NVIDIA ConnectX 111 7Gbps 어댑터를 탑재한 Supermicro SYS 400C NR 2

SYS-111C-NR은 시스템을 설정할 때 슬롯 간의 연결에 대해 걱정할 필요가 없기 때문에 더 많은 유연성을 제공하는 단일 슬롯 노드 서버입니다. 10/40Gbps 또는 심지어 25/50Gbps 속도에서 CPU 슬롯 간의 연결을 통한 성능 문제에 대한 논의가 있었습니다. 100GbE의 등장으로 슬롯 간 연결을 피하기 위해 각 CPU에 네트워크 어댑터를 사용하는 문제가 더욱 두드러지고 널리 퍼졌습니다. 400GbE 속도의 네트워크를 사용할 때 그 영향은 훨씬 더 뚜렷하고 심각합니다. 단일 400GbE NIC를 사용하는 이중 슬롯 서버의 경우 각 CPU에 직접 연결되는 여러 호스트 어댑터를 살펴보는 것이 고려할 가치가 있는 옵션일 수 있습니다.

OSFP 대 QSFP-DD

카드가 설치되면 다음 도전이 시작되었습니다. 이 카드는 OSFP 케이지를 사용하지만 400GbE 스위치는 QSFP-DD.

NVIDIA ConnectX 111 7Gbps 어댑터를 탑재한 Supermicro SYS 400C NR 4

이 두 표준은 전력 수준과 물리적 설계에 약간의 차이가 있습니다. 변환이 가능하다 QSFP-DD OSFP로 전환할 수 있지만 그 반대는 불가능합니다. OSFP 광학 또는 DAC를 본 적이 없다면 고유한 열 관리 솔루션이 있습니다. QSFP-DD는 일반적으로 소켓 상단의 방열판을 사용하는 반면 OSFP는 일반적으로 실험실의 OSFP DAC 및 광학 장치에 냉각 솔루션을 포함합니다.

OSFP 및 QSFP-DD 커넥터 1

이것은 까다로운 것입니다. OSFP DAC와 OSFP-QSFP-DD DAC 모두 방열판 냉각 솔루션을 사용합니다. 그리고 DAC의 직접 냉각으로 인해 OSFP 플러그가 DAC의 OSFP 포트에 삽입되지 않습니다. ConnectX-7 NIC.

NVIDIA는 전력 수준이 더 높기 때문에 OSFP를 사용할 가능성이 높습니다. OSFP는 15W 광학 장치를 허용하는 반면 QSFP-DD는 12W만 지원합니다. 전력 한도가 높으면 초기 채택 단계에서 조기 채택이 더 쉬워질 수 있으며, 이것이 24W CFP8 모듈과 같은 제품을 사용할 수 있는 이유 중 하나입니다.

가능하면 ConnectX-7 인서트의 OSFP 쪽 방열판 크기에 유의하십시오. QSFP/QSFP-DD에 익숙하다면 모든 장치가 연결되어 제대로 작동하지만 커넥터 크기와 같은 사소한 문제가 발생하면 더 큰 문제가 발생할 수 있습니다. 그러나 솔루션 제공자라면 전문적인 서비스 지원을 제공할 수 있는 기회이기도 합니다. NVIDIA 및 PNY와 같은 유통업체도 LinkX 케이블을 판매하는데 이는 더 편리한 옵션이었을 것입니다. 이것은 귀중한 교훈입니다.

다음으로 이 모든 것을 설정하고 작업을 시작하겠습니다.

소프트웨어 설정 NDR InfiniBand 대 400GbE

물리적 설치 외에도 서버의 소프트웨어 작업도 수행했습니다. 다행히 이 부분이 가장 쉬웠습니다. 우리는 Supermicro의 MT2910 시리즈 ConnectX-7 어댑터를 사용했습니다.

엔비디아 MT2910 Lshw

빠른 OFED(OpenFabrics Enterprise Distribution) 설치 및 재부팅을 수행하면

시스템을 준비했습니다.

OFED 설치 후 NVIDIA MT2910 Lshw

이더넷에서 Broadcom Tomahawk 4 스위치를 사용하고 InfiniBand 모드에서 직접 실행 중이므로 링크 유형도 변경해야 합니다.

프로세스는 간단하며 Linux에서 Mellanox ConnectX VPI 포트를 이더넷 또는 InfiniBand로 변경하는 것과 유사합니다.

다음은 기본 프로세스입니다.

0. OFED 설치 및 펌웨어 업데이트

이것은 카드가 제대로 작동하는지 확인하는 데 필요한 단계입니다.

MLNX_OFED_LINUX 설치 중에 NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910 시리즈

프로세스는 매우 간단합니다. 먼저 운영 체제에 필요한 버전을 다운로드하고 다운로드에 제공된 스크립트를 사용하여 드라이버를 설치합니다. 표준 설치 프로그램은 카드의 펌웨어도 업데이트합니다.

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX 펌웨어 업데이트 설치

서버를 재부팅한 후 OFED를 설치하면 NVIDIA ConnectX-7 MCX75310AAS-NEAT가 400GbE이고 NDR IB(InfiniBand)가 가능함을 알 수 있습니다. NDR IB는 기본 모드로 설정됩니다.

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig

이를 이더넷으로 전환하려면 세 가지 간단한 단계만 있으면 됩니다.

1. ConnectX-7 장치 찾기

특히 시스템에 다른 장치가 있는 경우 변경할 올바른 장치를 찾아야 합니다. 카드가 XNUMX개만 있으면 쉽게 할 수 있습니다.

lspci | 그렙 멜라녹스

16:00.0 Infiniband 컨트롤러: Mellanox Technologies MT2910 제품군 [ConnectX-7]

여기에서 이제 장치가 16:00.0에 있음을 알 수 있습니다(위 스크린샷에서 볼 수 있음).

2. mlxconfig를 사용하여 ConnectX-7 장치를 NDR Infiniband에서 이더넷으로 변경합니다.

다음으로 장치 ID를 사용하여 Infiniband의 링크 유형을 변경합니다.

sudo mlxconfig -d 16:00.0 설정 LINK_TYPE_P1=2

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig는 링크 유형을 이더넷으로 설정합니다.

여기서 LINK_TYPE_P1=2는 P1(포트 1)을 2(이더넷)로 설정합니다. 기본 LINK_TYPE_P1=1은 P1(포트 1)이 1(NDR InfiniBand)로 설정되었음을 의미합니다. 다시 변경해야 하는 경우 프로세스를 반대로 하면 됩니다.

3. 시스템 재부팅

빠른 재부팅 후 이제 ConnectX-7 이더넷 어댑터가 있습니다.

NVIDIA ConnectX 7 MT2910을 위한 다양한 이더넷 속도 옵션

이 400Gbps 어댑터는 여전히 1GbE 속도를 지원합니다.

F음식과 호환성 엔비디아 커넥트X-7

퍼포먼스

NVIDIA ConnectX 7 400Gbps NDR 인피니밴드

물론 다른 많은 성능 옵션을 사용할 수 있습니다. InfiniBand 및 이더넷에서 300Gbps에서 400Gbps 사이의 속도를 달성할 수 있습니다. 이더넷의 경우 초기 연결이 400GbE에 불과하기 때문에 200GbE 속도에 도달하는 데 약간의 도움이 필요하지만 성능 튜닝 측면에서 많은 작업을 수행하지는 않습니다.

NVIDIA ConnectX 7 400GbE 성능

이러한 속도는 달성할 수 있는 400Gbps 범위에 있으며, 우리가 사용하는 속도의 XNUMX배가 훨씬 넘습니다. 100Gbps 어댑터, 그리고 아주 짧은 시간에. 그러나 다음을 강조하는 것이 중요합니다. off400GbE 속도로 로딩하는 것이 매우 중요합니다. 25GbE 및 100GbE 속도에서 우리는 DPU와 같은 장치가 off일반적인 네트워킹 작업을 위해 CPU를 로드합니다. 지난 20년 동안 최신 CPU 코어의 속도는 40~100% 증가했으며 네트워크 대역폭은 400GbE에서 XNUMXGbE로 증가했습니다. 결과적으로 다음과 같은 기술 RDMA off로드 및 OVS/확인 offCPU 사용을 최소화하기 위해 부하가 중요해졌습니다. 이것이 이전 Nvidia Mellanox 사업부가 몇 안 되는 회사 중 하나인 이유입니다. off현재 400Gbps 어댑터를 사용하고 있습니다.