NVIDIA ConnectX 시리즈 NIC를 InfiniBand에서 이더넷 모드로 전환: 단계별 가이드

ConnectX-4, ConnectX-5, ConnectX-6과 같은 모델을 포함한 NVIDIA ConnectX Virtual Protocol Interconnect(VPI) 시리즈 네트워크 인터페이스 카드(NIC) 커넥트X-7및 ConnectX-8(일반적으로 CX-4/5/6/7/8로 약칭)은 업계에서 보기 드문 듀얼 모드 어댑터입니다. 단일 카드로 하드웨어 교체 없이 InfiniBand(IB)와 이더넷 물리적 네트워크 간 원활한 전환이 가능합니다. 이러한 다재다능함은 IB 모드에서 작동할 때 고성능 컴퓨팅(HPC) 및 AI 클러스터에서 RDMA 지원 초저지연 환경을 지원하는 동시에 기존 데이터센터 이더넷 인프라에도 손쉽게 통합됩니다. 이러한 접근 방식은 투자 보호를 극대화하고 원활한 네트워크 진화를 촉진합니다.

이 가이드는 200G CX-6 NIC를 예로 들어 InfiniBand 모드에서 이더넷 모드(전송 계층에서 RoCE v2 프로토콜 사용)로 전환하는 자세한 단계별 프로세스를 제공합니다. 호스트 운영 체제는 CentOS 7입니다. 이 지침은 유사한 ConnectX VPI 모델에도 적용 가능하며, 다음과 같은 구성을 개선할 수 있습니다. NVIDIA ConnectX 이더넷 스위칭, InfiniBand에서 RoCE v2로 마이그레이션및 듀얼 모드 NIC 설정.

사전 조건

• 호스트 시스템에 호환되는 NVIDIA ConnectX VPI NIC가 설치되어 있습니다.
• mst 및 mlxconfig를 포함하여 Mellanox Firmware Tools(MFT) 패키지가 설치되었습니다.
• CentOS 7 호스트에 대한 루트 액세스.
• Linux 명령줄 작업에 대한 기본적인 지식이 필요합니다.

1단계: Mellanox 소프트웨어 도구 서비스 시작

호스트에서 MST 서비스를 시작하여 장치 관리를 활성화합니다.

본문

systemctl 시작 mst

2단계: NIC 장치 상태 확인

Mellanox 장치의 상태를 확인하세요.

본문

mst 상태

출력은 VPI NIC 장치를 식별하며, 일반적으로 /dev/mst/mt4123_pciconf0(또는 하드웨어에 따라 유사한 식별자)로 표시됩니다. 자세한 내용은 이미지 1의 예를 참조하십시오.

3단계: 현재 NIC 구성 쿼리

mlxconfig 도구를 사용하여 링크 유형을 검사합니다.

본문

mlxconfig -d /dev/mst/mt4123_pciconf0 q

이 명령은 각 포트의 현재 링크 유형을 보여줍니다. 1은 InfiniBand(IB)를 나타내고, 2는 이더넷을 나타냅니다. 그림 2의 예에서 포트 1(P1)은 이더넷으로 구성되어 있습니다. IB로 전환해야 하는 경우 4단계로 진행하세요.

4단계: 원하는 링크 유형 설정

포트 1(P1)에 대한 구성 변경 사항을 적용합니다. mst 상태 출력에 따라 필요에 따라 장치 경로를 변경합니다.

이더넷 모드로 전환하려면:

mlxconfig -d /dev/mst/mt4123_pciconf0 LINK_TYPE_P1=2로 설정

InfiniBand 모드로 전환하려면:

mlxconfig -d /dev/mst/mt4123_pciconf0 LINK_TYPE_P1=1로 설정

5단계: 호스트 재부팅

펌웨어 변경 사항을 적용하려면 시스템을 다시 시작하세요.

본문

재부팅

6단계: 이더넷 포트 IP 주소 구성

이더넷 모드로 재부팅한 후 인터페이스 이름을 확인하세요.

본문

ifconfig -a

/etc/sysconfig/network-scripts/에 구성 파일을 만들거나 편집합니다(예: ifcfg-ethX, ethX를 실제 인터페이스로 바꿉니다).

본문

DEVICE=ethXTYPE=EthernetBOOTPROTO=staticIPADDR=192.168.1.100 # 원하는 IPNETMASK=255.255.255.0GATEWAY=192.168.1.1ONBOOT=yes로 변경

네트워크 서비스를 다시 시작합니다.

본문

systemctl 네트워크 다시 시작

7단계: ethtool을 사용하여 포트 설정 검사 및 조정

ethtool 유틸리티를 사용하여 포트 세부 정보를 확인하세요.

운전자 정보 확인:

ethtool -i ethX

속도를 50Gb/s, 전이중으로 설정하고 자동 협상을 비활성화합니다(예):

ethtool -s ethX 속도 50000 이중 전체 자동 연결 해제

추가 옵션은 ethtool –help를 통해 사용할 수 있습니다. 이 단계는 최적화에 매우 중요합니다. ConnectX NIC 포트 속도 구성 이더넷 환경에서.

8단계: 작동 모드 확인

다음 명령을 사용하여 포트 모드(IB 또는 RoCE v2)를 검증합니다(mlx5_0을 해당 장치로 바꾸세요).

본문

cma_core_mode -d mlx5_0 -p 1

이미지 3의 출력은 RoCE v2 모드를 확인하여 이더넷으로의 성공적인 전환을 나타냅니다.

결론

이제 CX-6 NIC가 RoCE v2를 지원하는 이더넷 모드에서 완벽하게 작동합니다. 이 프로세스를 통해 다운타임을 최소화하고 NVIDIA VPI 기술의 잠재력을 최대한 활용할 수 있습니다. HPC에서 데이터 센터 네트워크로 마이그레이션고급 RoCE v2 튜닝, RDMA 성능 벤치마킹 또는 ConnectX 시리즈 문제 해결에 대해서는 NVIDIA 공식 문서를 참조하거나 전문 네트워크 컨설팅 서비스를 고려해 보세요.