NVIDIA GB200이 800G/1.6T DAC/ACC를 활용하는 방법

NVIDIA는 성능이 크게 향상된 최신 GB200 시리즈 컴퓨팅 시스템을 출시했습니다. 이러한 시스템은 구리 및 광 상호 연결을 모두 활용하므로 시장에서 "구리" 및 "광" 기술의 발전에 대해 많은 논의가 이루어지고 있습니다.

현재 상황: GB200(이전 GH200 포함) 시리즈는 NVIDIA의 '슈퍼칩' 시스템입니다. 기존 서버에 비해 시스템은 주로 캐비닛 내의 전기 신호를 사용하여 연결된 36개 또는 72개의 GPU를 통해 더 큰 입도를 갖습니다. 외부적으로는 NVLink 및 InfiniBand 네트워크를 모두 사용합니다.

구리와 광학 사이의 선택은 본질적으로 거래입니다.off 거리와 속도 사이.

GB200은 광통신의 중요성을 줄입니까?

GH200을 기반으로 하는 GB200 NVL72 시스템의 목표 시나리오는 NVIDIA가 "AI 클라우드/AI 팩토리"로 정의하는 대규모 클러스터, 클라우드 및 플랫폼 유형 고객을 지향합니다. 예상되는 형태는 캐비닛 간 네트워크가 여러 캐비닛으로 구성된 클러스터입니다. 800G 그 이상이 되면 막대한 전기적 손실이 발생하므로 광통신이 필수가 됩니다.

그러나 단일 GB200 시스템만 채택할 수 있는 중소 규모 고객의 경우 타당성은 의문스럽고 기존 서버 또는 클라우드 기반 솔루션이 더 나은 옵션일 수 있습니다(또한 NVIDIA의 차별화 전략의 일부).

GB200의 설계 목표는: 단일 캐비닛으로 AI 추론을 처리할 수 있어 클라우드 가상화 배포에 유리합니다.

GB200 시스템의 최소 단위는 캐비닛이며 추론 성능이 크게 향상되어 대규모 단일 GPU 분산 시스템을 피하면서 대규모 매개변수, 크로스 모달, 대규모 토큰 및 다중 동시 추론 시나리오를 더 잘 처리할 수 있습니다. . 클라우드 IDC 시나리오에서는 향후 대규모 추론 수요(AWS 및 MSFT 평가 참조)에 더 잘 대처할 수 있습니다.

구리 상호 연결의 증가에 대한 시장의 이해는 다음과 같습니다.

이전에는 H100 시리즈 클러스터에는 캐비닛 내부 연결이 아니라 별도의 네트워크 캐비닛이 있었고 칩 속도가 상대적으로 높아 단거리 구리선이 거의 없었습니다.

GB200 시리즈의 경우 캐비닛 내에 구리선이 많지만 NVLink 도메인 및 IB의 광 인터커넥트 확장과 같은 대규모 클러스터의 광 인터커넥트에 대한 수요가 매우 크며 실리콘 포토닉스 및 실리콘 포토닉스의 미래 경로는 다음과 같습니다. 칩-투-칩 광학 I/O는 이미 매우 명확합니다.

Q: GTC 컨퍼런스에서 NVIDIA의 제품 출시는 예상과 어떻게 달랐나요?

A: 이번 GTC 컨퍼런스에서는 GB200이 메인 제품이 되었는데, 원래 예상했던 B100과 B200 제품은 예상대로 출시되지 않았습니다. GB200 칩에는 GPU 2개와 CPU 1개가 포함되어 있으며, 전시된 주요 제품은 서버용으로 GB36 칩 200개로 구성된 단일 캐비닛입니다. 작년에 출시된 GB200에 비해 이번 GB200은 표준 클러스터 제품이 아닌 단일 36카드 캐비닛 제품만 선보였습니다.

Q: GB200 시리즈에서 IP 아키텍처의 역할은 무엇입니까?

A: 캐비닛 간 연결이 필요한 일부 대규모 고객의 경우 IP 아키텍처가 외부 연결에 사용됩니다. 그러나 GB200과 GB200의 차이점은 내부 연결에 있습니다. GB200은 작년의 백플레인 연결 방식이 아닌 m 링크 전기 연결(즉, GPU와 스위치 사이의 구리 상호 연결)을 사용합니다. Huang은 특히 컨퍼런스에서 비용 절감 및 성능 시연 측면에서 구리 상호 연결의 장점을 강조했습니다.

Q: GTC 컨퍼런스에서 Jensen Huang은 구리 상호 연결 솔루션에 대해 특별히 설명했는데, 그 장점은 무엇입니까?

A: 이렇게 중요한 컨퍼런스에서 구리 인터커넥트 솔루션이 구체적으로 설명된 것은 이번이 처음이며, 이는 모든 사람의 큰 관심사이기도 합니다. GPU는 mlink를 통해 연결되어 구리 상호 연결 사용을 확인하며 해당 제품 솔루션은 작년 백플레인 연결 방식과 유사할 수 있습니다. Huang은 비용 절감 및 성능 시연 측면에서 구리 상호 연결의 장점을 강조했습니다.

Q: GB200 시리즈 출시가 시장에 미치는 영향은 무엇입니까?

A: NVIDIA의 차세대 서버 수준 GPU 칩인 GB200 시리즈의 성능 및 효율성 향상은 시장에 큰 영향을 미칠 것입니다. 특히, Copper Interconnect 솔루션을 채택하면 GPU 클러스터의 내부 연결 방식을 변경하여 비용을 절감하고 성능을 향상시킬 수 있습니다. 또한 GB200은 데이터 센터의 설계 및 배치를 변경하여 인공 지능 및 클라우드 컴퓨팅의 발전을 더욱 촉진할 수 있습니다.

Q: GB200 구리 상호 연결의 장점은 무엇입니까?

A: GB200 출시의 하이라이트: GB200 단일 칩에는 GPU 2개와 CPU 1개가 포함되어 있으며, 출시된 주요 제품은 GB36 칩 200개로 구성된 단일 캐비닛 제품입니다. 이는 엔비디아가 광 인터커넥트 기술보다는 전기 인터커넥트(mlink)에 집중하고 있음을 보여준다. 시장 홍보 및 기대: GB200은 널리 채택되지 않은 GH200과 달리 널리 적용될 것입니다. 컨퍼런스에서 Huang의 연설에 따르면, 여러 잠재 주요 고객은 GB200이 높은 볼륨 기대치를 가지고 있다고 제안합니다. 시장에서는 GB200의 프로모션으로 GPU와 광모듈의 비율이 1:2.5에서 1:9로 점진적으로 높아질 수 있고, 내년 GB200의 판매량은 큰 성장 잠재력을 가질 수 있을 것으로 보고 있다.

Q: 백플레인 커넥터의 업계 동향은 무엇입니까?

A: AI 서버, 대형 스위치, 라우터 등에서 백플레인 커넥터의 사용이 점차 늘어나고 있습니다. 이 기술은 또한 직교 제로 백플레인 및 케이블 백플레인 모드로 발전하고 있습니다. 백플레인 케이블은 전송 거리가 길고 배선이 유연하다는 장점이 있지만 상대적으로 비용이 높습니다.

Q: 백플레인 커넥터의 수요와 가격 추세는 어떻습니까?

A: AI 서버에 대한 수요 증가로 인해 백플레인 커넥터에 대한 수요가 늘어나고 있습니다. 케이블 백플레인 모드로의 전환으로 가치도 높아졌으며, 총 가치는 단일 서버 비용의 3~5%를 차지합니다. 이에 따라 업계는 물량과 가격이 모두 상승하는 추세를 보이고 있다.

Q: GB200 출시가 광모듈 산업에 어떤 영향을 미치나요?

A: GB200의 출시는 대부분의 고객이 존재하는 캐비닛 간 연결에 대한 수요를 충족시키기 때문에 광 모듈 업계에 긍정적입니다. 현재 GB200은 1800G의 양방향 대역폭을 갖고 있으며, 1.6T 구성비를 기준으로 광모듈과의 비율은 약 1:9 수준이다. 800G 솔루션을 사용하는 경우 비율은 1:18에 도달할 수 있습니다. 값 차이는 크지 않지만, 1.6T OSFP-XD 광학 모듈 4분기에 대량 생산이 예상됨에 따라 고객은 보다 비용 효율적인 1.6T 솔루션을 사용하려는 경향이 더 커졌습니다. 따라서 광모듈이 업그레이드되면서 현재의 1:2.5에서 1:9로의 추세를 이끌게 됩니다.

Q: GB200과 GH200의 주요 차이점은 무엇입니까?

A: 가장 큰 차이점은 GH 시리즈는 대용량 제품이 아닌 반면, GB200은 Google, Meta, OpenAI, Microsoft, Oracle, Tesla 등 다양한 잠재 고객을 보유하고 있다는 점입니다. 이는 GB200이 광범위한 적용과 대량 채택을 보게 될 것임을 의미합니다.

Q: 내년 1.6T OSFP-XD 광모듈 수요에 대한 시장 전망은 어떻습니까?

A: 내년 1.6T OSFP-XD 광모듈 수요에 대한 시장 기대치는 2만~3만개이며, 당사 모델에서는 2.5만개를 예측하고 있습니다. 이는 독립형 B100 또는 B200 시리즈의 증가하는 수요를 아직 고려하지 않은 것입니다.

Q: GB200은 어떤 유형의 상호 연결 솔루션을 채택했습니까?

A: GB200은 구리 상호 연결 솔루션을 채택하여 비용을 절감합니다. 특히 GB200의 대량 채택으로 인해 이는 광 모듈 수요 증가를 이끄는 중요한 요소가 될 것입니다.

Q: 이번 컨퍼런스에서 황 교수의 발표는 어떤 업계 동향을 반영했나요?

A: 이번 컨퍼런스에서의 그의 발표는 단지 ​​단기적인 화제가 아닌 업계 동향을 반영한 것이라고 볼 수 있습니다. 시간이 지나면서 업계에서는 관련 기업의 성과 전달을 관찰하게 될 것입니다. 이전에 시장에서는 구리와 광 인터커넥트 솔루션에 대한 논쟁이 있었지만, 이제 GB200이 구리 인터커넥트 솔루션을 채택한 것으로 확인되었습니다.

Q: 광모듈 산업의 핵심 투자 대상은 무엇인가?

A: GB200의 대량 채택과 1.6T OSFP-XD 광 모듈에 대한 수요 증가로 FiberMall은 더 많은 관심을 받게 될 것입니다.

Q: 구리 상호 연결 솔루션의 시장 전망은 어떻습니까?

A: 구리 상호 연결 솔루션에 대한 시장의 태도가 변화하고 있습니다. GB200이 구리 상호 연결 솔루션을 채택했다는 사실은 이 솔루션이 향후 더 폭넓게 적용될 수 있음을 나타냅니다. 관련 기업의 성과 제공을 통해 구리 상호 연결 솔루션의 시장 전망은 기대할 가치가 있습니다.

Q: GB200과 GH200의 디자인과 적용의 주요 차이점은 무엇입니까?

A: GB200 디자인은 블레이드 서버와 유사한 연결 방법을 사용하여 스위치, 서버 및 GPU를 동일한 캐비닛에 통합합니다. 스위치의 I/O 인터페이스는 전면에 표시되며 스위치와 GPU 사이의 연결은 구리 백플레인 케이블을 통해 이루어질 가능성이 높습니다. 이에 비해 GH200은 DAC(Direct Attach Cable)와 별도의 연결 설계를 사용한다.

Q: GB200 설계에서 구리 백플레인 케이블은 어떤 역할을 합니까?

답변: 구리 백플레인 케이블은 GB200 설계에서 백플레인 커넥터를 연결하고 스위치와 GPU 보드 간의 상호 연결을 지원하는 등 중요한 역할을 합니다. 이 디자인은 서버와 스위치 간의 신호 전송을 더욱 편리하게 만듭니다.

Q: 백플레인 커넥터의 주요 응용 분야는 무엇입니까?

A: 백플레인 커넥터는 주로 대형 스위치, 라우터, AI 서버에 사용됩니다. 특히 모듈식으로 설계된 서버와 대형 스위치/라우터에서는 이 하위 보드 및 백플레인 아키텍처가 더 일반적입니다.

Q: 백플레인 커넥터의 업계 발전 추세는 어떻습니까?

A: 서버 및 스위치 설계가 발전함에 따라 백플레인 커넥터에 대한 수요는 계속 증가할 것으로 예상됩니다. 특히 대형 스위치, 라우터, AI 서버 분야에서 이러한 커넥터의 적용 전망은 광범위합니다.

Q: 공급 측면의 경쟁 구도는 어떻습니까?

A: 백플레인 커넥터 공급 측면의 경쟁 구도는 상대적으로 안정적입니다. 풍부한 생산 경험과 강력한 공급망 관리 기능을 갖춘 FiberMall은 안정적인 고품질 백플레인 커넥터 제품을 시장에 제공합니다.

Q: GB200의 설계는 백플레인 커넥터 수요에 어떤 영향을 미치나요?

A: GB200의 설계로 인해 AI 서버 및 대형 스위치/라우터에 대한 수요가 증가했으며, 이는 결국 백플레인 커넥터에 대한 수요도 증가했습니다. 이러한 서버 및 스위치 설계 패러다임에서는 백플레인 커넥터에 대한 수요가 크게 증가할 것입니다.

Q: 백플레인 커넥터는 기술 개발 경로에서 어떻게 발전하고 있습니까?

A: 백플레인 커넥터는 두 가지 방향으로 발전하고 있습니다. 하나는 직교 제로 백플레인이고 다른 하나는 케이블 백플레인입니다. GB200은 케이블 백플레인 모드를 채택하여 더 나은 방열, 더 낮은 전송 손실, 더 긴 전송 거리 및 더 유연한 배선을 포함하는 이점을 제공합니다. 그러나 단점은 비용이 더 높다는 것입니다.

Q: 백플레인 커넥터의 수요 측 논리는 무엇입니까?

A: 백플레인 커넥터에 대한 수요는 주로 AI 서버에 의해 주도되며 케이블 백플레인 모드는 기존 백플레인 PCB 모드보다 훨씬 더 높은 가치를 갖습니다. 현재 백플레인 커넥터의 가치는 단일 서버 비용의 약 3~5%를 차지한다.

Q: 백플레인 커넥터의 향후 시장 전망은 어떻습니까?

A: 인공지능, 빅데이터 등 기술의 급속한 발전으로 인해 백플레인 커넥터에 대한 시장 수요는 계속해서 증가할 것입니다. 앞으로 백플레인 커넥터 시장은 더 많은 기회와 도전에 직면할 것이며, 국내외 기업은 시장 수요를 충족하고 경쟁력을 유지하기 위해 기술 R&D와 제품 혁신을 지속적으로 강화해야 합니다.

Q: AI 서버에 사용되는 케이블-백플레인 모드가 주류 트렌드가 될까요?

A: 네, AI 서버에 사용되는 케이블 백플레인 모드가 주류 트렌드가 될 것으로 예상됩니다.