FiberMall은 정책 및 칩의 관점에서 데이터 센터 스위치에 액체 냉각 기술을 도입할 필요성을 분석하고 액체 냉각 기술의 다양한 솔루션의 차별화와 냉각판 액체 냉각 분야에서 Ruijie의 연구 개발 경험 및 성과에 대해 논의합니다. 스위치 및 침지 액체 냉각 스위치.
인터넷, 클라우드 컴퓨팅 및 빅 데이터 서비스의 증가로 데이터 센터의 총 에너지 소비가 증가하고 에너지 효율성이 점점 더 주목 받고 있습니다. 통계에 따르면 데이터 센터의 평균 PUE(Power Usage Effectiveness)는 1.49로, 새로운 대형 데이터 센터의 경우 PUE가 1.25 미만이어야 한다는 요구 사항보다 훨씬 높습니다.
PUE 감소가 임박했습니다. 네트워크 장비 제조업체는 고성능을 보장하면서 전력 소비를 크게 줄일 수 있는 방법은 무엇입니까? 성능과 전력 소비 모두에 영향을 미치는 핵심 요소인 냉각 시스템은 데이터 센터 개혁의 초점이 되었으며 액체 냉각 기술은 고유한 장점으로 인해 주류 냉각 솔루션으로서 점차 전통적인 공기 냉각을 대체하고 있습니다.
에너지 소비와 정책적 관점
PUE 값은 데이터 센터의 총 에너지 소비량과 IT 장비의 에너지 소비량의 비율입니다. PUE 값이 1에 가까울수록 비 IT 장비의 에너지 소비가 적고 에너지 효율 수준이 좋고 데이터 센터가 더 친환경적입니다.
그림 1. PUE 지표
FiberMall은 냉각 시스템의 평균 에너지 소비가 데이터 센터 에너지 소비의 33%로 전체 소비의 XNUMX/XNUMX에 가깝다는 것을 발견했습니다. 이는 기존 데이터센터에서 사용하는 공랭식 시스템이 비열 용량이 부족한 공기를 냉각 매체로 사용하기 때문이다. 장비의 팬에 의해 구동되어 CPU 및 기타 열원에서 라디에이터로 전달된 열을 IT 장비에서 빼앗고 공기는 팬 코일 열교환기 또는 공조 냉각 장치를 순환시켜 냉각됩니다. 공기 냉각의 한계. 따라서 냉각 시스템의 에너지 사용 효율을 해결하는 것은 새로운 정책 환경에서 장비 제조업체가 직면한 기술 반복 과제가 되었습니다.
그림 2. 데이터 센터 에너지 소비 구성
칩 냉각 수요 관점
스위치 칩의 발전으로 고성능 칩 공정(예: 5nm)은 컴퓨팅 성능 단위당 전력 소비를 효과적으로 줄일 수 있습니다. 그러나 스위칭 칩의 대역폭이 51.2Tbps로 증가함에 따라 단일 칩의 총 전력 소비는 약 900W로 증가했습니다. 따라서 디바이스 칩의 방열 문제를 어떻게 해결하느냐가 전체 디바이스의 하드웨어 설계에서 난제가 되었다.
현재의 공랭식 냉각 시스템은 여전히 작동을 지원할 수 있지만 칩 열유속(단위 시간당 단위 면적당 에너지 흐름)이 100W/cm²보다 크면 문제가 차례로 발생합니다.
먼저,, 방열판의 열 저항이 더 감소하면 병목 현상이 발생합니다. 열 전력의 킬로와트에 가까운 작은 칩을 해결할 수 있으려면 방열판이 아키텍처 접근 방식의 더 낮은 전체 열 저항을 사용해야 합니다. 이것은 또한 방열판의 용량 증가가 칩의 증가된 전력 소비의 균형을 맞추려면 더 나은 열전도율과 방열판 설계가 필요함을 의미합니다. 그러나 현재 고성능 공냉식 방열판의 설계 및 처리는 이미 성능 최적화의 한계에 가까운 히트 파이프, 증기 챔버 및 3D VC 지원을 대부분 획득했습니다.
둘째, 스위치 제품의 높이 요구 사항에 따라 제한되며 방열판의 부피를 확장하여 방열 문제를 해결하기 어렵습니다. 칩에서 시작된 열은 칩 쉘, 열 인터페이스 재료, 증기 챔버, 솔더, 히트 파이프 등을 통과하지만 최종적으로 고체 공기의 인터페이스 핀에 달라붙기 때문입니다. 그리고 핀과 공기 사이의 낮은 대류 열 전달 계수 때문에 고전력 칩 냉각에 필요한 방열 면적을 확보하기 위해 열 설계 엔지니어는 방열판의 크기를 계속해서 확장해야 합니다. 서버와 스위치 내부의 사용 가능한 공간을 거의 채우고 있습니다. 공기 냉각 방열의 최종 병목 현상은 공간에 대한 비탄력적인 수요에 대한 핀 구조라고 할 수 있습니다. 또한 풍량을 높이기 위해 팬 속도가 30,000RPM에 도달했으며 항공기는off- 같은 소음은 깊은 고민 개발 및 운영 직원입니다.
최종적으로, 칩 전력 소비가 여전히 증가함에 따라 공기 냉각 시스템의 냉각 용량이 한계에 도달하려고 합니다. 공냉식 방열판이 현재 스위치 냉각 문제를 해결할 수 있다 하더라도 미래에는 102.4/204.8Tbps가 주류가 되고 칩 전력 소비가 더 커지면 공냉식 방열판은 결국 대처할 수 없게 될 것입니다. 따라서 차세대 IT 장비를 위한 고성능 액체 냉각 기술이 등장했습니다. 향후 5~10년 동안 데이터 센터에서 공기 냉각이 점차 액체 냉각으로 대체된다는 것이 업계의 합의가 되었습니다.
액체 냉각 기술의 분류, 장단점
현재 액체 냉각 기술은 주로 단상 액체 냉각과 3상 액체 냉각으로 구분됩니다. COBO 백서 "Co-Packaged or On-Board Optics Switch의 광 연결 설계 고려 사항"에서 Ruijie는 데이터 센터의 IT 장비용 냉각 시스템 형태를 종합적으로 분류하고 분류했습니다(그림 XNUMX).
단상액체냉각이란 냉각수가 열소산 사이클 과정에서 항상 액체를 유지하고 높은 비열용량으로 쉽게 열을 빼앗는 것을 의미합니다.
XNUMX상 액체 냉각이란 방열 과정에서 냉각수가 상변화를 겪는 것을 의미하며 냉각수는 매우 높은 기화 잠열을 통해 장비에서 열을 제거합니다.
반대로 단상 액체 냉각은 복잡성이 낮고 달성하기 쉬우며 방열 용량이 데이터 센터의 IT 장치를 지원하기에 충분합니다. 따라서 현재 단계에서 최선의 선택입니다.
그림 3. 데이터 센터 IT 기기의 주요 방열 모드
단상 액체 냉각은 냉각판 액체 냉각과 침수 액체 냉각으로 구분됩니다. 냉각판 액체 냉각은 액체 냉각판을 장비의 주 가열 장치에 고정하고 냉각판을 통해 흐르는 액체에 의존하여 방열 목적을 달성하기 위해 열을 제거합니다. 이미 슈퍼컴퓨터 데이터 센터를 위한 여러 애플리케이션이 있으며 OCP 위원회는 Open Rack V3.0을 통해 매니폴드 아키텍처 표준의 배포를 추진했습니다.
침수 액체 냉각은 서버 및 기타 장비의 작동으로 발생하는 열을 제거하기 위해 액체의 자연 또는 강제 순환 흐름에 의존하여 전체 시스템을 냉각수에 직접 담그는 것입니다. 디지털 통화 채굴 및 슈퍼 컴퓨팅에 널리 사용되었으며 최근 몇 년 동안 OCP, ODCC 및 기타 조직에서 논의된 뜨거운 주제이기도 합니다. 대규모 클라우드 컴퓨팅 회사의 데이터 센터가 대규모 배포를 수행했습니다.
침수 액체 냉각의 장점은 다음과 같습니다.
- 냉각수가 장비와 직접 접촉하기 때문에 방열 용량이 더 강하고 장치의 과열 위험이 낮습니다.
- 침수 액체 냉각 장비에는 팬이 필요하지 않으므로 장비 진동이 적고 하드웨어 장치의 수명이 길어집니다.
- 침수 액체 냉각실 측 냉각수 공급 온도가 높고 실외 측이 가열하기 쉽습니다. 따라서 방의 위치 선택은 더 이상 공냉식 시대가 아니므로 지역과 온도에 의해 제한됩니다.
물론 침수 액체 냉각에는 높은 비용, 높은 안전 요구 사항 및 높은 부하 베어링 요구 사항을 포함하는 단점도 있습니다.
냉각판 액체 냉각의 장점은 다음과 같습니다.
장비실에는 약간의 변화가 있습니다. 랙, 냉각수 분배 장치(CDU) 및 급수 시스템만 변경하면 됩니다. 또한 냉각판 액체 냉각은 더 많은 유형의 냉각수를 사용할 수 있으며 침수 유형보다 양이 훨씬 적기 때문에 초기 투자 비용이 낮습니다. 또한 냉각판 액체 냉각 산업 체인이 더 성숙하고 시장이 더 수용 가능합니다. 그러나 냉각판에도 몇 가지 제한 사항이 있습니다. 첫째, 액체 라인과 커넥터가 누출되어 장비 손상 및 서비스 중단이 발생할 수 있습니다.
침지식 액체 냉각 스위치의 연구 개발 경험
최근 몇 년 동안 주요 회사는 침수 수냉식 데이터 센터 솔루션을 탐색했으며 Ruijie Network는 주로 구조적 외관, 팬 컷아웃, 재료 호환성에 반영되는 침수 수냉식 스위치의 연구 개발에 더 많은 경험을 축적했습니다. , SI 특성(신호 무결성) 네 가지 측면:
- 구조적 외관
먼저 가장 큰 변화는 전원 공급 장치가 스위치의 후면 패널에서 전면 패널로 옮겨졌다는 것입니다. 패널 인터페이스는 또한 두 개의 전원 공급 장치에 맞도록 스위치 폭을 19인치에서 21-23인치로 늘립니다. 전반적인 인쇄 회로 기판(PCB) 전원 공급 장치 정렬 설계도 변경됩니다.
그림 4. 스위치 외형의 변화
냉각수 비용이 높기 때문에 냉각수 총 사용량을 최대한 절약하기 위해 여분의 공간을 필러로 채워 서버 기반 맞춤형 침지 탱크에서 더 많은 냉각수 공간을 차지하는 목적을 달성했습니다. 그림 5에서 볼 수 있듯이 노란색 블록은 액체를 채우는 데 사용되는 필러입니다.
그림 5. 스위치 구조 진화
- 팬 컷아웃
구조적 변화는 또한 전반적인 팬 클리핑으로 이어집니다. 설계자는 더 이상 스위치용 장치 팬을 설계할 필요가 없을 뿐만 아니라 전원 공급 장치에 대해 팬이 없는 설계를 간단히 선택할 수도 있습니다. 이러한 변화는 PUE 값을 감소시킬 뿐만 아니라 서버실의 소음도 크게 줄입니다.
- 재료 호환성
침수 액체 냉각의 냉각수는 주로 플루오로카본과 다양한 오일로 나뉘기 때문에 스위치는 다음 두 가지 사항에 주의해야 합니다.
- 사용되는 광학 장치의 재료가 밀봉되어 있는지 여부. 밀봉되지 않고 누출이 발생하면 광학 경로 오염으로 인해 신호 감쇠 및 스위치 고장이 발생할 수 있습니다.
- 모든 장치가 냉각수와 물리적 또는 화학적으로 반응하는지 여부. 반응이 발생하면 원래 스위치의 일부 구성 요소의 재료 비율이 변경되어 절연 변경과 같은 위험이 발생합니다. 따라서 비금속 구조 부품, 다양한 전기 부품, TIM 재료, 필러 블록, 플라스틱 손잡이, 행잉 러그 어셈블리, 라벨, 접착제, 커넥터, 케이블 및 인쇄 회로 기판(PCB)은 냉각수와 호환되어야 합니다.
- SI 특성(신호 무결성)
액침식 수냉식 스위치는 액체와 직접 접촉하므로 SI(신호 무결성)가 액체의 영향을 받습니다. 따라서 다음과 같이 PCB 보드에 대한 특별한 요구 사항이 있습니다.
(1) 주요 모델의 표면 실장을 피하십시오.
(2) 내부 신호는 영향을 받지 않으며, 저속 신호는 별다른 주의 없이 표면 실장됩니다.
(3) 임피던스 설계를 개선하기 위해 고속 신호를 표면에 실장해야 합니다.
(4) 표면 라인 길이를 최소화하기 위해 BGA 및 커넥터에서 팬아웃합니다.
(5) 25G 및 50G SerDes의 손실 설계 및 임피던스 설계는 기존의 것과 다릅니다.
냉각판 액체 냉각 스위치의 연구 개발 경험
Ruijie Network는 실리콘 포토닉스 기술의 특별한 특성을 기반으로 냉각판 액체 냉각 스위치를 개발했습니다. 그 중 OBO 기술과 NPO 기술은 가능한 한 MAC 칩에 가깝게 마더보드에 광학 모듈을 패키징하는 것입니다. 그러나 이렇게 하면 열원이 너무 집중되고 예상되는 1RU 고밀도 형태의 설계 요구 사항에 따라 장비 높이가 제한되므로 기존 공랭식 방열판으로는 문제를 해결하기 어렵습니다. 액침식 냉각을 사용하는 경우 광학 링크의 밀봉이 심각하게 어려워집니다.
그림 6. 스위치 구조 진화
이와 관련하여 Ruijie는 냉각판 액체 냉각 방열판을 채택하여 MAC 칩과 주변 광 모듈을 통합 방식으로 덮고 플레이트의 흐름 채널에서 냉각 액체의 흐름을 통해 열을 전달합니다. 또한 액체 파이프라인의 복잡성과 누출 위험을 최소화하기 위해 장치의 다른 가열 구성 요소는 팬으로 냉각됩니다. 냉각판 냉각 솔루션은 일석이조로 두 마리 새를 죽일 수 있습니다. NPO/CPO 고전력 및 고밀도 열원의 방열 요구 사항을 충족할 수 있을 뿐만 아니라 장치의 높이를 매우 얇은 1RU로 줄일 수 있습니다.
Ruijie의 수냉식 스위치 연구 개발 성과
2019년 Ruijie Network는 국내 인터넷 고객과 협력하여 수냉식 32*100Gbps 데이터 센터 스위치 및 해당 기가비트 네트워크 관리 스위치를 제공했습니다. 2022년에 Ruijie Network는 100/200/400G 침수 액체 냉각 스위치와 냉각판 액체 냉각 스위치를 배포하기 시작했습니다.
Ruijie Network는 32포트 100G 데이터 센터 액세스 스위치와 48포트 1G 관리 네트워크 스위치라는 두 개의 상용 침수 액체 냉각 스위치를 출시했습니다. 두 스위치 모두 폭이 21인치이며 3M FC-40 냉각수와 호환됩니다. 전원 공급 장치는 1+1 이중화를 지원합니다. 플러그형 ABS+PC 모듈은 냉각수 비용을 크게 절감합니다. 모듈의 홈은 방열을 위한 액체 흐름을 촉진하고 부력과 중력의 균형을 교묘하게 조정합니다.
2021년 XNUMX월 Global OCP Summit에서 Ruijie Network는 off데이터 센터 및 캐리어 네트워크의 높은 신뢰성 요구 사항을 충족하기 위해 icially 출시된 64*400G 냉각판 수냉식 NPO 스위치.
OIF의 지도 아래 Ruijie Network는 업계의 많은 제조업체와 협력하여 64 OFC Summit에서 800*2022G 냉각판 수냉식 NPO 스위치 구조 프로토타입을 출시했습니다. 전면 패널은 64개의 800G 파이버 커넥터를 지원하며 각 커넥터는 순방향 호환성을 위해 두 개의 400G 포트로 나눌 수도 있습니다. 외부 레이저 소스 모듈의 수는 16개로 증가했습니다. Blind-mate 설계로 인해 사람의 눈에 대한 고출력 레이저의 손상을 방지하고 작동 및 유지 보수 인력의 안전을 더 많이 보장합니다. 스위치 칩과 NPO 모듈은 효율적인 방열을 위해 냉각판 냉각을 지원하여 열유속이 집중되는 문제를 해결합니다. 기존의 플러그형 광 모듈 및 공랭식 솔루션을 사용하는 스위치의 성능과 비교하여 전력 소비가 크게 감소합니다.