Что такое переключатель с жидкостным охлаждением?

FiberMall проанализирует необходимость внедрения технологии жидкостного охлаждения в коммутаторы центров обработки данных с точки зрения политики и чипов и обсудит дифференциацию различных решений технологии жидкостного охлаждения, а также опыт исследований и разработок и достижения Ruijie в области жидкостного охлаждения с холодными пластинами. переключатель и погружной переключатель жидкостного охлаждения.

С ростом Интернета, облачных вычислений и услуг больших данных общее энергопотребление центров обработки данных увеличивается, и все больше внимания уделяется их энергоэффективности. Согласно статистике, средняя эффективность использования энергии (PUE) центра обработки данных составляет 1.49, что намного выше, чем требуемое значение PUE менее 1.25 для нового крупного центра обработки данных.

Снижение PUE неизбежно. Как производители сетевого оборудования могут значительно снизить энергопотребление, обеспечив при этом высокую производительность? В качестве ключевого фактора, влияющего как на производительность, так и на энергопотребление, система охлаждения стала центром реформирования центров обработки данных, и технология жидкостного охлаждения постепенно заменяет традиционное воздушное охлаждение в качестве основного решения для охлаждения благодаря своим уникальным преимуществам.

Потребление энергии и перспективы политики

Значение PUE — это отношение общего энергопотребления центра обработки данных к энергопотреблению ИТ-оборудования. Чем ближе значение PUE к 1, тем меньше энергопотребление неИТ-оборудования, тем лучше уровень энергоэффективности и тем экологичнее центр обработки данных.

ПУЭ

Рисунок 1. Метрика PUE

FiberMall обнаружил, что среднее энергопотребление системы охлаждения достигает 33% от энергопотребления центра обработки данных, что составляет около одной трети от общего потребления. Это связано с тем, что система воздушного охлаждения, используемая в традиционном центре обработки данных, использует в качестве охлаждающей среды воздух с недостаточной удельной теплоемкостью. Приводимое в действие вентилятором в оборудовании, тепло, передаваемое ЦП и другими источниками тепла радиатору, отводится от ИТ-оборудования, а воздух охлаждается за счет циркуляции теплообменника фанкойла или охлаждения кондиционера, что также является ограничение воздушного охлаждения. Таким образом, решение проблемы эффективности использования энергии в системе охлаждения стало задачей итерации технологии, с которой сталкиваются производители оборудования в условиях новой политики.

Состав энергопотребления центра обработки данных

Рисунок 2. Состав энергопотребления центра обработки данных

Перспектива потребности в охлаждении чипов

Благодаря разработке чипов коммутаторов высокопроизводительные чиповые процессы (например, 5-нм) могут эффективно снизить энергопотребление на единицу вычислительной мощности. Однако по мере увеличения пропускной способности чипа коммутации до 51.2 Тбит/с общее энергопотребление одного чипа возросло примерно до 900 Вт. Таким образом, решение проблемы отвода тепла микросхемы устройства стало проблемой при разработке аппаратного обеспечения всего устройства.

Хотя текущая система охлаждения с воздушным охлаждением все еще может поддерживать работу, когда тепловой поток чипа (поток энергии на единицу площади в единицу времени) превышает 100 Вт/см², проблемы будут возникать одна за другой:

Firstузким местом становится дальнейшее снижение теплового сопротивления радиатора. Чтобы иметь возможность выделять небольшой чип почти киловатт тепловой мощности, радиатор должен использовать более низкое общее тепловое сопротивление архитектурного подхода. Это также означает, что необходимы лучшая теплопроводность и конструкция радиатора, если увеличенная мощность радиатора должна компенсировать возросшее энергопотребление чипа. Но в настоящее время проектирование и обработка высокопроизводительных радиаторов с воздушным охлаждением в основном получили поддержку тепловых трубок, испарительных камер и 3D VC, которые уже близки к пределу оптимизации производительности.

Во-вторых, ограниченный требованиями к высоте переключателей, трудно решить проблему отвода тепла за счет увеличения объема радиатора. Потому что тепло, исходящее от чипа, проходит через оболочку чипа, материалы теплового интерфейса, испарительную камеру, припой, тепловую трубку и т. д., но в конечном итоге застревает в ребрах интерфейса твердого воздуха. А из-за низкого коэффициента конвективной теплопередачи между ребрами и воздухом, чтобы обеспечить необходимую площадь рассеивания тепла для охлаждения мощного чипа, инженерам-теплопроектировщикам приходится многократно увеличивать размер радиатора, почти заполнив доступное пространство внутри серверов и коммутаторов. Можно сказать, что последним узким местом рассеивания тепла при воздушном охлаждении является его ребристая структура из-за неэластичного требования к пространству. Кроме того, чтобы увеличить объем воздуха, скорость вращения вентилятора достигла 30,000 XNUMX об/мин, и самолет принялoffШум, подобный шуму, глубоко беспокоит разработчиков и операционный персонал.

в заключение, поскольку энергопотребление чипа все еще растет, охлаждающая способность системы воздушного охлаждения вот-вот достигнет своего предела. Даже если радиаторы с воздушным охлаждением могут решить текущую проблему охлаждения коммутаторов, в будущем, когда 102.4/204.8 Тбит/с станут массовыми, а энергопотребление чипов возрастет, радиаторы с воздушным охлаждением в конечном итоге не справятся. Таким образом, для следующего поколения ИТ-оборудования появляется более производительная технология жидкостного охлаждения. В ближайшие 5-10 лет в отрасли сложился консенсус, что воздушное охлаждение будет постепенно заменяться жидкостным охлаждением в центрах обработки данных.

Классификация, преимущества и недостатки технологии жидкостного охлаждения

Текущая технология жидкостного охлаждения в основном делится на однофазное жидкостное охлаждение и двухфазное жидкостное охлаждение. В официальном документе COBO «Вопросы проектирования оптического подключения в совместно упакованном или встроенном оптическом коммутаторе» Ruijie всесторонне разобрал и классифицировал формы систем охлаждения для ИТ-оборудования в центрах обработки данных (рис. 3).

Однофазное жидкостное охлаждение означает, что теплоноситель всегда поддерживает жидкость в процессе цикла отвода тепла и легко отводит тепло за счет высокой удельной теплоемкости.

Двухфазное жидкостное охлаждение означает, что хладагент претерпевает фазовый переход в процессе отвода тепла, а хладагент отводит тепло от оборудования за счет очень высокой скрытой теплоты парообразования.

Напротив, однофазное жидкостное охлаждение менее сложное и более простое в реализации, а его мощность рассеивания тепла достаточна для поддержки ИТ-устройств в центре обработки данных. Поэтому это лучший выбор на текущем этапе.

Основные режимы тепловыделения ИТ-устройств в ЦОД

Рис. 3. Основные режимы тепловыделения ИТ-устройств в ЦОД

Однофазное жидкостное охлаждение делится на жидкостное охлаждение с холодной пластиной и иммерсионное жидкостное охлаждение. Жидкостное охлаждение с охлаждающей пластиной фиксирует охлаждающую пластину с жидкостью на основном нагревательном устройстве оборудования и полагается на жидкость, протекающую через охлаждающую пластину, чтобы отводить тепло для достижения цели рассеивания тепла. Уже есть несколько приложений для центра обработки данных суперкомпьютера, и комитет OCP способствовал развертыванию стандарта архитектуры Manifold через Open Rack V3.0.

Иммерсионное жидкостное охлаждение заключается в погружении всей машины непосредственно в охлаждающую жидкость, полагаясь на естественную или принудительную циркуляцию потока жидкости для отвода тепла, выделяемого при работе сервера и другого оборудования. Он широко используется в майнинге цифровой валюты и суперкомпьютерах, а также является горячей темой, обсуждаемой OCP, ODCC и другими организациями в последние годы. Центр обработки данных крупной компании, занимающейся облачными вычислениями, провел масштабное развертывание.

К преимуществам иммерсионного жидкостного охлаждения относятся:

  • поскольку хладагент напрямую контактирует с оборудованием, мощность рассеивания тепла выше, а риск перегрева устройства ниже;
  • Иммерсионное оборудование жидкостного охлаждения не требует вентиляторов, что снижает вибрацию оборудования и увеличивает срок службы аппаратных устройств.
  • Температура подачи охлажденной воды со стороны помещения с иммерсионным охлаждением высокая, наружную сторону легче нагревать. Следовательно, выбор места для помещения больше не является эпохой воздушного охлаждения, поэтому он ограничен регионом и температурой.

Конечно, иммерсионное жидкостное охлаждение также имеет недостатки, в том числе высокую стоимость, высокие требования к безопасности и высокие требования к несущей способности.

Преимущества жидкостного охлаждения с холодной пластиной заключаются в следующем:

Изменений в аппаратной немного. Менять нужно только стойки, блоки распределения охлаждающей жидкости (БРП) и системы водоснабжения. Кроме того, жидкостное охлаждение с холодной пластиной может использовать больше типов хладагента, и его количество намного меньше, чем при иммерсионном типе, поэтому первоначальные инвестиционные затраты ниже. Кроме того, отраслевая цепочка жидкостного охлаждения с охлаждающими пластинами более зрелая, рынок более приемлем. Тем не менее, холодная плита также имеет некоторые ограничения. Во-первых, жидкостные линии и соединители могут протечь, что приведет к повреждению оборудования и перебоям в обслуживании.

 

Опыт исследований и разработок погружных переключателей с жидкостным охлаждением

В последние годы крупные компании изучали решения для центров обработки данных с погружным жидкостным охлаждением, а Ruijie Network накопила больше опыта в исследованиях и разработках погружных переключателей с жидкостным охлаждением, что в основном отражается на внешнем виде конструкции, вырезе вентилятора, совместимости материалов. , характеристики SI (целостность сигнала) четыре аспекта:

  1. Структурный вид

Во-первых, самое большое изменение заключается в том, что блок питания был перемещен с задней панели коммутатора на переднюю панель. Интерфейс панели также увеличивает ширину переключателя с 19 дюймов до 21-23 дюймов, чтобы вместить два блока питания. Общая конструкция выравнивания блока питания печатной платы (PCB) также изменится.

Изменения во внешнем виде переключателя

Рисунок 4. Изменения во внешнем виде переключателя

Из-за высокой стоимости хладагента, чтобы максимально сэкономить общее использование хладагента, дополнительное пространство заполняется наполнителем, чтобы достичь цели занимать больше места для хладагента в индивидуальном погружном баке на базе сервера. Как показано на рисунке 5, желтый блок — это наполнитель, который используется для заполнения жидкости.

Эволюция структуры переключателя

Рисунок 5. Эволюция структуры переключателя

  1. Вырез для вентилятора

Структурные изменения также приводят к общей обрезке вентилятора. Разработчикам больше не нужно проектировать вентиляторы для коммутатора, они могут просто выбрать безвентиляторную конструкцию блока питания. Такое изменение не только снижает значение PUE, но и значительно снижает уровень шума в серверной.

  1. Совместимость материалов

Поскольку охлаждающая жидкость иммерсионного жидкостного охлаждения в основном делится на фторуглероды и различные масла, при переключении следует обратить внимание на следующие два момента:

  • Герметичны ли материалы используемых оптических устройств. Если они не герметизированы и происходит утечка, загрязнение оптического тракта может привести к затуханию сигнала и выходу из строя переключателя;
  • Будут ли все устройства реагировать физически или химически с охлаждающей жидкостью. Если произойдет реакция, пропорция материала некоторых компонентов оригинального выключателя изменится, что повлечет за собой такие риски, как замена изоляции. Поэтому неметаллические конструкционные детали, различные электрические детали, материалы TIM, блоки-наполнители, пластиковые ручки, узлы подвесных проушин, этикетки, клеи, разъемы, кабели и печатные платы (PCB) должны быть совместимы с охлаждающей жидкостью.
  1. Характеристики SI (целостность сигнала)

Поскольку погружной переключатель с жидкостным охлаждением будет находиться в непосредственном контакте с жидкостью, жидкость будет влиять на SI (целостность сигнала). Таким образом, к печатным платам предъявляются особые требования.

(1) Старайтесь избегать поверхностного монтажа ключевых моделей.

(2) Внутренний сигнал не затрагивается, а поверхностный монтаж низкоскоростного сигнала не требует особого внимания.

(3) Высокоскоростной сигнал должен быть установлен на поверхность, чтобы улучшить конструкцию импеданса;

(4) Разветвление BGA и разъемов для минимизации длины поверхностной линии;

(5) Расчет потерь и расчет импеданса 25G и 50G SerDes отличаются от традиционных.

Опыт исследований и разработок переключателей с жидкостным охлаждением с холодной пластиной

Основываясь на особых характеристиках технологии кремниевой фотоники, Ruijie Network разработала коммутаторы с жидкостным охлаждением. Среди них технология OBO и технология NPO заключаются в размещении оптического модуля на материнской плате как можно ближе к чипу MAC. Однако это сделает источник тепла слишком концентрированным, а высота оборудования ограничена конструктивными требованиями ожидаемой формы высокой плотности 1RU, поэтому сложно решить проблему с традиционным радиатором с воздушным охлаждением. Если используется иммерсионное жидкостное охлаждение, герметизация оптической линии становится серьезной проблемой.

6. Эволюция структуры коммутатора

фигура 6. Эволюция структуры коммутатора

В связи с этим Ruijie применяет охлаждающий радиатор с жидкостным охлаждением для интегрированного покрытия чипа MAC и окружающего оптического модуля и отводит тепло через поток охлаждающей жидкости в канале потока в пластине. Кроме того, чтобы свести к минимуму сложность и риск утечки жидкостных трубопроводов, другие нагревательные компоненты устройства охлаждаются вентиляторами. Решение для охлаждения с помощью холодной пластины может убить двух зайцев одним выстрелом. Он может не только удовлетворить требования по рассеиванию тепла для источников высокой мощности и высокой плотности NPO / CPO, но также уменьшить высоту устройства до чрезвычайно тонкого 1RU.

Достижения Ruijie в области исследований и разработок в области переключателей с жидкостным охлаждением

В 2019 году Ruijie Network в сотрудничестве с отечественным интернет-заказчиком поставила погружной коммутатор для центра обработки данных 32*100 Гбит/с с жидкостным охлаждением и соответствующий гигабитный коммутатор для управления сетью. В 2022 году Ruijie Network начала распространять погружные коммутаторы с жидкостным охлаждением 100/200/400G и коммутаторы с жидкостным охлаждением с охлаждающей пластиной.

Ruijie Network выпустила два коммерческих погружных коммутатора с жидкостным охлаждением, а именно 32-портовый коммутатор доступа к центру обработки данных 100G и 48-портовый сетевой коммутатор управления 1G. Оба коммутатора имеют ширину 21″ и совместимы с охлаждающей жидкостью 3M FC-40. Блок питания поддерживает резервирование 1+1. Подключаемый модуль ABS+PC значительно экономит расходы на охлаждающую жидкость. Канавки на модуле облегчают поток жидкости для отвода тепла и умело уравновешивают плавучесть и гравитацию.

На глобальном саммите OCP в ноябре 2021 г. Ruijie Network offОфициально выпущенный NPO-коммутатор 64*400G с жидкостным охлаждением для удовлетворения высоких требований к надежности центров обработки данных и операторских сетей.

Под руководством OIF Ruijie Network сотрудничала со многими производителями в отрасли, чтобы выпустить структурный прототип коммутатора NPO с жидкостным охлаждением 64 * 800G на саммите OFC 2022 года. Передняя панель поддерживает 64 оптоволоконных разъема 800G, каждый из которых также может быть разделен на два порта 400G для обеспечения прямой совместимости. Количество внешних модулей лазерного источника увеличено до 16. Благодаря конструкции Blind-mate исключается повреждение глаз человека мощным лазером и в большей степени гарантируется безопасность обслуживающего и обслуживающего персонала. Микросхемы коммутаторов и модули NPO поддерживают охлаждение холодной пластиной для эффективного отвода тепла, что решает проблему высокой концентрации теплового потока. По сравнению с производительностью коммутатора с традиционным сменным оптическим модулем и решением с воздушным охлаждением энергопотребление значительно снижено.

Оставьте комментарий

Наверх