Жидкостное охлаждение серверов требуется не в каждом проекте: для большинства нагрузок основным вариантом остается воздушная схема. Вопрос о жидкости возникает не от моды, а от конкретной цифры: плотности мощности на стойку. Когда она выходит за возможности воздушной схемы, дальнейшее наращивание вентиляции перестает работать.
Разберем, где проходит этот предел, что предлагают жидкостные схемы, чего они требуют от помещения и в каких случаях правильный ответ — оставить воздух и оптимизировать то, что есть.
Материал посвящен переходу между воздушной и жидкостной схемами на уровне серверной или машинного зала: тепловой нагрузке, отводу тепла и условиям эксплуатации. Устройство охлаждения конкретной GPU-платформы разобрано в статье «Жидкостное охлаждение GPU-сервера».
Как устроено воздушное охлаждение и где его предел
Вентиляторы в шасси прогоняют воздух через радиаторы компонентов, после чего система кондиционирования отводит тепло из помещения. Охлаждение серверной при высокой плотности требует точно рассчитанного воздушного баланса, а прецизионные кондиционеры поддерживают температуру и влажность в заданном диапазоне.
Ключевой элемент организации — разделение потоков. Оборудование в стойках ставится так, чтобы забирать холодный воздух с одной стороны и выбрасывать горячий с другой, а сами стойки выстраиваются рядами, образуя холодные и горячие коридоры. Пустые юниты закрываются заглушками, иначе горячий воздух возвращается на вход соседнего оборудования.
Предел наступает не мгновенно, а через накопление проблем. С ростом мощности на стойку требуется прогонять больше воздуха, для этого вентиляторы раскручиваются сильнее. Это дает три следствия: растет шум, растет потребление самих вентиляторов, и увеличивается риск того, что система кондиционирования помещения не успевает отводить тепло.
Дополнительно проявляется рециркуляция: при высоких скоростях потоков и неидеальной изоляции коридоров часть горячего воздуха возвращается на вход, и температура на входе оборудования растет независимо от мощности кондиционера.
Важная оговорка: конкретное значение плотности, при котором воздух перестает справляться, зависит от помещения, качества изоляции коридоров, климата и допустимых температур. Универсальной цифры нет, есть диапазон, который определяется расчетом для конкретного зала.
Что дает жидкость и почему она эффективнее
Физика простая: объемная теплоемкость воды примерно в три с половиной тысячи раз выше, чем у воздуха. Один литр воды уносит столько же тепла, сколько несколько кубометров воздуха.
Практическое следствие: чтобы снять то же количество тепла, жидкости нужно прокачать более чем на три порядка меньше по объему. Отсюда возможность обслуживать плотные конфигурации, для которых воздушная схема потребовала бы недостижимых скоростей потока.
Точечность дает еще одно преимущество. Жидкость подводится непосредственно к самым горячим компонентам, а не охлаждает весь объем корпуса. Тепло снимается там, где оно образуется, без промежуточного нагрева окружающего воздуха.
Кроме того, уменьшается доля энергии, которую потребляет сама система охлаждения. Прокачка жидкости требует меньше энергии, чем прогон эквивалентного объема воздуха вентиляторами.
Контактное и иммерсионное охлаждение: два подхода
Жидкостные схемы делятся на два типа, и требования у них разные.
Контактное охлаждение (direct-to-chip). Жидкость подводится по трубкам к теплосъемникам, установленным на процессорах и ускорителях. Остальные компоненты — память, накопители, блоки питания, продолжают охлаждаться воздухом. Получается гибридная схема: основное тепловыделение снимается жидкостью, остаточное — вентиляцией.
Что требуется: контур распределения жидкости в стойке, теплообменник, отвод тепла наружу, совместимые шасси с установленными теплосъемниками, регламент обслуживания контура.
Иммерсионное, или погружное, охлаждение. Оборудование целиком погружается в ванну с диэлектрической жидкостью, которая не проводит электричество. Вентиляторы из серверов при этом удаляются.
Для погружной схемы нужны специальные ванны вместо привычных стоек, подготовленное помещение с учетом веса конструкции, отдельная логистика обслуживания и совместимое оборудование.
Контактная схема ближе к привычной инфраструктуре и внедряется как модернизация. Погружная — это принципиально другая организация машинного зала.
Сравнение и стоимость владения
Параметр | Воздушное | Жидкостное |
|---|---|---|
Плотность мощности на стойку | До границы, определяемой залом | Существенно выше |
Требования к помещению | Кондиционирование, коридоры | Контур, теплообменники, подготовка |
Сложность обслуживания | Привычная | Требует регламента для контура |
Уровень шума | Растет с плотностью | Заметно ниже |
Затраты на входе | Ниже | Выше |
Энергозатраты на охлаждение | Выше при высокой плотности | Ниже |
Экономика не сводится к цене оборудования. При высокой плотности жидкостная схема выигрывает по двум статьям: меньше энергии уходит на охлаждение и больше вычислительной мощности размещается на той же площади. Если стоимость площади в машзале высока, второй фактор может оказаться решающим.
При умеренной плотности картина обратная: вложения в контур не окупаются экономией, а обслуживание усложняется.
Конкретных цифр окупаемости здесь не приводим намеренно — они зависят от стоимости электроэнергии, стоимости площади, профиля загрузки оборудования и срока эксплуатации. Считать нужно для своего объекта.
Что нужно для перехода на жидкостную схему
Главное, что стоит понимать: это инженерный проект, а не замена компонента.
- Контур и распределение. Трубопроводы, коллекторы, насосы, запорная арматура. Схема проектируется под конкретный зал.
- Теплообменники и отвод тепла. Тепло нужно куда-то передать: на внешний контур, в систему здания, на сухие градирни. Это отдельная часть проекта.
- Совместимое оборудование. Шасси с теплосъемниками или подготовленное к погружению. Не всякий сервер можно перевести на жидкость.
- Подготовка помещения. Для контактных схем — разводка контура, для погружных — расчет нагрузки на перекрытия под вес ванн с жидкостью.
- Регламент обслуживания. Контроль состояния жидкости, проверка соединений, порядок действий при работах с оборудованием, обучение персонала.
- Мониторинг. Контроль давления, температуры, протечек. Это добавляется к существующему мониторингу инфраструктуры.
Отдельно: жидкостная схема не отменяет систему кондиционирования помещения полностью. Часть тепла в контактных схемах по-прежнему снимается воздухом, и климат в зале нужно поддерживать.
Когда воздуха достаточно
Честный раздел, который сокращает лишние расходы.
Типовая серверная организации, небольшой машинный зал, офисное помещение с несколькими стойками умеренной загрузки — здесь воздушная схема закрывает задачу с запасом, а вложения в жидкость не окупятся.
Прежде чем считать смену технологии, стоит проверить, выжата ли текущая схема. Часто оказывается, что нет:
- Заглушки на свободных юнитах отсутствуют, и горячий воздух возвращается на вход оборудования — это самое дешевое улучшение с заметным эффектом;
- Коридоры не изолированы, потоки смешиваются;
- Кабельная организация перекрывает выход воздуха с задней стороны стоек;
- Система кондиционирования подобрана без запаса или работает не в том режиме;
- Расстановка оборудования в стойке не учитывает тепловыделение: самые горячие узлы стоят вплотную.
Наведение порядка в этих вещах нередко позволяет разместить дополнительную мощность без смены технологии. Если расчет показывает, что ограничивает именно способность воздуха отвести тепло, следующим шагом становится усиление климатической части.
Гибридный подход как практический компромисс
Между двумя крайностями есть промежуточный вариант, который на практике встречается чаще всего.
Схема выглядит так: в зале с воздушным охлаждением появляется несколько плотных узлов, например, серверы с ускорителями под вычислительные задачи. Именно эти узлы переводят на контактное охлаждение, остальное оборудование продолжает работать на воздухе.
Кому подходит: организациям, у которых основная инфраструктура умеренной плотности, а высокая плотность локализована в нескольких стойках. Строить полноценный жидкостный зал ради них избыточно, а воздухом они уже не закрываются.
Что учесть: контур все равно нужен, пусть и меньшего масштаба, и обслуживание усложняется. Но объем работ и вложений несопоставим с переводом всего зала. Серверы, изначально рассчитанные под такую схему, комплектуются водоблоками с завода, например, конфигурации с водяным охлаждением под вычислительные задачи.
С чего начинать оценку
Решение принимают не по технологии, а по цифрам конкретного объекта.
- Первый вопрос: какая плотность мощности на стойку сейчас и какая планируется через два-три года? Это основной параметр.
- Второй: выжаты ли возможности текущей воздушной схемы — заглушки, изоляция коридоров, кабельная организация, режим работы кондиционирования?
- Третий: что ограничивает — способность отвести тепло от оборудования или способность системы кондиционирования вывести его из помещения? Это разные проблемы с разными решениями.
Порядок действий: сначала привести в порядок воздушную схему, затем измерить фактические температуры и плотность, и только потом, если предел действительно достигнут, считать проект жидкостного охлаждения — с полным перечнем работ, а не только со стоимостью оборудования.
Расчет охлаждения для ЦОД начинают с фактической тепловой нагрузки, резерва на расширение и условий конкретного машинного зала.