Подбор системы охлаждения для 4U сервера

Представим 4U-сервер с четырьмя GPU: при длительном обучении моделей компоненты нагреваются, автоматика ограничивает мощность и задача замедляется. Это условный сценарий. Проверка начинается с телеметрии компонентов и температуры перед шасси.

Исправный кондиционер не гарантирует подачу к каждому воздухозаборнику. Проверьте вентиляторы, направление потока, рециркуляцию и препятствия в стойке.

Охлаждение 4U сервера согласуют с CPU, GPU, памятью и накопителями. Расчет связывает платформу, помещение и режим эксплуатации.

Сколько тепла выделяет 4U-сервер и почему это важно

Потребление воздушной платформы практически превращается в тепло помещения. При отводе части тепла жидкостью за его пределы доли считают отдельно. Полную мощность получают измерением, телеметрией питания или расчетчиком производителя. TDP CPU и GPU не учитывает память, диски, вентиляторы и потери БП.

Таблица показывает исходные данные, а не паспортные диапазоны всех 4U-серверов. Для каждой строки нужны модель шасси, компоненты, режим нагрузки и подтвержденное потребление.

Горячий выброс не должен возвращаться на вход. ASHRAE рекомендует для A1–A4 воздух на входе 18–27 °C. Допустимый диапазон применяют по классу и условиям стандарта. Верхняя допустимая температура 32 °C для A1 относится к входу оборудования, а не горячему коридору. Учитывают также паспорт, влажность и высоту площадки.

Нагрев притока уменьшает запас охлаждения. Тепловое ограничение включается при порогах компонентов конкретной платформы. Температура кристалла отличается от входной: 35 °C не является единым началом throttling.

Какие подходы к охлаждению 4U-сервера существуют

Воздушное охлаждение

Воздушная схема может подавать холод через фальшпол либо использовать оборудование между стойками. Для 4U-шасси проверяют расход, направление потока и сопротивление дверей и кабелей. Размещение охладителя определяется расчетом и доступом для обслуживания.

Горячий и холодный коридор разделяют, закрывая свободные юниты, щели и обходные пути. Ограждения согласуют с пожарной защитой. Эффект проверяют по расходу и температуре перед серверами. Рециркуляция может заставлять снижать уставку кондиционера без устранения причины.

Теплообменник в задней двери снимает часть нагрузки выброса. Подбор учитывает расход, давление, теплоноситель и обслуживание. Достаточность воздуха проверяют для конфигурации: число GPU не делает такую дверь обязательной.

Жидкостное охлаждение: DLC и иммерсионное

Жидкостное охлаждение сервера с DLC снимает тепло с выбранных компонентов. Контур через распределение и теплообмен, включая CDU, передает его конечному теплоотводу. Память, диски и другие узлы могут сохранять воздушную нагрузку: ее считают отдельно.

Иммерсия требует совместимых платформы и диэлектрического теплоносителя. Поставщик подтверждает пригодность дисков, кабелей, материалов и уплотнений, гарантию и порядок обслуживания. Обычное воздушное шасси нельзя погружать без такого подтверждения.

PUE объекта равен общей энергии, деленной на энергию ИТ за один период. Сравнивают одинаковые границы, климат и нагрузку. Условное снижение с 1,6 до 1,1 при неизменной энергии ИТ уменьшает общую энергию на 31,25%, а не расходы только охлаждения. Окупаемость считают по вложениям и изменению расходов проекта.

Жидкостную схему рассматривают по требованиям платформы или когда воздух не обеспечивает нужную плотность и экономику. Единого порога мощности нет. В TCO включают модернизацию, сервис, расходники и последствия отказа.

Расчет теплоотвода серверной и параметры выбора

Расчет теплоотвода серверной начинается с потребления конкретных платформ и условий их эксплуатации. При подборе систем охлаждения для серверного оборудования согласуйте шесть параметров:

1. Мощность 4U-платформы. Измерьте потребление на согласованной нагрузке. Для резервных БП учитывайте распределение и КПД, а не долю суммы номиналов.
2. Граница расчета. Добавьте остальное оборудование и теплопритоки охлаждаемой зоны. Потери ИБП определите по КПД, если он расположен внутри нее.
3. Холодопроизводительность. Разделите физическую нагрузку, резерв для роста и снижение характеристик в условиях площадки. Обоснуйте каждый запас.
4. Воздушный поток. Возьмите требования шасси или расчет по тепловой мощности и перепаду температур. Проверьте подачу при фактическом сопротивлении. Один CFM приблизительно равен 1,7 м³/ч.
5. Температура и влажность. Сверьте условия на входе с классом ASHRAE и паспортом сервера. Возвратный воздух оценивают по тепловому балансу.
6. Разделение потоков. Исключите рециркуляцию и обходные пути. Выбор изоляции подтвердите измерениями по высоте стойки.

Условно сервер потребляет 6 кВт, сеть в той же зоне 0,5 кВт: до дополнительных теплопритоков нагрузка равна 6,5 кВт. Резерв обосновывают отдельно. Проверяют мощность охладителей при расчетных условиях и подачу к шасси, а не выбирают кондиционер по множителю 1,25.

Особенности охлаждения GPU-сервера 4U

Что важно для 4U с четырьмя и более GPU

Проверьте варианты вентиляторов и допустимый состав 4U GPU-сервера. Направляющие, заглушки, радиаторы и карты влияют на поток. Свободный расход вентилятора не равен расходу через шасси. Акустику оценивают по документации и условиям размещения.

Полное потребление уже включает вентиляторы: надбавка за них дает двойной учет. Для задней двери согласуйте тепловую мощность, гидравлику, подвод труб и доступ при открытии. Проверьте остаточную нагрузку помещения и потерю подачи.

Заводские 4U GPU-платформы имеют разные исполнения охлаждения. Для жидкостного запросите температуру, расход, давление и качество теплоносителя, подключение и контроль утечек. Конечный теплоотвод может иметь разные схемы: чиллер не обязателен всегда.

Водяное охлаждение сервера согласуют с моделью и поставкой. Уточните ответственность за CDU, трубопровод и запуск, сервис и расширение. Поддерживаемые компоненты должны относиться к конкретному шасси.

Типичные ошибки при организации охлаждения

1. Нет расчетной нагрузки. Испытайте рабочие задачи и проверьте ограничения мощности компонентов.
2. Есть рециркуляция. Найдите возврат горячего воздуха измерениями перед шасси и устраните обходные пути.
3. Не проверен отказ охлаждения. Оцените время до предельных температур и сценарий снижения нагрузки или остановки.
4. Нет наблюдения за входом. Настройте датчики, телеметрию сервера и оповещения с ответственными за реакцию.
5. Положение выбирают по температуре без замеров. Учтите массу и устойчивость стойки, измерьте подачу по высоте.
6. Обслуживание не связано с состоянием. Проверяйте фильтры и теплообменники по регламенту, перепаду давления и температуре.
7. Кондиционер выбран только по площади. Подтвердите непрерывную тепловую нагрузку и доступную холодопроизводительность.

Что предусмотреть в проекте

Зафиксируйте конфигурацию 4U и этапы роста. Для каждого проверьте питание и теплоотвод. Сравните стоимость запаса сейчас с расширением без недопустимого простоя.

Резервирование задают требования доступности. При N+1 оставшиеся охладители покрывают расчетную нагрузку после отказа одного. Проверяют также питание, автоматику и трубопровод: запасной блок не устраняет общие точки отказа.

Мониторинг показывает условия перед воздухозаборниками и состояние компонентов. Пороги согласуют с паспортом, временем реакции и действиями при тревоге. На приемке проверяют датчики, уведомления и безопасное завершение задач.

Передайте схему потоков, расчет, замеры и регламент. Периодичность осмотров зависит от производителя и состояния. Для жидкостного контура укажите контроль теплоносителя, герметичности и замену узлов. Закрепите ответственность до запуска.

Заключение

При подборе охлаждения 4U-сервера связывайте платформу с инфраструктурой. Используйте шесть шагов:

1. Определите потребление полной конфигурации.
2. Проверьте требования к воздуху и теплоносителю.
3. Посчитайте общую нагрузку и дополнительные теплопритоки.
4. Сравните воздушную, гибридную и жидкостную схемы.
5. Обоснуйте запас и резервирование.
6. Настройте мониторинг и эксплуатационный регламент.

Сравните TCO при одинаковой нагрузке и доступности. Передайте проектировщику модель шасси, потребление и условия площадки для проверки спецификации и приемки.