Смотреть всё оборудование
Более 10 видов оборудования под ваши задачи
«Более 10 лет помогаем развивать и модернизировать IT-инфраструктуру»
Александр Макаров, Ген директор ТКТД
Заявка на консультацию
Оставьте ваши данные и наши менеджеры свяжуться с вами в ближайшее время
Рейтинг компании
В реестре проверенных поставщиков
В реестре проверенных поставщиков
Сетевая обвязка GPU-кластера на 8 GPU
Восемь ускорителей — это уже не «поставить карты в сервер»: 2,4–5,6 кВт приходится на одни только GPU, а вместе с процессорами и обвязкой стойка выходит на 8–10 кВт. Воздушное охлаждение на этом уровне еще справляется, но лишь при организованном горячем коридоре, а питание приходится раскладывать на несколько линий. Мы считаем сеть, питание и климат под выбранную модель ускорителя и поставляем комплект целиком, от узлов до кабелей
Обучение своих моделей
Дообучение или обучение с нуля на восьми ускорителях, где узлам нужен быстрый обмен градиентами
Первый кластер после одиночных серверов
Компания упирается в один GPU-сервер и переходит к связке узлов
Госпроект или ОПК
Закупка под реестровую платформу с документами происхождения
Инференс под нагрузкой
Запуск больших моделей в продакшене с распределением по картам
Когда 8 GPU — это уже кластер, а не сервер
{ сценарии }
Что определяет обвязку
{ характеристики }
| Параметр | На что влияет | Что уточняем |
|---|---|---|
| Число GPU | Число узлов и портов сети | 8 ускорителей в одном узле или в двух |
| Модель ускорителя | Питание и тепловыделение | Класс карты по потреблению |
| Тип нагрузки | Требования к полосе и задержке | Обучение, инференс, смешанный режим |
| Бюджет питания стойки | Схему электропитания | Доступная мощность на стойку |
Расчет под 8 GPU
{ критерии }
| Раздел | Что рассчитываем | Решение для 8 GPU | Что учитываем |
|---|---|---|---|
| Сеть | Связь между узлами, число портов, пропускную способность | Одноуровневая фабрика, неблокирующий коммутатор на 8–16 портов, топология «звезда» | По одному адаптеру на узел, отдельные порты под хранилище и управление, запас под рост, DAC-кабели внутри стойки |
| Питание стойки | Суммарное энергопотребление GPU и серверной обвязки | Восемь GPU класса 300–700 Вт потребляют 2,4–5,6 кВт, вся стойка — около 8–10 кВт | Питание распределяем на несколько линий с запасом, точный расчет привязываем к модели ускорителя |
| Охлаждение | Отвод тепла от стойки мощностью около 10 кВт | Воздушное охлаждение с организованным горячим коридором | Холодный воздух подается спереди, горячий отводится назад без смешивания; учитываем компоновку стойки и климат помещения |
Три конфигурации
{ конфигурации }
GPU
8 в одном узле
Сеть
внутренняя шина, внешний адаптер под рост
Питание
8–10 кВт на стойку
Охлаждение
воздух, горячий коридор
Компактная — один узел
Подходит, когда все восемь карт живут в одной машине: межузловая фабрика пока не нужна, но адаптер закладываем под будущее расширение
GPU
8 в двух узлах по 4
Сеть
коммутатор 8–16 портов, «звезда»
Питание
8–10 кВт, раскладка по фазам
Охлаждение
воздух, организованный коридор
Стандартная — два узла 4×GPU
Закрывает распределенное обучение на двух узлах: они связаны неблокирующим коммутатором, и задержка между ними остается минимальной
GPU
8 сейчас, порты под 16
Сеть
коммутатор с резервом портов
Питание
запас мощности на стойку
Охлаждение
коридор с запасом по теплоотводу
С запасом под рост
Берут, когда кластер планируют наращивать: коммутатор и стойку закладываем с резервом, чтобы переход на 16 GPU не потребовал переборки фабрики
Что входит в поставку?
{ комплектация }
GPU-узлы под расчетную конфигурацию
Сетевые адаптеры по числу узлов
Неблокирующий коммутатор фабрики
DAC-кабели и коммутация
Стойка с раскладкой питания
Монтаж, пусконаладка, тест фабрики под нагрузкой
Гарантия и техническая поддержка
Пакет документов под 44-ФЗ или 223-ФЗ
Заказать консультацию
модель ускорителя, тип нагрузки, доступная мощность стойки
Разбор задачи: 1–2 дней
узлы, сеть, питание, охлаждение
Расчет конфигурации: 3–4 дня
Как мы работаем
{ этапы и сроки }
монтаж узлов, коммутация, прогон под нагрузкой
Сборка и тест фабрики: 5–7 дня
запуск фабрики, проверка полосы и задержки
Пусконаладка: 2–3 дня
установка стойки на площадке
Поставка и монтаж: 4–8 недель
На что опираемся при расчете
{ преимущества }
от класса карты зависит и питание стойки, и тепловыделение — разброс между картами кратный
Модель ускорителя и его потребление
Планы по росту
если кластер будут наращивать, коммутатор и стойку берем с запасом портов и мощности
Импортозамещение и реестр
Инфраструктуру под обучение часто закупают под госпроекты и ОПК. Серверные платформы берем из реестра Минпромторга с подтверждением по ПП №719, документы готовим под 44-ФЗ и 223-ФЗ. Сетевую часть описываем категориями — адаптер, коммутатор, кабели — и собираем фабрику целиком под задачу
считаем, влезает ли 8–10 кВт в один ввод или нужна раскладка по фазам
Доступная мощность стойки
Тип нагрузки
обучение требует широкой полосы между узлами, инференс — меньше; под это подбираем коммутатор и число адаптеров
Пришлите число GPU, модель ускорителя, тип нагрузки, доступную мощность и место в зале. Спроектируем фабрику, питание и охлаждение, вернемся со спецификацией и КП
Опишите задачу
{ свяжитесь с нами }
Часто задаваемые вопросы
{ FAQ }
Пока узел один — нет, карты связаны внутренней шиной. Но адаптер стоит заложить сразу, если планируется рост до двух узлов и более.
8–10 кВт. Считайте по верхней границе класса карт: восемь ускорителей по 700 Вт — это 5,6 кВт, и еще 3–4 кВт добавляют процессоры с обвязкой. Одна фаза не тянет, раскладываем на несколько линий.
До 10 кВт на стойку — да, но только с разделением потоков. Практический признак, что коридор организован плохо: карты сбрасывают частоту под длительной нагрузкой, хотя по паспорту запас есть.
Коммутатор, который пропускает трафик всех портов одновременно, не пережимая полосу. При обучении на нескольких узлах от этого напрямую зависит длительность шага.
Можно, если на старте взять коммутатор и стойку с запасом портов и мощности. Иначе переход потребует переборки фабрики.