При работе с NVMe-СХД, распределенными базами данных и высоконагруженной виртуализацией 10GbE-канал быстро становится узким местом. Под такой класс нагрузки мы берем 25GbE-карту с RDMA, ставим в свободный PCIe-слот сервера и заводим линки на ToR-коммутатор ЦОД
Подобираемкарту с интерфейсом SFP28 под существующую инфраструктуру ЦОД
Подбор сетевого контроллера
Выбираем чипсет Mellanox ConnectX-5 или ConnectX-6 под совместимость с вашей ОС
Организация отказоустойчивых каналов
Собираемагрегацию портов LACP с пропускной способностью до 50 Гбит/с
Сегментация сетевого трафика
Настраиваем RoCE (RDMA over Converged Ethernet) для прямого доступа к памяти
Мониторинг состояния сети
Подключаем мониторинг состояния порта по SNMP в Zabbix или PRTG
Что меняется в архитектуре при переходе на 25 GbE
{ серверные решения }
25GbE — это стандарт ЦОД-уровня для серверного трафика: 2,5-кратный запас по пропускной способности относительно 10GbE и снижение задержки до микросекунд при использовании RDMA. Это нужно для NVMe-oF, высоконагруженных СУБД и кластеров виртуализации
Технические характеристики и преимущества решений
{ о нас }
Расчет под нагрузку и выбор чипсета
Сначала собираем профиль трафика: пиковая нагрузка ввода-вывода, число одновременных подключений к NVMe-oF, требования к задержке. Под типовой ЦОД-трафик с RDMA берем Mellanox ConnectX-5 Ex с двумя портами SFP28. Для распределенных СУБД и AI-нагрузок подбираем ConnectX-6 Dx с поддержкой PCIe 4.0 и аппаратным шифрованием линка
Совместимость с Windows Server, Linux и VMware
Карты Mellanox ConnectX имеют сертификацию VMware HCL для vSphere 7/8 и драйверы под Windows Server 2019/2022, Astra Linux SE, RED OS и Ubuntu LTS. Под Proxmox VE поддерживается SR-IOV из коробки. Для импортозамещения подбираем карты с драйверами из реестра Минцифры
RDMA дает прямой доступ виртуальных машин к памяти удаленного сервера в обход TCP/IP-стека. Это снимает нагрузку с CPU и снижает задержку до 1–5 микросекунд. RoCEv2 работает поверх обычного Ethernet, и для NVMe-oF этот режим переключается в драйверах без переделки коммутаторов. SR-IOV дает виртуальной машине отдельную виртуальную функцию карты — без потерь на гипервизор
RDMA, RoCE и аппаратная разгрузка
Оставьте заявку, и мы свяжемся с вами в ближайшее время
Двухпортовая Mellanox ConnectX-5 PCIe 3.0 x16, два SFP28 25 Гбит/с
Поддержка RoCEv2 для NVMe-oF и iSER-протоколов
Аппаратная разгрузка TCP/IP и проверки контрольных сумм
Сертификация VMware HCL для vSphere 7 и 8
Карта 25GbE SFP28 для NVMe-СХД
Двухпортовая Mellanox ConnectX-6 Dx PCIe 4.0 x16, SFP28 с RoCEv2
Аппаратное шифрование линка IPsec и MACsec
Поддержка SR-IOV до 256 виртуальных функций
Совместимость с NVIDIA GPUDirect RDMA для GPU-кластеров
Двухпортовая 25GbE с PCIe 4.0 для AI-нагрузок
Двухпортовая ConnectX-5 в режиме LACP с пропускной способностью 50 Гбит/с
Подключение к ToR-коммутатору через SFP28 DAC-кабели до 5 метров
Резервирование линка при отказе одного порта без перерыва сессий
Драйверы для Proxmox VE, zVirt и vSphere с поддержкой live-миграции
25 GbE с агрегацией LACP под кластер виртуализации
NVMe-oF, виртуализация или AI-обучение определяют требования к RDMA и PCIe
Тип нагрузки
25GbE с двумя портами требует слота x8 PCIe 3.0 или x4 PCIe 4.0
Версия PCIe материнской платы
Что влияет на конфигурацию 25 GbE-карты
{ проводим работу в несколько этапов }
1 этап
ToR-коммутатор с SFP28 или MTP-кассеты с разбиением 100G на четыре 25G
Топология ЦОД
vSphere HCL, Proxmox SR-IOV, zVirt
Совместимость с гипервизором
3 этап
5 этап
2 этап
IPsec или MACsec для объектов КИИ
Требование к шифрованию линка
4 этап
Инженеры Serverzilla выезжают на площадку, устанавливают карту в PCIe-слот сервера и прошивают актуальную микропрограмму. После проверки линка с коммутатором настраиваем агрегацию LACP, активируем RoCEv2 и DCB для приоритизации трафика хранилища. Перед сдачей в работу гоняем нагрузочный тест на 20–25 Гбит/с в обе стороны
Настройка и ввод в эксплуатацию
При росте нагрузки переход на 100GbE идет через установку QSFP28-карты вместо SFP28. ConnectX-6 поддерживает оба интерфейса — миграция без замены платформы. За 200 Гбит/с подбираем QSFP56 на ConnectX-7 с агрегацией каналов
Масштабирование до 100GbE и 200GbE
После пусконаладки берем сетевые карты на удаленное сопровождение. Раз в квартал проверяем счетчики ошибок и работу RDMA-трафика, тестируем переключение LACP при отказе одного линка. По итогам обновляем регламент замены DAC-кабелей и трансиверов
Оставьте заявку — за 1 рабочий день инженеры Serverzilla подберут карту под вашу нагрузку и совместимую с вашей ОС. На выходе пришлем 2–3 варианта с ценами и сроками поставки
Получите расчет сетевой карты за 1 рабочий день
{ свяжитесь с нами }
Часто задаваемые вопросы о 25 GbE-картах
{ FAQ }
Переход оправдан при работе с NVMe-oF, плотной виртуализации с live-миграцией ВМ и распределенных СУБД с высокой нагрузкой. На офисном трафике 1С и почты 10GbE остается достаточным.
RDMA минует TCP/IP-стек ОС и пишет данные прямо в память удаленного сервера — это снижает задержку до 1–5 микросекунд и разгружает CPU. RoCEv2 работает поверх обычного Ethernet, и для NVMe-oF этот режим включается в драйверах без переделки сети.
В работу под ключ входит выезд инженера, установка карты в PCIe-слот, прошивка драйверов и микропрограммы, настройка LACP и RoCEv2, нагрузочный тест. Гарантия на карту — 24–36 месяцев, на монтажные работы — 12 месяцев.
Для объектов КИИ берем карты с драйверами из реестра Минцифры. На крупных проектах добавляем платформы с сертификатом ФСТЭК и аппаратным шифрованием линка. Это закрывает 187-ФЗ.