Переход на 10GbE, 25GbE и 100GbE — когда и как обновить сетевую инфраструктуру

2026-06-16 11:56

Сеть в серверном зале — как файловая система в операционке: пока не начинает тормозить, о ней не думают. Думать начинают тогда, когда GPU-сервер с десятком ускорителей упирается в 1GbE-линк и половину времени просто ждет данных. Или когда NVMe-массив способен отдавать 20 ГБ/с, а сеть пропускает 1 ГБ/с. Переход на 10, 25 или 100 гигабит — это не апгрейд ради цифры. Это возврат баланса между вычислительной и сетевой пропускной способностью.

В этой статье разберем: что означает каждый скоростной стандарт, когда переход с одного на другой обоснован и как оценить, что именно является узким местом прямо сейчас.

Почему 1GbE стал узким местом

Гигабитный Ethernet появился в 1999 году. Двадцать с лишним лет он оставался достаточным для офисных задач и небольших серверных. Но за это время процессоры, дисковые массивы и сетевые ускорители ушли далеко вперед. Сегодня типичный SSD NVMe дает 3–7 ГБ/с — в 3–7 раз больше, чем способна передать гигабитная сеть. NVMe-массив в RAID — уже десятки гигабайт в секунду. Передать такой поток по 1GbE невозможно физически.

Проблема не в том, что 1GbE стала медленной. Проблема в том, что остальная инфраструктура ушла вперед, а сеть осталась на месте.

Три признака того, что сеть стала узким местом

Как понять, что проблема именно в сети, а не в чем-то другом:

Утилизация сетевого интерфейса постоянно держится выше 70–80% — порт перегружен.
Задержки на операции ввода-вывода заметно выше, чем у локального диска на том же сервере.
GPU или CPU простаивают в ожидании данных — видно в профилировщике или в графиках загрузки ускорителей.

Если хотя бы один из этих признаков есть — сеть тормозит систему, а не оборудование.

Стандарты 10GbE, 25GbE и 100GbE: в чем разница

Все три стандарта — это Ethernet разных поколений. Они совместимы по логике протоколов, но несовместимы физически: коммутаторы, кабели и сетевые карты нужно выбирать под каждый стандарт.

10GbE — первый реальный шаг вперед

Десятигигабитный Ethernet стал стандартом для серверов в 2010-е годы. Сегодня 10GbE-адаптеры стоят дешево, коммутаторы доступны, а сам стандарт хорошо изучен. Это разумный минимум для любого сервера, который работает с хранилищами данных.

Когда его достаточно:

файловые серверы, системы резервного копирования и архивирования;
небольшие кластеры виртуализации без интенсивного обмена между нодами;
подключение серверов к распределительным коммутаторам в небольших залах.

25GbE — рациональный выбор для современного сервера

Двадцатипятигигабитный Ethernet — это не промежуточный стандарт, а полноценное поколение с отдельной спецификацией IEEE 802.3by. Технически 25GbE — это один последовательный канал (serial lane) на 25 Гбит/с — тот самый, из которого собирается 100GbE (4×25G). SFP28 механически совместим с SFP+: апгрейд 10→25 часто сводится к замене трансивера без перекладки кабелей. При этом пропускная способность в 2,5 раза выше, чем у 10GbE. При этом стоимость 25GbE-адаптеров сегодня сопоставима с ценой 10GbE-карт трехлетней давности.

Двадцатипятигигабитный стандарт обоснован, когда:

сервер работает с NVMe-хранилищем или All-Flash-массивом;
нагрузка на интерфейс регулярно превышает 7–8 Гбит/с;
планируется развертывание контейнерной платформы с интенсивным east-west трафиком.

100GbE — уровень магистрали и ИИ-нагрузок

Стогигабитный Ethernet применяется там, где 25-гигабитный уже не справляется: в магистральных линках между стоечными коммутаторами, в uplink'ах к агрегирующим коммутаторам и в подключении GPU-серверов для задач машинного обучения.

Стогигабитный реализуется в двух основных вариантах:

4×25G — четыре последовательных канала с кодировкой NRZ (один бит на символ), объединённых в 100-гигабитный порт. Работает с DAC-кабелями и оптикой SR4/LR4.
2×50G с кодировкой PAM4: меньше оптических линий при той же скорости, удобнее масштабирование до 200/400G.

Сравнительная таблица стандартов

Сравнительная таблица стандартов Ethernet
Параметр	1GbE	10GbE	25GbE	100GbE
Пропускная способность	1 Гбит/с	10 Гбит/с	25 Гбит/с	100 Гбит/с
Типовое применение	Офис, IPMI	Сервер, СХД	Современный сервер, NVMe	Магистраль, GPU-кластер
Медный кабель	Cat5e/6 до 100 м	Cat6a до 100 м (Cat6 — до ~55 м)	DAC до 5 м	DAC до 3 м
Оптика	1000BASE-SX/LX	10GBASE-SR/LR	25GBASE-SR/LR	100GBASE-SR4/LR4
Стоимость адаптера	< 2 000 ₽	5–15 000 ₽	8–20 000 ₽	30–80 000 ₽
Стоимость порта коммутатора	< 1 000 ₽	3–8 000 ₽	5–12 000 ₽	15–50 000 ₽

Цены ориентировочные и зависят от производителя и конфигурации.

Как выбрать скорость под задачу

Нет смысла переходить на 100GbE там, где узкое место — в дисковой подсистеме, а не в сети. Правильный выбор начинается с замеров, а не с прайс-листа.

Шаг первый: измерить текущую утилизацию

Прежде чем принимать решение, нужно посмотреть на графики загрузки сетевых интерфейсов за последние 30–90 дней. Инструменты: SNMP-мониторинг, Prometheus с node_exporter, или встроенная статистика коммутатора. Если пиковая загрузка не превышает 50% — узкое место, скорее всего, не в сети.

Шаг второй: профилировать задержки

Пропускная способность и задержка — разные характеристики. Можно иметь 10GbE-интерфейс с низкой утилизацией и высокими задержками — например, из-за перегруженного коммутатора или неверно настроенных очередей. Базовую задержку (RTT) меряют ping и nping, джиттер и потери — iperf3 в UDP; приложенческую latency — fio с сетевым бэкендом или netperf (TCP_RR).

Шаг третий: сопоставить с требованиями приложений

Разные задачи предъявляют разные требования к сети. Аналитические запросы к большим таблицам требуют высокой пропускной способности. Онлайн-транзакции — минимальных задержек. Репликация между нодами кластера — и того, и другого одновременно.

Практические ориентиры для выбора

Вот упрощенная логика выбора в зависимости от сценария использования:

1GbE — только для IPMI/iDRAC, управляющих сетей и очень малонагруженных сервисов.
10GbE — файловые серверы, резервное копирование, небольшая виртуализация.
25GbE — стандарт для новых серверов с NVMe, контейнерные кластеры.
100GbE — GPU-серверы, магистральные линки, All-Flash-хранилища с несколькими инициаторами.

Топология сети в серверном зале

Отдельный порт — это еще не архитектура. Сеть в ЦОД строится по принципу уровней, и выбор скорости зависит от того, на каком уровне находится устройство.

Уровень доступа

Серверы подключаются к стоечным коммутаторам (ToR — Top of Rack). Это уровень доступа. Здесь скорость порта выбирается под нагрузку конкретного сервера: 10G, 25G или 100G.

Уровень агрегации

Стоячные коммутаторы подключаются к агрегирующим через uplink-порты. Аплинк имеет меньшую полосу, чем суммарная полоса серверных портов — типичный коэффициент переподписки 3:1–4:1. Например, 48 портов по 25G (суммарно 1200 Гбит/с) обслуживаются двумя-четырьмя аплинками по 100G.

Уровень ядра (core)

Агрегирующие коммутаторы соединяются с ядром. В крупных ЦОД это 400G и выше. Для среднего серверного зала уровень ядра часто совмещен с агрегацией — это упрощает топологию и снижает стоимость.

Правильно подобранное сетевое оборудование на этапе проектирования экономит деньги на модернизации через два-три года.

Кабели и оптика: что использовать на каждой скорости

Скорость — это только часть выбора. Физическая среда передачи имеет не меньшее значение.

Медная витая пара и DAC

На расстояниях до 5–7 метров 10GbE и 25GbE работают на медных кабелях DAC (Direct Attach Copper). Это самое дешевое и энергоэффективное решение для соединения серверов с ToR-коммутаторами в одной стойке или соседних стойках. Подробнее о типах DAC-кабелей и их ограничениях — в отдельном материале.

Многомодовая оптика

OM3 и OM4 волокна применяют на расстояниях до 100 метров на скорости 10G/25G и до 70–100 метров на 100G. Это стандарт для горизонтальной разводки внутри серверного зала. Трансиверы типа SFP+, SFP28 или QSFP28 — в зависимости от скорости.

Одномодовая оптика

Для линков длиной более 300 метров или при соединении зданий — одномодовая оптика OS2 с трансиверами LR-класса. Дороже в начале, но без ограничений по дальности.

Как мигрировать постепенно без остановки работы

Полная замена сети за выходные — план, который редко работает. Разумнее делать это поэтапно.

Начать с новых серверов

Все новые серверы, которые вводятся в работу, сразу подключаются через 25GbE. Стоячные коммутаторы меняются по мере заполнения стоек новым оборудованием.

Обновить магистраль первой

Если uplink-порты между ToR-коммутаторами и агрегацией уже загружены, их обновляют в первую очередь — это быстро снимает узкое место. Серверные порты при этом можно оставить на 10G до следующей плановой замены серверов.

Использовать коммутаторы с несколькими типами портов

Многие современные коммутаторы для серверного зала имеют порты двух скоростей на одном устройстве: например, 24 порта по 25G для серверов и 4 порта по 100G для uplink. Это позволяет делать апгрейд постепенно, без замены всего железа сразу.

Типичные ошибки при переходе на более высокие скорости

Переход на 25-гигабитный или 100-гигабитный — это не просто замена карты и кабеля. Несколько вещей, которые часто упускают:

Не проверяют совместимость трансиверов. Часть производителей коммутаторов блокирует трансиверы сторонних поставщиков программно. Лучше уточнять до покупки, а не после.
Забывают про MTU. Для 25GbE и 100GbE рекомендуется включить Jumbo Frames (MTU 9000). Без этого производительность будет заметно ниже потенциала — особенно при работе с хранилищами.
Оставляют старый коммутатор в середине. Даже один промежуточный коммутатор с аплинком 10G обнулит пользу от 25GbE — трафик всей стойки упрётся в это звено.
Не тестируют latency. Высокая пропускная способность не гарантирует низкую задержку. Буферы коммутатора, настройки очередей и политики QoS влияют не меньше, чем скорость порта.

Перед масштабной миграцией имеет смысл провести аудит ИТ-инфраструктуры — это позволяет точно локализовать узкие места и не тратить бюджет на апгрейд там, где проблема совсем в другом.

Итоги

Переход на 10GbE, 25GbE или 100GbE — это ответ на конкретный вопрос: где сеть сдерживает производительность системы в целом. Без замеров этот вопрос остается открытым.

Логика выбора проста: 10GbE — базовый стандарт для серверов без интенсивного ввода-вывода, 25GbE — разумный выбор для всех новых серверов с NVMe и контейнерных кластеров, 100GbE — для GPU-серверов и магистральных линков.

Топология сети важна не меньше скорости порта. Перегруженный uplink съест прирост от модернизации доступа. Поэтому апгрейд начинают с верхних уровней — магистрали и агрегации — и движутся вниз к серверным портам.

Подберем сетевую архитектуру под вашу инфраструктуру

Инженеры Serverzilla проанализируют текущую нагрузку, выберут коммутаторы и кабельную систему под ваши задачи. Поможем с выбором коммутаторов для доступа и агрегации, подберем трансиверы и DAC-кабели. Оставьте заявку — рассчитаем конфигурацию под ваш объект.

Часто задаваемые вопросы

Чем 25GbE лучше 10GbE, если разница в цене небольшая?

25-гигабитный дает в 2,5 раза большую пропускную способность при сопоставимой стоимости адаптеров. Кроме того, 25GbE — это актуальный стандарт, под который активно разрабатываются новые коммутаторы. Инвестиция в 25GbE имеет больший горизонт актуальности, чем 10GbE.

Нужен ли 100GbE для сервера, который не занимается ML?

Не обязательно. 100-гигабитный оправдан для серверов с несколькими NVMe-накопителями при одновременном доступе многих клиентов, а также для баз данных с очень высоким IOPS. Для большинства серверов общего назначения достаточно 25GbE.

Можно ли использовать обычный Cat6 кабель для 10GbE?

Стандарт 10GBASE-T работает на Cat6a или Cat7. Обычный Cat6 поддерживает 10GbE только на расстоянии до 37–55 метров, не на 100 метрах. Для надежной работы лучше использовать Cat6a.

Что такое ToR-коммутатор и зачем он нужен?

ToR (Top of Rack) — стоячный коммутатор, устанавливаемый в верхней части стойки. Он собирает трафик со всех серверов в стойке и передает его выше — в агрегирующий или корневой коммутатор. Это стандартная архитектура современного серверного зала.

Как влияет выбор сети на производительность GPU-кластера?

Критически. При распределенном обучении между несколькими GPU-серверами нейросеть постоянно синхронизирует градиенты через сеть. Если полоса пропускания недостаточна, ускорители простаивают в ожидании данных — это прямые потери времени и денег. Для GPU-кластеров обычно используют 100GbE или специализированные решения типа InfiniBand.