Настройка внутренних сетей оператора связи: с чего начать

Управляющий доступ к коммутаторам может оказаться смешан с абонентским трафиком, а IPMI серверов открыт из интернета. Настройку внутренних сетей оператора начинают с разделения зон и правил доступа. Разберем management, out of band управление, служебные VLAN и iBGP, затем проверим схему на примере трех узлов.

Что такое внутренние сети оператора связи

Внутренние сети обеспечивают управление, обмен маршрутами и служебные сервисы. Management, control plane и сервисные потоки выполняют разные задачи. Для каждого определяют адресацию, границы и правила доступа.

1. Management-сеть. Доступ к управлению сетевым и серверным оборудованием: SSH, HTTPS, IPMI или iLO. Обычно отдельная VLAN с доступом только для сетевых инженеров.
2. Out-of-band сеть. Независимый канал управления, который работает при отказе основной сети. Применяется для восстановления оборудования и диагностики без выезда на объект.
3. Служебные VLAN. Сети для внутренних сервисов: мониторинг, биллинг, DNS, DHCP, RADIUS. Изолированы от абонентов, доступ ограничен по IP-адресам.
4. iBGP. Сессии маршрутизаторов одной AS относятся к control plane. Для работы нужны достижимые IP-адреса соседей и next-hop. Связность обычно обеспечивает IGP, но возможны статические маршруты.

Абоненты не должны иметь доступ к управлению. DNS, DHCP и другие сервисы обслуживают их через разрешенные потоки. OOB проектируют независимо от основной сети: проверяют отдельные каналы, маршрутизацию и питание.

Настройка management-сети и out-of-band

Изоляция управляющего трафика

Первое правило: управляющий трафик не смешивается с абонентским. Порядок настройки такой.

1. Выделенная VLAN для management, например VLAN 100. На каждом коммутаторе настроен интерфейс SVI в этой VLAN, адрес из выделенного диапазона, например 10.0.100.0/24.
2. Доступ к management-VLAN ограничен рабочими станциями сетевых инженеров через firewall оператора. Абонентам он недоступен ни при каких условиях.
3. Для управления используют SSH вместо Telnet, HTTPS вместо HTTP. SNMPv3 настраивают в режиме authPriv с согласованными алгоритмами аутентификации и шифрования. События передают в Syslog, время синхронизируют через NTP.
4. AAA включает аутентификацию, авторизацию и учет. Инженеры используют отдельные записи в TACACS+ или RADIUS. Для аудита команд проверяют поддержку accounting, доставку событий и защиту центрального журнала.

Адреса выбирают из диапазонов RFC 1918: 10.0.0.0/8, 172.16.0.0/12 или 192.168.0.0/16. Диапазон 100.64.0.0/10 по RFC 6598 зарезервирован под CGNAT абонентов и здесь не применяется.

Настройка out-of-band сети

Out-of-band работает как отдельная физическая сеть управления, независимая от основной инфраструктуры. Применяется для трех типов оборудования.

1. IPMI или iLO серверов. Аппаратный интерфейс управления, который работает даже при отключении операционной системы. Обязательно подключается в отдельную сеть.
2. Консоль-серверов. Устройства с портами RS-232 для консольных портов маршрутизаторов и коммутаторов. Доступ через IP-адрес консоль-сервера восстанавливает оборудование при отказе основной сети.
3. PDU с удаленным управлением. Возможность перезагрузить оборудование по питанию удаленно, без физического визита в серверную.

Коммутаторы и консоль-серверы OOB подбирают под интерфейсы узла. LTE-резерв проверяют через независимый VPN. Каталог сетевых карт не заменяет подбор OOB-коммутаторов.

OOB помогает при предусмотренных проектом отказах. Общая авария площадки, питания или резервного оператора может прервать и этот доступ. Модели отказов проверяют до запуска.

Настройка внутренней маршрутизации iBGP

Внутри собственной автономной системы оператора связи маршруты между узлами распространяет iBGP (Internal BGP). Основные правила настройки такие.

1. Full mesh или Route Reflector. Классический iBGP требует полной связности: каждый маршрутизатор держит сессию с каждым. Для 10 маршрутизаторов это 45 сессий, для 50 уже 1225, схема не масштабируется.
2. Route Reflector по RFC 4456 распространяет маршруты и обычно сохраняет next-hop. Клиентов подключают к двум независимым RR, проверяют достижимость next-hop, политики и потерю одного отражателя. RR не обязан передавать абонентские пакеты.
3. Сессии между loopback-адресами сохраняются при отказе линка, если есть обходной маршрут. Адреса физических интерфейсов также допустимы, но их отказное поведение учитывают в проекте.
4. BGP Confederation по RFC 5065 делит AS на sub-AS. Выбор между этой схемой и RR зависит от топологии, политик и эксплуатации.
5. IP-достижимость как основа. iBGP требует маршрута к соседу и достижимого next-hop. Протокол BGP не требует именно OSPF или IS-IS.

Full mesh требует n(n−1)/2 сессий. Переход к RR выбирают по нагрузке, топологии и эксплуатации, универсального порога по числу узлов нет.

Служебные VLAN и внутренние сервисы

Типовой набор служебных VLAN

Кроме management-VLAN оператор использует еще несколько служебных VLAN для внутренних сервисов.

1. VLAN мониторинга, например VLAN 110. ACL разрешает SNMP и ICMP от Zabbix, PRTG или LibreNMS к управляющим IP, Syslog от устройств к коллектору. Остальные подключения между сегментами запрещены.
2. VLAN биллинга, VLAN 120. Данные между BRAS или RADIUS и биллинговой системой, например LANBilling или UTM5. Критично защищенная сеть, доступ строго ограничен.
3. VLAN DNS и DHCP, VLAN 130. Абонентские запросы и DHCP relay разрешают только по нужным адресам и портам. Изоляция управления не должна блокировать обслуживание абонентов.
4. VLAN резервного копирования, VLAN 140. Трафик бэкапов с боевых серверов на СХД. Высокая пропускная способность нужна ночью, днем нагрузка минимальна, часто настраивается QoS для приоритизации.
5. VLAN регуляторных данных, VLAN 150. Логи и метаданные для АПК СОРМ. Обязательно изолирована и защищена, доступ строго регламентирован.

Служебные VLAN входят в архитектуру сети передачи данных оператора. Для каждого потока задают источник, назначение, протокол и направление. Изоляция блокирует лишние связи, сохраняя необходимые сервисные подключения.

Безопасность внутренних сетей

Внутренняя сеть оператора относится к критичной инфраструктуре, компрометация дает контроль над всей сетью. Основные меры защиты такие.

1. ACL на границах VLAN. Явные правила, кто с кем обменивается трафиком, все остальное запрещено по умолчанию.
2. Отдельный firewall для management-сегмента. Запрет подключений извне, включая абонентскую сеть, доступ только через VPN оператора.
3. Мониторинг подозрительной активности: нестандартные подключения, аномальные объемы трафика, изменения конфигурации. Аудит логов раз в неделю.
4. Регулярное обновление прошивки оборудования. Уязвимости в SNMP, HTTP-интерфейсах и SSH-сервере часто дают атакующему полный контроль.
5. Сегментация внутри самого management: разные права доступа для сетевых инженеров, серверных администраторов и DBA.
6. Ansible или другой инструмент собирает копии конфигураций по политике оператора. Проверяют успешность, версии и тестовое восстановление. Доступ к паролям и ключам ограничивают. Автоматизация снижает ручную работу, но не исключает ошибки шаблонов.
7. Двухфакторная аутентификация для доступа к критичным системам: биллингу, СОРМ, DNS.
8. План реагирования на инциденты с четким описанием действий каждого специалиста при обнаружении атаки.
9. Регулярные пентесты, раз в год, для проверки эффективности защиты.
10. Обучение персонала включает типовые атаки, порядок эскалации и отработку восстановления.

Учебный пример: PoP-A, PoP-B и PoP-C используют loopback 10.255.0.1/32, 10.255.0.2/32 и 10.255.0.3/32. На каждом узле VLAN 100 и management-VRF имеют отдельную подсеть. Одинаковый номер VLAN не объединяет площадки.

Два независимых RR находятся на PoP-A и PoP-B, клиенты подключены к обоим. Проверяют достижимость loopback и next-hop. OOB каждого узла использует независимый VPN и питание. AAA управляет доступом инженеров, ACL разрешает потоки мониторинга. По очереди отключают uplink, один RR и основной канал управления, проверяют сессии и журналы. Перед изменением сохраняют конфигурацию, откат проверяют через OOB. CLI берут из документации модели и версии ОС.

Заключение

Внутренние сети поддерживают управление и сервисы. Разделение зон, контролируемые потоки, AAA, OOB и проверяемое восстановление защищают инфраструктуру. RR помогает масштабировать iBGP, но нужен не каждой сети. Проверка доступа и отказов завершает настройку.

Сетевые карты для серверов выбирают по портам, совместимости с ОС и резервированию. Коммутаторы для внутренних сетей подбирают по поддержке VLAN, VRF, ACL и интерфейсам OOB.