Новый кластер виртуализации, поставщик железа предлагает Fibre Channel «для надёжности», а собственный сисадмин говорит, что хватит iSCSI. Цена решения отличается в разы: фабрика FC легко добавляет к смете больше, чем сами серверы. Когда встаёт вопрос «как подключать СХД», выбор iSCSI vs NFS vs Fibre Channel определяет и бюджет на старте, и сложность эксплуатации, и потолок производительности через три года.
Для подключения хостов к СХД используются три протокола. Fibre Channel про максимальную надёжность и предсказуемые задержки. iSCSI про универсальность по обычному Ethernet. NFS про простоту и файловую модель. Ниже - где какой действительно нужен и как не переплатить за избыточную надёжность.
Чем эти протоколы отличаются принципиально
Главное различие - модель доступа и транспорт. iSCSI и Fibre Channel дают хосту «сырой» том (LUN), блочное устройство, которое выглядит как локальный диск, а файловую систему создаёт уже хост. NFS наоборот: хост монтирует готовую файловую систему, а блоками управляет СХД. Сначала определите требуемую модель хранилища — NAS, SAN или гибрид: как выбрать СХД, а затем сравнивайте протоколы.
Транспортный уровень тоже разный. iSCSI и NFS работают поверх обычного IP/Ethernet - той же инфраструктуры, что несёт пользовательский трафик. Fibre Channel - выделенная оптическая фабрика на специальных коммутаторах и HBA-адаптерах, физически отдельная от LAN.
Типичные сценарии распределены так: Fibre Channel - банки, телеком и крупные ЦОДы с критичными СУБД, iSCSI - средний бизнес и виртуализация, NFS - бэкапы, тестовые среды и виртуализация на VMware и Proxmox с файловой моделью датасторов. При корректной настройке на типовых задачах все три дают сопоставимые цифры. Разница становится заметной на пиковых нагрузках и в сценариях с жёсткими требованиями к задержкам.
iSCSI и Fibre Channel: блочный доступ
iSCSI: дешёво, гибко, по обычной сети
Подключение СХД по iSCSI инкапсулирует SCSI-команды в TCP/IP - хост видит LUN как обычный блочный диск, а весь обмен идёт по Ethernet. Плюсы - дешёвое оборудование (стандартные коммутаторы и сетевые карты), гибкая маршрутизация через обычные подсети, поддержка во всех современных ОС и гипервизорах из коробки.
На 10 GbE iSCSI даёт около 1,1 ГБ/с на одно соединение, на 25 GbE - около 2,8 ГБ/с; с Multipath I/O масштабирование линейное по числу путей. На 100 GbE iSCSI уже сопоставим с младшими FC по чистой пропускной способности.
Минус один и решаемый: чувствительность к загрузке общей сети. Если iSCSI идёт через тот же канал, что и пользовательский трафик, латентность плавает - лечится выделенным VLAN или физически отдельной сетью под storage. Применение - виртуализация среднего масштаба, базы средней нагрузки, бэкапы, тестовые контуры. Стандарт для большинства корпоративных задач.
Fibre Channel: дорого, надёжно, отдельная фабрика
Fibre Channel представляет собой отдельную сеть хранения и протокол блочного доступа серверов к СХД: свои адаптеры HBA, коммутаторы и оптика, скорости 16, 32 и 64 Гбит/с. SCSI-команды передаются по оптической фабрике, физически изолированной от LAN. Это дает предсказуемую задержку, изоляцию storage-трафика и поддержку dual fabric с автоматическим failover. По типовым ориентирам полная задержка операции end-to-end с All-Flash-массивом составляет 0,1–0,5 мс, причем сам FC-коммутатор добавляет к ней лишь доли микросекунды (у Brocade G720 это 460 нс на локально коммутируемых портах).
FC32 (32 Гбит/с) даёт около 3,2 ГБ/с на порт, FC64 - около 6,4 ГБ/с. Минусы - стоимость и сложность: HBA на каждом хосте, FC-коммутаторы дороже Ethernet, отдельная оптика и лицензии на портах, выделенная экспертиза сисадминов по другому стеку. Если решение строить продакшен на FC принято, дальше задача техническая: оборудование Fibre Channel - HBA-адаптеры, коммутаторы, оптика, подбирается под целевую фабрику FC32 или FC64 как единый набор, а не покупается отдельными позициями.
Применение - критичные СУБД, большие виртуальные кластеры с жёсткими SLA и инсталляции с требованиями по предсказуемой задержке.
NFS: файловый доступ и где он реально удобнее
NFS-хранилище для виртуализации - это файловый протокол поверх IP: хост монтирует удалённую папку как обычный сетевой диск, а файловую систему ведёт СХД или NAS. Принципиально другая модель, чем у iSCSI и Fibre Channel.
Простота настройки - главное преимущество: NFS-сервер на Linux поднимается за минуты, клиент монтирует папку одной командой, права раздаются через UID/GID. VMware vSphere, Proxmox и zVirt умеют использовать NFS как тип датастора напрямую: виртуальные диски ВМ хранятся как файлы (.vmdk, .qcow2) на NFS-папке, что упрощает бэкапы и миграции между узлами.
По версиям: NFSv3 устарел - нет шифрования, проблемы при обрывах соединения, в новых инсталляциях работают только с NFSv4.1+ (Kerberos, recovery, делегирование блокировок). NFS уместен на бэкап-серверах, хранилищах ISO и шаблонов ВМ, дев-стендах и виртуализации средней нагрузки в Proxmox. Не уместен на базах данных с активной транзакционной нагрузкой - файловый слой добавляет задержку, и логи транзакций такое не прощают.
Если выбирать между NFS и iSCSI для хранилища виртуальных машин или бэкапов, разница сводится к модели доступа. NFS отдает хостам общую папку, где диски ВМ лежат обычными файлами: их удобно копировать, переносить и бэкапить, а отдельная кластерная файловая система не нужна. iSCSI отдает блочный том, который работает быстрее на коротких операциях и поддерживает многопутевой доступ через multipath, но для совместной работы нескольких хостов с одним LUN поверх него нужна кластерная файловая система или общий LVM. Поэтому NFS выбирают для репозиториев бэкапов, шаблонов и виртуализации средней нагрузки. Например, в Proxmox Backup Server datastore на NFS создают поверх смонтированного в ОС каталога. iSCSI берут там, где важны задержка и отказоустойчивость путей: для продуктивных ВМ и баз данных.
Сравнение по ключевым параметрам
Производительность, стоимость, простота поддержки
Производительность.
По задержкам лидирует Fibre Channel: полная задержка операции с All-Flash-массивом по типовым ориентирам составляет 0,1–0,5 мс против 0,3–1,5 мс у iSCSI без DCB, а NFS добавляет файловый слой и проседает на коротких операциях. По пропускной способности на 10 GbE iSCSI и NFS близки, на 25/100 GbE iSCSI лучше масштабируется. Отдельно про iSER (iSCSI Extensions for RDMA) - это расширение протокола, которое выносит передачу данных в RDMA-канал поверх RoCE или InfiniBand, минуя стек TCP. Данные идут по RDMA в обход TCP-стека, поэтому задержка и нагрузка на процессор хоста заметно ниже, чем у обычного iSCSI. На 100 GbE iSER по задержке приближается к Fibre Channel и при этом дешевле по фабрике. Минусы - нужны сетевые карты с поддержкой RDMA, коммутаторы с lossless Ethernet (DCB/PFC) и более тонкая настройка, чем у обычного iSCSI. FC растёт по своему циклу - FC32 и FC64 в коммерческой эксплуатации, FC128 анонсирован и встречается на топовых SAN-фабриках, но массово не распространён.
Стоимость инфраструктуры. Fibre Channel дороже на старте из-за HBA на каждом хосте, FC-коммутаторов и лицензий на портах, а iSCSI и NFS работают на существующей Ethernet-инфраструктуре. Как эта разница выглядит в TCO на пять лет и когда физическая изоляция фабрики ее оправдывает, разбирает статья Fibre Channel или iSCSI: когда стоит переплачивать за FC.
Простота поддержки. NFS - самый дешёвый в эксплуатации: один файл exports, монтирование на клиенте, базовые навыки Linux и сетей. iSCSI - средняя сложность: target на СХД, инициатор на хосте, multipath, понимание TCP/IP и VLAN. Fibre Channel - самая высокая: zoning на коммутаторах, mapping LUN, мониторинг WWN, отдельная экспертиза. По масштабированию iSCSI и NFS добавляют узлы одной настройкой, FC требует расширения фабрики и лицензий портов.
| Параметр | NFS | iSCSI | Fibre Channel |
|---|---|---|---|
| Тип доступа | Файловый: хост монтирует готовую файловую систему | Блочный: хост получает LUN и сам создает файловую систему | Блочный: хост получает LUN и сам создает файловую систему |
| Сеть | Обычный IP/Ethernet | Обычный IP/Ethernet, лучше выделенный VLAN или отдельная сеть | Выделенная оптическая фабрика с FC-коммутаторами и HBA |
| Типовая задача | Бэкапы, шаблоны и ISO, файловые датасторы Proxmox и VMware | Виртуализация среднего бизнеса, базы средней нагрузки | Критичные СУБД, крупные кластеры с жесткими SLA |
| Стоимость входа | Низкая, используется существующая сеть | Низкая, используется существующая сеть | Высокая: HBA, коммутаторы, оптика, лицензии портов |
| Сложность поддержки | Низкая: exports на сервере и монтирование на клиенте | Средняя: target, инициатор, multipath, VLAN | Высокая: zoning, mapping LUN, мониторинг WWN |
Какой протокол под какую задачу
- Виртуализация продакшен с жёсткими SLA. Fibre Channel - стандарт для больших VMware-кластеров банков и телекома. iSCSI на 25/100 GbE - рабочая альтернатива при ограниченном бюджете.
- Виртуализация среднего бизнеса. iSCSI - оптимальный выбор: хватает для большинства задач, не нужна отдельная фабрика, обычной сетевой экспертизы команды достаточно.
- Proxmox и zVirt с файловыми датасторами. NFS - естественный выбор: меньше точек настройки, проще миграция ВМ между узлами, удобнее бэкапы через копирование файлов.
- Базы данных с критичной нагрузкой. Fibre Channel или iSCSI с гарантированной полосой, NFS под активную транзакционную БД не подходит.
- Бэкап-серверы и архивы. NFS подходит идеально: простая интеграция с Veeam, RuBackup, Proxmox Backup Server.
- Гибрид. Часто оптимально: NFS под бэкапы и шаблоны, iSCSI под продакшен ВМ, FC под СУБД.
На что обратить внимание при выборе
- Совместимость с СХД. Это первая отсечка: современные массивы среднего и верхнего сегмента поддерживают все три протокола, у бюджетных NAS обычно только iSCSI и NFS, а отдельные модели заточены под конкретный протокол. Если СХД уже выбрана или закуплена, дальнейший выбор сводится к тому, что она физически умеет.
- Что уже есть в инфраструктуре. Если в сети уже работает 10/25 GbE с резервированием - отправная точка для iSCSI или NFS. Если есть Fibre Channel - продолжать с ним дешевле, чем мигрировать.
- Компетенции команды. Сисадмины с опытом FC встречаются реже и дороже. Если своих специалистов нет, лучше iSCSI или NFS.
- Бюджет на старте. Fibre Channel - это вложение в фабрику, HBA и лицензии. На небольшом старте это лишние деньги.
- Перспектива роста. iSCSI и NFS легко масштабируются добавлением узлов. FC требует расширения фабрики и проектирования zoning.
Чего не делать
- Не строить Fibre Channel «потому что надёжно» там, где справится iSCSI. Лишний миллион в смете на фабрику, который не даст ни выигрыша по производительности, ни прироста надёжности, особенно в малом и среднем бизнесе.
- Не использовать NFSv3 в новых инсталляциях. Нет шифрования, проблемы с восстановлением. Только NFSv4.1+.
- Не подключать СХД через NFS для активной транзакционной БД. Файловый протокол добавляет задержку, которую логи транзакций не прощают.
- Не пускать iSCSI по той же сети, что и пользовательский трафик, без VLAN или отдельных физических интерфейсов.
Заключение
Выбор протокола подключения СХД - это всегда баланс между требованиями к производительности, бюджетом на инфраструктуру и компетенциями команды. Fibre Channel для критичных нагрузок и больших SLA, iSCSI для большинства корпоративных задач, NFS для виртуализации с файловой моделью, бэкапов и дев-стендов. Часто оптимально не выбирать один протокол на всё, а развести роли: NFS под бэкап, iSCSI под прод-ВМ, FC под СУБД. Когда роль каждого протокола определена, остаётся выбрать само хранилище: СХД для серверной инфраструктуры подбирают под суммарную нагрузку, поддерживаемые протоколы и горизонт роста на три-пять лет.