iSCSI vs NFS vs Fibre Channel: как выбрать протокол для подключения СХД

Новый кластер виртуализации, поставщик железа предлагает Fibre Channel «для надёжности», а собственный сисадмин говорит, что хватит iSCSI. Цена решения отличается в разы: фабрика FC легко добавляет к смете больше, чем сами серверы. Когда встаёт вопрос «как подключать СХД», выбор iSCSI vs NFS vs Fibre Channel определяет и бюджет на старте, и сложность эксплуатации, и потолок производительности через три года.

Для подключения хостов к СХД используются три протокола. Fibre Channel про максимальную надёжность и предсказуемые задержки. iSCSI про универсальность по обычному Ethernet. NFS про простоту и файловую модель. Ниже - где какой действительно нужен и как не переплатить за избыточную надёжность.

Главное различие - модель доступа и транспорт. iSCSI и Fibre Channel дают хосту «сырой» том (LUN), блочное устройство, которое выглядит как локальный диск, а файловую систему создаёт уже хост. NFS наоборот: хост монтирует готовую файловую систему, а блоками управляет СХД.

Транспортный уровень тоже разный. iSCSI и NFS работают поверх обычного IP/Ethernet - той же инфраструктуры, что несёт пользовательский трафик. Fibre Channel - выделенная оптическая фабрика на специальных коммутаторах и HBA-адаптерах, физически отдельная от LAN.

Типичные сценарии распределены так: Fibre Channel - банки, телеком и крупные ЦОДы с критичными СУБД, iSCSI - средний бизнес и виртуализация, NFS - бэкапы, тестовые среды и виртуализация на VMware и Proxmox с файловой моделью датасторов. При корректной настройке на типовых задачах все три дают сопоставимые цифры. Разница становится заметной на пиковых нагрузках и в сценариях с жёсткими требованиями к задержкам.

Подключение СХД по iSCSI инкапсулирует SCSI-команды в TCP/IP - хост видит LUN как обычный блочный диск, а весь обмен идёт по Ethernet. Плюсы - дешёвое оборудование (стандартные коммутаторы и сетевые карты), гибкая маршрутизация через обычные подсети, поддержка во всех современных ОС и гипервизорах из коробки.

На 10 GbE iSCSI даёт около 1,1 ГБ/с на одно соединение, на 25 GbE - около 2,8 ГБ/с; с Multipath I/O масштабирование линейное по числу путей. На 100 GbE iSCSI уже сопоставим с младшими FC по чистой пропускной способности.

Минус один и решаемый: чувствительность к загрузке общей сети. Если iSCSI идёт через тот же канал, что и пользовательский трафик, латентность плавает - лечится выделенным VLAN или физически отдельной сетью под storage. Применение - виртуализация среднего масштаба, базы средней нагрузки, бэкапы, тестовые контуры. Стандарт для большинства корпоративных задач.

Fibre Channel СХД подключается через выделенный протокол транспорта SCSI-команд по оптической фабрике - физически отдельная сеть со своими коммутаторами FC-switch и HBA-адаптерами на хостах, полностью изолированная от LAN. Это даёт предсказуемую задержку 50–100 мкс, изоляцию storage-трафика и поддержку dual fabric с автоматическим failover.

FC32 (32 Гбит/с) даёт около 3,2 ГБ/с на порт, FC64 - около 6,4 ГБ/с. Минусы - стоимость и сложность: HBA на каждом хосте, FC-коммутаторы дороже Ethernet, отдельная оптика и лицензии на портах, выделенная экспертиза сисадминов по другому стеку. Если решение строить продакшен на FC принято, дальше задача техническая: оборудование Fibre Channel - HBA-адаптеры, коммутаторы, оптика, подбирается под целевую фабрику FC32 или FC64 как единый набор, а не покупается отдельными позициями.

Применение - критичные СУБД, большие виртуальные кластеры с жёсткими SLA и инсталляции с требованиями по предсказуемой задержке.

NFS-хранилище для виртуализации - это файловый протокол поверх IP: хост монтирует удалённую папку как обычный сетевой диск, а файловую систему ведёт СХД или NAS. Принципиально другая модель, чем у iSCSI и Fibre Channel.

Простота настройки - главное преимущество: NFS-сервер на Linux поднимается за минуты, клиент монтирует папку одной командой, права раздаются через UID/GID. VMware vSphere, Proxmox и zVirt умеют использовать NFS как тип датастора напрямую: виртуальные диски ВМ хранятся как файлы (.vmdk, .qcow2) на NFS-папке, что упрощает бэкапы и миграции между узлами.

По версиям: NFSv3 устарел - нет шифрования, проблемы при обрывах соединения, в новых инсталляциях работают только с NFSv4.1+ (Kerberos, recovery, делегирование блокировок). NFS уместен на бэкап-серверах, хранилищах ISO и шаблонов ВМ, дев-стендах и виртуализации средней нагрузки в Proxmox. Не уместен на базах данных с активной транзакционной нагрузкой - файловый слой добавляет задержку, и логи транзакций такое не прощают.

Производительность. По задержкам лидирует Fibre Channel (50–100 мкс), iSCSI на нагруженной сети даёт от 200 мкс до миллисекунд, NFS добавляет файловый слой и проседает на коротких операциях. По пропускной способности на 10 GbE iSCSI и NFS близки, на 25/100 GbE iSCSI лучше масштабируется. Отдельно про iSER (iSCSI Extensions for RDMA) - это расширение протокола, которое выносит передачу данных в RDMA-канал поверх RoCE или InfiniBand, минуя стек TCP. Эффект кардинальный: задержки падают с типовых 200–500 мкс до 30–60 мкс, нагрузка на CPU хоста снижается в 3–5 раз. По цифрам iSER на 100 GbE сопоставим с младшими FC по latency и при этом дешевле по фабрике. Минусы - нужны сетевые карты с поддержкой RDMA, коммутаторы с lossless Ethernet (DCB/PFC) и более тонкая настройка, чем у обычного iSCSI. FC растёт по своему циклу - FC32 и FC64 в коммерческой эксплуатации, FC128 анонсирован и встречается на топовых SAN-фабриках, но массово не распространён.

Стоимость инфраструктуры. Самая высокая у Fibre Channel: HBA на каждом хосте, FC-коммутаторы дороже Ethernet, лицензии на портах. iSCSI и NFS работают на существующей Ethernet-инфраструктуре - отдельных расходов нет, нужны только сетевые карты с запасом по нагрузке.

Простота поддержки. NFS - самый дешёвый в эксплуатации: один файл exports, монтирование на клиенте, базовые навыки Linux и сетей. iSCSI - средняя сложность: target на СХД, инициатор на хосте, multipath, понимание TCP/IP и VLAN. Fibre Channel - самая высокая: zoning на коммутаторах, mapping LUN, мониторинг WWN, отдельная экспертиза. По масштабированию iSCSI и NFS добавляют узлы одной настройкой, FC требует расширения фабрики и лицензий портов.

Выбор протокола подключения СХД - это всегда баланс между требованиями к производительности, бюджетом на инфраструктуру и компетенциями команды. Fibre Channel для критичных нагрузок и больших SLA, iSCSI для большинства корпоративных задач, NFS для виртуализации с файловой моделью, бэкапов и дев-стендов. Часто оптимально не выбирать один протокол на всё, а развести роли: NFS под бэкап, iSCSI под прод-ВМ, FC под СУБД. Когда роль каждого протокола определена, остаётся выбрать само хранилище: СХД для серверной инфраструктуры подбирают под суммарную нагрузку, поддерживаемые протоколы и горизонт роста на три-пять лет.