vGPU разделяет одну физическую видеокарту между несколькими виртуальными машинами. Например, восьми дата-сайентистам GPU нужен для экспериментов на несколько часов. Отдельные серверы простаивают, а очередь к общей карте замедляет работу. С vGPU разработчики получают изолированные ВМ с назначенной видеопамятью и доступом к вычислениям. Разберем механику, отличие от MIG и условия окупаемости.
Что такое vGPU и как работает виртуализация видеокарты
NVIDIA vGPU создает на одном физическом GPU несколько виртуальных устройств, которые гипервизор назначает гостевым ВМ. На хосте работает NVIDIA Virtual GPU Manager, внутри каждой ВМ установлен совместимый гостевой драйвер. При совместимых версиях CUDA, драйверов и ML-фреймворка приложение часто работает без изменений. Перед миграцией проверяют используемые операции, обмен между GPU и ограничения профиля на тестовом стенде.
При создании vGPU профиль резервирует для ВМ определенный объем кадрового буфера, то есть видеопамяти. Память закреплена за виртуальным устройством до его удаления. Вычислительные движки при классическом time-sliced vGPU остаются общими. Планировщик последовательно дает виртуальным машинам интервалы работы на GPU.
По данным на момент публикации, доступны режимы best effort, equal share и fixed share. В первом активная ВМ может использовать незанятое время соседей. Во втором ресурс поровну распределяется между запущенными vGPU. В третьем профиль получает фиксированную долю циклов. Поэтому объем видеопамяти и скорость не равны. Результат зависит от политики планировщика и активности других ВМ.
При GPU passthrough вся физическая карта эксклюзивно назначается одной ВМ. vGPU выбирают, когда важнее плотность пользователей, изоляция окружений и управляемое распределение ресурса, чем максимальная скорость одной задачи.
Профили vGPU и как делится карта
Профили: как настраивается «долька» карты
Профиль vGPU задает объем видеопамяти, класс нагрузки и допустимое число виртуальных устройств. Набор зависит от модели GPU, исполнения карты, версии ПО и гипервизора. Конфигурацию нельзя выбирать по общему правилу «разделить пополам».
На NVIDIA A100 80 ГБ в режиме time-sliced, например, применяются вычислительные C-профили с 10, 20, 40 или 80 ГБ памяти. При одинаковом размере на карте размещается до восьми, четырех, двух или одной vGPU соответственно. Это пример расчета, а не готовая спецификация. Названия и сочетания нужно сверять в справочнике типов vGPU NVIDIA для выбранной платформы.
До внедрения измеряют пиковое потребление памяти, длительность GPU-задач и число одновременных пользователей. Слишком тесный профиль приводит к ошибке нехватки памяти. Слишком крупный уменьшает плотность размещения и возвращает простои.
MIG — альтернатива vGPU внутри одной карты
MIG, или Multi-Instance GPU, не является другим названием vGPU. MIG делит поддерживаемый GPU на аппаратно изолированные экземпляры с выделенными долями памяти, кэша и вычислительных блоков. Задачи в разных GPU Instance выполняются параллельно. Классический time-sliced vGPU оставляет движки общими и по очереди планирует работу ВМ.
MIG поддерживается не каждой картой. Например, A100 80 ГБ допускает до семи экземпляров MIG 1g.10gb. Возможны смешанные сочетания по допустимой схеме. У H100, H200 и Blackwell наборы отличаются, поэтому конфигурацию между поколениями без проверки не переносят.
MIG работает на поддерживаемых GPU под Linux. MIG-backed vGPU обычно назначает экземпляр ВМ в режиме 1:1, а разделение по времени доступно только для сочетаний GPU, версии vGPU и гипервизора из официальной матрицы. Дополнительные ограничения зависят от гостевой ОС.
Режим | Ресурс | Изоляция | Сценарий |
|---|---|---|---|
Time-sliced vGPU | Память закреплена, GPU делится по времени | Память ВМ разграничена, но вычислительные ресурсы и часть областей отказа общие. Ошибка или сброс физического GPU могут затронуть соседние ВМ. | Нерегулярные задачи |
MIG-backed vGPU | Аппаратный экземпляр MIG | Выделены память, кэш и блоки | Более предсказуемая производительность и меньший джиттер |
GPU passthrough | Вся карта одной ВМ | Максимальная | Длительная высокая загрузка |
Выбор подтверждают пилотом.
Когда vGPU выгоден для задач ИИ
- Рабочие места дата-сайентистов. Инженеры запускают ноутбуки и эксперименты нерегулярно, их пики редко совпадают. Best effort отдает активной ВМ свободные интервалы, а изолированные ОС сохраняют зависимости команд. Экономия появляется за счет роста загрузки карты.
- Тестовые среды. Версии модели проверяются параллельно, но не требуют всей карты постоянно. Профили ограничивают память, а ВМ изолированы.
- Инференс небольших моделей с неравномерным трафиком. На одном GPU размещают несколько ВМ, если каждая модель вместе с буферами помещается в профиль, а суммарная нагрузка не держит карту у предела. Для сервисов, чувствительных к задержке, выбирают equal share, fixed share или MIG-backed vGPU и измеряют хвостовые задержки.
Расчет начинают с одновременности. Средняя загрузка восьми пользователей не доказывает, что им хватит одной карты. Пилот должен воспроизвести пики и реальное расписание.
Корпоративный сервер под ИИ проектируют с запасом памяти, совместимым гипервизором и профилями vGPU, которые соответствуют измеренной нагрузке пользователей.
Лицензирование и подводные камни
vGPU — платная функциональность NVIDIA
Лицензирование vGPU учитывают отдельно от карты и сервера. Вычислительная редакция vGPU for Compute лицензируется через NVIDIA AI Enterprise: лицензию проверяют для каждой vGPU, назначенной ВМ, вместе с правом использования выбранного GPU и гипервизора. Для виртуальных рабочих мест и приложений предусмотрены NVIDIA RTX vWS, vPC и vApps. Их метрику одновременных пользователей не переносят на вычислительные сценарии.
Итог зависит от редакции, срока, поддержки, числа vGPU и условий поставки. В совокупную стоимость включают лицензию, гипервизор, систему лицензирования и сопровождение. Условия меняются, поэтому их сверяют с руководством NVIDIA и предложением поставщика.
Поддержка определяется комбинацией GPU, сервера, гипервизора, версии Virtual GPU Manager, гостевого драйвера и ОС. Общее слово KVM не подтверждает совместимость любой платформы на его основе. Нужная версия должна присутствовать в матрице NVIDIA и документации гипервизора.
Универсальной цифры потерь производительности нет. Она зависит от карты, профиля, планировщика и задачи. Корректный пилот сравнивает passthrough, выбранный vGPU-профиль и целевое число одновременно работающих ВМ на одинаковых моделях.
Мониторинг должен показывать загрузку GPU, память, очереди, температуру и статус лицензий. Иначе причину замедления нельзя отделить от конкуренции ВМ или ошибки конфигурации.
Когда vGPU не подходит
- Одна задача стабильно занимает всю память и вычислительные блоки карты. Обучение крупной модели, длительное дообучение или пакетная обработка с высокой утилизацией не оставляют свободных интервалов соседним ВМ. Полный профиль или passthrough тогда проще, а лицензирование не повышает плотность.
- Обучение идет на нескольких GPU. Поддержка нескольких vGPU в одной ВМ, peer-to-peer и NVLink зависит от профиля, карты, гипервизора и ОС. Если модель интенсивно синхронизирует ускорители, проверяют матрицу и измеряют масштабирование.
- Сервис имеет жесткий предел задержки. При time-slicing соседняя ВМ влияет на хвост времени ответа. MIG-backed vGPU снижает влияние, но не отменяет тест. Если выход за предел неприемлем, ресурс выделяют целиком.
- Модель и ее буферы не помещаются в один профиль. Память разных vGPU не складывается, поэтому нужен более крупный профиль, другая карта или распределение самой модели.
vGPU выгоден, когда физического GPU больше, чем требует типовая задача, и остаток можно безопасно отдать другим ВМ.
Заключение
vGPU превращает один физический GPU в управляемый ресурс для нескольких виртуальных машин. Профиль закрепляет видеопамять, планировщик распределяет вычислительное время. MIG решает соседнюю задачу и создает аппаратно изолированные экземпляры. На поддерживаемых платформах подходы сочетаются.
Экономический эффект появляется у команд с неполной и несовпадающей загрузкой, у тестовых сред и небольших сервисов инференса. Если одна задача постоянно насыщает карту, требует всей памяти или плотного обмена между GPU, разделение усложняет систему без роста полезной работы.
Перед внедрением измеряют нагрузку, выбирают профили, проверяют совместимость и считают лицензии на весь срок. GPU-сервер для ИИ-нагрузок подбирают с учетом числа виртуальных устройств, объема памяти и режима совместного использования, а специалисты Serverzilla могут сравнить такую конфигурацию с отдельными рабочими станциями.