Если упростить, дата-центр — это многоэтажный дом для серверов. Фундамент — электропитание. Отопление наоборот — охлаждение. Лифты — кабельные трассы. Охрана у входа — контроль доступа. В статье разберем, из чего собрана инженерная инфраструктура ЦОД, чем серверная в офисе отличается от коммерческого дата-центра и какие цифры стоит держать в голове, когда планируешь свое железо или переезд в colocation. Идем от внешнего слоя к внутреннему: питание, охлаждение, сеть, безопасность, мониторинг.
Что такое дата-центр и зачем он нужен
Дата-центр — это здание или его часть, где живут серверы, СХД и сетевая инфраструктура. От обычной кладовки с парой стоек он отличается всем сразу: питанием, охлаждением, защитой от пожара и протечек, режимом доступа, мониторингом и тем, что весь этот комплекс рассчитан на работу 24/7 без права на «уроним и поднимем за пару часов».
Дата-центр и серверная: чем отличаются
Серверная — это комната с серверной стойкой, бытовым кондиционером и одним вводом электричества. Часто без резервного питания и без круглосуточной охраны. Дата-центр — отдельная инженерная история: два независимых ввода, дизель-генераторы, прецизионное охлаждение, СКУД с биометрией, газовое пожаротушение, BMS-мониторинг и SLA с конкретными цифрами доступности.
Коммерческие, корпоративные и облачные ЦОД
Коммерческие — отдают стойки в аренду внешним клиентам по модели colocation. Корпоративные — построены и эксплуатируются под собственные задачи компании: банка, телекома, ритейлера. Облачные — внутри них живут публичные облака и крупные SaaS-сервисы. Это деление условное: один большой ЦОД может одновременно сдавать стойки в colocation, держать собственное облако и обслуживать корпоративную ИТ-инфраструктуру материнской компании.
Типовые арендаторы: банки, ритейл, госсектор, телеком
Банкам и финансовым сервисам нужны два разнесенных ЦОД с синхронной репликацией: один лежит — второй держит нагрузку. Ритейл размещает кассовые серверы и BI-системы — все, что нельзя терять в высокий сезон. Госсектор идет в аттестованные сегменты с защитой данных. Телеком ставит платформы биллинга, СОРМ и узлы связи. У всех четырех общий критерий — простой стоит дороже аренды.
Машинный зал: стойки, оборудование, кабельная организация
Машинный зал — сердце ЦОД. Здесь стоят ряды серверных стоек, под фальшполом идут силовые кабели и линии охлаждения, над стойками — лотки СКС с оптикой и медью. Все организовано так, чтобы инженер мог за минуту найти нужный порт и сменить блок питания без отключения соседнего сервера.
Серверная стойка 19": конструкция, юниты, нагрузка
Стандартная стойка 19 дюймов имеет высоту 42U (один юнит — 44,45 мм). Это значит, в одну стойку помещается 42 однопроцессорных сервера высотой 1U или меньше двухпроцессорных и СХД. Типовая нагрузка коммерческой стойки в РФ — 5–10 кВт. AI-стойки с GPU доходят до 30–60 кВт, и это уже отдельная история по питанию и охлаждению. Подобрать серверные стойки и шкафы под конкретную плотность стоит на этапе проектирования зала, а не по факту привоза железа.
Горячие и холодные коридоры, изоляция потоков
Серверы дышат: забирают холодный воздух спереди, выбрасывают горячий сзади. Если поставить ряды стоек как попало, потоки смешиваются — кондиционеры работают вхолостую, оборудование греется. Решение — выстраивать ряды «лицом к лицу» и «спиной к спине», получая холодные коридоры (откуда серверы берут воздух) и горячие (куда выбрасывают). Сверху и с торцов коридоры закрывают панелями — это называется containment, изоляция потоков. Простой шаг, а PUE падает на 0,1–0,2 без замены кондиционеров.
Структурированная кабельная система (СКС) и аккуратные жгуты
СКС — это разводка медных и оптических линий по залу с маркировкой, патч-панелями и единым стандартом. Без СКС через год эксплуатации стойка превращается в спагетти, в котором нельзя поменять кабель без риска уронить соседний сервис. С ней — каждый порт паспортизирован, любой патч находится за 30 секунд по схеме.
Электропитание ЦОД: вводы, ИБП, дизель-генераторы
Питание — это фундамент дома. Если оно мигнуло, серверы перезагрузились, базы данных потеряли последние транзакции, а сервисы упали на минуты. Чтобы такого не было, питание ЦОД строится с резервированием на каждом уровне.
Два независимых ввода и щитовые
Серьезный ЦОД получает электричество от двух независимых подстанций по разным трассам. Если одна линия упала из-за аварии на районе — нагрузка автоматически переключается на вторую через АВР (автоматический ввод резерва). В щитовых стоят шинопроводы, защиты от короткого замыкания и счетчики мощности по фазам.
Источники бесперебойного питания (ИБП) и батареи
Между внешней сетью и серверами стоят ИБП и системы питания. Промышленные ИБП on-line двойного преобразования держат КПД 95–97% в ECO-режиме и выдают чистый синус без провалов. Батареи рассчитаны на 5–15 минут автономии — этого хватает, чтобы стартанули дизель-генераторы. Все чаще классические свинцово-кислотные батареи меняют на литий-ионные: меньше места, дольше ресурс, выше плотность энергии.
Дизель-генераторные установки (ДГУ) и запас топлива
ДГУ — это страховка на случай длительного отключения. Запускаются за 10–30 секунд после пропадания основной сети, выходят на полную мощность за минуту-две. Запас топлива в ЦОД — на 8–72 часа автономной работы, с контрактами на дозаправку топливозаправщиками. Без ДГУ даже самые мощные ИБП не вытянут больше получаса.
PDU в стойке: на каждый блок питания сервера
Внутри стойки висят PDU — распределители питания с розетками под каждый блок питания серверов. У сервера два блока, и подключаются они в две разные PDU, запитанные от разных лучей. Если упал один луч — сервер продолжает работать на втором. Так строится резервирование на уровне стойки.
Охлаждение: как ЦОД отводит десятки киловатт тепла
Каждый ватт, который потребляет сервер, превращается в ватт тепла. Стойка на 10 кВт греется как 10 микроволновок одновременно. Зал на 200 стоек — это два мегаватта тепла, которое нужно куда-то деть. Этим занимается система охлаждения ЦОД.
Прецизионные кондиционеры и фальшпол
Прецизионные кондиционеры (CRAC и CRAH) отличаются от бытовых тем, что держат температуру с точностью ±1°C и влажность ±5%. По стандарту ASHRAE TC 9.9 температура холодного коридора рекомендуется в коридоре 18–27°C, расширенные классы A2–A4 допускают и больше. Холодный воздух подается через фальшпол — поднятый на 30–60 см второй пол с перфорированными плитками напротив стоек. Под фальшполом же идут силовые кабели и магистрали хладагента.
Чиллеры, фрикулинг и охлаждение водой
Чиллер — это большая холодильная установка снаружи здания, которая готовит охлажденную воду для кондиционеров зала. Фрикулинг (free cooling) включается, когда на улице холоднее +12°C: вода охлаждается уличным воздухом без работы компрессоров. В средней полосе РФ фрикулинг работает 4500–6500 часов в год — это 50–75% времени и экономия до 60–80% энергии на охлаждение.
Жидкостное охлаждение и иммерсионные стойки
Когда стойка переваливает за 30 кВт, классическое воздушное охлаждение перестает справляться. На помощь приходит DLC — прямое жидкостное охлаждение чипов через теплосъемники. И иммерсионные стойки, где серверы полностью погружены в диэлектрическую жидкость. Иммерсия дает PUE 1,03–1,10 независимо от климата и нужна там, где плотность доходит до 60 кВт и больше — типичный сценарий для AI-кластеров.
Сеть и подключение к интернету
Без сети ЦОД — это просто склад железа. Поэтому к нему подводят оптику от нескольких независимых операторов, делают стыки с точками обмена трафиком и строят отказоустойчивую внутреннюю сеть.
Несколько независимых операторов связи
Минимум два, обычно три-пять провайдеров. Заходят по разным трассам — чтобы экскаватор, перерубивший одну оптику, не оставил ЦОД без интернета. При отказе одного провайдера трафик автоматически уходит на другого — за это отвечает динамическая маршрутизация на стыках. Технические детали (BGP, автономная система) — задача сетевиков, для оценки ЦОД важно одно: есть ли резерв на сети и за какое время он включается.
Стыки с MIX, IX и магистральными провайдерами
MIX и IX — точки обмена трафиком, куда подключены десятки операторов и контент-провайдеров. Прямой стык с MSK-IX или DataIX дает короткие маршруты до большинства российских ресурсов и экономит на транзитном трафике. Магистральные операторы добавляют выход на международку и резервные каналы.
Сетевое оборудование зала: коммутаторы, маршрутизаторы, файрволы
Внутри зала стоит трехуровневая архитектура: ToR-коммутаторы (top-of-rack) в каждой стойке, агрегационный уровень, ядро сети. На периметре — маршрутизаторы и файрволы, часто с защитой от DDoS и WAF под веб-сервисы. Все продублировано: упавший коммутатор или файрвол не останавливает работу зала. Чтобы подобрать сетевое оборудование под конкретный машинный зал, важно заранее посчитать число стоек, тип оптики и ожидаемый трафик между серверами и СХД.
Безопасность: физическая, противопожарная, информационная
ЦОД защищают на трех уровнях: чтобы никто посторонний не вошел, чтобы пожар не уничтожил оборудование, чтобы данные не утекли через сеть.
Контроль доступа, видеонаблюдение, охрана
Доступ в машинный зал — по СКУД с многофакторной аутентификацией: карта плюс PIN-код, часто плюс биометрия (отпечаток или сетчатка). Видеонаблюдение покрывает входы, коридоры между стойками и стойки клиентов изнутри. Охрана 24/7 на входе, журналы доступа хранятся годами. Любая работа клиента в стойке проходит через заявку: кто пришел, на сколько, с каким оборудованием.
Газовое пожаротушение и датчики дыма
Воду в машинный зал лить нельзя — короткое замыкание уничтожит оборудование. Поэтому применяют газовое пожаротушение: FM-200 или Novec 1230. Газ безопасен для людей и техники, выпускается за 10 секунд и тушит пламя, вытесняя кислород вокруг очага. Датчики дыма стоят на ранней стадии — VESDA с лазерной аспирацией ловит частицы дыма еще до того, как огонь стал виден.
Защита от затоплений и сейсмики
Под фальшполом — датчики протечек: если рядом с трубой охлаждения появилась вода, BMS сразу подает сигнал. На вводах труб — отсечные клапаны. В сейсмически активных регионах стойки и оборудование крепятся с расчетом на ускорения, фальшполы получают усиленные опоры.
Мониторинг и управление: BMS, DCIM, SLA
Инженерное хозяйство ЦОД отслеживается двумя системами: BMS (Building Management System) — за инженерку, DCIM (Data Center Infrastructure Management) — за ИТ-нагрузку и стойки.
BMS и DCIM: что отслеживает оператор ЦОД
BMS собирает данные с кондиционеров, ИБП, ДГУ, датчиков температуры и влажности, датчиков протечек и пожара. DCIM — нагрузка по фазам в PDU, температура в стойках, занятость юнитов, потребление каждого сервера. Все данные стекаются в диспетчерскую, где сидит дежурная смена и видит дашборды по залам и стойкам.
SLA и Tier: что означают на практике
Tier — классификация Uptime Institute по уровню резервирования. Tier I — базовый, без резервирования, 99,671% доступности. Tier II — добавляется резерв компонентов. Tier III — резервирование N+1, обслуживание без остановки, 99,982% доступности (около 1,6 часа простоя в год). Tier IV — 2N резервирование питания и охлаждения, 99,995% доступности (26 минут простоя в год).
SLA в договоре с ЦОД — конкретные цифры по доступности питания, охлаждения, сети и времени реакции на инциденты. Хороший SLA — это не «мы постараемся», а компенсация в виде скидки за каждый час простоя сверх нормы.
Реакция дежурной смены на инциденты
Дежурная смена работает круглосуточно: 2–4 инженера на ночь, плюс старший. Регламенты прописаны под каждый тип события: пропал ввод — реакция за минуту, температура поднялась на 5 градусов — реакция за 5 минут, отказал кондиционер — выезд сервис-инженера. Время реакции — главный показатель зрелости оператора.
Своя серверная или аренда в ЦОД: что выбрать
Не каждой компании нужен полноценный ЦОД. Иногда хватает серверной в офисе, иногда логичнее переехать в colocation, иногда — выбрать гибрид.
Когда хватает серверной комнаты в офисе
Если в компании 1–3 стойки, ИТ-нагрузка до 15 кВт, нет требований по доступности 24/7, простой в пару часов не критичен — своей серверной с правильно подобранным ИБП и кондиционером хватит. Это дешевле colocation на горизонте 3–5 лет и удобнее по физическому доступу к серверам для админов.
Когда оправдан переезд в коммерческий ЦОД
Когда нагрузка переваливает за 5 стоек, появляются требования по доступности от 99,9%, банк или регулятор требуют аттестованную площадку, бизнес не готов брать на себя риски долгого простоя. Тогда выгода colocation очевидна: за фиксированную сумму получаешь питание с двумя вводами, прецизионное охлаждение, охрану и SLA с компенсациями.
Гибрид: часть оборудования у себя, часть — в colocation
Самый частый сценарий в средней компании. Боевые серверы и СХД — в коммерческом ЦОД, где SLA и инженерная инфраструктура. Тестовые стенды, файловые серверы для офиса, AD-контроллеры — в своей серверной рядом с пользователями. Резерв и DR-площадка — в третьем месте, географически разнесенном.
Планируете построить свою серверную или перенести оборудование в коммерческий ЦОД? Наши инженеры спроектируют машинный зал, рассчитают питание и охлаждение, подберут стойки и сетевую инфраструктуру. Закажите аудит ИТ-инфраструктуры — после него станет понятно, что разумнее: своя площадка, colocation или гибрид.
Заключение
Дата-центр устроен как многослойная инженерная система: внизу — два ввода питания и ДГУ, выше — ИБП и PDU, рядом — прецизионное охлаждение и фрикулинг, поверх — серверы, СХД и сетевая инфраструктура, и над всем этим — BMS, DCIM и дежурная смена. Каждый слой резервируется по схеме N+1 или 2N, и именно за этот запас и платит компания, когда уходит из офисной серверной в коммерческий ЦОД.
Уровень резервирования и заявленный SLA выражаются классом Tier — от I до IV. Главная развилка для бизнеса: считать TCO на 3–5 лет вперед и сравнивать честно. Часто оказывается, что свое железо в colocation выигрывает у попытки построить мини-ЦОД в офисе, а гибрид побеждает оба варианта.
Планируете построить свою серверную или перенести оборудование в коммерческий ЦОД? Наши инженеры спроектируют машинный зал, рассчитают питание и охлаждение, подберут стойки и сетевую инфраструктуру. Закажите аудит ИТ-инфраструктуры — после него станет понятно, что разумнее: своя площадка, colocation или гибрид.
Ответы на частые вопросы
Чем дата-центр отличается от обычной серверной?
Уровнем инженерной инфраструктуры. У серверной — один ввод, бытовой кондиционер, дверь на ключе. У ЦОД — два ввода, ИБП с ДГУ, прецизионное охлаждение, СКУД, газовое пожаротушение, BMS и SLA на доступность. И, главное, ЦОД спроектирован под безотказную работу 24/7.
Что такое Tier и какие уровни бывают?
Это классификация Uptime Institute по резервированию инженерных систем. Tier I — базовый, без резерва. Tier II — резерв компонентов. Tier III — N+1 и обслуживание без остановки (99,982% доступности). Tier IV — полное 2N по питанию и охлаждению (99,995%, около 26 минут простоя в год).
Сколько киловатт держит одна серверная стойка?
Типовая стойка коммерческого ЦОД — 5–10 кВт. Стойки под виртуализацию и базы данных — 10–15 кВт. AI-стойки с GPU — 30–60 кВт, и для них нужно отдельное охлаждение, обычно жидкостное или иммерсия.
Зачем в ЦОД дизель-генераторы, если есть ИБП?
ИБП держат нагрузку 5–15 минут — этого хватает только пережить кратковременные провалы в сети. ДГУ — это длинная страховка на часы и сутки: запускаются за 10–30 секунд после пропадания внешней сети, выходят на мощность и могут работать 8–72 часа на запасе топлива.
Что такое горячий и холодный коридор?
Это организация рядов стоек. Серверы дышат спереди (вход холодного воздуха) и сзади (выход горячего). Стойки выстраивают «лицом к лицу» — между ними получается холодный коридор. И «спиной к спине» — получается горячий. Сверху и с торцов коридоры закрывают панелями, чтобы холодный и горячий воздух не смешивались.
Когда нужен фрикулинг, а когда чиллер?
Чиллер — это базовая холодильная установка, работает при любой погоде, но тратит электричество на компрессоры. Фрикулинг — режим, в котором чиллер охлаждает воду уличным воздухом без компрессоров: включается, когда на улице холоднее +12°C. В средней полосе РФ фрикулинг покрывает 50–75% годового времени и сильно экономит энергию.
Что входит в SLA коммерческого ЦОД?
Конкретные цифры по доступности питания, охлаждения, сети, времени реакции на инциденты и компенсации за простой сверх нормы. Дополнительно — параметры температуры и влажности в холодном коридоре, режим доступа клиента к своей стойке, регламенты подачи заявок.
Что выбрать: свою серверную или colocation?
Зависит от масштаба и требований. До 3 стоек и без жестких требований по доступности — обычно дешевле своя серверная. От 5 стоек, при доступности 99,9% и выше, регуляторных требованиях, отсутствии своего инженерного штата — выгоднее colocation. Часто оптимум — гибрид: продуктив в коммерческом ЦОД, вспомогательные сервисы и DR-копии в других местах.
