Как построить отказоустойчивую инфраструктуру ЦОД: ИБП, PDU, СКС и телекоммуникационные шкафы

Отказоустойчивость ЦОД создаёт не отдельное «самое надёжное» устройство, а согласованная архитектура. Резервный ИБП не поможет, если оба ввода в стойку подключены к одному распределительному щиту. Два сетевых коммутатора не спасут сервис, если их оптические линии проложены в одном лотке. А мощная система охлаждения будет расходовать лишнюю энергию, если горячий воздух возвращается на вход серверов через незакрытые проёмы.

Поэтому проектировать инфраструктуру нужно как единую цепочку: от ввода электропитания и ИБП до стоечных PDU, СКС, телекоммуникационных шкафов, изоляции коридоров и мониторинга. Главная цель — исключить единичные точки отказа, обеспечить безопасное техническое обслуживание и оставить резерв для развития площадки.

Что означает отказоустойчивость для ЦОД

В инженерной практике недостаточно добавить по одному запасному модулю к каждой системе. Необходимо определить, что должно происходить при отказе любого критичного элемента и во время его планового обслуживания.

Международные подходы разделяют эти задачи. Например, Uptime Institute отличает возможность обслуживать элементы без остановки нагрузки от устойчивости к незапланированному единичному отказу. Действующая редакция ANSI/TIA-942-C охватывает телекоммуникационную, электрическую и механическую инфраструктуру, архитектуру, безопасность и мониторинг ЦОД. Серия ISO/IEC 22237 также рассматривает инфраструктуру дата-центра на протяжении планового срока эксплуатации.

Конкретный уровень резервирования выбирают не по принципу «чем больше, тем лучше», а по требованиям бизнеса: допустимому времени простоя, стоимости остановки сервисов, режиму обслуживания, перспективе роста и бюджету. Для одной площадки будет достаточна схема N+1, для другой потребуются две независимые ветви 2N. Обозначение схемы само по себе не гарантирует результат: важно, чтобы независимость сохранялась на всём пути до нагрузки.

Проектирование начинается с требований к нагрузке

До выбора оборудования нужно зафиксировать исходные данные:

• критическую IT-нагрузку сейчас и прогноз на несколько этапов развития;
• количество, размеры и расчётную мощность стоек;
• требуемое время автономной работы до запуска резервного источника или корректного завершения процессов;
• целевой принцип резервирования для электропитания, охлаждения и каналов связи;
• возможность планового обслуживания без остановки IT-нагрузки;
• физические маршруты силовых и слаботочных линий;
• требования к мониторингу, доступу и аварийным сценариям;
• ограничения помещения по площади, несущей способности, высоте и логистике оборудования.

После этого строят однолинейную схему электроснабжения, схему кабельных маршрутов, план размещения шкафов и воздушных коридоров. На этих схемах сразу видны общие элементы, отказ которых способен вывести из строя обе резервные ветви.

ИБП: резерв мощности должен дополняться ремонтопригодностью

В ЦОД обычно применяют ИБП двойного преобразования: нагрузка постоянно получает стабилизированное питание, а аккумуляторная батарея принимает её без паузы при исчезновении напряжения на входе. Однако топология ИБП важнее одной характеристики в паспорте.

При подборе системы учитывают:

• активную мощность в кВт и полную мощность в кВА;
• характер нагрузки, пусковые токи и коэффициент мощности;
• загрузку системы не только на старте, но и после расширения ЦОД;
• необходимую автономию и время запуска резервного источника;
• деградацию аккумуляторов в течение срока эксплуатации;
• резервирование силовых модулей по схеме N+1 или построение независимых ветвей;
• наличие статического и сервисного байпаса;
• возможность замены модулей и обслуживания без отключения защищаемой нагрузки;
• интерфейсы для диспетчеризации и контроля состояния батарей.

Каталог ИБП Lindex включает моноблочные и модульные решения, переключатели нагрузки, байпасы, средства мониторинга, аккумуляторы и батарейные шкафы. Модульная архитектура особенно удобна при поэтапном развитии: мощность можно наращивать вместе с IT-нагрузкой, не устанавливая всю расчётную конфигурацию в первый день. При этом возможность масштабирования должна быть заложена в кабельные линии, коммутацию, охлаждение и площадь технических помещений.

PDU: две ветви питания должны оставаться независимыми

После ИБП питание необходимо безопасно довести до каждого сервера. Для оборудования с двумя блоками питания применяют две ветви — A и B — и два стоечных PDU. Каждый блок питания сервера подключают к своей ветви. Если устройство имеет только один вход, возможность резервирования оценивают отдельно и при необходимости используют подходящий переключатель нагрузки.

Ключевой принцип: PDU A и PDU B не должны сходиться на одном незащищённом участке. Раздельными должны быть не только розеточные блоки, но и питающие линии, аппараты защиты, распределительные щиты и, согласно принятой архитектуре, источники питания.

Интеллектуальные PDU помогают контролировать нагрузку на вводе, группах или отдельных розетках. Это позволяет раньше обнаружить перекос фаз, приближение к допустимому току и нерациональное распределение оборудования. При выборе PDU проверяют:

• мощность и число фаз;
• типы, количество и расположение розеток;
• способ вертикального или горизонтального монтажа;
• защиту от случайного отключения вилок;
• точность и уровень детализации измерений;
• поддержку датчиков температуры и влажности;
• сетевые протоколы и интеграцию с системой мониторинга.

В разделе PDU Lindex представлены блоки распределения питания, силовые шнуры, крепёж, контроллеры, датчики и блоки автоматического ввода резерва.

СКС: резервировать нужно не только порты, но и маршруты

Структурированная кабельная система ЦОД должна поддерживать текущие скорости передачи данных и плановую модернизацию без хаотичной прокладки новых соединений. Обычно её делят на функциональные зоны: главный кросс, горизонтальные распределительные зоны и подключения оборудования. Такая структура упрощает администрирование, поиск неисправностей и расширение.

Для магистралей и высокоскоростных соединений широко используют оптическое волокно; медные линии сохраняют свою роль в сетях управления, сервисных подключениях и соединениях, где это оправдано расстоянием и требуемой скоростью. Категорию медной системы и тип волокна выбирают по расчётной пропускной способности, длине канала, интерфейсам оборудования и горизонту эксплуатации, а не только по минимальной цене компонента.

Чтобы кабельная система действительно была отказоустойчивой, необходимо:

1. Развести каналы A и B по физически независимым маршрутам. Два кабеля в одном лотке образуют общий риск.
2. Резервировать не только линии, но и кроссовые поля, коммутационное оборудование и вводы операторов связи.
3. Разделить силовые и слаботочные трассы с учётом требований электромагнитной совместимости.
4. Предусмотреть запас портов, места в лотках и допустимые радиусы изгиба кабелей.
5. Использовать единую маркировку, вести схему соединений и фиксировать каждое изменение.
6. Завершать монтаж измерениями и сертификацией линий, а результаты включать в исполнительную документацию.

Предоконцованные оптические решения сокращают объём работ на объекте и упрощают наращивание портовой ёмкости. Для высокоплотной оптической части Lindex предлагает систему EUROLAN CORE: оптические шкафы и панели, кассеты, шнуры и кабельные сборки. Медные и оптические компоненты для построения СКС собраны в разделах медных и оптических кабельных систем B2B-портала.

Телекоммуникационные шкафы и коридоры: управляем воздушным потоком

Шкаф в ЦОД — часть инженерной системы, а не только корпус для оборудования. Его выбирают по высоте и глубине, статической и динамической нагрузке, степени перфорации дверей, способу ввода кабелей, возможностям установки вертикальных PDU и кабельных организаторов. Отдельно проверяют заземление, доступ для обслуживания и совместимость направляющих с серверным оборудованием.

В стойке нельзя смешивать воздушные потоки. Заглушки в свободных юнитах, закрытые кабельные вводы и правильная укладка шнуров препятствуют возврату нагретого воздуха к фронтальной части серверов. На уровне машинного зала эту задачу решает изоляция холодного или горячего коридора. Ограждающие панели, крыша, двери и уплотнения отделяют зоны подачи и отвода воздуха и позволяют системе охлаждения работать предсказуемее.

Изоляция коридора не заменяет расчёт холодопроизводительности. Она работает только как часть согласованного решения, в котором учтены тепловыделение стоек, схема подачи воздуха, резервирование климатического оборудования и поведение системы при исчезновении внешнего питания.

В разделе решений для ЦОД Lindex представлены два бренда:

• Eurolan — модульная система Q-SPACE с потолочными и компенсационными панелями, порталами, балками, заглушками и другими элементами для построения изолированных коридоров;
• REMER — элементы коридоров и сопряжения со шкафами: надстоечные и торцевые панели, уплотнения, крыши, кабельные вводы, элементы дверей и другие комплектующие.

Модульный подход позволяет адаптировать коридор к разным размерам и высоте шкафов, а затем расширять его вместе с машинным залом. Конфигурацию необходимо подбирать по плану помещения, типоразмерам стоек и выбранной схеме охлаждения.

Мониторинг связывает системы в единую инфраструктуру

Резервирование снижает вероятность остановки, но не отменяет контроль. Если персонал не знает, что одна из двух ветвей уже отказала, следующий сбой окажется неожиданным.

В систему мониторинга ЦОД целесообразно передавать:

• режим работы и загрузку ИБП;
• состояние батарей, байпаса и входных линий;
• нагрузку PDU и отдельных групп розеток;
• температуру и влажность в зонах подачи и отвода воздуха;
• состояние дверей, датчиков протечки и других инженерных систем;
• события сетевого оборудования и доступность каналов связи.

Для каждого предупреждения заранее определяют порог, ответственного, допустимое время реакции и действие. Такой регламент превращает поток телеметрии в инструмент предотвращения аварий.

Приёмочные испытания важнее проверки включения оборудования

После монтажа недостаточно убедиться, что оборудование запускается. Необходимо проверить проектные сценарии отказа и обслуживания под нагрузкой или с её безопасным эквивалентом.

Программа испытаний может включать:

• потерю основного ввода и переход на резервное питание;
• работу ИБП от батарей, переход на байпас и возврат в штатный режим;
• отказ одного силового модуля в конфигурации N+1;
• отключение ветви A или B на уровне стойки;
• проверку предельной и неравномерной загрузки PDU;
• отказ одного сетевого канала, коммутатора или кроссового направления;
• проверку датчиков, сигналов и маршрутизации аварийных уведомлений;
• измерение параметров медных и оптических линий;
• проверку температурной картины при расчётной нагрузке.

По результатам заказчику передают актуальные однолинейные схемы, планы кабельных трасс, таблицы коммутации, протоколы измерений, перечень настроек и регламенты действий. Именно исполнительная документация позволяет сохранить заложенную отказоустойчивость после первых ремонтов и изменений.

Семь шагов к отказоустойчивой инфраструктуре ЦОД

1. Определить бизнес-требования. Зафиксировать допустимый простой, критическую нагрузку и условия обслуживания.
2. Выбрать целевую архитектуру. Описать резервирование N, N+1 или 2N отдельно для каждой подсистемы и проверить общие точки отказа.
3. Спроектировать две независимые цепочки. Увязать ИБП, распределение, PDU, сетевые устройства и кабельные маршруты A и B.
4. Рассчитать шкафы и воздушные потоки. Учесть мощность на стойку, кабельные вводы, размещение PDU, заглушки и изоляцию коридоров.
5. Заложить масштабирование. Предусмотреть место, порты и мощности для следующих этапов без остановки действующей инфраструктуры.
6. Объединить мониторинг и регламенты. Контролировать энергетику, среду и каналы связи и заранее определить реакцию на события.
7. Провести комплексные испытания. Подтвердить, что проект выдерживает предусмотренные отказы не только на схеме, но и на объекте.

Типовые ошибки при строительстве ЦОД

• резервные устройства подключены через общий автомат, щит или кабельный маршрут;
• оба PDU в стойке получают питание от одной ветви;
• ИБП выбран по номинальной нагрузке без запаса на рост и без анализа автономии;
• оптические каналы A и B проложены рядом и могут быть повреждены одновременно;
• в шкафах остаются открытые юниты и кабельные вводы, нарушающие воздушный поток;
• мониторинг собирает данные, но для тревог не определены ответственные и действия;
• изменения после ввода не вносятся в схемы и таблицы коммутации;
• приёмка не включает реальные сценарии отказа.

Как Lindex помогает собрать решение

Lindex поставляет компоненты для ключевых подсистем ЦОД: ИБП, PDU, медные и оптические СКС, телекоммуникационные шкафы и стойки, а также решения Eurolan и REMER для организации коридоров. Специалисты компании могут подключиться на этапе проектной поддержки: помочь уточнить требования, подобрать совместимые компоненты, подготовить спецификацию и предусмотреть дальнейшее расширение инфраструктуры.

Чтобы начать подбор, достаточно передать план помещения, количество и типоразмеры шкафов, текущую и перспективную IT-нагрузку, требуемую автономию, выбранный принцип резервирования и параметры сетевых подключений. Чем точнее исходные данные, тем проще исключить скрытые общие точки отказа ещё до монтажа.

Коротко о главном

Отказоустойчивый ЦОД строится от сценариев отказа, а не от списка оборудования. ИБП должен сохранять питание и допускать обслуживание, PDU — поддерживать независимые ветви A и B, СКС — иметь резервные физические маршруты, а шкафы и коридоры — обеспечивать управляемый воздушный поток. Мониторинг, испытания и актуальная документация связывают эти элементы в работающую систему.