Температура в серверной ГОСТ

ГОСТ Р 58242-2018

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Телекоммуникационные пространства и помещения. Общие положения

Low voltage systems. Cable systems. Telecommunication spaces and premises. Basic principles

Дата введения 2019-03-01

Предисловие

1 РАЗРАБОТАН Обществом с ограниченной ответственностью «Научно-производственная лаборатория «В-Риал»

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 096 «Слаботочные системы»

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

1 Область применения

Настоящий стандарт распространяется на структурированные кабельные системы слаботочных систем и устанавливает требования к оснащению рабочих мест пользователей СКС и к помещениям, предназначенным для размещения пассивного и активного оборудования СКС.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 56555 Слаботочные системы. Кабельные системы. Кабелепроводы и помещения (магистрали и промежутки для прокладки кабелей в помещениях пользователей телекоммуникационных систем)

ГОСТ Р 56602 Слаботочные системы. Кабельные системы. Термины и определения

ГОСТ Р 58238 Слаботочные системы. Кабельные системы. Порядок и нормы проектирования. Общие положения

ГОСТ Р 58241 Слаботочные системы. Кабельные системы. Магистральная подсистема структурированной кабельной системы. Основные положения

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка не него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р 56602, ГОСТ Р 58241, а также следующие термины с соответствующими определениями:

структурированная кабельная система; СКС: Мультисервисная кабельная система иерархической структуры, состоящая из стандартизированных элементов и позволяющая гибко адаптироваться и переключаться для решения различных задач.

горизонтальная подсистема кабельной системы: Часть кабельной системы между телекоммуникационными розетками или оконечным оборудованием и точками консолидации.

точка консолидации: Точка соединения стационарно установленных кабелей между собой или с активным оборудованием.

коммутационный центр: Точка консолидации в виде отдельно стоящих шкафа(ов) или стойки(стоек) с установленными в них коммутационными панелями и активным оборудованием.

топология слаботочной системы: Структура связей устройств, входящих в слаботочную систему.

телекоммуникационная розетка: Устройство на рабочем месте для соединения стационарно установленной части кабельной системы и подвижных кабелей для подключения оборудования пользователя.

этажный коммутационный центр (горизонтальный коммутационный центр): Коммутационный центр, ближайший по топологии сети к рабочему месту пользователя.

3.8 телекоммуникационная комната: Помещение, в котором располагается коммутационный центр.

пользователь СКС: Физическое лицо или сотрудник юридического лица, использующие подключение к структурированной кабельной системе на своем рабочем месте.

4 Рабочее место пользователя структурированной кабельной системы

4.1 Общие положения

Рабочими местами пользователей СКС являются пространства в здании, где пользователи взаимодействуют с телекоммуникационными устройствами, подключенными к СКС.

Компоненты рабочего места располагаются между телекоммуникационной розеткой и активным оборудованием пользователя. К активному оборудованию пользователя относятся электронные устройства, требующие подключения к СКС.

Примечание — Примером таких устройств являются телефонные аппараты, компьютеры, точки доступа беспроводной связи и т.п.

Эффективность кабельной системы рабочего места оказывает значительное влияние на работу СКС. Особенностью кабельной системы рабочего места является ее непостоянство и потребность частого внесения изменений в ее структуру.

К элементам оснащения рабочего места пользователя относятся:

— аппаратные кабели (коммутационные шнуры);

— адаптеры, конвертеры, разветвители;

— телекоммуникационное оборудование (телефонные аппараты, компьютеры, модемы, терминалы и т.п.).

Телекоммуникационная розетка считается оконечной частью СКС и относится к горизонтальной подсистеме СКС. Остальные элементы оснащения рабочего места пользователя не считаются частью СКС и не входят в состав структурированной кабельной системы.

4.2 Кабельная система рабочего места пользователя

4.2.1 Телекоммуникационная розетка

Телекоммуникационные розетки служат для подключения активного телекоммуникационного оборудования пользователей на рабочих местах и являются физическим окончанием горизонтальной подсистемы структурированной кабельной системы. Таким образом, телекоммуникационная розетка одновременно является элементом и горизонтальной подсистемы СКС, и рабочего места пользователя.

4.2.1.1 Телекоммуникационные розетки на основе витой пары проводников

Все 4-парные кабели горизонтальной подсистемы СКС должны быть терминированы на коннекторах восьмипозиционных модульных гнезд на рабочих местах пользователей. Частичное терминирование пар делает кабельную систему не универсальной и ограничивает пользователя в составе оборудования, используемого на рабочем месте.

Схема разводки телекоммуникационной розетки должна соответствовать схеме Т568А или Т568В. Относительно электрической проводимости разъемы со схемами разводки Т568А и Т568В ничем не отличаются друг от друга и могут быть взаимозаменяемы при условии использования на двух концах линии коннекторов с одинаковой схемой разводки.

4.2.1.2 Волоконно-оптические телекоммуникационные розетки

В телекоммуникационной розетке на рабочем месте пользователя допускается использовать различные типы коннекторов. При этом в соответствии с рекомендациями производителя телекоммуникационных розеток и коннекторов следует использовать механические адаптеры — устройства, обеспечивающие совмещение и юстировку оптических осей коннекторов в телекоммуникационной розетке и подключаемом кабеле.

4.2.2 Коммуникационные шнуры рабочего места пользователя СКС

Коммуникационные шнуры на основе витой пары проводников и волоконно-оптические коммуникационные шнуры, используемые для подключения активного оборудования к телекоммуникационной розетке на рабочем месте пользователя, должны отвечать требованиям производителей оборудования СКС и подключаемых электронных устройств.

Кабельная система рабочего места пользователя СКС может меняться в зависимости от решаемых задач и используемого оборудования. Наиболее распространенным является коммуникационный шнур с одинаковыми коннекторами на обоих концах. К другим используемым вариантам подключения активного оборудования относятся:

— специализированный кабель или адаптер в случае активного оборудования с типом коннектора, отличным от коннектора телекоммуникационной розетки;

— U-адаптер, используемый для разветвления 4-парных кабелей на две или четыре отдельные физические линии (подача нескольких сервисов на рабочее место по одному кабелю горизонтальной подсистемы);

— пассивные адаптеры, используемые для сопряжения разнородных типов кабелей, используемых в горизонтальной подсистеме СКС и для подключения активного оборудования;

— активные адаптеры, необходимые для подключения устройств с различными схемами сигнализации;

— адаптеры, служащие для перемещения пар с целью создания совместимости схем разводки механических интерфейсов;

— согласующие резисторы терминалов ISDN.

Применение различных кабельных адаптеров может оказать существенное отрицательное влияние на результирующие рабочие характеристики кабельной системы (канала передачи). По этой причине перед использованием следует проверить их совместимость с кабельной системой, активным оборудованием и приложениями.

Специализированные устройства, предназначенные для поддержки работы конкретных приложений, не следует использовать как часть горизонтальной подсистемы структурированной кабельной системы, и в случае необходимости применения следует устанавливать вне телекоммуникационной розетки.

4.3 Телекоммуникационные трассы и пространства

4.3.1 Места монтажа телекоммуникационной розетки на рабочем месте пользователя

Что нужно знать о температуре в серверных комнатах

В машинном зале непрерывно циркулируют теплые и холодные потоки. Охлажденный воздух генерируют кондиционеры и другие устройства в системе охлаждения, горячий – выталкивают серверные вентиляторы. Когда сохраняется оптимальный баланс между потоками разной температуры, оборудование в дата-центре стабильно работает. Если становится слишком жарко, возникают риски отказа, техника преждевременно выходит из строя, теряются критично важные данные и останавливаются сервисы.

Движение горячих и холодных воздушных потоков в машинном зале дата-центра

Рассмотрим, что влияет на температуру в машинном зале центра обработки данных.

Физические параметры помещения: площадь зала и материалы, из которых изготовлены стены, потолок, перекрытия. Чем выше теплоизоляционные характеристики материалов и чем меньше площадь помещения, тем выше температура.
Расположение стен в серверной: они выходят на улицу (южная/северная сторона) или примыкают к соседнему помещению. В первом случае при естественном нагреве здания в солнечный день температура в серверной может повышаться на 1–2 °C.
Плотность размещения IT-оборудования и объем электроэнергии, который оно суммарно потребляет. Чем ближе серверные стойки расположены друг к другу и чем больше вычислительная плотность, тем выше шансы на перегрев.
Срок эксплуатации сетевого и другого оборудования: устаревшие модели техники часто работают неэффективно, не соответствуют современным требованиям и чаще перегреваются.
Насколько производительность системы кондиционирования отвечает реальным потребностям серверной. В каком режиме кондиционеры работают в ночное время и в периоды минимальной нагрузки на вычислительное оборудование.

На онлайн-портале статистики Statista можно найти данные о том, что в 2019 году 25 % дата-центров теряли от 300 до 400 тысяч долларов США всего за один час простоя серверов. Одной из частых причин остановки было как раз критичное повышение температуры.

Что не так с граничными значениями температурных диапазонов

Последние рекомендации ASHRAE расширили диапазон на целых 7 °C, но это не означает, что температура на граничных отметках перестала быть поводом для беспокойства. С одной стороны, владельцы ЦОД могут тратить меньше средств на охлаждение серверных помещений. С другой – на граничных отметках температуры им придется оперативно предпринимать какие-то меры, чтобы не допустить ее критичного повышения, особенно когда температура растет слишком быстро. В таком случае у дата-центра остается мало времени на то, чтобы отреагировать на инцидент и не допустить остановки своих или клиентских сервисов.

Так разница температуры в разны частях ЦОД выглядит на тепловой карте

Получается, что новые рекомендации ASHRAE ослабляют требования к температурному режиму в серверных и при этом неявно указывают на то, что дата-центру следует не только контролировать температуру, но и использовать средства мониторинга, которые помогут быстро снизить ее в критической ситуации.

Обычно это делают с помощью многочисленных цифровых датчиков, которые отправляют оповещения сразу же, как только температура достигнет предела по верхней (чаще) или нижней (в разы реже) границе. Размещать такие датчики необходимо на расстоянии не менее 7,5 метров друг от друга или еще ближе, если в ЦОД есть стойки с блейд-серверами, которые генерируют больше тепла, чем классические.

Аналогичные датчики используют для замеров влажности в машинном зале. Оптимально, если она будет составлять около 50 % с отклонением до 10 % в большую или меньшую сторону. В рекомендациях ASHRAE указывается диапазон от 20 % до 80 % включительно.

Как еще взаимосвязана работа оборудования ЦОД и температура

У любого оборудования есть оптимальный температурный диапазон. Это заявленная производителем температура окружающей среды, при которой техника не просто функционирует, а бесперебойно работает в течение всего гарантийного срока. Однако работа при максимально возможной температуре не означает, что системы и механизмы будут функционировать так же долго, как при более низких ее значениях.

Контролировать температуру, влажность и другие параметры, критичные для работы-оборудования, помогают специальные системы мониторинга

Повышение температуры в серверных влияет не только на вычислительное оборудование, но и на системы бесперебойного питания.

ИБП сильно зависимы от температуры окружающей среды. Обычно допустимая температура эксплуатации ИБП – от 0 до +40 °C, но нужно учесть то, что оптимальная температура эксплуатации аккумуляторных батарей – от +15 до +25 °C. При температурах выше +25 °C срок службы аккумуляторных батарей сокращается. При повышении до 40 °C прогнозируемый срок службы аккумуляторных батарей сокращается на два–три года, а при 50 °C они выйдут из строя в ближайшие несколько месяцев.

Если в помещении какое-то время держится температура от 30 °C и выше, способность к удержанию заряда снижается на 20 %, а когда температура достигает 45 °C – на 50 %. Эти цифры могут незначительно отличаться у разных производителей АКБ и ИБП, но тенденция к уменьшению срока службы и потеря заряда сохраняется абсолютно у всех.

Слабый компонент вычислительного оборудования – накопители. Если современные микропроцессоры и пассивные компоненты (сегодня это чаще всего твердотельные конденсаторы) безболезненно переносят температуру до 45 °C, с традиционными HDD иная ситуация. Чем больше лет накопителю, тем выше риски того, что температура за пределами рекомендованного диапазона быстрее выведет его из строя.

Чуть лучше обстоят дела с твердотельными накопителями, но и у них есть «узкое место». Ячейки MLC под воздействием высоких температур теряют способность сохранять заряд в оксиде кремния, из-за чего срок эксплуатации SSD тоже сокращается.

Требования пожарной безопасности к серверным помещениям: системы пожаротушения, нормы и правила

Нормы пожарной безопасности и газового пожаротушения в серверных помещениях учитывают высокий уровень пожароопасности установленного оборудования. Правила ПБ содержат акты:

СН 512-78 – огнестойкость материалов, размещение, оснащение помещения;

СП 12.13130 (расчет категории помещения), 5.13130 (обязательность систем пожаротушения);

справочники:

АУГП. Проектирование, монтаж и эксплуатация. Ст. ВДПО 3-04-08.

Серверная комната – среда с контролируемыми параметрами, предназначенная для большого количества единиц активного компьютерного, коммутационного, телекоммуникационного оснащения. Назначение – место расположения и администрирования вычислительных комплексов, устройств хранения информации, организация электропитания, кабелей коммутационных схем.

В НПБ конкретного обозначения «серверной комнаты» нет. Под ней подразумевают:

помещения с телекоммуникационным оборудованием;

ЦОД – центры обработки данных.

Пожаротушение в серверной: нормы

Инструкция по безопасности учитывает особые требования к пожаротушению:

оснащение чувствительное к механическим, термическим, климатическим влияниям, к излучению;

обнаружение возгораний на ранних этапах особо важное;

датчик температуры, иные детекторы подбирают комбинированной конструкции, реагирующие на совокупность факторов, что уменьшает риск ложных активаций, поскольку настройку делают на максимум чувствительности;

при тушении часть оборудования может работать;

огнетушащее вещество (ОТВ) – диэлектрическое, для объектов с напряжением.

Категория серверной по взрывопожарной и пожарной опасности

Расчет категорий пожароопасности проводится по СП 12.13130. Серверные относят к помещениям технического характера, соответственно, они категорируются. Помещению присваивают категории группы B (пожароопасные), а точнее, в зависимости от площади, материалов, одно из значений от B1 до B4.

Требования к помещению серверной

Параметры комнаты нормируются ГОСТами Р 58241, Р 58242 , СН 512-78 :

материалы и устройства (фильтры, уловители), препятствующие накоплению пыли и концентрации веществ (табл. 1 ГОСТ Р 58241 );

объект не проходной;

выделенный источник питания от отдельного электрощита;

температура +18 до +24 °C;

влажность 30 – 55%;

при наличии аккумуляторов обеспечивают дополнительную вентиляцию;

рекомендовано поддерживать избыточное давления на объекте;

ИБП выше 100 кВА размещают в отдельных помещениях;

герметизация (п/п пеной) проходок, кабельных вводов.

Пожарная сигнализация в серверной

Автоматические установки тушения возгораний являют собой комплекс устройств оповещения с реагированием на огонь. Сигнализация ставится по умолчанию, поскольку входит в комплект АУПТ.

Нужно ли в серверной устанавливать систему пожаротушения

Установки объемного пожаротушения (АУГПТ) обязательные. Требование содержат следующие акты:

СП 5.13130 (п.35.2 табл. А.3): серверные оснащаются АУПТ и АУПС.

Нюансы по площади:

Площади больше 24 м. кв. оснащаются установками пожаротушения и сигнализацией обязательно.

Независимо от размера защищаются аппаратные с процессами, затрагивающими безопасность людей (СН 512 и п. 35.1 табл. А.3 СП 5.13130).

Что можно не оснащать

В рекомендательном порядке (но сигнализация обязательная) оснащаются АУПТ небольшие площади, рабочие места со средствами вычислительной техники и информатики (СВТИ), не требующие отдельных зон.

СП 5.13130 серверными называет помещения связных процессов. Из пункта 3.37 СН 512 можно заключить, что также под ними подразумевают от 3 и больше комплексов ЭВМ, с отдельным электропитанием, кабелями в специальной, только для них, комнате, зоне, зале, но не на обычном рабочем месте персонала.

Нужна ли противопожарная дверь в серверной

Дверь в серверную, противопожарная, остальные материалы тоже огнеупорные:

двери:

от EI30 (минимум) до EI45-EI60 (рекомендовано пожнадзором) и больше по возможностям владельцев помещения;

толщина от 4 см;

материал трудногорючий: желательно металл, но можно дерево, если пропитка придала ему предел огнестойкости от EI30;

деревянное полотно оббивается металлическим листом от 4 мм с двух сторон.

Правила пожарной безопасности для серверных

Нормы для объектов с электрооборудованием, действующей вычислительной техникой:

смежные локации разрешены, но они защищаются как основные;

наличие систем:

сигнализации: пожарная, тревожная со светящимся сигнальным табло («ГАЗ УХОДИ»);

кондиционирование, вентиляция, дымоудаление принудительным методом;

обычный и аварийный свет;

кондиционирование, проходки, розетки, выключатели на стенах с герметизацией стыков огнеупорными средствами;

каналы облицовываются конструктивной и другой защитой от пламени;

техника инвентаризируется с присвоением номеров. Список, памятка о ППБ вывешивается на стену; лицу, назначенному контролировать ПБ, вручается копия;

на входе устанавливают табличку с названием объекта;

электропитание:

1 кат. (с 2 линиями с вводом в раздельных точках);

соединения с винтовыми, зажимными колодками;

электросети проектируются по ГОСТ Р 53325 , 31565 ;

допускается использование автономных источников питания (на 24 часа плюс 1 час аварийно);

воздуховоды:

изоляция огнеупорными материалами;

на площадках без внешних стен воздуховод монтируется отдельно с устройством сброса давления.

Системы и средства пожаротушения

НПБ установлено, что серверная от 24 м² оснащается автоматическими устройствами пожаротушения (модульное, централизованное оборудование). Помимо этого, желательно оснастить аппаратную ручными огнетушителями в количестве, из расчета огнетушащей способности баллонов для наличной площади.

Какой огнетушитель должен быть в серверной

Огнетушители предусматривают в таких случаях:

обязательно для площадей меньше 24 м², когда автоматического оборудования для тушения нет. Не менее 2 шт. на каждые 20 м² согласно п. 3.38 СН 512.

Устройства первичного тушения для серверной:

с инергеном;

порошковые огнетушители применяют, если нет других альтернатив.

Система газового пожаротушения

СН 512-78 предписывает оснащать серверные АУГПТ. СП 5.13130 – просто АУПТ. Описанная ситуация допускает использовать газовое, и, c предостережениями, порошковое тушение.

Не применяют водяное пожаротушение (спринклеры, дренчеры) в ЦОД. Наблюдается небольшая коллизия норм: ГОСТ Р 53246 предписывает ставить спринклеры, а применять «сухие» установки тушения рекомендует, только если это уместно, что не совсем правильно.

Аэрозольные системы без водной основы незаслуженно реже используют в аппаратных – они лучше порошковых и бережнее. Более того, устройства компактные, легко заменяемые, удобные. ОТВ аэрозольных генераторов состоит преимущественно из газов (хладоны) и твердых частичек, не проводящих электричество, часть водяной пары ничтожная.

Огнетушащее вещество для ЦОД:

Газ для тушения

аргон – самый безопасный;
хладоны:
- хладон 125, 127 – имеет определенное вредное влияние на металлы, окружающую среду (используется в холодильных установках);
- NOVEK 1230 – инновация, безопасный для озонового слоя газ с малым коррозионным влиянием;
- углекислота – стандартный выбор;
- инергены – безопаснее и эффективнее CO₂, но не распространены.

Почему газовое тушение предпочтительнее:

Редко используется в АУПТ, поскольку сложно доставить по трубам. Часто применяют автономные модули (Буран и пр.). Смесь необходимо подобрать для пожара класса E.

загрязняет оборудование;
вплавляется в проводку, металлы;
не проникнет в труднодоступные места (серверные шкафы) так, как газ.

Порошковое используется, но учитывают риск, что оборудование безвозвратно будет загрязнено или выйдет из строя.

Нормы монтажа газового пожаротушения

Перед монтажом автоматических и автономных систем пожаротушения составляется проект, проводят расчеты по ГОСТ 50969, НПБ 88-2001. Применяют тушение станциями (чаще всего) или отдельными автономными модулями.

Стандартная схема ГАУП:

от стационарных баллонов выходит разводка;

к разводке присоединен распределительный трубопровод, входящий в комнату, разветвляющийся по потолку;

в местах выпуска – насадки;

по периметру – извещатели, датчики сигнализации.

Нормы монтажа включают гидравлический расчет, определение расположения насадок (шаг, высота) и прочие параметры по ГОСТ для газовых автоматических установок пожаротушения в зависимости от огнетушащего вещества, размеров пространства, высоты потолков.

Почему важно поддерживать температурный режим в серверной. Как обычно устроено охлаждение серверной

Пожалуй с самого начала хотелось бы разобраться что может представлять из себя обычная серверная комната. Как правило, это закрытое помещение, чаще всего небольших размеров, достаточных для размещения серверных стоек с определенным набором сетевого оборудования. В большинстве случаев серверная комната размещается либо в подвальном/полуподвальном помещении, либо в чердачном помещении. То есть о местоположении серверной комнаты руководство организации задумывается далеко не в первую очередь.
Предположим, серверная комната находится в подвальном либо полуподвальном помещении. В этом случае кондиционирование помещения будет достаточно осуществлять обычным доступным на рынке кондиционером (сплит-системой). Однако стоит учитывать, что близость почвы и расположение помещения ниже уровня почвы тоже будет давать о себе знать. Не исключен фактор наличия избыточной влажности. Также не исключено наличие коммуникаций отопления, водоснабжения в серверной комнате либо в непосредственной близости, что будет также оказывать непосредственное влияние на температурный режим. Предположим, выбор места для серверной комнаты осуществлялся в самую последнюю очередь, и оказалось, что в помещении установлен радиатор отопления, либо проходят коммуникации с горячей водой. Это обстоятельство несомненно будет дополнительно нагружать систему охлаждения и добавит определенные риски выхода из строя оборудования в случае отказа системы охлаждения. Но не стоит забывать о том, что в некоторых случаях требуется установка дополнительной системы подогрева для поддержания температурного режима. Для этого необходим управляемый обогреватель. Система охлаждения и система отопления должны управляться унифицированным устройством,
которое позволяло бы считывать данные с датчиков температуры, влажности и передавать команды управления системам отопления либо системам охлаждения, согласно настройкам предельных значений. Приведем некоторые требования к климатическим условиям в серверной:

Должна предусматриваться возможность отключения системы отопления;
Система кондиционирования воздуха серверной должна быть автономной;
Температура в серверном помещении находиться в пределах от +18 до +24 гр. Цельсия;
Влажность воздуха в СП должна находится в пределах от 30% до 50%.

Рассмотрим ситуацию, если серверная комната расположена в чердачном помещении. Кроме тепла, вырабатываемого в процессе работы оборудования, способствовать повышению температуры будет расположение серверной в непосредственной близости от кровли, которая нагревается от солнечных лучей. Опять-таки высок риск перегрева оборудования и как следствие выхода из строя.
Как же обычно устроено охлаждение в серверной? Как правило, используется кондиционер (сплит-система), работающий круглогодично в режиме нон-стоп, то есть 24 часа и 7 дней в неделю. Система охлаждения должна быть достаточно надежной, чтобы бесперебойно работать в течение долго времени и поддерживать необходимый уровень температуры и влажности воздуха. Кроме того, в зимнее время года во время действия отрицательных температур оборудованию в серверной комнате также может потребоваться охлаждение. Также может потребоваться отопление. Для включения/выключения отопительной системы требуется система управления, которая сможет управлять обогревателем, основываясь на данных датчиков температуры и влажности.
Показатель влажности также является важным в работе вычислительного оборудования. При высокой влажности возможны появление конденсата в устройствах и коррозия, что крайне не рекомендуется для оборудования. Для поддержания оптимальной влажности воздуха необходимо выбирать соответствующий кондиционер либо использовать дополнительно осушитель воздуха. Некоторые современные сплит-системы позволяют понизить температуру, осуществить постоянный приток очищенного воздуха, но не позволяют поддерживать его оптимальную влажность. Стоит избегать использования подобных сплит-систем в серверных помещениях. Как правило, в помещении устанавливается один кондиционер, что с точки зрения обеспечения нормального температурного режима недостаточно: в случае внезапного выхода из строя кондиционера возможен перегрев оборудования и, как следствие, его выход из строя. Поэтому рекомендуется устанавливать как минимум два кондиционера. Мощность каждого кондиционера в отдельности была бы достаточной для создания необходимых климатических условий в серверной комнате. Также, используя современные системы мониторинга климата в серверной, возможна настройка поочередной работы кондиционеров для увеличения срока службы и возможности безотказной работы. Используя функции поочередной работы кондиционеров, возможно проведение профилактических работ с кондиционерами, что в конечном итоге увеличит ресурс кондиционеров и обезопасит оборудование от нежелательных повышений температуры и выхода из строя оборудования.

Пример резервирования кондиционеров:

Внутренняя система отвода тепла в современных серверах разработана таким образом, чтобы обеспечить охлаждение всех внутренних компонентов, выделяющих тепло в процессе работы. Однако корпус сервера негерметичен, и теплообмен происходит с окружающей средой серверного помещения, поэтому ошибочно считать, что температура воздуха внутри корпуса будет значительно ниже температуры в серверной. Необходимо также учитывать тот факт, что температура воздуха в серверной вне коммуникационного шкафа, в коммуникационном шкафу и непосредственно в корпусе сервера могут отличаться. Поэтому рекомендуется устанавливать температурные датчики не только в серверном помещении на потолке, но и в каждом коммуникационном шкафу, чтобы иметь объективную информацию о климатических условиях как в шкафах, так и вне их. В целях обеспечения правильной циркуляции воздуха в серверном помещении необходимо проектировать установку кондиционера/системы отопления с учётом потоков воздуха, образуемых этими системами. Для этого в серверных шкафах предусмотрена активная вентиляция, обеспечивающая доступ охлажденного воздуха непосредственно в серверный шкаф. Важным также является правильное расположение устройств в серверном шкафу. Это должно быть выполнено с учётом размеров и тепловыделения устройств. Правильным является применение 1U вентиляторов между оборудованием, которое активно выделяет тепло, чтобы обеспечить вентиляцию и необходимый отвод тепла.

Пример 1U вентиляторов:

Вентиляторы, установленные в нижней части шкафа для притока воздуха:

Вентиляторы, осуществляющие отвод теплого воздуха из шкафа:

На приведенном рисунке показана неправильная установка кондиционера. Рассмотрим очевидные ошибки:

Кондиционер находится прямо над коммуникационным шкафом. В случае возникновения течи в кондиционере оборудование в коммуникационном шкафу окажется залито жидкостью, что может привести к нежелательным последствиям вплоть до короткого замыкания и физического выгорания компонентов оборудования.
Кондиционер установлен почти вплотную к потолку. Подобная установка осложняет возможное проведение технического обслуживания и затрудняет циркуляцию воздуха.

Так почему же необходимо и важно поддерживать температурный режим в серверной?

В серверной комнате, как правило, располагается крайне важное и дорогостоящее оборудование. Выход из строя или временные простои в работе оборудования могут привести к материальным и финансовым потерям. Заглянем вовнутрь современного сервера и попробуем выяснить, какие компоненты наиболее критичны к изменению температуры.

Жёсткий диск.

Является, пожалуй, самым важным компонентом системы. Соответственно выход из строя жёсткого диска в случае отсутствия резервного может стать критичным для организации. Компоненты жёсткого диска являются чувствительными к изменению температуры: к резким повышениям, понижениям и к перегреву. Повышение температуры, как правило, приводит к расширению материала, из которого изготовлены головки, системы позиционирования головки, магнитные диски. Перегрев может привести к отказу жёсткого диска, что в последствии приводит к нежелательной потере важной и дорогостоящей информации.

Оперативная память.

Современная серверная оперативная память снабжена системой пассивного охлаждения и не нуждается в дополнительном охлаждении, тем не менее, стоит помнить, что пассивная система охлаждения эффективна только в определенном диапазоне температур. Если температура в серверной комнате будет повышаться, то никакие радиаторы на линейке памяти не спасут от перегрева оперативную память.

Процессор.

Современные процессоры обладают системами защиты от перегрева. Их датчики будут сигнализировать операционной системе о перегреве и предотвращать работу процессора на высоких температурах.

Наборы микросхем на платах.

Так называемые северные и южные мосты компьютера также являются мощными выделителями тепла. Обычно указанные контроллеры снабжены радиаторами пассивного охлаждения, но и они чувствительны к изменению температуры воздуха в серверной.
Суммируя все вышесказанное про компоненты сервера, можно с уверенностью сказать, что при определенных диапазонах температур встроенная система охлаждения сервера достаточно эффективна. В ситуации, когда температура выше рабочего диапазона, система охлаждения может не справиться с задачей отвода тепла. Также необходимо избегать резких температурных скачков, что может привести к потере свойств элементов материнской платы сервера.
В серверной комнате может быть сконцентрировано некоторое количество дорогостоящего оборудования, которое критично к повышению температуры, к резким изменениям температурного режима, в связи с чем необходимо правильно подходить к выбору системы охлаждения серверной. Необходимо позаботиться о резервном кондиционере и о системе контроля управления кондиционерами, в случае если возникнет неисправность основного кондиционера. Также необходимо помнить, что большинство современных устройств производит достаточное количество тепла и может за короткий промежуток времени значительно повысить температуру в закрытом помещении. Необходимым также является и правильный выбор сплит-системы, отвечающей требованиям серверной комнаты.

Заключение.

Хотелось бы напомнить, что современное вычислительное оборудование разрабатывается с учетом работы в определенных климатических условиях. Поэтому эксплуатация оборудования в условиях, отличных от рекомендованных заводом-изготовителем, может привести к выходу из строя оборудования и, как следствие, отсутствию гарантийного ремонта. Учитывая все изложенное выше, рекомендуем использовать надежные системы контроля климата серверной и надежные системы поддержания климата в серверной.

Требования к серверному помещению

Планируете организовать серверное или кроссовое помещение, узел связи или помещение для размещения центрального оборудования средств технической безопасности – тогда рекомендую ознакомиться с данной статьей, в которой попробую предостеречь от наиболее распространенных ошибок (ВНИМАНИЕ – много текста и не всегда с указанием нормативных документов, “по-простому”). Нужно особо учитывать, что данные помещения не только являются “хранилищем ценностей” (железки достаточно дороги), но и зачастую критически важными узлами, обеспечивающими нормальное функционирование компании. Статья описывает решения, которые применимы для помещений, где планируется разместить от 2 до 10 телекоммуникационных шкафов.

Подбор помещения

Технологические ИТ-помещения (далее упрощенно – “серверная”) часто располагают не там где удобно, а “где получилось”. И тут нужно уметь сказать “нет” и попробовать подобрать, что-то иное, если выбранное помещение не удовлетворяет критериям:

адекватные пути заноса оборудования (например, шкафы или напольные кондиционеры имеют весьма немаленькие габариты);
рядом желательно иметь складское помещение, чтобы не “захламлять” серверную. Пыль и грязь с коробок рано или поздно окажется в оборудовании – чем это грозит не стоит описывать. Там же организовать зону распаковки и иметь передвижную тележку для “переноса” оборудования;
отсутствие не относящихся к серверной транзитных коммуникаций, особенно с органами управления (типа, кранов и вентилей). Если все-таки это не получается, то необходимо предпринять все возможные адекватные действия, чтобы избежать проблем в случае аварийных ситуаций;
не подвальный или последний этаж “под крышей” – нарушение гидроизоляции и большие проблемы обеспечены;
через стену или сверху – санузлы (и/или прочие помещения с влажными процессами) – “бомба” замедленного действия;
если позволяет планировка – то в центре “обслуживаемой” зоны;
в помещении, по возможности, не должно быть окон (если здание коридорного типа – сделайте стену вдоль окон, где можно разместить склад);
сразу необходимо прикинуть ориентировочную массу, планируемого к размещению оборудования и выдать ее архитекторам/конструкторам, чтобы оценить возможность размещения в выделенном помещении по нагрузочной способности перекрытий и необходимость создания рам под оборудование;
высота помещения – сказать можно точно только одно: чем выше, тем лучше. Высота помещения очень сильно увязывается с системой кондиционирования (организация воздушных потоков) – см. раздел далее;
самый важный вопрос – площадь и конфигурация помещения. Тут нужно сразу прикинуть, что и куда расставите (с учетом изложенного в статье ниже), а также заложить резерв на развитие. Каких-то “условных” цифр я дать не могу, так как потом они превратятся в “данность”. При размещении оборудования учитывайте зоны обслуживания, так у напольных телекоммуникационных шкафов это не менее 1 м спереди и 0,8 м сзади (можно уменьшить, но при эксплуатации будет не “совсем удобно”).

Архитектурно-строительные решения

Помещение выбрано, необходимо заняться его отделкой.

Перегородки/стены должны быть по пределу огнестойкости EI45/REI45 (все-таки у нас это выделенное помещение в функциональном плане) и, очевидно, что на всю высоту (от перекрытия до перекрытия). Старайтесь при их возведении отказаться от гипсокартоновых конструкций (так как гипс – весьма нежный и при повреждении стены будет образовывать пыль), к тому же потом будет проблемно повесить какой-либо шкаф/ящик. Оптимальная отделка – покраска. Обшивка панелями – да красиво, но в серверных “много места не бывает”, лучше обеспечить более широкие проходы. Обратите внимание на шумоизоляцию помещения – через тонкие стены и перегородки гул от серверов будет отчетливо слышен.

Дверь – противопожарная, не ниже EI30 (заполнение проемов допускается на класс ниже, чем сами стены/перегородки), проем в свету не менее 850х2050 мм (для “крупных” серверных – оптимальнее с двумя полотнами, например, 300 и 900 мм и высотой 2,2 м) и с выпадающим порогом (как закатывать тележку с оборудованием?), открывание наружу – это нужно учитывать еще при создании планировочных решений, так как это требование обычно приводит к сужению путей эвакуации (лишнее проблемы архитекторам).

Потолок – красить. Если все-таки нужна “красота”, то можно сделать решетчатый типа “Грильятто”, но не стоит забывать, что он достаточно хрупкий, а в серверной работы обычно проводятся постоянно и через некоторое время он скорее всего будет выглядеть “весьма печально”. Никакого “Армстронга” – обычные плитки сами являются источником пыли, и даже если панели металлические, то сверху панелей накапливается пыль – при снятии плитки, она оказывается в оборудовании.

Перед “созданием” покрытия пола произвести обеспыливающую обработку и потом использовать либо антистатический линолеум (обязательно смотрите руководство по монтажу – там есть нюансы по заземлению) или фальшпол. Второе конечно предпочтительнее в плане обслуживания, но не всегда возможно, и скорее всего внутри помещения придется делать пандус или ступеньки – это “съест” полезное место. Подробнее см. в статье “Фальшпол серверной”.

Как само-собой разумеющееся после завершения отделочных работ: в помещении не должно быть отслаивающихся фрагментов краски, пятен плесени и следов подтоплений, пыли и грязи, обоев и остатков краски. А вот несколько плиток фальшпола полезно иметь “про запас”.

Электроснабжение и заземление

Потребителей в серверной, обычно разбивают на группы:

бесперебойного электроснабжения (вычислительное, аварийное освещение и противопожарное оборудование) – отключение питания недопустимо;
гарантированного электроснабжения (системы кондиционирования и вентиляции) – возможно пропадание питания на короткий промежуток времени (может исчисляться единицами минут, так как при отсутствии охлаждения вычислительное оборудование может отключиться из-за перегрева);
прочие потребители (розетки для подключения уборочных механизмов, общее освещение) – допускается отключение, пока аварийная ситуация не будет устранена.

Это необходимо сделать до начала работ по проектированию, как и прикинуть необходимые мощности (фактически это и есть исходные данные для проектировщика по электроснабжению).

Гарантированное электроснабжение обеспечивают с использованием второго (или третьего) независимого ввода электроснабжения, например, от дизель-генераторной установки (ДГУ).

Мероприятия по установке ДГУ достаточно затратные, поэтому необходимо рассмотреть критически данную “затею”. Так при отключении питания в офисе/бизнес-центре сотрудники смогут работать только ограниченное время, которое упрется не только в поддерживаемые сервисы в серверной, но и ИБП/аккумуляторы в ноутбуках на рабочих местах. Таким образом, вполне возможно достаточно обеспечить нормальное “сворачивание” сервисов на вычислительных мощностях, размещенных в серверной.

Бесперебойное электропитание обеспечивается в большинстве случаев достаточно дорогостоящими источниками бесперебойного питания (далее – “ИБП”). К тому же, у них есть “расходник”, который нужно периодически менять – это аккумуляторные батареи (далее – “АКБ”). С одной стороны – больше АКБ, больше время автономной работы, с другой – больше и расходов при замене. Как вариант “оттянуть” очередную замену – использовать 8-10 летние АКБ, которые сейчас стали не сильно отличаться по цене от 3-5 летних.

Важный нюанс – АКБ должны хорошо охлаждаться, так как при превышении температуры эксплуатации выше 25 °С они начинают терять емкость. Неоднократно видел, как по незнанию дополнительные АКБ от стоечных ИБП размещали в форме башни позади шкафов, где находится фактически самая горячая зона в серверной.

Если необходимое время бесперебойной работы составляет более 5-10 минут, гарантированного питания нет, а реальная нагрузка в серверной более 10 кВт, то стоит задуматься о ИБП для кондиционеров (крайне неприятная затея, так как у них большие пусковые токи из-за чего “вырастает” номинальная мощность ИБП).

Подробнее о ИБП см. статью “Подбор ИБП”.

В помещении необходимо установить выделенную шину заземления (дополнительная система уравнивания потенциалов), к которой подключить все шкафы, лотки, рамы оборудования и прочие металлические конструкции.

Освещение

С освещением, чего только не встретишь на просторах интернета, поэтому указываю нормативные документы.

В помещении серверной необходимо обеспечить освещенность не менее 400 лк (СП 52.13330.2016 Естественное и искусственное освещение. Актуализированная редакция СНиП 23-05-95*, Приложение Л (обязательное), Таблица Л.1, п. 18 или СН 512-78 Инструкция по проектированию зданий и помещений для электронно-вычислительных машин, Таблица 4 – где дается уточнение по высоте “0,8 м от уровня пола”). В помещениях связи (к которым можно отнести кроссовые) – 200 лк (ГОСТ Р 55710-2013 Освещение рабочих мест внутри зданий. Нормы и методы измерений, 5 Нормы освещения, Таблица 8). Есть еще один вариант в “забавном” документе “ГОСТ Р 53246-2008 Информационные технологии (ИТ). Системы кабельные структурированные. Проектирование основных узлов системы. Общие требования, п. 7.2.3.2” – 500 лк, но этот документ “нормативом” можно назвать только если очень “приперло” (он фактически является “криво” переписанным пособием по проектированию от одного СКС-ного производителя).

Далее для серверного помещения, согласно “Федеральный закон от 22 июля 2008 г. N 123-ФЗ “Технический регламент о требованиях пожарной безопасности”, Глава 5. Классификация пожароопасных и взрывоопасных зон, Статья 18. Классификация пожароопасных зон”, необходимо определить класс пожарной опасности – скорее всего будет П-IIa (определения зон в данном ФЗ дополняют требования ПУЭ, Глава 7.4. Электроустановки в пожароопасных зонах). В пожароопасной зоне необходимо соблюдать требования ПУЭ

6.6.5 «…Для помещений, отнесенных к пожароопасным зонам П-IIа, должны быть использованы светильники с негорючими рассеивателями в виде сплошного силикатного стекла…»

и 7.4.32, который определяет для люминесцентных светильников оболочку не ниже IP2X (для LED-светильников требования к оболочке не предъявляются, возможно потому что они не были распространены на момент написания ПУЭ). Говорят, что американский стандарт EIA/TIA-569-B:2004 не рекомендует использовать люминесцентные светильники (якобы из-за уровня помех, который не указывается) – подтвердить или опровергнуть не могу, так как текста стандарта я не видел. Однако СН 512-78 в ранее упомянутой таблице указывает именно люминесцентные лампы.

При расстановке светильников нужно учитывать план размещения оборудования (чтобы светильники не оказались непосредственно над шкафами или за лотками).

Для серверных помещений, согласно “ГОСТ Р 55842-2013 (ИСО 30061:2007) Освещение аварийное. Классификация и нормы” п. 4.2.2, можно “притянуть” необходимость установки резервного освещения (актуально для “солидных” серверных) и в п. 5.2 оговаривается его значение, как не менее чем 30% от нормированной освещенности.

Выключатель (если у нас класс П-IIа) п. 7.4.24 ПУЭ рекомендует выносить за пределы помещения, но можно и внутри – тогда с оболочкой IP4X (как и все электрощиты в помещении).

И маленький нюанс: предусматривайте в телекоммуникационных шкафах локальное освещение на задней панели (где все разъемы оборудования) – свет там лишним никогда не будет.

Кондиционирование и вентиляция

При выборе системы кондиционирования необходимо сразу определиться со схемой организации воздушных потоков. Базовый принцип – минимизация перемешивания охлажденного и горячего воздуха, на этом построены “холодные и горячие коридоры”. Также нужно добиваться, чтобы на вход кондиционера (где происходит забор), поступал наиболее нагретый воздух – это обеспечит лучший КПД системы.

Можно выделить следующие решения:

кондиционеры располагаются внутри ряда (например, Conteg CoolTeg Plus DX) – это специализированные решения, обеспечивающие максимальную эффективность, однако цена решения может быть “пугающей”;
кондиционеры шкафного типа с выбросом охлажденного воздуха под фальшпол и забором сверху – “классика” для ЦОД, требует наличие фальшпола, можно найти за относительно умеренную цену;
канальные кондиционеры полупромышленного уровня – установка над шкафами (имеются риски протечки), относительно невысокая стоимость;
потолочные кондиционеры полупромышленного уровня – наверное самый простой вариант для серверных с 3-4 шкафами.

Температура в серверной ГОСТ