Выполненный проект: ЦОД StackTelecom, г. Москва

Одним из важнейших параметров для дата-центров является энергоэффективность, ведь по статистике в современном ЦОДе почти половина операционных затрат приходится на оплату электроэнергии. Так что возможность минимизировать данную статью расходов – одна из важнейших задач, которую дата-центры пытаются решить еще на этапе проектирования. «Стек Телеком» в дата-центре M1 удалось добиться показателя PUE на уровне 1,2 в зимний период. Сейчас вводится в эксплуатацию новая очередь ЦОДа, где энергоэффективности добиваются в том числе за счет использования оборудования Stulz.

Дата-центр М1 (Stack.M1) – крупнейший в Московском регионе центр обработки данных ёмкостью 950 серверных стоек. Его первая очередь была ведена в эксплуатацию еще в 2006 году. Общая площадь дата-центра составляет 3850 кв.м, из которых 2400 кв.м отданы под четыре серверных зала с нагрузочной способностью 5-8 кВт на стойку. Возможна подача мощности до 10 кВт на стойки с высоконагруженным оборудованием.

На данный момент идет ввод новой очереди. Как объясняют в «Стек Телеком», все существующие залы уже заняты, поэтому назрела необходимость в расширении мощностей за счет дополнительного серверного зала. Новый зал расположен на четвертом этаже здания, которое изначально не предназначалось под дата-центр, что отразилось на подходе к проектированию и строительству ЦОДа.

«Дата-центр находится в здании, где раньше располагалось предприятие – так называемый «почтовый ящик». Поэтому для размещения оборудования пришлось полностью перестроить внутренние помещения, образовав один общий зал, – объяснил Александр Поворов, технический директор ИК «Гулливер». – Были выполнены работы по гидроизоляции пола чтобы обеспечить отсутствие протечек воды на нижние этажи. Дело в том, что для уменьшения энергозатрат мы последнее время применяем систему увлажнения с помощью атомайзеров высокого давления, обеспечивающие адиабатическое увлажнение. Так же для эффективности охлаждения мы строим «холодные коридоры» нашей разработки из конструкционного алюминиевого профиля».

На этапе выбора системы охлаждения для нового серверного зала, остановились на оборудовании Stulz, поставляемого компанией HTS. «Ранее мы работали с другим производителем оборудования, однако в плане надежности к нему были вопросы. Мы изучили рынок, посмотрели, какие системы охлаждения рекомендуют как надежные и стабильно работающие. Подрядчик поддержал нас в нашем выборе», - комментирует Владимир Сапрунов, главный инженер, заместитель генерального директора ООО «Стек Телеком»,

«С командой HTS мы работаем на протяжении нескольких лет, - добавляет Александр Поворов. – Оборудование, поставляемое HTS, мы используем на объектах высокой важности и там, где требуется обеспечить высокую надежность и эффективность работы».

Неслучайная конфигурация

Особенности площадки диктовали жесткие условия к конфигурации системы охлаждения. Дело в том, что очень большое расстояние и высота до размещения наружных фреоновых конденсаторных блоков, как в данном случае, сильно снижает надежность решения с использованием классических прецизионных кондиционеров шкафного типа с выносными конденсаторами и повышает вероятность преждевременного выхода из строя компрессоров.

«Во всех остальных залах у нас стоят либо фреоновые машины, либо машины на гликоле. Расположение новой серверной определило выбор в пользу гибридной схемы охлаждения. Оборудование размещается на четвертом этаже, и фреоновая трасса получилась бы очень длинной. А гликолевая была бы слишком далеко от чиллеров, которые расположены во дворе. Поэтому применялась гибридная схема», - добавляет Владимир Сапрунов.

«Для соответствия требованиям TIER-3 заказчик попросил зарезервировать всю систему и даже систему магистральных трубопроводов, - рассказывает об особенностях архитектуры ЦОД Александр Поворов. – Результатом стала трехтрубная система, которая обеспечивает проведение сервисного обслуживания, возможность ремонтов без остановки оборудования и, естественно, без остановки работы дата-центра».

«Использование классической схемы чиллер-фанкойл не позволяет производить постепенный ввод холодильных мощностей с учетом резервирования без остановки уже введенного в эксплуатацию IT-оборудования без больших затрат, – рассказывает Михаил Семёнов, руководитель группы АУП, компания HTS. – Поэтому решение на базе прецизионных кондиционеров с водоохлаждаемым конденсатором выглядело наиболее предпочтительным вариантом. Но так как владелец ЦОДа стремится уменьшить текущие затраты на эксплуатацию инженерного оборудования, было принято принципиальное решение использовать прецизионные кондиционеры с косвенным охлаждением (непрямым фрикулингом) – инфраструктура для данных кондиционеров полностью идентична».

В соответствии с классической высокоэффективной схемой непрямого фрикулинга в серверном зале были размещены прецизионные кондиционеры шкафного типа с подачей воздуха под фальшпол, в чердачном помещении – насосы с частотной системой управления, а на кровле находятся V-образные градирни с системой орошения, необходимой на летний период времени.

Использование на объекте градирен Guentner с орошением позволило значительно поднять верхнюю границу температуры наружного воздуха, при которой возможно бесперебойное функционирование системы охлаждения ЦОДа. Это особенно актуально, так как в последнее время в московском регионе наблюдаются длительные периоды с высокой температурой в летнее время года.

Так как холодильная мощность инженерного оборудования в ЦОДе будет вводиться постепенно по мере роста IT-нагрузки, инженерные системы (трубы, арматура, насосная группа, «сухие» градирни) были смонтированы сразу на первом этапе ввода в эксплуатацию.

После долгих расчетов энергоэффективности всей системы охлаждения было принято решение использовать прецизионные кондиционеры STULZ ALD812GE. При подборе шкафных прецизионных кондиционеров STULZ учитывались многие параметры, среди которых – увеличенная площадь сечения проходного отверстия для воздуха при такой же холодильной мощности, что снижает сопротивление испарителя по воздуху и одновременно энергозатраты на вентиляторах. Использование в кондиционере двух двухходовых клапанов для регулирования подачи теплоносителя в пластинчатый теплообменник конденсатора и фрикулинговый теплообменник вместе с использованием насоса в общей магистрали с частотным регулированием радикально позволяет снизить энергозатраты на гидравлическом контуре.

«Дело в том, что при использовании классической схемы прецизионного кондиционера с трехходовым клапаном создается намного больший перепад давления на гидравлическом контуре внутри кондиционера, а также возникает необходимость работать насосу без остановки с постоянным расходом. А в случае использования двухходовых клапанов сигнал на запуск насоса выдается любым из кондиционеров только в том случае, когда охлаждение в ЦОДе необходимо, – рассказывает Михаил Семёнов. – Насос запускается и работает по настройке перепада давления для обеспечения расчетного расхода через теплообменники кондиционеров. Контроль за температурой в охлаждающем контуре осуществляется внешней системой диспетчеризации ЦОДа, и если температура окружающей среды позволяет снизить ее до проектных температур для работы в зимний период времени, то она понижается и кондиционеры автоматически выбирают оптимальный режим работы: либо смешанный, предусматривающий одновременную работу компрессоров и фрикулингового теплообменника, либо фрикулинговый».

Энергоэффективность на вырост

Для компании StackTelecom использование прецизионных кондиционеров фирмы STULZ было первым опытом, поэтому данный проект можно назвать пилотным.

Пока говорить о результатах использования оборудования STULZ в новом серверном зале Stack.M1 рано – объект еще не запущен на полную мощность, система работает примерно на 20 %. Зал заполняется постепенно, в соответствии с запросами клиентов устанавливаются и новые кондиционеры: пять уже размещены, еще для пяти подготовлены места. Однако уже сейчас в компании уверены, что по энергоэффективности и надежности новый зал впишется в показатели всего ЦОДа «Стек Телеком».

«В настоящий момент средний критерий качества и энергоэффективности (PUE) дата-центра «Стек Телеком» вышел на уровень 1,15-1,2. Это действительно уникальные показатели. Напомню, что значение PUE определяется как соотношение общей мощности, которую потребляет весь ЦОД, к мощности, потребляемой непосредственно ИТ-оборудованием, которое задействовано в процессе обработки и хранения данных этого ЦОДа. Идеальное значение PUE равно единице, в этом случае вся используемая площадкой энергия идет на поддержку работы серверов. Фактически этот показатель отражает эффективность работы ЦОД. И чем он меньше, тем лучше», - резюмирует Александр Поворов.

Подробности

HTS (Hosser Telecom Solutions) – официальный и крупнейший дистрибьютор прецизионных систем кондиционирования Stulz на территории Российской Федерации. Уже более 20 лет HTS специализируется на разработке инновационных решений по прецизионному кондиционированию с учетом обеспечения энергоэффективности и снижения операционных расходов на потребление электроэнергии для IT и телеком-объектов. Дополнительная информация – на сайте https://h-ts.ru/