Охлаждение серверов в дата-центрах google перевели в автоматический режим

Google автоматизировала охлаждение дата-центров

DeepMind

Компания Google полностью автоматизировала процесс охлаждения своих дата-центров.

Алгоритм, основанный на работе нейросетей, разработанных в подразделении DeepMind, раз в пять минут оценивает систему охлаждения серверов и предсказывает наиболее эффективные параметры для дальнейшего использования: как с точки зрения поддержания стабильной температуры, так и максимального энергосбережения. В блоге, опубликованном на сайте DeepMind, сообщается, что за два месяца работы системе удалось снизить потребление энергии на 30 процентов. 

Высокопроизводительные сервера выделяют много тепла и его отведение требует существенных затрат, в особенности в крупных IT-компаниях. Наряду с питанием самих серверов их охлаждение является одной из основных частей стоимости содержания дата-центров. Обычно охлаждение серверов происходит благодаря поддержанию стабильной низкой температуры, которая при необходимости регулируется.

В 2016 году для снижения энергопотребления, используемого для поддержания температуры, разработчики DeepMind начали применять машинное обучение. Разработанная нейросеть помогла определить наиболее эффективные параметры, применение которых позволило на 40 процентов снизить энергопотребление дата-центров и на 15 процентов повысить их энергоэффективность.

Обратите внимание

Теперь процесс охлаждения серверов в дата-центрах будет полностью автоматизированным. Каждые пять минут система будет делать снимок состояния охлаждающих систем, которые затем будет анализировать нейросеть.

Сама нейросеть, обученная на данных, собранных в течение двух лет, сможет предсказать состояние системы и на основе этого определить максимально эффективные для поддержания температуры и минимизации энергозатрат параметры.

После дополнительной проверки на безопасность алгоритм сам настроит систему охлаждения.

Как сообщают разработчики DeepMind, за два месяца использования новой системы охлаждения им удалось снизить потребление электроэнергии на 30 процентов.

Несмотря на то, что процесс охлаждения теперь полностью автоматизирован, для обеспечения безопасности за его работой пока что следят операторы.

В будущем, по словам компании, подобная система может быть использована и в других сферах высокого энергопотребления.

Для эффективного энергопотребления при обслуживании серверов компании придумывают и другие решения. К примеру, недавно Microsoft установила дата-центр с 864 серверами на дне моря: за охлаждение в нем будет отвечать морская вода.

Елизавета Ивтушок

Источник: https://nplus1.ru/news/2018/08/18/ai-cooling

Где хранится интернет: 10 супермощных дата-центров

Пекин, Китай

11-этажное здание дата-центра в Пекине было построено к Олимпиаде 2008 года архитектурным бюро Studio Pei-Zhu. Оно совмещало функции информационного центра и центра технического управления Игр. Кроме впечатляющей вычислительной мощности, интересно архитектурное решение постройки.

Бетонный куб словно плавает по гладкой водной поверхности, а его стены изрезаны световыми каналами, напоминающими штрихкод. Кроме того, перед архитекторами стояла задача сделать центр воплощением концепции «Зелёной Олимпиады».

Важно

Во внутреннем и внешнем освещении используются исключительно светодиодные лампы, использующие на 60 % меньше электричества, чем обычные, а специальная стеклянная стена препятствует проникновению внутрь тепла, снижая расходы на охлаждение.

После закрытия спортивных состязаний в Digital Beijing открылся интерактивный музей современных технологий.

Дата-центр Apple

Мэйден, Северная Каролина, США

Apple постоянно сокращает расходы на электроэнергию и уменьшает вред, который дата-центры компании наносят окружающей среде. Согласно отчётам Apple, с 2013 года 100 % их дата-центров и 94 % офисов работают на возобновляемых источниках энергии.

При этом компания продолжает двигаться к большей независимости от поставщиков электричества. Дата-центр в Мэйдене окружают 400 000 квадратных метров солнечных батарей, которые вырабатывают 42 миллиона киловатт-часов в год.

Этого хватает на то, чтобы обеспечить электричеством 60 % серверов и систем охлаждения, а остальную энергию вырабатывает близлежащая станция, работающая на биотопливе.

Дата-центр Citigroup

Франкфурт, Германия

В 2008 году, когда был построен дата-центр компании Citigroup во Франкфурте, он считался самым «зелёным» в мире. Citi Data Center стал первой постройкой в Германии, которая получила платиновый сертификат LEED.

Это значит, что в постройке сочетаются эффективное использование энергии, воды, света и воздуха, оно комфортно для служащих, хорошо встроено в транспортную инфраструктуру, а также оказывает минимальное воздействие на прилегающие территории.

Кроме всего этого, дата-центр, спроектированный компанией Arup Associates, ещё и красиво выглядит: один из фасадов покрыт настоящей травой (он собирает дождевую воду), в комплексе много зелени и есть даже внутренние парки для сотрудников.

Дата-центр Telehouse West

 Лондон, Великобритания

Британская компания Telehouse сдаёт в аренду серверные мощности тем компаниям, которым не нужны собственные дата-центры. Для Telehouse важна безопасность данных и стопроцентная надёжность оборудования, однако и об окружающей среде представители компании тоже задумываются.

Рядом с дата-центром, расположенным в лондонском районе Доклендс, нет места ни для солнечных батарей, ни для ветряков, так что Telehouse покупают электроэнергию.

С 2011 года 100 % этой энергии поставляет SmartestEnergy — компания, занимающаяся перекупкой и поставкой возобновляемой энергии, так что всё оборудование Telehouse West работает на энергии британского солнца, ветра и волн.

Дата-центр Telefónica

 Алькала-де-Энарес, Испания

В городе Алькала-де-Энарес на участке размером в восемь футбольных полей крупнейшая телекоммуникационная компания Испании, Telefonica, построила дата-центр, который обеспечивает работу её облачных сервисов в Испании, Англии и Германии.

Там же находятся серверы, которые сдаются в аренду, — они занимают несколько десятков тысяч квадратных метров. Это самый большой в Европе и третий по размеру в мире дата-центр. Здание уже получило золотой сертификат LEED, подтверждающий высочайшее качество и надёжность услуг дата-центра.

Структурно здание состоит из нескольких модулей, каждый из которых абсолютно энергонезависим.

Дата-центр Ebay

Финикс, США

«Если мы смогли здесь, — говорит Дин Нельсон, топ-менеджер Ebay, ответственный за постройку дата-центра в Аризонской пустыне, — то сможем где угодно». Действительно, строить дата-центр, который нужно хорошо охлаждать, в одном из самых жарких мест страны было рискованной идеей.

Обычно серверы нормально функционируют при температуре от 18 до 26 градусов выше нуля по Цельсию, но инженерам Ebay удалось сделать так, что дата-центр может работать даже при +46.

Внутри дата-центра настолько жарко, что для охлаждения можно использовать воду, температура которой достигает 28 градусов, и всё равно она будет охлаждать оборудование. Но самая инновационная разработка, применённая на этом объекте, — контейнеры, напоминающие грузовые, в которые помещают оборудование.

Энергоэффективность такого контейнера достигает 95 %, а это значит, что практически вся энергия, направленная в него с электростанции, тратится на поддержание функционирования сервера, а не на охлаждение.

Источник: http://www.lookatme.ru/mag/live/inspiration-lists/204915-data-centres

Как это работает: дата-центр «Берзарина»

Наши клиенты (даже те из них, кто имеет доступ в серверную), не могут видеть все, что происходит в дата-центре. Многие из них лишь приблизительно знают, как именно поддерживается бесперебойная работа в режиме 24/7/365. Сегодня мы расскажем, как это делается в нашем дата-центре «Берзарина», расположенном в Москве.

Отказоустойчивость в наших дата-центрах обеспечивается дополнительным оборудованием, дублирующим функции жизненно важных устройств, обеспечивающих два необходимых для работы ресурса: подача электроэнергии и охлаждение для размещенного оборудования.

Охлаждение

Начнем рассказ с систем охлаждения и кондиционирования воздуха. В дата-центре «Берзарина» используются прецизионные (от англ. precision  — точность) кондиционеры UNIFLAIR, использующие для работы традиционную схему функционирования «чиллер-фанкойл» и обеспечивающие перманентное охлаждение серверного помещения.

Это система кондиционирования воздуха, в которой теплоносителем между центральной холодильной машиной (чиллером) и узлами охлаждения воздуха (фанкойлами) служит охлаждённая жидкость (хладагент), циркулирующая под относительно низким давлением.

Чиллер

Фанкойл

Кроме чиллеров и фанкойлов, в состав системы входят насосная станция (гидромодуль), подсистема автоматического регулирования и трубная разводка между ними.

Наибольшая нагрузка приходится на летнее время года, когда разница между температурой окружающей среды и температурой внутри серверной максимальна. В остальные времена года система задействует технологию «фрикулинга» (от англ.

free cooling), которая использует низкую температуру окружающей среды для естественного охлаждения с минимальной нагрузкой на чиллеры.

Подобные технологии активно используют крупнейшие корпорации в своих центрах обработки данных — например, компания Microsoft максимально использует их в своем ЦОД, расположенном в прохладном климате Ирландии (город Дублин). Очень интересный фотоотчет можно посмотреть по ссылке.

Насосная станция является важным компонентом системы. Здесь круглосуточно работают насосы, которые непрерывно подают потоки хладагента от чиллеров к фанкойлам.

Совет

Резервирование подразумевает, что для работы системы нужно, чтобы работало как минимум два насоса. У нас установлено три насоса, которые работают посменно. Каждые 10 часов работающий насос выключается, и вместо него запускается простаивающий насос.

Это обеспечивает равномерное время эксплуатации и в случае отказа одного из насосов это никак не повлияет на работу системы.

Системные инженеры наших дата-центров во время ежедневных обходов обязательно проверяют состояние насосов и контролируют показания их работы.

Для контроля за работоспособностью чиллеров у нас выведена отдельная аппаратная панель управления системой охлаждения, за которой ведется круглосуточное наблюдение.

Мы используем классическую конфигурацию расположения серверных шкафов, образующую две климатические зоны внутри серверного помещения. Два ряда стоек расположены передней частью друг к другу. Холодный воздух поступает из-под фальшпола, и серверы забирают его оттуда. Эта климатическая зона называется «холодным коридором». Температура в этой зоне составляет +20 ± 2°С.

Воздух, нагревшийся в процессе работы серверов, выбрасывается в пространство сзади стойки, где находится так называемый «горячий» коридор. В нем находятся фанкойлы, забирающие горячий воздух для охлаждения.

Оперативная информация о температуре в «горячем» и «холодном» коридорах поступает круглосуточно дежурному системному инженеру с интервалом обновления в 30 секунд.

Если температура выходит за допустимые границы, раздается аварийный сигнал. Во время обходов инженеры измеряют температуру оборудования бесконтактными лазерными термометрами. Если мы обнаруживаем, что клиентское оборудование перегревается, мы сразу же сообщаем об этом клиенту, указывая зафиксированную температуру.

Электропитание

Непрерывная подача электроэнергии к стойкам является одной из приоритетных задач. К нашему основному электрощиту подходят три независимых ввода: два с разных трасформаторных подстанций и один — с дизель-генераторных установок.

Оба ввода работают синхронно: нагрузка по ним распределяется равномерно. В случае прекращения подачи электроэнергии с одного из них, АВР (автомат ввода резерва) мгновенно переводит нагрузку на второй луч, исключая простои.

В случае внезапного прекращения подачи электроэнергии (например, в результате серьезной аварии городской электросети), автоматически приводятся в действие наши кластеры ИБП (источников бесперебойного питания) от компании General Electric.

В этот же момент спустя 3 секунды после потери электропитания автоматически отдается команда на запуск дизель-генераторной установки (ДГУ). Через 2 минуты она выходит на рабочий режим и на него переключается вся нагрузка.

Мы используем высокопроизводительные ДГУ Gesan с двигателями Volvo Penta.

Обратите внимание

В режиме пиковой нагрузки они могут выдавать до 504 кВт мощности, поэтому дата-центр может без остановок работать ровно столько, сколько нужно: стандартного запаса топлива хватает на 10 часов, а в случае необходимости всегда можно произвести дозаправку.

Мы каждый месяц осуществляем тестовые запуски ДГУ с проверкой уровней топлива, масла и антифриза.

Периодически проводятся испытания, в которых имитируется полное прекращение подачи электроэнергии и происходит автоматический запуск ДГУ с последующим переключением на него нагрузки.

Зимой дизельные двигатели могут запускаться хуже, чем в летнее время, поэтому они оснащены предпусковыми подогревателями и рассчитаны на гарантированный запуск даже при температуре −30 °C.

Пожаротушение

При работе с любой техникой, даже самой надежной, всегда имеется риск короткого замыкания и возгорания — например, при выходе из строя каких-либо компонентов.

Именно поэтому все дата-центры оснащаются автоматической системой пожаротушения. Она рассчитывается таким образом, чтобы можно было гарантированно ликвидировать очаг пожара, не повреждая при этом оборудования.

У нас для этого используется система газового пожаротушения.

Принцип ее работы основан на химическом замедлении реакции горения. Система подает газовый огнетушащий состав (Хладон-125) в помещение. Попадая в зону горения, этот газ интенсивно распадается с образованием свободных радикалов, которые вступают в реакцию с первичными продуктами горения. При этом происходит снижение скорости горения до полного затухания.

Автоматическая установка пожарной сигнализации оперативно обнаруживает возгорание. Подача огнетушащего состава осуществляется с задержкой, чтобы успеть эвакуировать людей из помещения.

В нашем случае система дает 30 секунд на эвакуацию, после чего происходит срабатывание системы. Предусмотрена и защита от случайного срабатывания, система активирует пожаротушение, только если сработало минимум два пожарных извещателя (датчика).

Эвакуировать людей необходимо: газ вытесняет большую часть кислорода из помещения, и видимость при этом сокращается до нескольких десятков сантиметров. Наши инженеры обучены действиям в случае срабатывания системы и знают, как действовать в подобной ситуации.

Мониторинг и реагирование

Все оборудование всегда находится под круглосуточным наблюдением, и системные инженеры всегда могут оперативно узнать статус каждого устройства. Благодаря этому обеспечивается моментальное реагирование на все сбои и аварийные ситуации.

Несколько раз в день проводятся обходы всех помещений дата-центра. Во время этих обходов мы выявляем все возможные недочеты и информируем о них всех ответственных. Во многом благодаря этому мы можем заявлять о том, что наши дата-центры готовы к любым неожиданностям и способны работать автономно на протяжении любого количества времени.

Читайте также:  Руководители компаний предпочитают роботов

Заключение

Обеспечение бесперебойной работы дата-центра — весьма нетривиальная задача. Для ее успешного решения все «узкие» места, подверженные сбоям, обязательно резервируются дополнительным оборудованием. Регулярные обходы и мониторинг позволяют вовремя диагностировать и предупреждать вероятные причины сбоев.

Своевременная замена старого оборудования на новое, разработка более совершенных систем мониторинга и гибкий подход к осуществлению контроля над ним — вот наша задача, которая успешно решается каждый день, гарантируя нашим клиентам уверенность в том, что их данные и проекты будут надежно защищены и доступны в режиме 24/7/365.

Источник: https://blog.selectel.ru/kak-eto-rabotaet-data-centr-berzarina/

Быстро поднятый ЦОД упавшим не считается?

ЦОДы сегодня – это основа цифровой цивилизации, они хранят и обрабатывают критичные для всего общества данные. Когда даже на 15 мин останавливаются банковские транзакции, сервисы бронирования или онлайн-мессенджеры, информация об этом сразу попадает в топы новостей.

Попробуйте представить мир, в котором ЦОДы перестали работать – это хаос, вы не можете вызвать такси через электронное приложение, не можете заплатить картой или снять с нее деньги, пропускная система при входе на работу внезапно отказывает в доступе, и вы даже не можете записаться к врачу.

Что делают ЦОДы для того, чтобы обеспечить максимальную доступность своей работы? Рассказывает Андрей Захаров, директор по продуктам и инновациям компании Linxdatacenter.

**

«Самый страшный звук в серверной – тишина»

Главная опасность, которая грозит остановкой работы ЦОД, – это перебои в электропитании. Сегодня подавляющее большинство ЦОДов в России подключаются к городским электросетям, то есть за энергопитание отвечает внешний подрядчик.

Аварии на подстанциях, генерирующих станциях и ЛЭП – это данность в российских условиях, в среднемотключения в крупных городах происходят один-два раза в год.

Поэтому каждый серьезный ЦОД имеет резервную систему электропитания и обладает запасом энергопрочности.

Резервная схема энергопитания, как правило, состоит из двух основных компонентов.

Первый -это источники бесперебойного питания (ИБП) с ёмкими аккумуляторами, и позволяющие обеспечить непрерывное или бесшовное переключение на резервную схему (от 1 до 15 минут нагрузки). Все видели домашние и офисные ИБП.

Важно

В ЦОД применяются похожие, только размером с большой гардеробный шкаф и их много.
Второй компонент — дизель-генераторы с необходимым запасом топлива для работы несколько часов или дней в штатном режиме.

Действует эта схема просто: при сбое на основном источнике подачи энергопитания ЦОД переключается на ИБП, за это время включаются дизель-генераторы, и ЦОД уже переходит на них – и может работать от дизелей сколь угодно долго, главное – обеспечить подвоз солярки и дозаправку. Клиенты ЦОД не чувствуют ничего, работа серверов не прекращается.

Что будет, если питание в ЦОД пропадет даже на мгновение?

15 миллисекунд перебоя питания современного дата-центра достаточно, чтобы бизнес-процессы компаний были нарушены с ощутимыми для конечного пользователя последствиями. 1 миллисекунда (мс) — это единица времени, равная одной тысячной доле секунды.

5 мс — время, необходимое пчеле для осуществления одного взмаха крыла, а вот, чтобы мигнуть, человеку нужно 300—400 мс. При этом каждая минута простоя еще в 2013 обходилась компаниям в среднем в 7900 долларов, по данным компании Emerson.

  Сейчас с все большей цифровизацией бизнеса убытки могут составлять сотни тысяч долларов за каждую минуту.

Сбой в питании ведет к перезагрузке серверов, перезапуску операционных систем и прикладного софта и даже полной остановке всех пользовательских систем и сервисов. Перезагрузка оборудования в автоматическом режиме занимает порядка 30-40 минут.

А во многих случаях администраторы компаний забывают о том, что в настройках сетевого оборудования необходимо проставлять опцию авто-перезапуска, и восстановление начнется только в ручном режиме, что занимает еще более длительный период – проще говоря, пока админы не очнулись и не кинулись к своим коммутаторам.

Кроме того, серверы используют энергозависимую оперативную память, и на момент сбоя часть данных, находящихся там, может быть потеряна. Подвиснут платежные терминалы, пропадут товары из корзины в интернет-магазине, не завершится бронирование.

Можно ли защититься от этого цифрового армагеддона?

Источник: https://fastsalttimes.com/sections/solution/1825.html

Согревающие дата-центры

Как показывает статистика DCD Intelligence, совокупного тепла, выделяемого серверами всех дата-центров планеты хватило бы для компенсации годового потребления электроэнергии такого государства как Великобритания, да и с технологической стороны, разработка и внедрение таких технологий не представляют собой особых трудностей. Нужно наладить технологическое связующее звено между ЦОДом и городской системой отопления, от компаний же в свою очередь требуется вложить средства в разработку и внедрение внутренних трубопроводов, насосов и систем управления.

Инженеры многих компаний давно уже работают над разработкой механизмов, которые позволят использовать тепловую энергию серверов внутри дата-центров с выгодой. До сегодня было реализовано не мало таких проектов и довольно таки успешно.

Выделяемая энергия идет на обогрев близлежащих к дата-центру офисных помещений.

Наиболее известные из них: серверная ферма компании TELUS в Канаде (Ванкувер), Telecity во Франции, ЦОД Telehouse в Великобритании, а также дата-центры IBM в Финляндии и Швейцарии.

Необычный 12-ти этажный ЦОД (США)

Еще один очень интересный проект, на котором остановимся более детально, новый проект 12-ти этажного ЦОДа. Он был предложен для проекта Denny Triangle, что недалеко от Сиэтла, штат Вашингтон.

Инженеры таких компаний как Clise Properties и Graphite Design Group уже отправили план проекта на рассмотрение в местный муниципалитет. Необычный дата-центр планируется построить недалеко от кампуса Amazon Rufus 2.0, в настоящее время там расположена автостоянка.

Планируется максимально эффективно использовать все пространство внутри такого 12-ти этажного ЦОДа. На нижних этажах проектировщики Clise Properties планируют разместить дизель-генераторы и систему источников бесперебойного питания (ИБП).

Каждый машинный зал с площадью порядка 1100 м2 планируется разместить на остальных 8-ми этажах. Для резервуаров с топливом будет выделен подвал дата-центра. В планах завершить постройку данного проекта к началу 2017г.

Совет

Так как генераторные установки и баки с дизельным топливом планируется разместить на нижних этажах здания, в случае чрезвычайных происшествий (отключений электричества или сбоя в центральной системе электроснабжения) это позволит эффективно снабжать топливом дизель-генераторы без помощи лифтов, подключая бензовоз непосредственно к резервуарам. Такой вариант намного эффективнее чем примером тот, к которому должны были прибегать многие операторы ЦОДа в Нью-Йорке при урагане «Сэнди» — создавались живые цепи по передаче ведер с топливом на верхние этажи, где из-за недостаточной продуманности размещаются генераторы.

Температура воздуха, который поступает с машинных залов серверных ферм, может нагреваться до 38oС. Тепло, как правило тратиться впустую. Инженеры компании Clise Properties предложили систему рекуперации тепловой энергии дата-центра.

Такая система позволяет рационально использовать выделяемое тепло, да еще и экономит средства на отопление офисных и жилых помещений.

Исходя из расчётов, данная система позволит рекуперировать до 12 МВт, это уменьшает нагрузку на систему центрального отопления почти на 6% и на 30% снизит расход тепловой энергии, которая идет на обогрев близлежащих жилых комплексов.

В планах компании Clise Properties перенаправлять излишки тепловой энергии в систему близлежащих офисных и жилых зданий таким же образом, как и Amazon планирует использовать для отопления своего кампуса тепло, выделяемое серверами в дата-центры Westin Building.

Это проект новой штаб-квартиры Amazon в столице штата Вашингтон, включает три сферических и три офисных высотных здания, которые будут частью офисного-торгового кампуса Denny Triangle, площадь которого составляет 30 га. Такие сферические блоки высотой от 24 до 30 м сами архитекторы прозвали «биокуполами».

Кроме офисов, столовых, зон отдыха, залов для проведения встреч и конференций, комплекс будет включать почти 1700 м2 торговых площадей для 1800 сотрудников Amazon.

Обратите внимание

Сиэтл известен своей высокоразвитой технологической индустрией. Будучи «родиной» таких компаний как Amazon и Microsoft, этот город сыграл важную роль в появлении облачных сервисов. 12-ти этажный ЦОД Clise Properties будет способствовать развитию экосистемы высокотехнологических компаний.

Несмотря на то, что проект еще находится на начальной стадии, отметил президент компании Clise Properties Ричард Стивенсон в интервью изданию Puget Sound Business Journal, он пользуется высоким интересом среди потенциальных арендаторов. Такой дата-центр будет коммерческим, здесь смогут разместить свои вычислительные мощности самые разнообразные клиенты.

Telus Garden (Канада)

Хорошим примером в использовании таких технологий по рекуперации тепла дата-центра является TELUS.

Специалисты компании используют тепло для обогрева близлежащего древесного питомника, где проводятся исследования климата.

Система энергоснабжения называется District Energy System (DES) и используется для обеспечения работоспособности системы отопления и охлаждения соседнего жилого и офисного комплекса Telus Garden.

«Повторно используя энергию, которая, как правило, теряется, путем рекуперации, в наших силах создать поистине инновационный проект.

Комплекс Telus Garden будет одним из самых экологически чистых объектов подобного рода в Северной Америке», — сказал Андреа Горец, старший вице-президент Telus по стратегическим инициативам и связи.

Дата-центр на 80% обеспечит небоскреб необходимой тепловой энергией.

Telehouse (Великобритания)

Инженеры компании WSP Group разработали инновационную систему рекуперации тепла для дата-центра Telehouse West мощностью порядка 9 МВт в Лондоне для обогрева близлежащих домов и предприятий. На строительство ЦОДа было потрачено $180 миллионов, часть денег была направлены на разработку следующего механизма использования тепла от серверной фермы.

Выделяемое тепло дата-центра используется для подогрева воды в расположенном неподалеку бассейне. Излишки тепла, генерируемые при работе серверного и сетевого оборудования, аккумулируется и нагревает воду.

В свою очередь вода закачивается в теплообменную систему находящегося рядом бассейна, таким образом подогревает воду, которая попадает в сам бассейн.

При этом за год дата-центр может сгенерировать до 2800 МВт часов тепла.

Подземный ЦОД (Финляндия)

На глубине 30-ти метров под Успенским собором находится 2-х МВт дата-центр. В системе охлаждения используется холодная морская вода. Отработанный горячий воздух от серверов направляется по трубопроводу через тепловые насосы в сеть централизованного теплоснабжения, что снабжает телом и горячей водой жителей г. Хельсинки. Дата-центр способен обеспечить теплом до 500 частных домов.

IBM и Сиракьюсский университет (США)

ЦОД построен IBM на территории частного университета в г. Сиракьюс, штат Нью-Йорк для генерации электроэнергии использует микро-турбины на природном газе.

Такие экологически чистые микро-турбины на 65 кВт интегрированы непосредственно в ИБП с двойным преобразованием.

Турбины генерируют электроэнергию, создают тепловую энергию и запитывают системы охлаждения дата-центра, а также здания, которые расположены рядом с ЦОДом.

Quebecor (Канада)

Quebecor, канадская медийная компания в которой тепло выделяемое от серверов в дата-центре в г. Виннипеге, направляется на обогрев находящегося офиса местной газеты. Была проложена вторая труба из места сбора тепла в забирающую трубу офиса, который находится сверху.

Источник: https://www.pvsm.ru/it-infrastruktura/81287

Жидкостное охлаждение в ЦОД: опыт, выводы, перспективы

05.04.2013 Юрий Хомутский

Тема жидкостного охлаждения в центрах обработки данных все чаще поднимается в связи с растущей удельной тепловой нагрузкой в машинных залах, появлением высокомощных серверов и стремлением сэкономить на эксплуатационных затратах. При этом под жидкостным охлаждением зачастую понимают разные технологии: в одних случаях речь идет о погружном охлаждении, в другом — о подаче теплоносителя непосредственно к вычислительным микросхемам.

Первоначально под жидкостным (или водяным) охлаждением понимали использование системы охлаждения на основе чиллеров, в которой в качестве теплоносителя выступала вода или гликолевые растворы. При этом вода подавалась в кондиционеры, где служила для охлаждения воздуха в помещении. В свою очередь, воздух охлаждал серверное оборудование ЦОД.

Однако с развитием технологий и ростом ИТ-мощностей вода стала в буквальном смысле приближаться к серверам. В одних случаях речь идет о подаче воды по трубкам в непосредственной близости от активных компонентов серверов. В других — микросхемы и вовсе погружаются в специальную ванну, так что происходит непосредственный контакт жидкости и оборудования.

На практике ко всем трем вариантам применяют понятие «жидкостное охлаждение». Об архитектуре этих систем и опыте их реализации и пойдет речь ниже.

Теоретические основы погружного охлаждения

Основным компонентом системы погружного жидкостного охлаждения является некоторое вещество-хладагент, представляющее собой диэлектрический (непроводящий) состав.

Читайте также:  Маленькие роботизированные лодки будут защищать военные корабли

Как правило, оно содержит белое минеральное масло, благодаря которому его теплоаккумулирующая способность гораздо выше, чем у воздуха при том же объеме. В ИТ-стойке размещается заполненная этим хладагентом ванна, куда серверы устанавливаются вертикально.

Хладагент циркулирует по системе и рассеивает выделяемое ИТ-оборудованием тепло.

Несмотря на то что погружение электроники в жидкость с целью охлаждения кажется противоречащим здравому смыслу, такой подход является типичным для охлаждения высоконагруженного оборудования и применяется с 1920-х годов. В частности, многие электрические трансформаторы высокого напряжения, защитные автоматы, конденсаторы и электроподстанции используют жидкостное охлаждение для электроизоляции и рассеивания тепла.

Важно

При этом к хладагенту предъявляется ряд специфических требований: низкая вязкость, высокая теплоаккумулирующая способность (теплоемкость), экологичность и нетоксичность. В этом случае использование погружного жидкостного охлаждения дает ряд преимуществ: экономию электроэнергии, повышение производительности, а иногда и снижение капитальных затрат.

Одной из причин, благодаря которой погружное охлаждение обходится дешевле воздушного, является более низкая разница температур между хладагентом и серверами.

Другими словами, эффективное охлаждение оборудования оказывается возможным, даже если хладагент нагревается до 40°С, в то время как рабочая температура систем воздушного охлаждения составляет около 24°С.

Из опыта эксплуатации холодильной техники известно, что поддержание температуры хладагента на уровне 40°С требует значительно меньших затрат энергии, чем охлаждение воздуха до 24°С (для этого воду в контуре приходится охлаждать до 7–10°С).

Дополнительная экономия достигается за счет удаления серверных вентиляторов, поскольку при погружении оборудования в жидкость необходимость в них отпадает. Это позволяет экономить,в зависимости от вида сервера, еще 10–25% энергии.

Благодаря высокой эффективности системы охлаждения можно выполнять больший объем вычислений при меньших энергозатратах. Фактически система охлаждения оказывается настолько эффективной, что позволяет отводить тепло от серверов общей мощностью до 100 кВт при их размещении в единственной стойке стандартной высотой 42U.

Поскольку система позволяет рассеивать больший объем тепла, чем при использовании воздушного охлаждения, вычислительное оборудование может размещаться плотнее. Как следствие, технология погружного охлаждения наиболее эффективна и полезна в высоконагруженных стойках с блейд-серверами при непрерывном выполнении сложных вычислений.

Среди иных преимуществ погружного жидкостного охлаждения следует отметить следующие:

  • Более надежная работа серверов. Серверы перестают собирать пыль. Кроме того, ввиду отказа от вентиляторов отсутствует риск их поломки. Постоянная циркуляция хладагента способствует равномерному распределению температуры по стойке и препятствует возникновению горячих зон.
  • Ускоренное восстановление работы серверов после аварийных ситуаций. В отличие от охлаждаемых воздухом серверов, которые после отключения питания воздушных кондиционеров перегреваются в течение нескольких минут, система погружного жидкостного охлаждения может выполнять свои функции от 1 до 4 ч без электричества. Это объясняется высокой теплоемкостью хладагента и, соответственно, увеличенным запасом холода в наполненной хладагентом ванне.
  • Снижение внутренних вибраций. Отсутствие вентиляторов значительно снижает уровень вибрации внутри ИТ-оборудования, а ведь, по статистике, до 50% ошибок чтения/записи жестких дисков связаны именно с этим фактором.
  • Чистота. Хладагент помогает держать серверы в чистоте благодаря постоянному току жидкости через стойку и насосный модуль. При этом отметим, что, согласно недавним исследованиям, накопление пыли в сервере повышает энергопотребление на 2% вследствие роста рабочей темпе
  • ратуры.

Однако у погружного охлаждения имеются и недостатки, прежде всего речь о необходимости применять специальные стойки и модифицировать серверное оборудование. Новый тип стоек обладает большей массой, а потому требования к несущей способности перекрытий возрастают. Кроме того, увеличивается и занимаемая стойкой площадь.

Погружное жидкостное охлаждение на практике

В декабре 2012 года Intel приступила к разработке серверов, рассчитанных на установку в масляной ванне. Погружение компьютера в горячее масло выглядит несколько безрассудной затеей, но специалисты компании убедительно продемонстрировали, что серверы функционируют эффективнее, пока они находятся в таком состоянии.

В частности, для этого было проведено длившееся в течение года тестирование технологии жидкостного охлаждения, во время которого серверы были помещены в специальную серверную стойку, заполненную минеральным маслом.

Поскольку масло не проводит ток, короткого замыкания не происходит. Оно циркулирует в емкости и охлаждается в теплообменнике.

Совет

Как утверждают представители Intel, энергопотребление серверов снизилось на 10–15%, а системы охлаждения — на 90%.

Отметим, что, по словам Майка Паттерсона, старшего архитектора систем питания и охлаждения в Intel, в настоящее время компания исследует ряд радикально новых технологий охлаждения, в том числе другие методы жидкостного охлаждения, стремясь найти способы существенного сокращения энергопотребления. ЦОД являются крупными потребителями энергии, что существенно сказывается на стоимости их эксплуатации. В некоторых случаях компаниям даже не хватает подведенной мощности для обеспечения питания и качественного охлаждения оборудования.

Специалистам Intel настолько нравится технология погружного охлаждения, что в настоящее время они всерьез рассматривают идею разработки специальных серверов. Созданные для погружного охлаждения серверы будут снабжены специальными радиаторами, рассчитанными на жидкостное (вместо воздушного) охлаждение, лишены вентиляторов и оснащены SSD.

«Первые клиенты организованной три года назад компании применяют погружное охлаждение не только для повышения энергоэффективности, но и в целях повышения надежности компонентов, — поясняет Энди Прайс, руководитель по бизнес-разработкам компании Intel.

— Поскольку некоторые процессоры, включая GPU, чрезмерно нагреваются, процент их выхода из строя слишком высок. Поместив серверы в минеральное масло, можно снизить температуру, при которой они функционируют.

При этом срок возврата инвестиций для центра высокопроизводительных вычислений, как правило, составляет менее двух лет».

Пример системы погружного охлаждения серверов

Одним из практических воплощений системы погружного жидкостного охлаждения является система CarnotJet компании Green Revolution Cooling.

Она представляет собой комплексную систему, в которой для достижения максимально эффективного охлаждения вместо воздуха применяется непроводящий жидкий хладагент.

По заявлению производителей, в сравнении со стандартной серверной стойкой, охлаждаемой воздухом, CarnotJet позволяет снизить энергопотребление системы охлаждения типичного ЦОД на 90–95%, а также сократить общее энергопотребление в два раза.

В системе используется хладагент GreenDEF — это прозрачное, нетоксичное и не имеющее запаха недорогое диэлектрическое (непроводящее) минеральное масло, специально приспособленное для охлаждения серверов и другого оборудования ЦОД.

Строительство центров обработки данных, оснащенных системами CarnotJet, обходится операторам ЦОД дешевле традиционных решений, поскольку система погружного жидкостного охлаждения позволяет снизить среднее и пиковое энергопотребление, а значительная часть затрат на расширение ЦОД связана именно с высоким пиковым энергопотреблением.

Система CarnotJet включает в себя три основных модуля: стойка, насосный модуль и модуль контроля и управления.

Стойка CarnotJet напоминает традиционную стойку, рассчитанную на воздушное охлаждение. Разница в том, что серверы устанавливаются вертикально, а не горизонтально и полностью погружаются в непроводящий хладагент.

Обратите внимание

Типовая стойка 42U занимает площадь 1,2 м2 и весит около 1500 кг при полной загрузке (см. Рисунок 1). Хотя такой стойке нужно больше места по сравнению с традиционным шкафом, оснащенным воздушным охлаждением, но изоляции холодных и горячих зон не требуется.

Таким образом, ей необходима примерно такая же площадь, что и традиционному серверному шкафу.

Рисунок 1. Восемь серверных стоек системы CarnotJet, установленных на фальшпол.

В стойках можно размещать любые серверы 19″, независимо от того, кем они произведены.

Однако предварительно надо выполнить некоторые действия: удалить вентиляторы (при погружении в жидкость они не нужны), изолировать жесткие диски и заменить термопасту на нерастворимый материал.

Отметим, что стойки оснащены рельсами, облегчающими установку и извлечение серверов. Общая мощность серверов в одной стойке может достигать 100 кВт.

Охлаждение горячей водой

Еще одним интересным решением в области жидкостного охлаждения, которое, к слову, хорошо вписывается в рамки современной тенденции повышения температуры в машинных залах ЦОД, является система охлаждения горячей водой, предложенная компанией IBM. Ее применение для охлаждения суперкомпьютера Leibniz SuperMUC позволило сократить энергопотребление на 40%.

При проектировании суперкомпьютерных систем в расчет берется не только фактор производительности. Сокращение энергопотребления является одной из наиболее сложных технических проблем на пути к созданию мощных и быстрых суперкомпьютеров.

Как сообщают представители Leibniz Supercomputing Centre (LRZ), их новый суперкомпьютер SuperMUC (см.

Рисунок 2) (MUC в названии соответствует коду расположенного неподалеку Мюнхенского аэропорта), построенный в сотрудничестве с IBM, потребляет на 40% меньше энергии, чем его аналоги.

Существенная экономия достигается за счет использования технологии водяного охлаждения, которую IBM применяет с целью создания компьютерных систем с высокой плотностью размещения оборудования.

Рисунок 2. Новый суперкомпьютер SuperMUC.

Активные компоненты компьютера (процессор, память) охлаждаются за счет циркуляции воды в контуре.

Как отмечают представители Leibniz Supercomputing Centre, подобные системы зачастую требуют предварительного охлаждения используемой жидкости, но SuperMUC может работать, даже если ее температура достигает 40°С.

Это означает, что отработанную воду можно охлаждать с помощью окружающего воздуха или посредством теплообмена. Насосного холодильного оборудования не требуется.

Важно

Установленная в LRZ система направляет нагретую суперкомпьютером воду в теплообменник. В холодное время года вода используется для отопления здания. Согласно оценке, это позволит ежегодно экономить около 1 млн евро.

Технология компьютерного охлаждения под названием Aquasar была разработана в исследовательской лаборатории IBM в Цюрихе. Небольшие трубы, названные микроканалами, доставляют воду непосредственно к серверным процессорам, а после охлаждения она рециркулируется для повторного отвода тепла (см. Рисунок 3).

Рисунок 3. Серверная система охлаждения x iDataPlex dx360 M4 компании IBM.

Как сообщил профессор Боде, руководитель Суперкомпьютерного центра им. Лейбница, благодаря уникальной схеме прямого водяного охлаждения энергоэффективность SuperMUC оказалась чрезвычайно высокой.

Процессоры и оперативная память остужаются теплой водой, поэтому создавать дополнительную охлаждающую инфраструктуру не надо. Данная схема была разработана IBM специально для SuperMUC.

Использование процессоров Intel и новейшего программного обеспечения позволяет еще больше сократить энергопотребление.

Технологии управления энергопотреблением и пиковой производительностью приобретают все большую значимость по мере того, как происходит рост плотности размещения вычислительных систем.

За счет своей энергоэффективной конструкции SuperMUC оказался в 10 раз более компактным и имеет более высокую пиковую производительность, чем аналогичные системы с воздушным охлаждением, сообщают представители Leibniz Supercomputing Centre.

IBM рассчитывает, что применение горячего водяного охлаждения станет стандартом для суперкомпьютеров будущего, в том числе для трехмерных процессорных архитектур, предполагающих размещение процессоров друг над другом.

По сообщению IBM Research, исследователи работают над созданием крошечных труб диаметром 50 мкм, которые можно будет располагать между процессорами.

Совет

Согласно прогнозам IBM, к 2025 году размер суперкомпьютера может уменьшиться до величины обычного настольного ПК образца 2012 года — и это только за счет использования водяного охлаждения.

Варианта охлаждения горячей водой придерживаются и в компании «РСК Технологии».

В построенном ею центре обработке данных «РСК Торнадо» горячая вода из стоек поступает непосредственно в чиллер без промежуточных звеньев — кондиционеров, теплообменников и др.

Предварительно создается трехмерная модель микросхемы, на основе которой формируется система алюминиевых каналов, по которым и протекает теплоноситель.

Как результат, все тепло, генерируемое сервером, передается теплоносителю, а во внешнюю среду (за пределы сервера, в помещение) оно не поступает. Это означает, что охлаждения воздуха в машинном зале ЦОД не требуется.

Особенностью разработки компании «РСК Технологии» является расширяемость решения. Совокупность сервера и алюминиевой пластины с каналами рассматривается как масштабируемый модуль. На его основе с необходимой инженерной обвязкой строится микроЦОД, занимающий несколько юнитов в одной стойке, мини-ЦОД, состоящий из одной или двух стоек, или полноценный ЦОД, где предусмотрен целый ряд ИТ-стоек.

Водяное охлаждение

Под лозунгом использования «зеленых» технологий для охлаждения ЦОД в 2012 году было проведено несколько экспериментов с использованием воды и масла, цель которых заключалась в обеспечении максимально эффективной работы серверов.

Источник: https://www.osp.ru/lan/2013/04/13035149

Жидкостное охлаждение серверов — версия от Iceotope

Жидкостное охлаждение серверов увеличивает производительность системы, порой, весьма значительно. Также подобный метод охлаждения позволяет не использовать традиционные системы охлаждения, экономя электроэнергию. За последние несколько лет жидкостное охлаждение из теории превратилось в реальность.

И компания Iceotope является одним из наиболее активных участников движения по созданию и популяризации систем охлаждения нового типа. Так, на DCD CONVERGED в Лондоне и SC14 в Новом Орлеане эта компания представит сразу несколько моделей своих систем.

Стоит отметить, что эти системы уже тестировались, и довольно успешно, в дата-центре университета Лидса, а также в вычислительном сетевом центра города Познань, Польша. На основе полученных данных разработчики смогли улучшить работу систем, увеличив общую производительность оборудования с жидкостной системой охлаждения.

Обратите внимание

Сама компания выпускает уже готовые для использования системы, состоящие из блейд-серверов Iceotope и металлических корпусах, заполненных жидким диэлектриком (скорее всего, речь идет о минеральных маслах).

Избыточное тепло при работе серверов уходит по дополнительной охлаждающей системе (здесь уже используется вода).

По словам разработчиков, подобная гибридная схема помогает снизить операционные расходы, а также снизить выбросы углекислого газа (а это становится все более актуальным параметром).

В системах нет ни одного кулера. А это означает, что вся система генерирует гораздо меньше шума, чем стандартная система охлаждения и сервер. Кроме того, износоустойчивость жидкостной системы охлаждения также выше, чем износоустойчивость системы обычной. А отвод тепла при помощи воды позволяет использовать избыточное тепло в системе обогрева дата-центра. Так что эффект получается двойной.

Специалисты из Iceotope используют новую концепцию дата-центра, где вообще не используется активное кондиционирование машинного зала. Нет и систем контроля влажности. Все это означает, что снижаются операционные расходы на эксплуатацию дата-центра.

Стоит отметить, что жидкостную систему охлаждения предлагается использовать при работе с высокопроизводительными серверами, где эффект будет максимальным. Выделение тепла получается значительным, а затраты на отведение тепла от систем – минимальное.

Выигрывает бюджет, где уменьшается статья операционных затрат на эксплуатацию системы охлаждения.

При проведении тестов система охлаждения показала себя отлично, позволив производительному серверу работать без всяких проблем с полной нагрузкой в турбо-режиме. При этом расходов на охлаждение сервера не было практически никаких.

Важно

По мнению некоторых экспертов, уже к 2020 году те дата-центры, где будет использоваться жидкостная система охлаждения, достигнут показателя PUE в 1.03.

Как уже говорилось выше, использование систем жидкостного охлаждения не стоит использовать для всего серверного оборудования, а только для наиболее производительных систем, охлаждение которых – критично.

Источник: https://data247.ru/2014/11/03/zhidkostnoe-oxlazhdenie-serverov-versiya-ot-iceotope/

Аварии в дата-центрах: чаще, чем хотелось бы

Игорь КИРИЛЛОВ, Константин КОВАЛЕНКО

• «СЕТИ И БИЗНЕС» • №6 (85) 2015 •

Владельцы дата-центров не особенно любят афишировать информацию об авариях на своих объектах. В результате кажется, что ЦОД — это бесперебойно работающая «крепость». Тем не менее нештатные ситуации здесь случаются чаще, чем об этом думают… Намного, намного чаще!

Современный дата-центр — это сложная система с множеством внутренних взаимосвязей. Конечно, проектируют подобные комплексы в надежде, что все будет работать как задумано.

Тем не менее предсказать поведение всех подсистем сразу просто невозможно. К тому же прогнозирование осложняется воздействием внешних факторов, которые лежат за пределами компетенции человека.

В результате аварии регулярно происходят даже в самых надежных ЦОД планеты, не говоря уже об обычных площадках.

То, что каждая авария не становится достоянием общественности — заслуга самозабвенного и профессионального труда сервисных инженеров, которым, как правило, приходится действовать в авральном режиме.

Для пользователей внешних потребителей услуг поломка может пройти незаметно, однако каждый аварийный случай дает импульс к всестороннему анализу причин возникновения проблемы и устранения ее в дальнейшем.

Какие же причины чаще всего вызывают сбои в работе ЦОД и что надо сделать, чтобы их избежать? Ответить на эти вопросы позволит анализ статистики и разбор конкретных примеров.

Ломается всё!

Совет

Любое механическое и электрическое оборудование, если его активно эксплуатировать, рано или поздно выходит из строя. Это полностью верно в применении к реалиям дата-центров. Причем ломается оно скорее рано, чем поздно. Нет абсолютно надежных решений, и данный факт применим к разработкам любых производителей.

Итак, для начала немного свежей информации из-за рубежа. В международном масштабе почему-то наиболее богатым на аварии выдался конец лета и начало осени 2015 года. Так, в конце августа сбой в системе электропитания стал причиной отключения мощного дата-центра Fujitsu, размещенного в знаменитой Кремниевой долине.

Сбой был настолько серьезным, что ряд пользователей не могли получить доступ к используемым сервисам в течение нескольких дней. Конкретные детали аварии не разглашаются, также обойден вниманием вопрос, почему не сработали резервные источники электропитания. Ведь комплекс мощностью 5,5 МВт, принадлежащий одному из лидеров ИТ-отрасли, имеет пять ДГУ и восемь систем ИБП.

Но факт налицо — комплекс пережил серьезный сбой в работе.

Источник: https://asp24.com.ua/blog/avarii-v-data-tsentrah-chashhe-chem-hotelos-by/

Производственный процесс: Как работают дата-центры

Современный дата-центр — это комплекс сложных инженерных систем, позволяющих организовать безопасную и бесперебойную работу серверного и телекоммуникационного оборудования.

 Дата-центр «ТрастИнфо», принадлежащий компании «Ай-Теко», — один из крупнейших коммерческих дата-центров России. Полезная площадь для установки оборудования в нём составляет более 4 500 кв. м., а число стойко-мест — свыше 1 000.

Это позволяет размещать в общей сложности до 50 000 серверов. Показатель бесперебойной работы составляет 99,982%.

 

РАСПОЛОЖЕНИЕ

город Москва

   

СОТРУДНИКИ

50 человек + сервисные службы

 

годовой ОБОРОТ

400 млн рублей (СПАРК)

На сегодня в России насчитывается более 170 крупных и средних коммерческих дата-центров. Общая полезная площадь коммерческих дата-центров в 2012 году достигла 62 600 кв. м., за год объём площадей вырос на 18,6%. Сегодня российский рынок дата-центров формируется крупными площадками, большая часть из которых расположена в Москве.

 По данным iKS-Consulting, российский рынок дата-центров в 2012 году вырос на 22,8% и составил 6,2 млрд рублей. По данным MForum Analytics, рынок дата-центров будет развиваться со скоростью около 30% в год и к 2015-му составит более $900 млн.

Объём рынка в 2011-2016 годах вырастет с $310 до $1 127 млн; московский рынок — с $229 до $632 млн; петербургский — с $34 до $173 млн; региональные — с $47 до $323 млн.

Здание дата-центра «ТрастИнфо» было построено по принципу «дом в доме» с использованием специальных огнестойких и водонепроницаемых материалов на территории Научно-исследовательского центра электронной вычислительной техники (НИЦЭВТ), созданного в конце 1940-х годов.

Обратите внимание

При строительстве здания дата-центра необходимо учитывать множество условий. Так, в технических требованиях международного стандарта TIA 942 указано, что здание не должно находиться в зоне, где за последние 100 лет случалось наводнение.

Оно должно быть не менее чем на километр удалено от железных дорог и крупных шоссе (это сведёт к минимуму риск разлива химических веществ). Также нельзя строить дата-центры рядом с аэропортами, свалками, реками, иностранными посольствами и в районах с высокой преступностью.

В целом, чем дальше от опасностей, тем лучше. Поэтому крупнейшие мировые дата-центры расположены в бывших ядерных убежищах, подземельях и в толще гор.

В помещении дата-центров не должно быть транзитных коммуникаций (отопление, водопровод, канализация). Однако для помещений, содержащих сервера, существуют требования по уровню влажности воздуха, так что наличие воды необходимо постоянно. Риск затопления можно снизить при помощи гидроизоляции.

Также необходима установка датчиков протечек. Сервера требуют постоянного, круглосуточного охлаждения и теплоотвода, даже если центр обработки данных размещён на полюсе. Поэтому помещение должно быть оснащено системой искусственного климата. Необходимо контролировать температуру и влажность.

Шкафы и стойки должны быть расположены по перемежающейся схеме, так чтобы передняя сторона шкафов/стоек в каждом ряду была обращена к передней же стороне другого ряда, создавая «горячие» и «холодные» проходы. Холодный воздух поступает из-под фальшпола, горячий — уходит в потолок: так происходит циркуляция воздуха.

В «ТрастИнфо» даже используется пол с разной перфорацией: около высоконагруженных стоек она больше в диаметре.

«ТрастИнфо» для охлаждения использует воду из артезианской скважины, которая находится на территории НИЦЭВТ. Система охлаждения воздуха состоит из «чилеров», расположенных на улице, вентиляционных комнат и кондиционеров.

Вентиляторы засасывают холодный воздух в чилеры, внутри которых находится этиленгликоль. Затем он взаимодействует с водой из скважины. Охлаждённая вода по замкнутому контуру идёт к кондиционерам, которые охлаждают воздух, подаваемый в зал.

Важно

Также у дата-центра есть подземное хранилище с водой, за счёт которого в случае отказа системы охлаждения можно будет обеспечить четыре часа автономного охлаждения всех залов. Система охлаждения работает не круглогодично, а в зависимости от температуры окружающей среды.

Зимой нет необходимости расходовать на это дополнительную электроэнергию.

У каждого машинного зала есть своя вентиляционная камера, в которой установлено шесть кондиционеров. Один из них всегда находится в резерве. Система поддерживает температуру в залах на уровне 22 градусов — оптимальной для работы оборудования без перегрева. Система автоматическая: на основе показаний датчиков она сама принимает решение, стоит ли охладить или добавить тепла в комнате. 

Энергопитание «ТрастИнфо» организовано от двух подстанций по двум каналам  — основному и резервному. Дата-центры очень энергоёмкие.

На долю центров обработки данных приходится около 1,3% мирового потребления энергии.

Согласно исследованию компании Digital Power Group, уже в 2035 году дата-центры будут «съедать» почти столько же энергии, сколько требуется для снабжения светом всего земного шара.

Зал источников бесперебойного питания (ИБП) — часть системы энергоснабжения «ТрастИнфо». Дата-центр укомплектован системой автоматического ввода резерва. При отсутствии электропитания от двух штатных подстанций дата-центр перейдёт на резервное питание от аккумуляторов.

Расчётное время работы ИБП составляет 10-15 минут (до полной разрядки аккумуляторных батарей пройдёт 45 минут). Этого времени достаточно для запуска дизель-генераторных установок. Запас дизельного топлива рассчитан более чем на девять часов работы при полной нагрузке.

В случае необходимости более длительной работы компания организует непрерывный подвоз солярки, и дата-центр будет работать в таком режиме столько, сколько надо.

Многие серверные стойки защищены сварными решётками и кодовыми замками, чтобы исключить возможность несанкционированного доступа. Некоторые заказчики устанавливают системы контроля доступа и видеонаблюдения за своими серверами. Так клиенты фиксируют, кто и когда заходил в их секцию.

Совет

Все коммуникации к стойкам подходят сверху — так удобнее и безопаснее. Под фальшполом — только шины заземления и датчики пожаротушения. Панели, которыми обшит зал, жаропрочные и не дают протечек. Все инженерные системы дублированы: отказ одной никак не влияет на производительность.

Круглосуточно в здании дежурят два инженера. Большую часть времени они наблюдают за состоянием инженерной инфраструктуры из комнаты мониторинга.

Всё оборудование дата-центра оснащено датчиками, фиксирующими параметры электроснабжения и хладоснабжения в реальном времени.

Три раза в день инженеры проводят визуальный осмотр помещений, проверяют температуру, состояние инженерных систем, ИБП, чилеров. 

Медная комната — гордость «ТрастИнфо» и единственное в своём роде специальное помещение, полностью обшитое медными листами. Оно обеспечивает защиту данных, записанных на магнитных лентах, от электромагнитного излучения.

В мини-сейфах, установленных в этой комнате, хранятся носители с критически важными данными.

Доступ в неё строго ограничен: чтобы открыть ячейку, нужно иметь два ключа, один из которых хранится у клиента, а второй — у охранника.

Все помещения дата-центра входят в единую систему пожаротушения, которая состоит из цифровой станции и газового оборудования. В этом помещении расположены 18 баллонов с огнетушащим веществом Хладон-125 и управляющее оборудование.

Обратите внимание

Из него сделана трубопроводная разводка по всем помещениям дата-центра. Система пожаротушения гибридная: срабатывает как в ручном режиме, так и автоматически (если сработало сразу два датчика).

В машинных залах над оборудованием расположены форсунки, которые в случае пожара выпустят газ, поглощающий кислород, над очагом возгорания.  

Хотя в дата-центре «ТрастИнфо» пока не случалось аварий, два раза в месяц здесь проводят учения, чтобы проверить, всё ли оборудование работает исправно. 

 Фотографии: Тимур Аникеев

Источник: https://www.the-village.ru/village/business/how/152481-kak-rabotayut-data-tsentry

Ссылка на основную публикацию