«РТСофт» внедрил систему диспетчеризации и управления инженерными системами ЦОДа Сбербанка в «Сколково»

Основная статья: ЦОДы Сбербанка

ЦОД расположен на территории 4,09 га в Сколково.

2020: Внедрение системы диспетчеризации и управления инженерными системами ЦОДа

В конце декабря 2020 г. «РТСофт» завершил проект по внедрению автоматизированной системы диспетчеризации и управления инженерными системами (АСДУ ИС) Центра обработки данных (ЦОД) «Сколково» ПАО «Сбербанк». Проект выполнялся в рамках консорциума компаний под управлением генподрядчика – компании «Инсистемс» (ГК «Ланит»), сообщили в «РТСофт» 20 апреля 2021 года.

Как отмечается, ЦОД, расположенный в Инновационном центре «Сколково» – один из крупнейших и мощнейших дата-центров в Европе. Его площадь составляет 39 000 м2, активная мощность – до 32 МВт, количество серверных стоек – до 2000 и общий уровень отказоустойчивости (по Uptime Institute) – Tier III.

Как объект внедрения АСДУ инженерных систем ЦОД «Сколково» представляет собой комплекс зданий: административно-бытовой корпус с примыкающими пятью инженерно-технологическими модулями ЦОД, которые работают в круглосуточном и круглогодичном режимах.Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft 2.3 т

Цель проекта: повышение надежности, безопасности и качества функционирования оборудования инженерных систем, а также сокращение затрат на его обслуживание.

Внедрение АСДУ ИС ЦОД «Сколково» позволило решить задачи по следующим направлениям:

• мониторинг технологических параметров и управление работой оборудования инженерных систем;
• диагностика функционирования оборудования;
• оповещение персонала о предаварийных и аварийных состояниях работы оборудования;
• формирование показателей наработки оборудования;
• обеспечение «глубокого» архивирования технологических данных и другие задачи.

АСДУ ИС обеспечила интеграцию локальных систем автоматики и контроль функционирования полного набора технологических подсистем: общеобменной вентиляции, кондиционирования воздуха, водоснабжения, отопления, холодоснабжения, электроснабжения, ДИБП, освещения, контроля качества электроэнергии, мониторинга температуры и влажности в машинных залах и многих других.

Особая гордость разработчиков системы, специалистов «РТСофт», – это решение сложнейших технических задач по организации «глубокого» хранения данных. При этом общий объем контролируемых параметров на апрель 2021 года доходит до 200 тысяч, рассказали в компании. Кроме этого, нужно было предложить такое решение, при котором общий информационный объем системы можно было бы расширять с учетом перспектив развития ЦОД «Сколково». И эта задача также была решена. Стоит отметить, что внедрение АСДУ ИС шло в сложных условиях, параллельно со строительными работами.

ЦОД «Сколково» ПАО «Сбербанк» будет развиваться и расширяться. Приобретенный инженерный опыт и сложившаяся проектная команда позволят «РТСофт» браться за новые работы в этом проекте и предлагать решение аналогичных задач другим заказчикам, считают в компании.

2018

Передача сертификатов безопасности Uptime Institute Tier III

Сбербанку переданы сертификаты Uptime Institute Tier III, которые говорят о соответствии международным стандартам безопасности ранее введенных в эксплуатацию модулей центра обработки данных «Сколково». Документы вручил старшему вице-президенту, руководителю блока «Технологии» банка Давиду Рафаловскому управляющий директор Uptime Institute по России и СНГ Алексей Солодовников, сообщили TAdviser 11 октября 2018 года в Сбербанке.

На октябрь 2018 года ЦОД Сбербанка «Сколково» мощностью 30 МВт и вместимостью до 5 экзабайт информации состоит из пяти модулей. Предполагается, что после введения в эксплуатацию всех модулей дата-центр станет крупнейшим в России и одним из крупнейших в Европе.

Уровень надежности ЦОД по международной системе оценки (Uptime Institute) — Tier III, что подразумевает показатель доступности не менее 99,98% и функционирование ИТ-систем в режиме 24 х 7.

Испытания подтвердили, что технологические модули № 1 и 2 ЦОД соответствуют стандарту Uptime Institute Tier Standard: Topology. Сертификация модулей № 3, 4 и 5 запланирована на четвертый квартал 2018 года.

Смета строительства ЦОДа Сбербанка в «Сколково» перевалила за 17 миллиардов

Как стало известно CNews, за два года стоимость строительства ЦОДа Сбербанка на территории инновационного центра «Сколково» выросла как минимум на 5,2 млрд руб. и в настоящий момент составляет не менее 17,4 млрд руб^[1].

Напомним, базовый инженерный контракт на возведение рассматриваемого объекта на 12,2 млрд руб. был заключен 16 апреля 2016 г. с дочерней структурой «Ланита», компанией «Инсистемс».

В начале мая 2018 г. CNew sобнаружил, что у базового контракта на сайте госзакупок появилось еще одно дополнительное соглашение между Сбербанком и «Инсистемс» — на 129,3 млн руб., и, что характерно, ему был присвоен №4, в то время как информация от допсоглашениях №2 и №3 на официальном портале zakupki.gov.ru отсутствовала.

Редакция обратилась в пресс-службу Сбербанка с закономерным вопросом о возможности узнать подробности о непредставленных на сайте допсоглашениях №2 и №3 и с просьбой сообщить, существуют ли в рамках проекта соглашения с порядковыми номерами от 5 и выше.

В ответ в пресс-службе банка сообщили, что за период срока строительства 2016-2018 гг. к базовому договору было заключено шесть дополнительных соглашений. «Соглашекния №№ 2, 3, 5 носят технический характер и не влекут за собой изменений существенных условий договора, — заверяют в организации. — Соглашения № 1 (2,86 млрд руб.), № 4 (129,3 млн руб.) и № 6 (2,23 млрд руб.) связаны со строительством дополнительного 5-го технологического модуля, ранее не входившего в предмет договора, с усиленным техническим надзором за проектом, с изменениями проектных и технологических решений, необходимость которых выявлена в процессе строительства, с изменением проектных решений в оптической подсистеме интеллектуальной структурированной кабельной сети для обеспечения перехода на новые поколения вычислительных систем, и другими технологическими и модернизационными изменениями».

Отметим, что на следующий день после обращения CNews — 4 мая 2018 г. — информация о допсоглашении №6 на 2,23 млрд руб. была добавлена на сайт госзакупок.

Завершение создания интеллектуальной кабельной сети

7 мая 2018 года компания «Инсистемс» (группа ЛАНИТ) сообщила о завершении монтажа и пусконаладочных работ кабельной сети Центра обработки данных (ЦОД) Сбербанка «Сколково» – инфраструктуры четырех из пяти модулей ЦОД.

За прошедшие несколько месяцев с момента введения в эксплуатацию в декабре 2017 года первого модуля, ЦОД был глобально усовершенствован. Смонтирована и введена в эксплуатацию интеллектуальная структурированная кабельная сеть. Это позволило вывести ЦОД на высокий уровень надежности и обеспечить переход на современные поколения вычислительных систем, которые будут работать на скоростях до 400 Гбит в секунду.

Задача ЦОД — хранение, обработка и передача больших объемов информации. Для работы такого центра необходимы современные системы поддержания постоянной температуры и влажности, высокоскоростной доступ в интернет, а также оборудование для бесперебойного снабжения электроэнергией. С вводом в эксплуатацию ЦОД повышается надежность ИТ-систем банка.

После введения в эксплуатацию всех модулей ЦОД «Сколково» он будет способен вместить до одного экзабайта информации и обрабатывать ее с помощью 24 тыс. серверов. Мощность центра составит до 29,9 МВт, а уровень надежности по международной системе оценки (Uptime Institute) — TIER–III, что предполагает показатель доступности систем не менее 99,98 %.

Энергетические системы ЦОД «Сколково» используют динамические источники бесперебойного питания. Системы холодоснабжения действуют по принципу прямого охлаждения забортным воздухом и работают без расходования электроэнергии более 330 дней в году.

ЦОД прошел экспертизу Руководства по энергоэффективному и экологическому проектированию (LEED-экспертизу) в США. Ему был присужден 51 балл.

2017

Запуск мега-ЦОДа

16 декабря 2017 года Сбербанк запустил первую очередь своего нового мега-ЦОДа, расположенного в «Сколково». Запущен, в частности, один из пяти блоков, из которых будет состоять центр. Четыре основных блока уже построены, ввести их в строй полностью планируется до конца года. Пятый блок по состоянию на декабрь находится в стадии строительства.

Сбербанк заявляет, что его дата-центр - крупнейший в России и один из крупнейших подобного рода в Европе. Его общая площадь составляет около 33 тыс. квадратных метров, а максимальная мощность - около 30 мегаватт. Для сравнения, площадь ранее самого крупного ЦОДа Сбербанка «Южный порт» - 16 000 кв. м., а мощность - 20 мегаватт. Блоки нового ЦОДа содержат 20 машинных залов, в которых можно разместить до 24 тыс. серверов.

По состоянию на декабрь завершено строительство четырех блоков ЦОДа Сбербанка в Сколково

Затраты, сроки и подрядчики

По данным президента Сбербанка Германа Грефа, торжественно открывшего ЦОД, на строительство центра к моменту запуска первой очереди потрачено порядка 14 млрд рублей. Эти расходы не включают вычислительную часть и программное обеспечение, уточнили в Сбербанке.

В числе присутствовавших на открытии мега-ЦОДа - президент Сбербанка Герман Греф, вице-премьер Аркадий Дворкович, министр связи Николай Никифоров

Генеральным подрядчиком по строительству дата-центра выступала компания «Инсистемс», входящая в группу «Ланит». Проектный директор Сбербанка Сергей Шуршалин рассказал TAdviser, что в проекте в общей сложности участвовали порядка 150 подрядчиков. При этом Сбербанк специально выбирал небольшие компании, чтобы сэкономить на услугах при строительстве дата-центра, рассказал он TAdviser.

Меморандум о создании дата-центра со «Сколково» Сбербанк подписал еще в 2011 году. При этом сроки начала строительства ЦОДа неоднократно переносились. Представитель Сбербанка объяснил TAdviser задержку, главным образом, тем, что у «Сколково» возникли проблемы с подведением электроэнергии нужной мощности. Начинать стройку, не будучи уверенными в том, что будет обеспечена нужная мощность, было слишком рискованно, сказал собеседник TAdviser.

Функции

В Сбербанке говорят, что основное назначение нового ЦОДа на начальном этапе - выполнять функцию резервной площадки. С его появлением Сбербанк планирует отказаться от арендуемых резервных площадок.

Также ЦОД в «Сколково» планируется использовать для размещения новых ИТ-систем банка в рамках развития инфраструктуры. «Старые», уже работающие системы, из дата-центра «Южный порт» переносить в новый не планируется.

Как устроен мега-ЦОД 2

Модель типового блока дата-центра

На нижнем уровне ЦОДа располагаются энергетические установки, станции газового пожаротушения и организация логистической зоны. В ЦОДе применены дизельные динамические источники бесперебойного питания (ДИБП), применение которых на объектах инфраструктуры мощностью от 1 МВТ является экономически более выгодным, чем реализация классических решений с применением отдельных систем ИБП и дизельных генераторных установок (ДГУ), говорят в Сбербанке.

ДИБП с кинетическими накопителями энергии позволил отказаться от свинцовых аккумуляторных батарей, которые часто применяются в дата-центрах. Это как заявляют в Сбербанке, обеспечило экономию до 5,6 тыс. Кондиционируемых площадей.

Машинные залы располагаются на втором уровне дата-центра.

В одном из машинных залов

Стойки с оборудованием в машинном зале

На третьем уровне размещаются вентиляционные камеры с центральными вентиляционными установками. В Сбербанке заявляют, что используют «самое энергоэффективное решение» с охлаждением ИТ-оборудования очищенным подготовленным окружающим воздухом 287 дней в году. Для отвода тепла из машинного зала используется технология прямого естественного охлаждения, которая на 73% эффективнее, чем традиционные технологии, утверждают в Сбербанке.

В системе охлаждения используется программное обеспечение с элементами искусственного интеллекта. Оно анализирует прогноз погоды, данные метеостанций, может обеспечивать накопление холода, если ожидается резкий скачок температуры, и др.

Этаж с вентиляционными установками

В ЦОДе также развернут ситуационный центр. Наряду с ситуационном центром в дата-центре «Южный порт», он используется для мониторинга состояния всех систем и основных операций банка. В Сбербанке говорят, что нагрузка между двумя этими центрами будет балансироваться.

Ситуационный центр

Как и в ЦОДе «Южный порт», для доступа к помещениям нового дата-центра помимо карточек используются биометрические системы безопасности. Но если в первом внедрено распознавание сотрудника с правами доступа по рисунку вен на руках, то в мега-ЦОДе в «Сколково» применяется система распознавания сотрудников по лицу.

Система распознавания по лицу на входе в машинный зал

Сергей Шуршалин рассказал TAdviser, что пятый блок нового ЦОДа Сбербанк планирует использовать для развития бизнеса по кибербезопасности как нового направления, оказывая услуги в этой области и внутренним, и внешним заказчикам. Как и в ЦОДе «Южный порт», в новом мега-ЦОДе Сбербанк рассматривает возможность размещения SOC (security operations center), говорит Шуршалин.

Импортозамещение

В Сбербанке заявляют, что в новом мега-ЦОДе широко применяются отечественные решения - они присутствуют и на уровне инфраструктуры, и программного обеспечения, и в вычислительной части. Названия использующихся в ЦОДе продуктов Сбербанк раскрывает неохотно, объясняя это заботой о кибербезопасности. Сергей Шуршалин привел пример, что в ЦОДе имеются отечественные системы хранения данных (СХД) «Баум».

Отчасти использование отечественных решений, в том числе - собственной разработки Сбербанка, связано с желанием минимизировать риски, которые несут в себе санкции Запада в отношении России, объяснил Сергей Шуршалин.

Завершение строительства мега-ЦОДа в «Сколково»

Строительство мега-ЦОДа Сбербанка в «Сколково» завершено, рассказал старший управляющий директор блока «Технологии» Сбербанка Павел Ходалев, выступая 29 ноября 2017 года на конференции TAdviser SummIT. По его словам, этот ЦОД планируется сделать основным местом расположения инфраструктуры Сбербанка.

Павел Ходалев на TAdviser SummIT 29 ноября

До его запуска основной площадкой для размещения систем Сбербанка выступает мега-ЦОД «Южный порт». Новый ЦОД значительно превосходит его по площади и мощности. Общая площадь нового ЦОДа составляет порядка 30 тыс. кв. м., а энерговооруженность - 32 МВт, в то время как аналогичные показатели «Южного порта» - 16 тыс. кв. м. и 20 МВт соответственно.

По состоянию на ноябрь завершаются работы по инженерным системам первой очереди объекта, начаты работы по монтажу ИТ-оборудования, запуск планируется в 1 квартале 2018 года, уточнили TAdviser в Сбербанке.

В ЦОДе «Сколково» монтируется новейшее ИТ-оборудование. При этом в ЦОДе «Южный порт» проводятся плановые работы по техническому обновлению ИТ-оборудования с отработанным ресурсом, сообщили TAdviser в Сбербанке.

(состояние стройки мега-ЦОДа Сбербанка ранее, в октябре 2017 года)

С запуском нового ЦОДа Сбербанк планирует отказаться от нескольких арендуемых площадок. Два ЦОДа в «горячем» резервировании обеспечат функционирование промышленных автоматизированных систем банка, заявили TAdviser в Сбербанке.

Ранее в Сбербанке рассказывали TAdviser, что банк планирует строить третий крупный стратегический ЦОД на расстоянии более 1 тыс. км от Москвы, который выполнял бы функцию резервной площадки. По информации TAdviser, по состоянию на ноябрь 2017 года строительство этого ЦОДа еще не началось.

Концепция Сбербанка предусматривает такую архитектуру ЦОДов, в которой третий дата-центр должен появиться в 2019-2020 годах.

О TAdviser SummIT

Конференция TAdviser SummIT состоялась в Москве 29 ноября 2017 года и привлекла более 400 участников. Главные темы мероприятия - ИТ-планы крупнейших компаний и государственных ведомств России на 2018 год, перспективы развития цифровой экономики, ИТ-продуктов и сервисов. В рамках пленарной части и пяти тематических секций прозвучало более 60 докладов и публичных дискуссий. Мероприятие прошло в 5 залах Digital October.

2016

Подготовка к строительству МегаЦОДа-2

Входящая в группу «Ланит» «Инсистемс», выбранная генеральным подрядчиком по созданию нового ЦОДа Сбербанка в «Сколково», ведет подготовительные работы для начала строительства объекта, рассказал TAdviser генеральный директор этой компании Евгений Вирцер в апреле 2016 года спустя несколько дней после победы в тендере: «Проектную документацию составил заказчик сам и сделал это качественно, по ней уже можно приступать к работе». К выполнению работ «Инсистемс» планирует привлекать субподрядчиков, добавил он.

По условиям договора, генподрядчик должен выполнить работы по строительству ЦОДа, состоящего из четырех модулей. Также требуется выполнить работы по прокладке внеплощадочных сетей, поставку и комплекс пуско-наладочных работ всего инженерного и технологического оборудования, его индивидуальные и комплексные испытания, а также провести сертификацию построенного объекта. ИТ-решения для ЦОДа в данный проект не входят.

Точные характеристики будущего дата-центра в «Инсистемс» пока не раскрывают, отмечая лишь, что он станет крупнейшим в России. Евгений Вирцер отметил в разговоре с TAdviser, что строительство станет крупнейшим и для его компании. Главной предстоящей сложностью проекта он называет очень большие объемы работ, которые необходимо выполнить в сжатые сроки – завершить создание объекта необходимо в течение 24 месяцев с момента подписания контракта. По условиям договора, работы необходимо завершить в мае 2018 года.

Внутри первого мегаЦОДа Сбербанка «Южный порт»

Основываясь на предыдущем опыте сотрудничества со Сбербанком, Вирцер добавил, что банк является очень требовательным заказчиком. В числе проектов, которые ранее выполняла «Инсистемс» для Сбербанка - модернизация офисных зданий банка в Москве, поставка комплексов инженерных систем для Уральского и Северо-Западного банков Сбербанка, для центра сопровождения клиентских операций и др.

Говоря о том, насколько актуальной для проекта строительства ЦОДа в «Сколково» является тема импортозамещения, Евгений Вирцер заявил TAdviser, что отечественная продукция при создании ЦОДа будет использоваться, «но без фанатизма». Все основное оборудование, которое планируется задействовать в проекте, - импортное, «от проверенных производителей».

Конкретные бренды оборудования, которое будет использоваться в ЦОДе, гендиректор «Инсистемс» предпочел не озвучивать. Из разъяснений проектной документации для участников запроса предложений по созданию ЦОДа следует, что, например, при построении структурированных кабельных систем, как и в первом мегаЦОДе Сбербанка, планируется использовать продукты Panduit, для систем кондиционирования – продукты Uniflair и Daikin, вентиляции - Systemair и Robaterm. Еще один производитель оборудования, задействованный в проекте, - Schneider Electric. Вместе с «Ланитом»,«Инсистемс» и «Строй-гарантом» компания входит в состав консорциума, победившего на тендере Сбербанка по созданию МегаЦОД-2.

Выбор генподрядчика для строительства

13 апреля 2016 года Сбербанк определил победителя запроса предложений^[1] по выбору генерального подрядчика для выполнения строительно-монтажных работ по созданию ЦОДа в «Сколково» (МегаЦОД-2). Им стала входящая в группу "Ланит" компания "Инсистемс", набравшая 0,548 балла (оценивались цена и качество предложения).

Максимальная цена договора составляла 13,1 млрд рублей. "Инсистемс" выразила готовность построить мегаЦОД за 12,2 млрд рублей. 29,39% от этой суммы подрядчик получит авансом.

Предложения на тендер принимались от организаций, аккредитованных банком по итогам квалификационного отбора^[2], проведенного в октябре 2015 года.

Помимо "Инсистемс" в запросе принимали участие «Моспромстрой-Опалубка» в консорциуме с родственной компанией «Моспромстрой» (12,41 млрд рублей и 0,5121 баллов) и RD Construction (11,59 млрд рублей и 0,411 баллов). Еще один аккредитованный участник - «Альпине» в консорциуме с «М+В Хай Тек Проджектс» - не дошел до финальной стадии определения победителя.

Сроки начала строительства второго ЦОДа Сбербанка неоднократно сдвигались. Так, в годовом отчете «Сколково» за 2011 год высказывались ожидания, что общий комплекс машинных залов для ЦОДа Сбербанка будет построен уже к январю 2014 года. В начале же декабря 2013 года председатель правления банка Герман Греф заявлял СМИ, что строительство ЦОДа начнется только в 2014 году.

Из отчетов о деятельности фонда «Сколково» за 2013 год следовало, что срок сдачи в эксплуатацию первой очереди ЦОДа Сбербанка, ранее обозначенный декабрем 2015 года, сдвинулся на год – на декабрь 2016 года.

2014: Подготовка проекта ЦОДа

По состоянию на начало 2014 года шел процесс проектирования второго мегаЦОДа Сбербанка, рассказывали представители банка в январе, отвечая на вопрос TAdviser в ходе пресс-мероприятия.

По их словам, планируемая суммарная электрическая мощность нового дата-центра составит 32 МВА против 20 МВА в первом мегаЦОДе «Сбербанка» «Южный порт», запущенном в 2011 году. Площадь новый мегаЦОД займет примерно такую же, как «Южный порт» – порядка 16 тыс. кв. м., но при этом на ней можно будет разместить большее количество стоек с оборудованием, добавляли в Сбербанке.

Точное местоположение новой площадки по состоянию на 2014 год не определено. Ранее банк заявлял о планах построить второй свой ЦОД в «Сколково», однако теперь последнее рассматривается в качестве «одного из мест» для его расположения, при этом есть и альтернативные варианты, сообщали TAdviser представители Сбербанка.

В Сбербанке добавляли, что конкретного решения о старте строительства второго мегаЦОДа и разрешения на его строительство пока не получено.

«Мы хотели начать строительство в 2016 году. Процесс создания ЦОДа рассчитан примерно на полтора года», - заявили TAdviser в Сбербанке.

2011: Подписание меморандума о создании ЦОДа в «Сколково»

В июле 2011 г. Сбербанк подписал с фондом «Сколково» меморандум о намерениях о строительстве ЦОДа. Предполагается, что в инноград перенесут центр разработки ИТ-инфраструктуры и усовершенствования онлайн-услуг банка. По заявлению Германа Грефа, Сбербанк выделит на реализацию проекта порядка 700—800 млн долл.

О подписании документа журналистам рассказал Герман Греф. Меморандум предусматривает организацию на территории иннограда R&D-центра банка и строительство центра обработки данных «МегаЦОД 2». «Сколково» предоставит Сбербанку льготную аренду площадей, льготное налогообложение и все льготы, предусмотренные для участников иннограда, сообщает официальный представитель фонда.

Глава Центра инноваций Вадим Куликов оптимистично смотрит на сотрудничество «Сколково» и Сбербанка: «Объем инвестиций в 700—800 млн долл. вполне адекватен для этого проекта. Большой плюс, что участвовать в нем будет именно Сбербанк, таким образом, компетенции точно останутся в России. Сбербанк играет ключевую роль в цифровых банковских нововведениях. Партнерство со «Сколково» станет существенной поддержкой для ИТ-проектов банка, в частности выпуска универсальной электронной карты для россиян».

Примечания