«МегаФон» и HPE заключили мировое соглашение по иску на $28 млн

2020: Мировое соглашение с HPE по иску на $28 млн

11 июля 2020 года стало известно о том, что «МегаФон» и Hewlett Packard Enterprise заключили мировое соглашение по иску на $28 млн, в рамках которого американский производитель ИТ-решений был обвинён в сбоях ИТ-системы «МегаФона». Об этом в российской компании рассказали агентству Reuters. В HPE подтвердили урегулирование иска.

По словам представителя «МегаФон», спор был урегулирован ещё в июле 2020 года, иск отозван. Какие-либо детали соглашения компании раскрывать не стали. Внесудебное урегулирование спора «полностью разрешает конфликт» между сторонами, сообщил представитель Hewlett Packard Enterprise.

«МегаФон» в своём иске указывал следующий ущерб:

• стоимость оборудования HPE и его внедрения ($28 млн);
• расходы на неудачную доработку системы, чтобы исключить сбои;
• стоимость нового оборудования, которое придётся покупать на замену, и стоимость внедрения (неизвестная величина, минимум $28 млн);
• недополученная прибыль из-за потери клиентов (в день аварии у «МегаФона» продажи контрактов МТС в Москве выросли вдвое, а в Поволжье – в пять раз. Представитель Tele2 Russia сообщал о росте продаж SIM-карт в 2,5 раза).

При этом финальную сумму ущерба «МегаФон» попросил определить суд. О чем в итоге договорились стороны, неизвестно к 11 сентября 2020 года.

Претензии «МегаФона» касались системы UDR (User Data Repository) — хранилища с технической информацией об абонентах и услугах, доступных каждому из них. В результате от неё пришлось отказаться. Таким образом, стоимость оборудования и затраты на его внедрение являются прямым ущербом заказчика.Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft 2.1 т

Из-за сбоя ИТ-системы абоненты «МегаФона» на несколько часов остались без связи. В американской компании тогда не стали давать информативные комментарии и лишь ограничились следующим заявлением:

HPE отдает приоритет в решении таких корпоративных вопросов и продолжит тесно работать со своими клиентами в целях обеспечения максимально возможного качества услуг.[1]

2018: «МегаФон» подал на HPE в суд за «катастрофические сбои» в сети

В ноябре 2018 года стало известно о подаче «МегаФоном» иска к Hewlett-Packard Enterprise (HPE). Американская корпорация была обвинена в том, что именно из-за ее программного обеспечения в сети российского оператора произошел неоднократный сбой. заявление размещено в базе американского правосудия PACER. 

Речь идет о проекте виртуализации UDR (User Data Repository) — это так называемый домашний регистр, который связывает технологическую сеть и биллинг. В данном хранилище размещены данные об абонентах и доступных каждому из них услугах. За внедрение этой системы «МегаФон» заплатил HPE около $28 млн.

«МегаФон» подал многомиллионный иск к HPE из-за сбоев связи в России

Оператор просит суд северного округа штата Калифорния взыскать эту сумму, а также так называемые «штрафные убытки», которые потенциально могут достигнуть семикратного размера заявленного ущерба или $196 млн. Таким образом, размер требуемой компенсации составляет $224 млн. 

Однако как пояснили информационному агентству Reuters в «МегаФоне» финальная сумма будет определена судом, поэтому называть конкретные выплаты еще рано. Оператор говорит, что использование некачественной ИТ-системы HPE привело к экономическим и репутационным издержкам.

При этом «МегаФон» готов пойти на мировое соглашение на любой стадии процесса в случае удовлетворения всех своих требований. Отмечается, что до подачи иска компании вели переговоры, однако они оказались безрезультатными — конкретных договоренностей об урегулировании ситуации достигнуто не было.

Из текста искового заявления следует, что в результате низкой производительности и «катастрофических сбоев» в работе UDR произошло отключение сетей «МегаФона» в ноябре 2016 года, а также в апреле, мае и июне 2017-го. Авария, из-за которой абоненты не могли пользоваться голосовой связью и выходить в мобильный интернет, коснулась жителей столичного и центрального регионов, а также Поволжья. 

В иске говорится, что в результате некоторых из этих сбоев сеть оказалась почти полностью отключена для более чем 80 млн абонентов. После масштабных отключений в «МегаФоне» сменился директор по инфраструктуре, хотя в компании утверждали, что кадровые перестановки не были связаны со сбоем.

«МегаФон» не только потерял свои первоначальные инвестиции в эту ИТ-систему, но и столкнулся с перспективой неизвестных дополнительных расходов на ее замену, которые оцениваются еще в не менее $28 млн, претензиями абонентов, партнеров из числа виртуальных мобильных операторов, и, возможно, акционеров, — говорится в иске.

В документе также указано, что контракт на модернизацию беспроводной сети «МегаФона» с HPE был заключен в 2013 году. Иск был направлен в суд 23 октября 2018-го. Помимо HPE, на контракт с «МегаФоном» претендовали компании Alcatel-Lucent, Ericsson, Huawei, Nokia, Oracle, Tekelec и ZTE.

Выбор в пользу HPE был сделан потому, что американская компания в ходе презентаций, переписки и телефонных переговоров обещала создать «наилучшее решение». HPE обещала построить стабильную систему с отказоустойчивостью на уровне 99,999%, которая должна была позволить «МегаФону» объединить региональные сети, однако она оказалась дефектной и нерабочей, отметили в российской телекоммуникационной компании.

Интересы «МегаФона» в суде предоставляет юридическая компания Winston & Strawn. Она заявила следующее:

Представьте себе аналогичную остановку любой другой сотовой компании в Калифорнии и соответствующее влияние на ее бизнес и репутацию. HPE знала, что у нее нет опыта или необходимой экспертизы для успешной реализации проекта в такой области, такого масштаба и с такими задачами. Кроме того, компания знала, что ее предложение было необоснованным и непроверенным, а также о том, что самом деле не было оснований для заверений, что оно будет соответствовать техническим требованиям, предъявляемым в контракте «МегаФона»… Если бы «МегаФон» знал правду, он бы не выбрал HPE.

По словам юристов, HPE убедила «МегаФон» в том, что аналогичные проекты у американской корпорации были, а при заключении контракта российский оператор получит готовый продукт. Однако в действительности оказалось, что HPE по большей части начала строить систему для «МегаФона» с нуля.

После провального заказа HPE «МегаФону», как следует из иска, придется восстановить, перенастроить или заменить все еще неисправную систему UDP.

После возникновения сбоев в работе сети HPE предоставляла «МегаФону» дополнительное оборудование, обновляла программное обеспечение и устанавливала на него патчи, но так и не смогла добиться повышения производительности UDR и устранить неполадки с синхронизацией между узлами оператора.

Указывается, что неисправность системы дала о себе знать в первый год ее работы. «МегаФон» требовал от HPE план решения проблем с производительностью UDR, начиная с августа 2013 года.

Как отмечает Reuters со ссылкой на сайт оператора, в сентябре 2017 года компания объявила тендер на установку обновленной системы UDR. По данным источников агентства, проект был оценен в $32,7 млн. «МегаФон» воздержался от комментариев по поводу выбора поставщика новой UDR и сумме контракта с ним.

В ответ на запрос Reuters прокомментировать ситуацию в HPE сообщили, что политика компании не позволяет ей описывать текущие судебные разбирательства.

2017: Крупнейший сбой в истории "Мегафона"

19 мая в Москве и ряде других городов России произошел крупный сбой в работе сети сотового оператора «Мегафон». Абоненты потеряли возможность совершать голосовые звонки, при этом осталась доступна передача данных, поэтому специалисты оператора рекомендовали своим клиентам звонить через мессенджеры.

"Мегафон" не мог оказывать голосовые услуги связи на протяжении большей части дня 19 мая 2017 года

Сейчас в Москве и нескольких других городах наблюдаются временные сложности с голосовой связью. Снижение успешности дозвона - 30%. Технические специалисты "МегаФона" проводят восстановительные работы и планируют закончить их в ближайшее время. Обращаем ваше внимание, что мобильный интернет продолжает работать в обычном режиме, и вы можете совершать звонки через мессенджеры, - сообщала пресс-служба оператора днем 19 мая

Позднее в некоторых СМИ появились предположения о возможной связи технического сбоя с вирусной атакой Wanacry, а также с тестированием оборудования для реализации "пакета Яровой". Однако представители оператора отвергли эти версии, сообщив, что сбой произошел на одном из элементов сетевого оборудования и специалисты компании уже занимаются устранением последствий.

Около 21 часа по московскому времени пресс-служба «Мегафона» распространила видео, в котором Петр Лидов, директор по связям с общественностью «Мегафона», сообщил, что случившийся сбой стал для оператора «наверное, самой крупной аварией в истории».

По его словам, проблема возникла в программном обеспечении, установленном в системе обработки данных. Сбой привел к тому, что возникала постоянная пиковая нагрузка на систему, в результате чего она не выдерживала.

Он также сообщил, что разработчики этого софта и оборудования – компания HP – занимаются созданием системного решения. В свою очередь, инженеры «Мегафона» занимаются перераспределением нагрузки с неработающих систем на работающие.

Чуть позже пресс-служба оператора добавила, что произошел сбой в программном обеспечении - базе данных производства компании Hewlett-Packard - на основном и резервном узлах, обслуживающих ряд субъектов Федерации. Техническую поддержку также осуществляет Hewlett-Packard.

Hewlett-Packard в ближайшее время планирует установить обновление программного обеспечения, - сообщили в «Мегафоне»

К моменту публикации материала (21.00 по Москве 19.05.17) связь была восстановлена в Самаре, Казани, Саратове. Успешность голосовых вызовов по Москве и области составляла 93%.

ПО и оборудование HP широко используется в "Мегафоне" много лет. Об этом читайте в справке ниже.

Компенсация абонентам

Сотовый оператор «Мегафон» намерен компенсировать абонентам неудобства, вызванные многочасовым масштабным сбоем связи 19 мая 2017 г. Об этом сообщил 23 мая в соцсети «ВКонтакте» гендиректор компании Сергей Солдатенков. Компенсация предлагается пользователям с 20 мая, однако раньше для её получения нужно было обращаться в контактный центр оператора. Теперь такой необходимости нет.

По словам Солдатенкова, пострадавшие абоненты могут выбрать один из трёх вариантов компенсации: получить бесплатно 1ГБ трафика и 50 минут голосовой связи, или же получить бесплатно 2 ГБ трафика, или же просмотреть бесплатно один фильм на «Мегафон.ТВ». Право на компенсацию имеют абоненты, у которых во время сбоя исчезла возможность совершать голосовые звонки, получать и отправлять SMS, либо наблюдались проблемы с мобильным интернетом. Эти лица получат SMS с дополнительной информацией о получении компенсации в течение следующей недели.

Директор по инфраструктуре уволился

Директор по инфраструктуре «Мегафона» Башмаков Александр покинул в мае 2017 года компанию, его место пока остается свободным. Случилось это через две недели после масштабного сбоя в сети «Мегафон».

2013

Внедрение модуля HP PPM Demand Generation для управления коммерческими инициативами

В 2013 году "Мегафон" рассказывал о внедрении модуля HP PPM Demand Generation для управления коммерческими инициативами "Мегафона".

Внедрение HP CloudSystem в Кавказском филиале

Кавказский филиал «Мегафона» для решения новых больших задач, связанных с быстрой разработкой и оперативным внедрением новых услуг, задался целью виртуализировать ИТ-инфраструктуру^[2]. Рассмотрев предложения разных вендоров, руководство «Мегафона» пришло к выводу, что решение HP CloudSystem и ПО VMware вполне соответствуют требованиям растущего бизнеса и позволят компании добиться поставленной цели – обеспечить общедоступную облачную среду для поддержки всех внешних услуг, в том числе для автоматизации выставления счетов, одного из ключевых рабочих процессов.

Поскольку компания «МегаФон» работает в разных, удаленных друг от друга городах, необходимо было исключить риски, связанные с возможными задержками в сети. Для этого было внедрено четыре решения HP CloudSystem в четырех разных филиалах. В основе системы HP CloudSystem лежит конвергентная инфраструктура, в том числе ПО Matrix Operating Environment 7.0, работающее на четырех блейд-серверах HP BL460c и 19 HP BL685 с ПО VMware vSphere 5.0, подключенных к системе хранения данных XP12000.

Компания Complete выстроила весь процесс - от предпродажной подготовки до реализации системы CloudSystem. Некоторые навыки работы с HP CloudSystem пользователи получили в учебном центре компании НР в Москве. Обслуживание систем производится на основе трехгодичного договора партнеров, предусматривающего техническую поддержку в режиме 24х7.

Система HP CloudSystem – это интегрированная открытая платформа. Используя ее, поставщики услуг могут управлять услугами в сфере облачных технологий как в частном, так и в государственном секторах. В результате создается полное облачное решение, которое позволяет оперативно поддерживать растущий объем продаж.

2012

Сеть дата-центров, спроектированных HP

До конца 2013 года "Мегафон" обещал построить коммерческие ЦОДы, предназначенные для оказания услуг сторонним заказчикам, в каждом федеральном округе. Помимо существующих на тот момент ЦОДов в Самаре, Екатеринбурге, Новосибирске и Хабаровске, откуда такие услуги уже продавались, оператор планировал построить дата-центры в Подмосковье, Санкт-Петербурге и Ростове. Генпроектировщиком стал Hewlett-Packard.

BPM-платформа HP в дальневосточном филиале

В 2012 году дальневосточный филиал «Мегафон» сообщил о выборе программных решений HP для поддержки своих абонентов в дальневосточном регионе. Для того чтобы поддержать качественное обслуживание своей абонентской базы, оператору было необходимо оптимизировать бизнес-процессы и гарантировать минимум простоев. Компания остановила свой выбор на HP Business Process Monitor (BPM), платформе мониторинга от HP (подробнее).

2011: Внедрение HP Storage Essentials Storage Resource Management в Поволжском филиале

В январе 2011 года компания "Комплит" сообщила о внедрении в Поволжском филиале «Мегафона» комплексного решения для управления ресурсами и инфраструктурой сетей хранения данных.

Сети хранения данных (СХД), или Storage Area Network (SAN), разработаны для объединения ресурсов систем хранения данных и предоставления серверам доступа к этим ресурсам. Обмен данными между системами хранения и серверами осуществляется на уровне блоков и требует высокой надежности и производительности. Во избежание потери данных в SAN вероятность возникновения ошибок передачи или падения производительности должны быть сведена к минимуму, отмечали в "Комплите".

Чтобы потенциальные угрозы не стали реальными, требовалось автоматизировать управление SAN. Специалисты компании "Комплит", изучив возможные проблемы и потребности Поволжского филиала «Мегафон», предложили для тестирования программный продукт HP Storage Essentials Storage Resource Management, который представляет собой комплексное решение для управления ресурсами и инфраструктурой гетерогенных сетей хранения данных корпоративного масштаба

Данная система основывается на общепринятых стандартах и протоколах в области сетей хранения данных – SMI-S, CIM, WBEM. Таким образом, она обеспечивает управление сетей хранения данных с компонентами от различных производителей.

Инженеры «Мегафона» совместно со специалистами "Комплита" развернули тестовую среду, которая охватила элементы имеющейся сети хранения данных. Благодаря этому заказчик смог ознакомиться с системой управления в течение двухмесячного тестового периода, по истечении которого специалисты и менеджеры оператора признали внедрение HP Storage Essentials SRM оптимальным вариантом для их компании.

Помимо функциональных возможностей и стандартов, на которых основывается система, они отметили преимущества модульной структуры выбранного решения, ведь структура и гибкая политика лицензирования компании HP позволяет наращивать функционал по мере необходимости.

2009: Возможность централизованного мониторинга физической и виртуальной инфраструктуры

Основными принципами ведения бизнеса «Мегафона» являются максимальное удовлетворение потребностей клиентов и добросовестная конкуренция. Принимая во внимание высокие стандарты качества услуг на рынке телекоммуникаций, компания осознавала необходимость обеспечения эффективной и бесперебойной работы корпоративных ИТ-систем, сообщали в "Мегафоне" в 2009 году.

Решением для создания надежной и эффективной в финансовом плане ИТ-инфраструктуры стала виртуализация^[3]. В рамках первого этапа виртуализации компания внедрила несколько серверов VMware ESX 3.5 и консолидировала их в кластере DRS. Аппаратную часть решения составили 4-х процессорные серверы HP ML570 G2 и HP ML570 G3, подключенные к общей системе хранения данных на базе HP MSA2212 fc.

К началу 2009 года в компании эксплуатировалось уже порядка 40 виртуализованных серверов под управлением VirtualCenter, развернутом на физическом сервере HP DL360G4p. «МегаФон» сообщал о том, что активно наращивает долю виртуализованных приложений - по оценкам специалистов компании, запланированный рост виртуализации составляет 10-15 виртуальных машин в квартал, и к началу 2010 года в виртуальную инфраструктуру VMware планировалось перевести до сотни физических серверов. В качестве аппаратной платформы для расширения виртуальной инфраструктуры VMware «МегаФон» планировал использовать блейд-серверы HP.

На виртуальных машинах работают сервисы отправки технологических SMS-сообщений, web-серверы для обработки абонентских заявок и системы управления технологическим оборудованием. Кроме того, мы перевели в виртуальную инфраструктуру VMware критичные для нас сервисы мониторинга - решение использовать их в VMware было принято в виду высокой отказоустойчивости кластера на основе VMware ESX, - сообщал Иван Иотченко, инженер группы систем управления «Мегафон»

С внедрением виртуальной инфраструктуры VMware компания «Мегафон» столкнулась с новой проблемой - проблемой централизованного мониторинга ИТ-сервисов. Для отслеживания состояния ИТ-инфраструктуры использовалось решение HP Operations Manager for Unix: на управляемые физические серверы устанавливались агенты, обеспечивающие сбор информации из различных источников.

Однако установка агентов HP на виртуализованные серверы не может предоставить целостной картины работы всех систем виртуальной инфраструктуры, отмечали в "Мегафоне". Недоступными оказываются важнейшие показатели производительности и стабильности, такие как события vCenter, метрики ESX по ожиданию ресурсов виртуальной машины (CPU ready time), перераспределяемой памяти (memory baloon), файла подкачки (memory swap rate) и так далее.

Внедрение виртуальной инфраструктуры потребовало от нас поиска нового решения для централизованного мониторинга, - говорил Иван Иотченко. - При этом мы хотели использовать уже привычный для нас HP Operations Manager в качестве единой платформы, то есть нам требовался продукт, который смог бы расширить возможности HP Operations Manager и обеспечить полноценный централизованный мониторинг как физических, так и виртуальных серверов

В марте 2009 года, в рамках проекта, проводимого платиновым партнёром HP - компанией Complete, «МегаФон» остановил свой выбор на nworks Smart Plug-in for VMware (Veeam Software) – корпоративном решении мониторинга, позволяющем отслеживать работу виртуальной инфраструктуры VMware в стандартной консоли HP Operations Manager.

Предоставляя полную интеграцию с HP Operations Manager, решение nworks не требует установки агентов на серверы ESX, что является критически важным для устойчивой работы инфраструктуры.

Использование агента всегда предполагает дополнительную нагрузку на сервер. В ситуации приложений, критичных для бизнеса, это просто недопустимо, - объяснял Иван Иотченко. - В отличие от альтернативных решений, для получения данных о виртуальной среде nworks Smart Plug-in for VMware использует VI API, тем самым снижая нагрузку на серверы ESX и VirtualCenter

nworks Smart Plug-in for VMware поставляется с набором готовых политик для слежения за событиями и метриками виртуальной среды VMware и встроенной базой знаний, предоставляющей содержательные информационные сообщения различных приоритетов.

Группа систем управления просто не может знать всех тонкостей функционирования виртуальной среды, - продолжал Иван Иотченко. - Преднастроенные политики мониторинга и база знаний, входящие в решение nworks, существенно ускорили процесс внедрения и повысили производительность группы контроля. Решение nworks готово к использованию сразу после его установки

В результате проекта виртуальная среда VMware предоставила компании «Мегафон» ряд серьезных преимуществ – эффективное использование аппаратных ресурсов, снижение затрат на закупку оборудования и его обслуживание, возможность быстрого развертывания серверов, отказоустойчивость ИТ-систем.

Благодаря использованию nworks Smart Plug-in компания «Мегафон» получила возможность консолидировать данные корпоративных ИТ-систем, работающих как на виртуальных, так и на физических серверах, на экране HP Operations Manager.

2007: HP Superdome в уральской "дочке"

В августе 2007 года "МегаФон" и Hewlett-Packard завершили проект по модернизации ИТ-инфраструктуры оператора "Уральский Джи Эс Эм", дочернего предприятия ОАО "МегаФон". Проект включал в себя переход на конвергентное биллинговое решение компании "Петер-Сервис" и обновление текущей аппаратной платформы с учетом возросших требований вычислительной нагрузки.

Использование технологии HP, позволяющей совмещать процессоры архитектуры PA-RISC и Intel Itanium 2 в одной системе HP Superdome, позволило компании заложить резерв производительности при сохранении инвестиций в текущую информационную систему", - отметили в "МегаФоне"

2005: Внедрение системы управления HP OpenView

В 2005 году в «МегаФоне» с целью повышения уровня управляемости корпоративной информационной системы компании была внедрена система управления HP OpenView.

Созданием единого центра управления информационной системой одного из крупнейших российских операторов мобильной связи стала компания «Ай-Теко».

Подрядчиком была создана единая платформа управления и мониторинга, которая охватывает все основные аппаратные и программные комплексы, консолидирует всю необходимую информацию о сбоях и проблемах в единой точке и предоставляет удобные средства управления ИТ-инфраструктурой. Решение было реализовано на основе программных продуктов семейства HP OpenView и продукта I-Teco Business Observer — разработанного «Ай-Теко» средства технологического мониторинга автоматизированных информационных систем.

В контур управления были включены основные информационные системы и покрыты все уровни ИТ-инфраструктуры от сетевых устройств до прикладного ПО и технологических процессов. Были развёрнуты подсистемы управления и мониторинга сетевой инфраструктурой на основе HP OpenView Network Node Manager, серверами и приложениями — на основе HP OpenView Operations, производительностью — на основе решений HP OpenView Performance Manager и HP OpenView Reporter. Подсистемы управления качеством ИТ-услуг и мониторинга технологических процессов были построены соответственно на основе программных продуктов HP OpenView Internet Services и I-Teco Business Observer. В контур подсистемы управления серверами и приложениями были включены все основные системы инфраструктуры заказчика. Подсистемой управления качеством ИТ-услуг были охвачены как базовые обслуживающие информационные сервисы — такие как почтовые службы, Интернет-каналы, системные сервисы, а также информационные сервисы верхнего уровня на основе специализированного прикладного программного обеспечения.

Подсистема мониторинга технологических процессов обеспечила мониторинг внутренних процессов биллинговой системы по выполнению технологических операций обслуживания абонентов и взаимодействия биллинговой системы с коммуникационными программно-аппаратными платформами. Эта подсистема предоставила эффективный инструмент для оценки прохождения данных процессов в режиме реального времени и информацию для выбора направлений их оптимизации.

На завершающем этапе проекта все охваченные системой управления и мониторинга информационные сервисы и ресурсы были объединены в единую сервисно-ресурсную модель, которая обеспечила средства быстрого анализа проблем и зависимостей.

Срок реализации проекта составил около девяти месяцев.

Примечания