9 июня 2020 года аналитический центр TAdviser провел онлайн-конференцию «Big Data и BI Day». Сбор нужных знаний и их обработка с целью получения новых полезных для бизнеса и достоверных данных – это целая отрасль ИТ, в которой действуют свои тенденции, сменяют друг друга лидеры, накапливается опыт удачных проектов. О том, чем живет этот динамично развивающийся сегмент ИТ-рынка, обсудили участники конференции TAdviser.

В общей сложности мероприятие посетили более 160 человек – представителей государства и бизнеса. В их числе участники от таких организаций как Минтруд России, «Почта России», Сбербанк, ВТБ, Счетная Палата РФ, ОМК, «Татэнерго», «Новард», «Аптечная сеть 36,6», «Утконос Онлайн», Beluga Group, Mary Kay и многих других.

Модерировал мероприятие Сергей Федечкин, ведущий архитектор по данным Банка ВТБ.

Опыт заказчиков, мнения экспертов

Михаил Петров, директор Департамента цифровой трансформации Счетной палаты РФ, в стейдж-интервью, открывшем онлайн-мероприятие, констатировал, что кризис дал толчок развитию работы с большими данными. Он рассказал о стартовавшем в Счетной палате РФ проекте, в рамках которого будет строиться единая платформа с целью агрегации данных, которые впоследствии возможно будет использовать для различных экономических исследований. Эти данные будут предоставляться экспертным сообществам на условиях просмотра или, если речь идет об отчуждаемых данных, исследователи смогут анализировать их на своей площадке.

Михаил Петров, директор Департамента цифровой трансформации Счетной палаты РФ

Говоря о цифровизации ведомства в целом, отметил Михаил Петров, цифровые проекты сегодня реализуют порядка 6-7 рабочих групп, а в ближайшей перспективе по каждому из 14 направлений аудита будет инициирован цифровой проект. Счетная палата РФ все больше становится аналитической организацией, сказал спикер, уходит от традиционной модели государственного ведомства, чья задача только проверять движение денег.

Работа с данными в быстро меняющейся среде очень важна, - подчеркнул Михаил Петров. - Это дает возможность предсказывать появление новых факторов, которые еще не действуют, но в скором времени обязательно себя проявят.

Потребителями аналитики на основе аккумулируемых данных Михаил Петров видит не только госорганы, ищущие различные нарушения, но и экспертные сообщества, занимающиеся изучением проблем государства. На сайте Счетной палаты последние два года выкладывается все больше аналитических материалов, обратил внимание участников конференции представитель ведомства, и эти материалы вызывают все больший интерес экспертов.

Счетная плата сама производит много данных и богата данными информационных систем других ведомств, которые мы не имеем право предоставлять, - обрисовал ситуацию Михаил Петров. – Палата предполагает выступить в роли агрегатора. Необходимо определить правовой режим по работе с данными, затем реализовать пилотный проект по инструментарию, и только потом можно будет выводить данные на рынок. На сегодня проект в самом начале, пилотную часть хотим завершить к концу года.

Отвечая на вопрос модератора об облачных технологиях, Михаил Петров рассказал о внутреннем облаке и опыте организации на его базе удаленной работы сотрудников с возможностью доступа к 60 объектам. Внешние облака для хранения данных использовать не планируется, отметил он, поскольку в ведомстве циркулирует много закрытой информации.

Виктор Булгаков, руководитель службы развития систем управления данными Банка ВТБ, остановился на вопросах управления данными при внедрении в крупной организации новой концепции управления данными - Data Governance (DG) и поделился первыми результатами.

Виктор Булгаков, руководитель службы развития систем управления данными Банка ВТБ

Договориться с бизнесом как основным заказчиком проекта о понимании термина Data Governance – один из ключевых факторов успеха, подчеркнул Виктор Булгаков. Именно с этого и началась реализация проекта в банке. Бизнес ожидает, что аналитика будет попадать на стол как можно быстрее, при этом чрезвычайно важен вопрос качества данных, отметил он, поэтому необходимо определить, какие факторы влияют на появление ошибок.

Важен и организационный момент – введение закрепленного лидерства в плане управления данными. Кроме того, нужно было удовлетворить требования регуляторов, для чего разработать и утвердить внутреннюю документацию по управлению рисками. На начальной стадии проекта путем анализа потребностей бизнеса были определены пять главных целей проекта, которые, по оценке спикера, подходят для любой отрасли, не только банковской:

• повышение качества данных;
• ускорение развития и сопровождения аналитических систем;
• повышение скорости самих аналитических процессов;
• повышение уровня доступности данных для бизнес-подразделений;
• ускорение поиска ответственного за данные на уровне банка, что особенно актуально для организации с десятками тысяч сотрудников.

На этапе перехода от формализации процессов к созданию платформы было сделано следующее:

• выработан единый процесс работы с данными;
• создан бизнес-глоссарий;
• бизнес-глоссарий интегрирован в процессы ИТ;
• внедрены средства управления мета-данными;
• обеспечен доступ пользователей к модели хранилищ данных, описанию данных и их зависимостей;
• выработаны единые правила по проактивному мониторингу и обеспечению качества данных.

Состояние проекта на начало июня – загружены данные в приоритетные системы (АБС, хранилища данных), осуществляется подключение систем второго уровня приоритетности.

Виктор Булгаков обозначил уроки, вынесенные из проекта, а также его первые результаты:

• бизнес должен быть вовлечен на всех этапах проекта;
• фактическая ресурсоемкость проекта оказалась на 34% лучше плановой;
• повышена эффективность при сверке данных в процессе формирования отчетности;
• оптимизирована инфраструктура хранения и обработки данных;
• сокращено время вывода продуктов на рынок (time-to-market);
• в ходе проекта осуществлен переход на Agile/Scrum;
• реализован ввод системы в продуктивную эксплуатацию за 2 недели в условиях самоизоляции, удаленно.

Спикер отметил, что проект реализовывался преимущественно собственными силами, причем на постоянной основе работали 4 – 5 человек. В заключение Виктор Булгаков анонсировал круглый стол, посвященный опыту внедрения Data Governance в банке ВТБ, на который пригласил участников конференции. Мероприятие будет проводиться в режиме онлайн, отметил он, и в нем будет участвовать команда, занимавшаяся внедрением.

У нас было 5 заказчиков – функциональных подразделений банка, - рассказал Виктор Булгаков. – Только заручившись их поддержкой, мы перешли к внедрению процессов Data Governance. На входе согласовали роли - архитектор, владелец данных, офицеры данных и другие, всего девять, выделили зоны ответственности. Владелец данных наделен большими правами, ведь именно он задает мейнстрим работы в конкретной области, отвечает за порядок во вверенном ему сегменте данных. Была поддержка на уровне членов правления, да и сами заказчики проявили высокий темперамент при реализации проекта.

Руководитель направления разработки BI Росгосстраха Сергей Кравченко обрисовал задачи бизнес-аналитики, акцентировал внимание слушателей на ряде сложностей ее реализации в компании.

Кравченко Сергей, руководитель направления разработки BI Росгосстраха

Аналитика в Росгосстрахе внедрялась на базе Qlik Sense, в числе задач проекта было:

• покрытие аналитикой всей компании;
• повышение эффективности работы;
• единая точка правды;
• повышение скорости работы с данными;
• оперативность получения данных;
• быстрый результат от внедрения аналитики.

По итогам проекта: в системе Qlik Sense порядка 35 тыс. лицензий, данные получаются из 20 учетных систем, закрывающих различные направления бизнеса компании, общий объем данных - более 10 Тб.

При внедрении BI нужно сконцентрироваться на одном или двух направлениях, - посоветовал Сергей Кравченко. - Обратите внимание на наличие готовых коннекторов к информационным системам. Важный момент – наличие заинтересованного лица внутри компании, без него ничего не получится. Так же как ничего не получится без качества данных – и на входе, и на выходе. Пользователи, как правило, не знают о качестве данных на входе, но будут замечать ошибки в бизнес-аналитике. И еще одна сложность при внедрении: если в компании уже отлажены бизнес-процессы, сотрудники будут бороться за них.

Таня Милек, менеджер по методологии и унификации российского агрохолдинга «Русагро» рассказала о трёх проектах - «неинвазивной», т.е. дистанционной или бесконтактной оценки веса животных, по роботизации процессов и внедрении систем беспилотного управления сельхозтехникой.

Таня Милек, менеджер по методологии и унификации российского агрохолдинга «Русагро»

При традиционном взвешивании свиньи испытывают стресс и худеют, пояснила спикер. Для реализации бесконтактной оценки веса использовалась видеоаналитика, которая была добавлена поверх т.н. «интернета свиней» - системы датчиков для контроля различных параметров животных. Благодаря специальному алгоритму видеокамеры, во-первых, отличают свинью от человека, во-вторых - измеряют размер животного, далее производится расчет массы с учетом размеров и породы животного, и, наконец, усреднение суточных данных и перерасчет совокупной массы животного. Экономический эффект оценивается в килограммах – вес животного на выходе.

Благодаря дистанционному взвешиванию, слежению и прогнозированию привеса стала возможна ранняя диагностика отклонений здоровья, - констатировала Таня Милек. – В перспективе мы планируем распространить технологию на другие направления бизнеса компании.

Второй реализованный проект – внедрение RPA или «Тамбовские роботы», как назвали его в компании. Пилот по роботизации был запущен в 2017-м, завершен проект в 2020. По итогам была роботизирована подготовка инвентаризационных ведомостей, сверка собственности по земельным участкам, подбор первичной документации по запросам, сверка табелей учета времени и многие другие процессы, общим числом порядка 20.

Беспилотное управление техникой Таня Милек назвала в числе главных трендов роботизации в сельском хозяйстве. Агрохолдинг «Русагро» и компания Cognitive Pilot, рассказала она, договорились о промышленном внедрении систем автономного управления сельхозтехникой. Такими системами на базе технологий ИИ будет оснащено 242 зерноуборочных комбайна в 5 регионах России, и это будет самый крупный проект по роботизации в этой сфере.

Фактический экономический эффект от роботизации процессов превзошел плановый в 2 раза, - рассказала Таня Милек. - Робот работает в 100 раз быстрее человека и круглосуточно. Персонал не был уволен, людей переориентировали на другие процессы: они стали делать более умную и ценную для компании работу, перешли от управления к контролю.

Андрей Обухов, директор проектов дивизиона «Корпоративные клиенты 360» блока «Корпоративно-инвестиционный бизнес» Сбербанка, рассказал участникам конференции о мобильном приложении «Сберсоветник», ориентированном на представителей среднего и малого бизнеса.

Андрей Обухов, директор проектов дивизиона «Корпоративные клиенты 360» блока «Корпоративно-инвестиционный бизнес» Сбербанка

При создании приложения банк был нацелен на развитие бизнеса клиентов, а не на продвижение своих банковских продуктов, подчеркнул спикер. Данные «Сберсоветника» построены на основе информации о 2,5 млн. корпоративных и 90 млн. розничных клиентов банка. Путем анализа массивов необработанных больших данных и при помощи машинного обучения были построены математические модели, позволяющие рассчитывать поведенческие модели клиентов, сравнивать показатели бизнеса компании с конкурентами.

Основная миссия мобильного приложения – обеспечение владельцев бизнеса готовой аналитикой, позволяющей устойчиво развивать свое дело, отметил Андрей Обухов. Ключевые пользователи «Сберсоветника» - учредители, финансовые директора, маркетологи и другие лица, принимающие решения в компаниях, работающих в сегменте b2c.

Продукт предоставляется бесплатно, – отметил Андрей Обухов. – Мы заинтересованы в том, чтобы наши клиенты не рисовали воздушных замков и оставались нашими клиентами. Наш продукт – это доступная аналитика по разным регионам, в разных разрезах. Собрано 47 отраслей – можно посмотреть сезонность, тренды, увидеть детальную аналитику.

С помощью приложения можно получать информацию о клиентах и их поведении, зарплатную аналитику, вести налоговый календарь, осуществлять сравнительный анализ компании с конкурентами, поиск контрагентов. Приложение можно скачать в AppStore и PlayMarket, причем продукт нацелен не только на клиентов банка, подчеркнул спикер. Его может скачать и использоать любая компания.

Вложенные средства не окупаются в моменте, - сказал представитель Сбербанка, отвечая на вопрос об инвестициях. - Мы оцениваем срок возврата инвестиций в два года. Дело в том, что многие представители СМБ не привыкли основывать свои решения на данных. Наша цель еще и привить такую полезную привычку. Мы ожидаем не линейный, а экспоненциальный рост. Подобных предложений на рынке не существует.

Игроки рынка: тенденции и решения

Почему современное хранилище данных эффективней строить в облаке Mail.Ru, с помощью какого инструментария - об этом рассказал Александр Волынский, архитектор PaaS-продуктов Mail.ru Cloud Solutions. Облачная платформа Mail.ru, отметил он, позволяет в несколько кликов развертывать песочницу для разработчиков, многие ее компоненты доступны как сервис. Если же требования ИБ не позволяют вынести данные во внешнее хранилище, возможно создание частного облака на своей площадке.

Александр Волынский, архитектор PaaS-продуктов Mail.ru Cloud Solutions

Платформа состоит из целого ряда компонентов, решает такие задачи как хранение, анализ данных, прототипирование ETL-потоков и многие другие.

Спикер подробнее остановился на новом облачном сервисе компании – Arenadata DB Cloud, построенном на СУБД Greenplum. Эта управляемая, отказоустойчивая облачная база данных, отметил он, предназначенная для критически-важных систем, работающих с большими объемами данных. Она была создана двумя компаниями * Mail.ru Group и Arenadata. Решаемые задачи:

• все, что связано с OLAP-нагрузкой, клиентской аналитикой;
• загрузка/выгрузка данных;
• эффективное объединение больших таблиц, формирование отчетности;
• работа с индексами;
• аналитические функции на процедурных языках;
• прогнозная аналитика;
• формирование маркетинговых компаний.

Облачная Arenadata DB Cloud, в сравнении с обычной СУБД Greenplum, предоставляет коннекторы к Hadoop, Kafka, ClickHouse, отметил Александр Волынский. Немаловажными плюсами являются русская документация и поддержка, оперативная доработка и развитие функционала под требования заказчика. Еще одно преимущество – прозрачность расчетов за ресурсы: заказчику видна ежемесячная плата за созданную базу данных.

Александр Волынский также рассказал о трёх возможных кейсах применения нового сервиса - повышение производительности корпоративного хранилища данных, уменьшение сложности администрирования озера данных и снижение совокупной стоимости владения КХД. В заключение докладчик перечислил три версии продукта: Community (ограниченный функционал), Enterprise Trial (полнофункциональная версия с поддержкой на уровне виртуальных машин) и Enterprise (полнофункциональная версия с технической поддержкой базы данных).

Arenadata DB Cloud позволяет строить виртуальное хранилище в облаке, интересные архитектуры с раздельным хранением витрин данных, холодных, горячих и супергорячих данных, - рассказал Александр Волынский. - Пользователь же делает запрос только в Arenadata DB Cloud, не думая о том, где именно хранятся данные. Обмен данными между разными системами происходит очень быстро.

Дискуссия

После выступления докладчиков состоялась дискуссия, в которой приняли участие Мария Артамонова (ИТ-директор, «Утконос Онлайн»), Владимир Соловьев (руководитель департамента анализа данных, принятия решений и финансовых технологий Финансового университета при Правительстве РФ) и Лев Рагулин, руководитель разработки платформы машинного обучения и облачных сервисов oneFactor, технический лидер стрима «Песочница данных» Ассоциации больших данных.

Мария Артамонова ИТ-директор «Утконос Онлайн»

На вопрос ведущего о влиянии пандемии на большие данные, Владимир Соловьев отметил, что пандемия очень сильно простимулировала развитие больших данных и их анализ во многих сферах, причем не только в онлайн-торговле. Например, существенно изменилось образование, в особенности - высшее. Массовое применение новых технологий выявило большое количество преимуществ и недостатков использования дистанционного образования, отметил он.

Представитель онлайн-торговли Мария Артамонова, признав рост объемов продаж, вместе с тем констатировала, что качественных изменений не произошло - компания «Утконос Онлайн» как работала до пандемии, так и работает. В числе новых направлений видеоаналитики – отслеживание глубины и длительности контакта между работниками склада с целью ограничения контактов, поскольку в случае заболевания даже одного человека возможно закрытие всего склада.

Лев Рагулин констатировал изменение поведенческой модели человека и в жизни, и в интернете, в силу чего перестройкой клиентских моделей пришлось заниматься и банкам, и рознице.

Оценивая перспективность облаков, Владимир Соловьев сказал, что очень верит в облачные технологии.

До облачной эры мы просто не могли позволить себе покупать машины стоимостью под 20 млн., которые к тому же быстро устареют, - оценил ситуацию Владимир Соловьев. - Сейчас мы просто арендуем мощности. Таким образом, новейшие технологии стали доступны не только таким гигантам как Google или Microsoft, но и Финансовому университету.

Лев Рагулин согласился с коллегой: заниматься собственной ИТ-инфраструктурой невыгодно и неинтересно, облака - это общий тренд.

Арендовать инфраструктуру в облаке стало интересней и даже дешевле, - сказал Лев Рагулин. - В обработке данных это особенно эффективно и важно. Можно не сомневаться, что все технологии перестраиваются на облачную модель – и в плане хранения данных, и в плане их обработки, вычислений.

Участники дискуссии подтвердили важность обеспечения качества данных. Владимир Соловьев сделал акцент на достоверности данных в новой ситуации.

Владимир Соловьев, руководитель департамента анализа данных, принятия решений и финансовых технологий Финансового университета при Правительстве РФ

С одной стороны, с развитием больших данных ошибок все меньше, поскольку человеческий фактор нивелируется, - констатировал Владимир Соловьев. – Но гарантировать достоверность данных все равно невозможно – к любому каналу может подключиться злоумышленник, и это стоит недорого.

Ведущий заинтересовался проектом песочницы в рамках Ассоциации больших данных.

Лев Рагулин, руководитель разработки платформы машинного обучения и облачных сервисов oneFactor, технический лидер стрима «Песочница данных» Ассоциации больших данных

Гипотеза такова – на стыке данных есть новая информация, которой пока никто не владеет, но она способна дать ценность всем участникам рынка – улучшить сервисы, поднять доходы клиентам, государству, - рассказал Лев Рагулин. – Мы запустили проект по созданию песочницы больших данных. На ее базе мы будем разрабатывать и тестировать новые решения и алгоритмы аналитики больших данных, создавать технологию безопасного объединения данных из банковских, страховых и других областей. Проект позволит принципиально улучшить качество сервисов, получить возможность строить новые. Технологии объединения и обработки больших данных будут максимально защищены, и будут доступны не только для участников Ассоциации, но и для рынка.

В плане нормативного регулирования ИТ Лев Рагулин подчеркнул важность диалога между бизнесом и государством с целью поиска разумного компромисса между двумя крайностями – зарегулированостью и вседозволенностью.

В заключительной части дискуссии было отмечено, что зачастую обсуждаются технические термины и не говорится о социально-культурной составляющей больших данных. У многих людей они сегодня ассоциируются с большим братом, тотальной слежкой, поэтому важно работать над культурой больших данных.

Население должно понимать, что информация отслеживается не персонально, а изучаются аналитические срезы на основе обезличенной информации. В этом аспекте также важно развивать и утверждать этические принципы при работе с большими данными, чтобы у бизнеса не возникало желания использовать персональные данные в неэтичных целях.

• 7-я конференция Big Data и BI Day

• 6-я конференция Big Data и BI Day

• 5-я конференция Big Data и BI Day

• 4-я конференция Big Data и BI Day

• 3-я конференция Big Data и BI Day

• 2-я конференция Big Data и BI Day

• 1-я конференция Big Data и BI Day