Российские BI-решения: чего хотят клиенты, и что им могут предложить вендоры
TADетали

Растущий спрос на решения класса бизнес-аналитики (Business Intelligence, BI) — это глобальный тренд, который подпитывается процессами сбора и консолидации больших данных. По оценкам исследовательской компании Fortune Business Insights, объем мирового рынка бизнес-аналитики вырастет к 2028 г. до 43,03 млрд долл., демонстрируя темпы среднегодового роста на уровне 8,7%. Влияние пандемии, в целом, оказалось позитивным: ситуация бизнес-неопределенности стимулировала интерес заказчиков к инструментам поддержки принятия решений на основе данных.

На российском рынке ситуация еще интереснее. По разным оценкам, объем отечественного рынка BI в 2021 г. составил до 40 млрд руб. При этом большую долю рынка захватили зарубежные BI-платформы: Tableau, Power BI, Qlik. Но в 2022 г. глобальные вендоры приняли решение покинуть Россию, что остро поставило вопрос импортозамещения продуктов BI.

Сегодня эксперты отмечают значительное укрепление сегмента российских BI-продуктов и высокие темпы распространения аналитических Open Source приложений.

BI-системы vs Excel

Excel сочетает в себе удобные и развитые инструменты редактирования, форматирования и визуализации данных с гибкими возможностями вычислений и поэтому лидирует по массовости и популярности как в мире, так и в России. Но даже Excel имеет предел возможностей, в особенности в кейсах работы с большими объемами данных (миллион и более строк), с разграничением доступа к ним и т.д.

BI-системы в свою очередь представляют собой специализированные решения для обработки и анализа данных, частично пересекающиеся с функционалом офисных табличных редакторов, и имеющие расширенную функциональность, востребованную на многопользовательских проектах со сложным ИТ-ландшафтом.

Рустем Ибрагимов отмечает, что BI как класс ИТ-систем создан под четыре группы задач, отличающихся уровнем сложности, степенью интеллектуальности и эффектом для пользователя. У них большой диапазон решаемых задач аналитики: от примитивной описательной до предсказывающей и предписывающей.

Продвинутые BI-платформы и сервисы, создаваемые с их помощью, постепенно приближаются к уровню полноценных ассистентов в принятии решений, способных собирать данные, анализировать их, подсвечивая неочевидные закономерности, формировать сценарии развития ситуации и давать рекомендации в качестве второго мнения, — уверен эксперт.

И все же аналитические сервисы играют вспомогательную роль, и на текущем этапе развития технологии не заменят человека. Особенно в государственном секторе, где требуется управление сложнейшими социально-экономическими системами. К примеру, для прогнозирования валового регионального продукта или избирательной активности требуются модели, основанные на анализе достоверной первичной информации и большого числа факторов. При этом качественная первичка — важнейшее, но зачастую невыполнимое условие.

Коммерческий vs государственный сектор

Модель, построенная на основе искаженных первичных данных, оказывается бесполезной. В таких условиях специалист, обладающий критическим мышлением и достаточной экспертизой, формирует более корректное аналитическое заключение, чем алгоритм. Поэтому в госсекторе пока потенциал внедрения предсказательной и предписывающей аналитики раскрывается медленнее, чем в бизнесе. Однако активно автоматизируется сбор данных, внедряются единые версии нормативно-справочной информации, очищаются и публикуются витрины данных, автоматизируются рутинные процедуры подготовки отчетности, популяризируются практики self-service диагностической аналитики.

В коммерческом сегменте процессы автоматизации стартовали раньше, здесь изначально лучше была поставлена работа с накоплением качественных данных и их коммерциализацией, используются более продвинутые методы и технологии анализа данных, а использование ИИ для некоторых отраслей стало стандартом. Например, кассовые чеки — максимально достоверные данные, удобные для машинного анализа: можно выявить, какие товары чаще приобретаются вместе и стоит ли их размещать рядом, когда выгоднее выставлять акционные ценники, какие персональные предложения рассылать держателям карт лояльности.TAdviser выпустил Гид по российским операционным системам 10.3 т

Госсектор перенимает лучшие практики у бизнеса, и первые кейсы для госзаказчиков на основе технологий ИИ тоже носят прикладной характер. Например, классификация обращений граждан и направление их по инстанциям, настройка диалогов через чат-боты, автоматическая выписка штрафов при считывании номера автомобиля технологиями машинного зрения.

Российский бизнес уже использовал решения диагностической аналитики и внедрял предсказательную аналитику в то время как госсектор осваивал инструменты базовой, описательной категории. Однако, по мнению представителя «БАРС Груп», последние несколько лет ситуация начинает кардинально меняться: в госорганы приходят специалисты, которые уже работали с BI-системами и формулируют релевантные требования к аналитическим решениям. Они подбирают под нужды ведомств развитые инструменты диагностической аналитики и создают условия для повышения качества собираемых первичных данных. В то же время встречаются запросы от b2g клиентов на прогностическую аналитику при нерешенных проблемах сбора первичных данных. В таких случаях эксперт советует эволюционный подход step-by-step к развитию культуры управления данными с последовательным освоением все более продвинутых методов и инструментов анализа.

В частности, здесь применим целый класс решений, например, продукт «Своды», которые обеспечивают иерархический сбор данных, консолидируют информацию и подготавливают ее для дальнейшей глубокой аналитической обработки.

«Своды» — это один из элементов экосистемы решений работы с данными, которые мы создали в нашей компании, — рассказывает Рустем Ибрагимов. — В нее, помимо аналитических платформ Alpha BI и Analytic Workspace (AW), входит также Low-code платформа BarsUp.Net. Она позволяет создавать самые разные приложения: от простых порталов до сложных финансовых систем — силами самих аналитиков, в то время как код генерируется платформой автоматически. Еще один элемент экосистемы — NXTCore, микросервисная платформа для разработчиков с сервис-ориентированной архитектурой и самым современным технологическим стеком, позволяющая реализовывать функциональность любой сложности для разных предметных областей.

В рамках экосистемы у каждого «кубика лего» есть своя специализация. Это позволяет комплектовать платформу под потребности заказчика и наращивать ее по мере необходимости.

Импортозамещение BI-решений

По ряду критериев глубина проработки импортозамещенных решений уступает западным аналогам. Основную причину Ибрагимов видит в том, что зарубежные решения, в отличие от отечественных, развивались на глобальных рынках, где получали бОльшую ресурсную базу и разнообразие кейсов.

Помимо функциональных различий между зарубежными и российскими решениями, которые стремительно сокращаются, важно понимать, что есть отставание в готовности кадров для работы с российскими решениями. Зарубежные продукты много лет были вплетены в программы обучения специалистов в ВУЗах и специализированных онлайн-ресурсах: кадровый рынок прорабатывался и это правильно. В этой части и мы, и коллеги по отрасли тоже стараемся «нагнать»: формируем бесплатные программы обучения нашим решениям, взаимодействуем с образовательными организациями, — поясняет спикер.

Ушедший год показал, что российский рынок BI-решений начал процесс динамичной перестройки, появились профессиональные BI-комьюнити с возможностью развивать общение между Заказчиками, Интеграторами, Экспертами и Вендорами. Усилился тренд на запуск новых успешных кейсов импортозамещения, который начался еще в 2014 году, но до 2022 года не получал массового распространения.

В портфолио «БАРС Груп» есть проекты для компаний из сферы транспорта, энергетики, здравоохранения. В частности, в сфере железнодорожных перевозок успешно реализован переход с зарубежной системы на базе SAP, которая использовалась для аналитики закупочной деятельности. В рамках проекта дополнительно были решены задачи построения альбома регламентных отчетов и предоставлены инструменты создания отчетов силами конечных пользователей. По словам Рустема Ибрагимова, эти опции были крайне востребованы и сейчас активно используются сотрудниками компании-заказчика.

Резюмируя тему перехода с зарубежного на отечественное ПО, он отмечает:

Каждый клиент приходит к нам с длинным перечнем требований к BI-платформе. С одной стороны, крупным компаниям, которые ранее использовали зарубежное решение, важно, чтобы новая система почти не отличалась от привычной и содержала абсолютно тот же функционал. А с другой — разработчиков просят компенсировать функциональные огрехи предшественника. Комбинирование двух подходов позволяет исходить из реальных нужд и отказаться от малоиспользуемых функций, которые предлагал прежний вендор.

BI-платформы российских вендоров: отличие и специализация

В отрасли отмечается тенденция к сегментации BI-решений. Так, одни платформы имеют усиленный ETL-модуль (работа с загрузкой, трансформацией и выгрузкой данных), в других - упор сделан на визуализацию и в меньшей степени задействуют в работе с хранилищем и ETL. Также есть решения полного цикла, содержащие проработанные модули для всех этапов работы с данными. Именно такие комплексные аналитические платформы разрабатывает «БАРС Груп».

Мы развиваем экспертизу на собственных технологических продуктах. В портфолио компании много крупных проектов, подключенных к десяткам источников данных с разной степенью качества исходных данных, с тысячами одновременно работающих пользователей и сотнями отчетов, — поясняет эксперт, — «БАРС Груп» всегда делала ставку на гибкую комбинацию бесшовно интегрированных специализированных инструментов, а не платформу-монолит. Это позволяет формировать изолированные продуктовые команды со своим бэклогом развития, ориентированным на работу с собственным сегментом целевой аудитории клиентов и выстраивать наиболее подходящую для них бизнес-модель.

О реализации ETL-аспекта

На рынке есть решения экспресс-аналитики, работающие с тем, что приходит из источника в сыром виде. Но платформы, эксплуатируемые в промышленных масштабах, должны поддерживать различные конфигурации хранилища данных, обеспечивать форматно-логический контроль и проверку достоверности информации. Блок ETL изначально был неотъемлемой частью систем Alpha BI и AW, чтобы отсекать «мусор», доводить данные до состояния, когда с ними можно доверительно работать. Тут применяются методики дедубликации данных, заполнения пропусков, приведения к единым форматам, в том числе эталонным значениям нормативно-справочной информации.

Есть множество сфер, где многоступенчатая очистка информации критически важна. На основе подобных подходов «БАРС Груп» проводил аналитику по заболеваемости COVID-19 и вакцинации для федерального и региональных структур Минздрава РФ и по нацпроектам для Минфина РФ.

У нас есть целая методология хранения и очистки данных, правил подсвечивания ошибок. Нередко при внедрении BI-системы мы несем ответственность за информацию, которая транслируется в отчетах. Без соответствующей очистки данных эти обязательства просто невозможно выполнить, и в этой части мы делим ответственность с поставщиками данных — поясняет эксперт.

Как следствие, внедрение BI порождает целую волну ужесточения процедур ввода данных, в том числе и на стороне источников, если это возможно, через дополнительные методы формато-логического контроля либо приведение записей локальных классификаторов в форматы единых версий справочников. Так повышается общая культура работы с данными в организации.

О хранении данных

Мы выступаем за так называемое «антихрупкое хранилище», эффективность работы которого не падает с ростом объема данных и изменениями в структуре источников, — говорит Рустем Ибрагимов. Для этого используются трехслойные хранилища.

В нем есть первый слой — буферный, туда попадают сырые данные без изменения их структуры, где осуществляется контроль того, чтобы пакет данных пришел в систему полностью, проводится проверка контрольных сумм.

Второй слой — ядро хранилища, в котором первичная информация обогащается смежными данными, проводится более глубокий форматно-логический контроль. Например, большие таблицы разделяются на таблицы отдельных фактов и таблицы отдельных справочников, и если вдруг через буфер просочилось что-то неконсистентное, то на момент последней успешной транзакции хранилище будет корректно обслуживать запросы. Дополнительно почти всегда есть вопросы версионности, например, когда организация изменила название либо доходят изменения данных «задним числом», когда сегодня изменяются данные за прошлые месяцы.

И, наконец, верхний третий слой — это витрины данных, позволяющие предагрегировать данные, денормализовывать их, создавать кубы для OLAP и т.д.

Многослойная структура обеспечивает независимость от поломок на стороне источников, позволяет быстрее подключать новые источники и разрабатывать новые отчеты. Здесь используются различные методологии построения хранилищ, например Data Vault либо Anchor Modeling.

О визуальной составляющей

На наших проектах мы сталкиваемся с разной палитрой требований к визуальному оформлению отчетов, начиная от простейших дашбордов до сложной инфографики. Предоставляемые нашими продуктами инструменты создания дашбордов имеют богатые возможности "из коробки", и мы всегда соизмеряем стоимость разработки отчета с общей стоимостью его последующего владения. Порой переход от 95% к полному 100% визуального соответствия макету в затратах может создать дополнительные 15-20% от стоимости отчета. Поэтому, оценивая задачу, мы всегда ищем с Клиентом компромиссное решение, — поделился Рустем Ибрагимов.

С одной стороны, есть сложившиеся правила деловой инфографики, устоявшиеся в профсообществе. С другой — многие визуальные образы субъективны и не обязательно должны быть решены посредством инструментов BI. Платформы BI дают широкий набор средств визуализации, но он не безграничен. К тому же жизненный цикл большинства дашбордов короткий, отчеты имеют особенность меняться. Порой более простое решение не только экономит бюджет заказчика, но и дает больше гибкости и возможность вносить правки без привлечения разработчиков.

О защите данных, циркулирующих в BI-системе

В наших платформах используется ролевой доступ вплоть до конкретной записи справочника либо таблицы фактов, мы поддерживаем атрибутную модель доступа к данным (ABAC). Любой доступ к платформе обеспечивается через использование сертифицированного ФСТЭК решения BarsUp.АM. Централизованное администрирование и логирование действий пользователей обеспечивает высокий уровень безопасности. Каждый пользователь видит только те данные, которые ему настроены. Есть возможность работать в трех ландшафтах. Мы предусмотрели возможность переноса созданного в тесте отчета или другого объекта без данных, так как у нас на практике администратор часто оперирует только настройками объектов, но при этом не имеет права видеть бизнес-данные, — рассказывает Рустем Ибрагимов.

Лайфхаки по выбору BI-системы

Самое главное — начиная поиск BI-системы, Клиент должен четко определить, для чего ему нужен этот инструмент, и сформулировать, какие требования критичны, а каким функционалом он готов пожертвовать. Далее, исходя из сравнительного функционального анализа, сформировать шорт-лист из 2-3 кандидатов, которых затем проверить в режиме пилотного тестирования. Позиция «мне нужно универсальное решение на все случаи жизни» не всегда оправдана, считает Рустем Ибрагимов.

Выбором системы со стороны компании-заказчика занимаются минимум три группы, у каждой есть свои критерии отбора и ожидания, порой противоречащие друг другу. Первая команда — это ИТ-специалисты, которые будут внедрять и сопровождать проект. Им важна архитектура, гибкость и расширяемость платформы. Вторая группа — аналитики, это функциональный заказчик проекта. Они хотят удобный self-service, самостоятельную настройку большинства элементов без привлечения вендора, простой понятный интерфейс.

Понятно, что технологическая гибкость и простота для пользователя, как правило, находятся на разных полюсах: платформа-конструктор с гибкой компоновкой функций требует более высокого входного порога, развитых хард-скиллов пользователей.

Третья категория лиц, участвующих в запуске проекта — топ-менеджеры компании, которые выделяют финансовые средства и стремятся получить в результате полезные эффекты для бизнеса. Им нужно увидеть, как внедрение BI-технологий решит конкретную задачу бизнеса и при каких сроках окупаемости это произойдет.

Регламентированная отчетность: возможен ли прорыв?

Регламентированные отчеты — это сложносоставные объекты с широкими требованиями к заголовкам, форматированию таблиц и настройками графических элементов. Наш интерфейс позволяет выставлять размеры ячеек вплоть до пикселя, выводить на один лист информацию по нескольким источникам, делать рассылку по разным каналам доставки. С точки зрения визуального соответствия тут прорыв совершить сложно, считает Рустем Ибрагимов.

Но сегодня для многих регламентная отчетность становится лишь отправной точкой для анализа, местом, с которого можно «раскрутить клубок», перейти из ячейки с цифрой в связанный объект и проследить, как эта информация появилась, какие фильтры были использованы. Раньше корпоративная отчетность, репортинг с жесткими шаблонами не имел связи с гибким self-service, а сейчас из отчетной формы происходит бесшовный переход в режим исследования. Это позволяет в регламентные отчеты вдохнуть новую жизнь. Кроме того, есть много кейсов, когда BI становится составной частью ERP-инфраструктуры и крупных учетных систем, таких как кадры или бухгалтерия. И есть требование, чтобы «проваливаясь» в отчете вплоть до конкретных операций, записей, проводок, пользователи имели возможность попасть в интерфейс учетной системы. Бесшовная интеграция заключается в том, что, видя какое-то значение, мы могли перейти к его цифровому следу в учетной системе.

Например, из информации про количество пациентов с определенным заболеванием можно найти пациента с какими-то отклонениями от клинических рекомендаций, перейти в медицинскую информационную систему и посмотреть карту этого пациента, расширяя контекст анализа.

Подобные кейсы также реализованы на базе платформы «Своды» для финансовой сферы. Например, при формировании отчетности можно проследить, откуда пришли данные из системы бухгалтерского учета.

Технологические задачи, которые решают поставщики BI в части OLAP

OLAP всегда подразумевает наличие объектов многомерного хранилища, которые в быту называют кубами, у них есть свои меры, измерения и атрибуты.

И прежде чем работать с многомерной аналитикой, пользователи должны создать промежуточный слой хранилища.

В Alpha BI использован такой подход на основе опенсорсного решения Mondrian. Его оптимизировали и повысили безопасность. Использование OLAP-сервера предполагает, что аналитик создает кубы и потом уже данные из этих кубов может исследовать в инструменте кросс-таблиц и при построении графиков.

В Analytic Workspace пошли дальше и этап создания кубов спрятали от пользователя. То есть он работает с плоской витриной данных, но если захочет — может перейти к работе со сводной таблицей. Все необходимые многомерные объекты создаются под капотом автоматически, тем самым существенно сокращая время на бесшовное переключение между плоским и многомерным контекстом.

Фактически, никому не нужен OLAP ради OLAP. И Analytic Workspace берет на себя рутинные задачи по подготовке необходимых объектов настроек, автоматизируя их в платформу, — комментирует Рустем Ибрагимов.

Рынок российских BI-систем: тренды развития

Сегодня в мире лидерство делят сходные по функционалу BI-системы. И преимуществами продукта становятся наличие комьюнити, обучающих материалов, развитой партнерской сети. Российский рынок повторяет общемировые тенденции — конкуренция переходит из функциональной плоскости в сторону создания экосистем, объединяющих ряд технологий и специализированных сервисов, бесшовно интегрирующихся друг с другом.

Рустем Ибрагимов выделяет и другие перспективные тренды.

Так, прорывом могут стать интересные интеграции с поисковыми инструментами нового поколения, подобными ChatGPT. Изменится интерфейс взаимодействия с аналитикой: запросы будут осуществляться на естественном языке и «голосом» вместо манипуляций с клавиатурой и мышью. Такие продукты изменят требования к пользователям в умении формализовывать поисковый запрос и выведут BI-аналитику на еще более высокий уровень популярности.

В развитых командах по работе с данными (дата-офисах) наметилась тенденция на развитие собственной экспертизы на базе опенсорсных решений. То есть, отечественные BI-решения будут конкурировать не только друг с другом и конкурентами из дружественных стран, но все более агрессивно с Open source.

В последнее время мы видим тенденцию к слияниям-поглощениям, ряд компаний-вендоров BI-платформ поглощаются более крупными бизнес-структурами.

В конечном счете, проверку временем пройдут платформы и команды, реализующие кейсы внедрения BI, продиктованные реальной бизнес-потребностью и прозрачными метриками оценки эффективности BI-проекта.