Как подружить BI-аналитику и 1С?

Одной из основных проблем, с которой сталкиваются практически все компании, использующие продукты широко известной в России экосистемы 1С, является сбор и консолидация данных. Это касается бухгалтерского и налогового учета, производственных и логистических процессов и других сфер деятельности.

Проблема возникла в связи с тем, что данные, хранящиеся в системе 1С, не могут быть непосредственно экспортированы во внешние хранилища или бизнес-системы. 

Да, сама платформа предлагает встроенные универсальные отчеты, но их возможности для аналитики ограничены. Даже специализированная система бизнес-аналитики от 1С, которая носит название «Аналитика», не всегда оказывается полезной: не все организации применяют ее в своей работе. В результате, для анализа доступны только данные, полученные от 1С. 

Но если для отчетов нужна информация не только из баз 1С, но и из внешних источников —  файлов Excel, внешних баз, веб-сервисов? А если таких баз несколько десятков? Или рассмотрим ситуацию, когда требуется оперативная аналитика, которая должна предоставляться ежедневно или даже несколько раз в день? 

Это включает в себя значительный объем работы, требующей ручного ввода данных, а также высокий риск возникновения ошибок в этих данных, что влечет за собой необходимость их дополнительной проверки и перепроверки.  Для автоматизации процесса есть несколько решений: Odata, COM-порт, web-сервис и т.д.

Однако эти решения либо являются временными, либо противоречат лицензионным условиям, а в случае сложных запросов еще и создают дополнительную нагрузку на базу данных. 

И самое существенное — для реализации этих решений требуются усилия программистов и временные затраты на выполнение задачи. В среднем это занимает от двух недель до двух месяцев.

Таким образом, проблема остается актуальной: бизнес не может позволить себе ждать, данные аналитикам необходимы незамедлительно, в режиме реального времени. 

Разработанный компанией «Денвик» «Экстрактор 1С» позволяет не только выгрузить все нужные данные из любой базы 1С, но и визуализировать их — в удобном для аналитиков виде. Достаточно один раз настроить процесс выгрузки и установить расписание, и все это — без участия программистов. 

Выгрузка данных из 1С: один способ вместо десятка 

Неважно, какую СУБД использует компания — экстрактор может выгружать данные в MsSQL, PostgreSQL и ClockHouse. Дальше с этими данными может работать любая система BI-аналитики (Power BI, Loginom, Yandex DataLens, Visiology и другие). 

При этом данные выгружаются быстро и с минимальной нагрузкой на 1С: в продукте реализован принцип параллельной выгрузки по партициям.

Система работает автоматически: достаточно запустить конструктор, выбрать объекты 1С для выгрузки (показатели выручки, себестоимости, затраты и т.д.) и установить расписание процесса.

Схема работы «Экстрактора 1С»

Процесс выгрузки данных осуществляется автоматически по схеме «источник — хранилище — BI». В качестве источников данных могут выступать:

•  любые объекты 1С, такие как справочники, документы, регистры, бухгалтерские проводки и т. д.;
• произвольный запрос к 1С;
•  файлы Excel, CSV;
•  произвольный обработчик. 

Выгрузка данных из 1С — инкрементальная, то есть выгружается не полный массив данных, а лишь те его части, которые с момента последней процедуры изменились. Это серьезно экономит ресурсы 1С и сокращает время процесса. 

Подключение к Интернету не имеет значения: экстрактор может работать и в закрытом контуре. Его работа не прерывается даже в том случае, если в продукты 1С вносятся изменения.  

Создавая этот продукт, мы поставили себе четыре цели. Первая — создать систему, которая позволит пользователям самостоятельно решать свои задачи без привлечения программистов. В крайнем случае, участие программиста может потребоваться для разработки более сложных запросов. Все остальные функции система будет выполнять автоматически. Вторая — быстрая работа в больших, высоконагруженных базах — от 500 и более пользователей. Третья — система отслеживания изменений: выгружаются только те данные, которые были изменены. Четвертая — универсальность: поддержка любых конфигураций 1С».  Денис Смирнов, генеральный директор компании «Денвик»

Поддерживаемые базы данных

Особенности и преимущества программного решения

1. «Экстрактор» не только легко выгружает данные из любой конфигурации 1С, разработанной на базе платформы 8.2 и 8.3, но даже из более старых и кастомизированных конфигураций.  
2. Во избежание нагрузки на 1С выгружается не вся база, а только изменения.
3. Высокая скорость — до 1,3 млн. записей в час при выгрузке данных в 12 потоков.
4. Безопасность: программа остается закрыта от внешних обращений, данные из 1С передаются в хранилище в зашифрованном виде.
5. Удобный интерфейс и простые настройки. Конструктор настройки дает возможность выбора конкретных регистров, документов и срезов данных, расписание выгрузки легко настраивается.
6. Перед выгрузкой происходит обработка данных — их очистка от дублей и ошибок.
7. Продукт может свободно использоваться в государственных организациях — «Экстрактор» включен в Реестр российского ПО (запись №18295 от 12.07.2023 г.).
8. Есть демо-версии «Экстрактора», действует бесплатная поддержка в течение одного года. Обновления выпускаются ежеквартально.
9. Разработчик оказывает помощь с настройками и запуском первого проекта.

Установка и возможности

«Экстрактор 1С» устанавливается как расширение 1С (либо встраивается в конфигурацию платформы). Настраиваются выгрузка, маппинг данных, инкрементальный поток.

В большинстве случаев участие программиста не требуется, с этим ПО может работать практически любой сотрудник. Но на случай сложных запросов предусмотрены два режима работы с программой: для начинающего пользователя и экспертный. Есть возможность разграничения прав доступа пользователей. 

Функционально доступны следующие операции и события:

• Автоматическое формирование и изменение таблиц в базе данных Clickhouse/MS SQL, PostgreSQL, Apache Kafka, Arenadata Streaming;
• Автоматическое сопоставление полей;
• Автоматический экспорт в соответствии с графиком и при возникновении внешнего события;
• Многопоточная выгрузка данных из системы 1С, осуществляемая посредством секционирования выгружаемых наборов данных и их последующей параллельной передачи в независимые потоки;
• Отслеживание и регистрация изменений в 1С в реальном времени (выгружаем только то, что изменилось на уровне секции данных);
• Выгрузка произвольных данных из 1С: документы, регистры, справочники, планы счетов и проводки, прочие объекты учета в 1С и произвольная их комбинация с использованием языка запросов 1С;
• Автоматическое создание и модификация структуры таблиц в базе-приемнике;
• И многое другое.

Существует два типа лицензий на программное обеспечение: LifeTime (бессрочная) или аренда и три версии: Datalens, Pro и Enterprise, отличающиеся в основном количеством подключаемых баз 1С.

Кому необходим «Экстрактор 1С»

С помощью Экстрактора аналитики смогут быстро и самостоятельно получать актуальные данные из 1С и использовать их в любой BI-системе, финансисты — отслеживать показатели компании в реальном времени и оперативно формировать финотчеты, руководители отделов продаж — легко оценивать эффективность работы отдела на основе консолидированной информации о проведенных сотрудниками сделках. А у программистов 1С освободится время для решения не рутинных, а по-настоящему сложных задач. Таким образом, экстрактор необходим, если:

•    компания использует продукты 1С и внешние BI-системы;
•    нужно ежедневно выгружать из 1С большие объемы данных;
•    хотелось бы обойтись, либо вообще без программистов в этом процессе, либо свести их участие к минимуму;
•    постоянно нужна актуальная аналитика — выгрузка данных может требоваться несколько раз в день. 

Экстрактор 1С представляет собой универсальный инструмент, который может быть использован различными категориями пользователей.

Бизнес-аналитики.

Смогут автономно извлекать актуальные сведения из 1С и интегрировать их в любую аналитическую систему.

Программисты 1С.

Получат возможность осуществить автоматизацию процесса выгрузки данных, что позволит высвободить время для решения более значимых задач.

Финансовые директора.

Смогут осуществлять мониторинг финансовых индикаторов и оперативно принимать решения, основываясь на актуальных данных. 

Руководители отделов.

Будут получать актуальные сведения об эффективности функционирования подразделения на основе анализа выполненных заказов и полученной прибыли.

Зимний релиз 3.5: «Снежинка или каскадная выгрузка объектов»

До выхода версии 3.5 существовал только один метод настройки экспорта данных из 1С с помощью «Экстрактора 1С» — нужно было настраивать каждую сущность и таблицу по отдельности через Мастер настройки.

Мы решили применить принцип «Единого окна», чтобы упростить создание проектов с большим количеством экспортируемых сущностей 1С.

В новой версии 3.5 мы реализовали функцию, которая позволяет собирать все данные и показатели в одном окне. Также мы добавили возможность создавать денормализованные представления (View), которые объединяют эти данные и показатели.

Обратите внимание: в рамках одной «Схемы данных» может быть создано несколько «Снежинок», которые будут совместно использовать общие «Измерения».

В результате в базе данных SQL или Kafka:

• Создаются все таблицы или топики для измерений и фактов.
• Генерируется денормализованное представление View (для SQL).

В базе 1С, в «Экстракторе 1»:

• Создаются проекты с указанным видом группировки, который вы указали на уровне создания «Схемы».

Кейсы

Использование «Экстрактора 1С» помогает кратно снизить время на оценку ситуации и принятие управленческих решений на основе данных аналитики благодаря оперативному получению отчетности.

Продукт универсален, поскольку работает в любой компании, которая использует 1С в связке с BI-системой, независимо от отрасли: от производства и логистики до розничной торговли и строительства. 

Продуктом уже пользуются производитель электроники и бытовой техники Haier, транспортная компания Iteco, «Мосгаз», сеть супермаркетов «Авоська», «Объединенная зерновая компания», девелопер Level Group, — более 200 клиентов из РФ, Азербайджана, Узбекистана и других стран.   

«Болотнинская гофротара»: время на создание отчетов снижено более чем в 70 раз

Заказчик: производственное предприятие, один из крупнейших производителей гофрокартона и гофроупаковки в Сибирском федеральном округе. 

Проблема: предприятию критически важно контролировать множество показателей, от расхода материалов до брака и простоя оборудования. В качестве BI-системы выступает Yandex Datalens. Источники данных — две базы данных 1С: «Управление предприятием» и нестандартная конфигурация «Оптисофт» на базе 1С:Предприятие 8.3. Чтобы создавать отчеты для выгрузки, компании приходилось обращаться к программисту, и от запроса до получения данных проходили минимум сутки. 

Что сделано: с помощью «Экстрактора 1С» организована выгрузка по расписанию данных из баз 1С в Yandex Datalens. Процесс создания и визуализации отчета на основе данных из 1С в BI-системе вместо суток теперь занимает 15-20 минут, участие программиста не требуется. Руководство предприятия может значительно быстрее реагировать на возникающие проблемы.   

ООО «АРМАТЕХ»: 8 млн экономии на первом же этапе

Заказчик: лидер в производстве линейной арматуры и инструмента для монтажа СИП. Более 1000 клиентов, 7 филиалов по всей России, свыше 600 наименований продукции. 

Проблема: имеется одна база 1С УТ и одна база ERP. Версия платформы — 8.3.25. Для бизнес-анализа нужна выгрузка данных в Datalens и создание информации в читабельном формате для дальнейшей аналитики и создания отчетов в ClickHouse, но удобного инструмента нет. 

Что сделано: внедрение «Экстрактора 1С» не только сэкономило время на передачу данных в BI-систему, но и снизило вероятность ошибок, связанных с ручным вводом. После запуска «Экстрактора» в компании смогли провести инвентаризацию, получить соответствующие данные и обнаружить на складах неликвидных товаров на сумму более 8 миллионов рублей.

Компания-разработчик

Разработчик ПО «Экстрактор данных 1С в BI 3.0 — «Денвик Аналитика» — резидент Инновационного центра «Сколково». Компания обладает 15-летним опытом разработки ПО, в ее портфеле — более 200 реализованных ETL-проектов. Еще один собственный продукт компании — «Коннектор Битрикс24» для выгрузки данных из «Битрикс24» в ClickHouse. 

В 2023 г. «Экстрактор 1С» был включен в исследование «ETL&Connectors круг Громова».

Вы можете скачать демо-версию Экстрактора 1С по этой ссылке.

Реестр российского ПО — (запись №25219 от 02.12.2024 г.)

Резиденты Сколково

Документация о программном решении