Название базовой системы (платформы): | Ростелеком Платформа управления данными |
Разработчики: | Ростелеком |
Технологии: | MDM - Master Data Management - Управление основными мастер-данными |
Основная статья: Управление данными (Data management)
RT.DataLoader – импортонезависимое легко тиражируемое решение для выгрузки больших объёмов данных из систем источников в хранилище данных. Продукт даёт возможность подключать новые источники данных, добавлять новые таблицы, корректировать атрибутивный состав подключенных таблиц через визуальный интерфейс, что минимизирует привлечения ETL-разработчиков к процессу.
2022: Функции, возможности и особенности
Ключевые функции и возможности RT.DataLoader по состоянию на июль 2022г.:
- 1. Полная или частичная выгрузка из таблиц источников.
- 2. Доставка данных в файловую систему Hadoop Distributed File System (HDFS).
- 3. Поддержка полной и инкрементальной выгрузки данных из источников (таблиц, представлений, sql-запросов)в файлы на локальном сервере хранения данных.
- 4. Оркестратор для управления потоками выгрузки на базе Apache Airflow. Запуск процесса выгрузки по расписанию или по условию наступления события. Расписание можно настроить для конкретной таблицы или группы таблиц источника.
- 5. Архивирование выгруженных данных.
- 6. Подсчет контрольных сумм (обеспечение контроля качества данных).
- 7. Формирование очереди заданий на выгрузку для балансировки нагрузки на источник.
- 8. Разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД
Особенности:
- 1. Импортонезависимый продукт, зарегистрированный в реестре отечественного ПО
- 2. Визуальный интерфейс для настройки, управления и мониторинга процессов загрузки
- 3. Простота тиражирования решения: подключения новых источников
Область применения
Продукт может использовать для построения ETL-процессов в хранилищах данных с ежедневной частотой обновления данных. Решение особенно эффективно для ХД с большим количеством источников данных.
Подрядчики-лидеры по количеству проектов
Datareon (Датареон) (272)
Axelot (Акселот) (155)
Цифра (31)
HFLabs (ХФ Лабс), ранее HumanFactorLabs (25)
АйТи Про (IT Pro) (21)
Другие (277)
Datareon (Датареон) (37)
Axelot (Акселот) (25)
Commvault (5)
АйТи Про (IT Pro) (4)
AnalyticsHub (АналитиксХаб) (2)
Другие (35)
Datareon (Датареон) (41)
Axelot (Акселот) (32)
Цифра (7)
HFLabs (ХФ Лабс), ранее HumanFactorLabs (5)
Софрос (Sofros) (4)
Другие (21)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Datareon (Датареон) (2, 418)
Цифра (2, 36)
Axelot (Акселот) (1, 30)
HFLabs (ХФ Лабс), ранее HumanFactorLabs (5, 26)
Informatica (14, 21)
Другие (303, 227)
Datareon (Датареон) (1, 60)
Commvault (2, 5)
АйТи Про (IT Pro) (1, 4)
ЮниДата (UniData) (1, 3)
SAP SE (1, 2)
Другие (25, 25)
Datareon (Датареон) (1, 71)
Цифра (1, 7)
HFLabs (ХФ Лабс), ранее HumanFactorLabs (3, 5)
Axelot (Акселот) (1, 5)
АСКОН (1, 2)
Другие (15, 16)
Datareon (Датареон) (1, 57)
Axelot (Акселот) (1, 6)
Цифра (1, 4)
Naumen (Наумен консалтинг) (1, 3)
Тандер Сеть магазинов Магнит (2, 2)
Другие (15, 16)
Datareon (Датареон) (1, 30)
Data Sapience (Дата Сапиенс) (2, 3)
HFLabs (ХФ Лабс), ранее HumanFactorLabs (1, 2)
Axelot (Акселот) (1, 2)
Nexign (Нэксайн) ранее Петер-Сервис (1, 1)
Другие (14, 14)
Распределение систем по количеству проектов, не включая партнерские решения
Datareon Platform - 418
Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 36
1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 30
HFLabs Единый клиент - 23
АйТи Про: BI.Qube - 18
Другие 217
Datareon Platform - 60
АйТи Про: BI.Qube - 4
Commvault Complete Data Protection - 4
ЮниДата Платформа управления данными - 3
Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 2
Другие 27
Datareon Platform - 71
Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 7
1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 5
Platforma и HFLabs: Технология безопасного метчинга данных - 2
HFLabs Единый клиент - 2
Другие 17