RT.DataLoader
Решение для выгрузки больших объёмов данных

Продукт
Название базовой системы (платформы): Ростелеком Платформа управления данными
Разработчики: Ростелеком
Технологии: MDM - Master Data Management - Управление основными мастер-данными

Основная статья: Управление данными (Data management)

RT.DataLoaderимпортонезависимое легко тиражируемое решение для выгрузки больших объёмов данных из систем источников в хранилище данных. Продукт даёт возможность подключать новые источники данных, добавлять новые таблицы, корректировать атрибутивный состав подключенных таблиц через визуальный интерфейс, что минимизирует привлечения ETL-разработчиков к процессу.

2022: Функции, возможности и особенности

Ключевые функции и возможности RT.DataLoader по состоянию на июль 2022г.:

  • 1. Полная или частичная выгрузка из таблиц источников.
  • 2. Доставка данных в файловую систему Hadoop Distributed File System (HDFS).
  • 3. Поддержка полной и инкрементальной выгрузки данных из источников (таблиц, представлений, sql-запросов)в файлы на локальном сервере хранения данных.
  • 4. Оркестратор для управления потоками выгрузки на базе Apache Airflow. Запуск процесса выгрузки по расписанию или по условию наступления события. Расписание можно настроить для конкретной таблицы или группы таблиц источника.
  • 5. Архивирование выгруженных данных.
  • 6. Подсчет контрольных сумм (обеспечение контроля качества данных).
  • 7. Формирование очереди заданий на выгрузку для балансировки нагрузки на источник.
  • 8. Разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД

Особенности:

  • 1. Импортонезависимый продукт, зарегистрированный в реестре отечественного ПО
  • 2. Визуальный интерфейс для настройки, управления и мониторинга процессов загрузки
  • 3. Простота тиражирования решения: подключения новых источников

Область применения

Продукт может использовать для построения ETL-процессов в хранилищах данных с ежедневной частотой обновления данных. Решение особенно эффективно для ХД с большим количеством источников данных.



СМ. ТАКЖЕ (1)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon (Датареон) (272)
  Axelot (Акселот) (155)
  Цифра (31)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (25)
  АйТи Про (IT Pro) (21)
  Другие (277)

  Datareon (Датареон) (37)
  Axelot (Акселот) (25)
  Commvault (5)
  АйТи Про (IT Pro) (4)
  AnalyticsHub (АналитиксХаб) (2)
  Другие (35)

  Datareon (Датареон) (41)
  Axelot (Акселот) (32)
  Цифра (7)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (5)
  Софрос (Sofros) (4)
  Другие (21)

  Datareon (Датареон) (32)
  Axelot (Акселот) (19)
  Софрос (Sofros) (9)
  Naumen (Наумен консалтинг) (3)
  Нетрика Медицина (2)
  Другие (29)

  Datareon (Датареон) (19)
  Axelot (Акселот) (7)
  Первый Бит (3)
  Софрос (Sofros) (3)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (3)
  Другие (17)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon (Датареон) (2, 418)
  Цифра (2, 36)
  Axelot (Акселот) (1, 30)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (5, 26)
  Informatica (14, 21)
  Другие (303, 227)

  Datareon (Датареон) (1, 60)
  Commvault (2, 5)
  АйТи Про (IT Pro) (1, 4)
  ЮниДата (UniData) (1, 3)
  SAP SE (1, 2)
  Другие (25, 25)

  Datareon (Датареон) (1, 71)
  Цифра (1, 7)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (3, 5)
  Axelot (Акселот) (1, 5)
  АСКОН (1, 2)
  Другие (15, 16)

  Datareon (Датареон) (1, 57)
  Axelot (Акселот) (1, 6)
  Цифра (1, 4)
  Naumen (Наумен консалтинг) (1, 3)
  Тандер Сеть магазинов Магнит (2, 2)
  Другие (15, 16)

  Datareon (Датареон) (1, 30)
  Data Sapience (Дата Сапиенс) (2, 3)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (1, 2)
  Axelot (Акселот) (1, 2)
  Nexign (Нэксайн) ранее Петер-Сервис (1, 1)
  Другие (14, 14)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon Platform - 418
  Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 36
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 30
  HFLabs Единый клиент - 23
  АйТи Про: BI.Qube - 18
  Другие 217

  Datareon Platform - 60
  АйТи Про: BI.Qube - 4
  Commvault Complete Data Protection - 4
  ЮниДата Платформа управления данными - 3
  Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 2
  Другие 27

  Datareon Platform - 71
  Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 7
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 5
  Platforma и HFLabs: Технология безопасного метчинга данных - 2
  HFLabs Единый клиент - 2
  Другие 17

  Datareon Platform - 57
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 6
  Цифра: Диспетчер Система мониторинга промышленного оборудования и персонала - 4
  Naumen Enterprise Search - 3
  N3.Управление НСИ - 2
  Другие 15

  Datareon Platform - 30
  Data Sapience: Data Ocean Платформа управления данными - 2
  1С:MDM Управление нормативно-справочной информацией (1С:MDM Управление НСИ) - 2
  HFLabs Единый клиент - 2
  Наносемантика NLab Marker - 1
  Другие 14