Tantor PipelineDB

Продукт
Разработчики: Тантор Лабс (Tantor Labs)
Дата последнего релиза: 2024/10/01
Технологии: СУБД

Основная статья: Система управления базами данных (СУБД)

2024: Портирование на PostgreSQL (13, 15 и 16-версий)

Компания «Тантор Лабс» 1 октября 2024 года сообщила о масштабной доработке расширения PipelineDB – инструмента для агрегации временных рядов, совместимого с PostgreSQL и СУБД Tantor. Решение на базе открытого исходного кода для непрерывного выполнения SQL-запросов на потоках данных с инкрементальным сохранением результатов в таблицах получило поддержку новых версий СУБД и ряд актуальных функций.

PipelineDB – это расширение PostgreSQL, которое позволяет быстро и гибко, в реальном времени, обрабатывать потоковые данные, а также объединять их с историческими данными для сравнения и анализа. С его помощью, используя только SQL-запросы, можно передавать данные непосредственно в базы данных и непрерывно трансформировать их. PipelineDB хранит только выходные данные непрерывных запросов, которые постепенно обновляются по мере приема данных. При этом размер базы данных не зависит от объема данных, обрабатываемых с течением времени.

Исторически решение разрабатывалось как OpenSource-проект PipelineDB Core – форк PostgreSQL. В 2018 году проект трансформировался в расширение PostgreSQL, что существенно упростило его использование. Однако в 2019 году он был закрыт. Последней версией Postgres, с которой работал PipelineDB, была 11-я.Из пункта А в пункт Б. Миграция на платформу контейнеризации «Боцман» 3.8 т

Специалисты «Тантор Лабс» приложили огромные усилия к возрождению проекта. Они портировали PipelineDB на версии PostgreSQL (13, 15 и 16-ю), добавили расширению функции и исправили множество ошибок.

На октябрь 2024 года в состав базовой функциональности Tantor PipelineDB входит непрерывная агрегация и фильтрация потоковых данных, запросы с заданными временными интервалами, объединение потоков c таблицами и поддержка вероятностных структур данных для приближенных вычислений на потоках (фильтры Блума, count-min sketch, Filtered-Space-Saving top-k, HyperLogLog, and t-digest для приблизительных вычислений на потоках большого объема).



Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  SAP CIS (САП СНГ) (38)
  Softline (Софтлайн) (35)
  РДТЕХ (33)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (28)
  ФОРС - Центр разработки (25)
  Другие (728)

  Сапиенс солюшнс (Sapiens solutions) (7)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (3)
  Navicon (Навикон) (3)
  Инфосистемы Джет (2)
  Крок (2)
  Другие (35)

  VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (1)
  Айтеко (Ай-Теко, iTeco) (1)
  Астерос (1)
  Атомдата (Atomdata) (1)
  Группа Борлас (Borlas) (1)
  Другие (20)

  Arenadata (Аренадата Софтвер) (5)
  Тантор Лабс (Tantor Labs) (3)
  ФОРС - Центр разработки (2)
  Астра Группа компаний (1)
  Гринатом (Greenatom) (1)
  Другие (18)

  Arenadata (Аренадата Софтвер) (5)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  Гринатом (Greenatom) (1)
  Диасофт (Diasoft) (1)
  НПП СпецТек (Spectec) (1)
  Другие (13)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle (44, 179)
  SAP SE (6, 177)
  Microsoft (23, 142)
  PostgreSQL Global Development Group (14, 124)
  Постгрес профессиональный (ППГ, Postgres Professional) (6, 40)
  Другие (258, 239)

  SAP SE (3, 11)
  Microsoft (3, 11)
  PostgreSQL Global Development Group (3, 10)
  Oracle (2, 4)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 3)
  Другие (10, 13)

  PostgreSQL Global Development Group (4, 9)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 6)
  VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (2, 3)
  Arenadata (Аренадата Софтвер) (3, 2)
  Apache Software Foundation (ASF) (2, 2)
  Другие (9, 9)

  PostgreSQL Global Development Group (3, 13)
  Постгрес профессиональный (ППГ, Postgres Professional) (1, 6)
  Arenadata (Аренадата Софтвер) (3, 5)
  Apache Software Foundation (ASF) (3, 4)
  Тантор Лабс (Tantor Labs) (2, 3)
  Другие (8, 10)

  PostgreSQL Global Development Group (4, 10)
  Arenadata (Аренадата Софтвер) (3, 5)
  VMware (2, 5)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 5)
  Сбербанк-Технологии (СберТех) (2, 2)
  Другие (3, 5)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle Database - 106
  Microsoft SQL Server - 104
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 102
  PostgreSQL СУБД - 78
  SAP HANA (High Performance Analytic Appliance) - 72
  Другие 373

  Microsoft SQL Server - 9
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
  PostgreSQL СУБД - 7
  Oracle Database - 3
  SAP HANA (High Performance Analytic Appliance) - 3
  Другие 21

  Postgres Pro СУБД - 5
  ADB - Arenadata DB - 2
  PostgreSQL СУБД - 2
  Tarantool Платформа in‑memory вычислений - 2
  Oracle Database - 2
  Другие 13

  Postgres Pro СУБД - 6
  PostgreSQL СУБД - 4
  Tantor СУБД - 3
  ADB - Arenadata DB - 3
  ClickHouse - система управления базами данных (СУБД) - 2
  Другие 10

  PostgreSQL СУБД - 4
  ADB - Arenadata DB - 4
  Postgres Pro СУБД - 3
  Diasoft Digital Q.Database - 2
  ADH - Arenadata Hadoop - 2
  Другие 8