YTsaurus (YT)

Продукт
Разработчики: Яндекс (Yandex)
Отрасли: Информационные технологии
Технологии: Big Data

Содержание

История

2023: Публикация исходного кода

«Яндекс» раскрыл исходники своей главной платформы для работы с большими данными YTsaurus. Об этом пресс-служба компании сообщила 20 марта 2023 года.

Как рассказали в «Яндексе», платформа подходит для широкого круга задач, от аналитики до обучения сложных моделей с миллиардами параметров. Например, «Поиск» строит с помощью YTsaurus поисковый индекс, а беспилотные автомобили используют платформу, чтобы обрабатывать данные о поездках и улучшать свои алгоритмы. YTsaurus управляет суперкомпьютерами «Яндекса», распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.

YTsaurus - это платформа Яндекса для работы с большими данными

К марту 2023 года в «Яндексе» платформа YTsaurus развернута на десятках тысяч серверов и обрабатывает экзабайты данных; с ней работает каждый второй сотрудник компании. YTsaurus можно использовать как классическую MapReduce-систему, но при этом она поддерживает и другие популярные подходы к обработке данных — например, у нее есть интеграции с ClickHouse и Apache Spark.

Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать ее под себя может любой желающий.

«
Яндекс ведет разработку YTsaurus — или YT, как мы называем ее внутри — с 2010 года. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры «Яндекса». Над платформой работают десятки разработчиков, и ее возможности постоянно расширяются, — сказал руководитель отдела технологий распределенных вычислений Максим Бабенко, чьи слова приводит пресс-служба «Яндекса» 20 марта 2023 года.[1]
»

Примечания



СМ. ТАКЖЕ (3)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  БизнесАвтоматика НПЦ (120)
  Большая Тройка (46)
  Умная Логистика (14)
  Сбербанк (14)
  Доверенная среда (13)
  Другие (469)

  Доверенная среда (5)
  Цифра (4)
  Большая Тройка (4)
  Ростелеком (3)
  БизнесАвтоматика НПЦ (3)
  Другие (54)

  БизнесАвтоматика НПЦ (12)
  OneFactor (Уанфактор) ЕдиныйФактор (3)
  РИР (Росатом Инфраструктурные решения) (3)
  Яндекс (Yandex) (2)
  Mains Lab (Мэйнс Лаборатория) (2)
  Другие (44)

  БизнесАвтоматика НПЦ (5)
  РИР (Росатом Инфраструктурные решения) (3)
  Axenix (ранее Аксенчер Россия) Аксеникс (2)
  CM.Expert (АвтоЭксперт) (2)
  Департамент информационных технологий Москвы (ДИТ) (2)
  Другие (63)

  БизнесАвтоматика НПЦ (8)
  Сбер Бизнес Софт (2)
  Сбербанк (2)
  Синимекс (Cinimex) (2)
  Университет Иннополис (2)
  Другие (65)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  БизнесАвтоматика НПЦ (2, 119)
  Большая Тройка (2, 46)
  Умная Логистика (2, 14)
  Доверенная среда (1, 13)
  Цифра (2, 10)
  Другие (259, 127)

  Доверенная среда (1, 5)
  Большая Тройка (2, 4)
  Цифра (1, 4)
  БизнесАвтоматика НПЦ (1, 3)
  Умная Логистика (2, 2)
  Другие (6, 8)

  БизнесАвтоматика НПЦ (1, 12)
  РИР (Росатом Инфраструктурные решения) (2, 3)
  Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2)
  МегаФон (2, 1)
  ТОТ (Технологии Отраслевой Трансформации) (1, 1)
  Другие (7, 7)

  БизнесАвтоматика НПЦ (1, 5)
  РИР (Росатом Инфраструктурные решения) (3, 4)
  Цифра (1, 2)
  CM.Expert (АвтоЭксперт) (1, 2)
  Датакаталог (1, 2)
  Другие (14, 14)

  БизнесАвтоматика НПЦ (1, 7)
  Сбербанк (2, 2)
  Датакаталог (1, 2)
  СПбГУ ИТМО (Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики) (1, 2)
  Цифра (1, 2)
  Другие (14, 16)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Visary BI Платформа бизнес-аналитики - 119
  Большая Тройка: АИС Редактор территориальных схем - 39
  Доверенная среда: Триафлай BI-платформа - 13
  ZIIoT Платформа для работы с промышленными данными - 10
  Luxms BI - 8
  Другие 128

  Доверенная среда: Триафлай BI-платформа - 5
  ZIIoT Платформа для работы с промышленными данными - 4
  Visary BI Платформа бизнес-аналитики - 3
  EMC Greenplum Data Computing Appliance - 2
  Большая Тройка: АСУ Управление отходами - 2
  Другие 10

  Visary BI Платформа бизнес-аналитики - 12
  Росатом Цифровое теплоснабжение - 2
  PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2
  N3.Аналитика - 1
  МегаФон: Аналитика городской среды - 1
  Другие 6

  Visary BI Платформа бизнес-аналитики - 5
  Росатом Цифровое теплоснабжение - 2
  Arenadata Catalog - 2
  CM.Expert Data Mining платформа - 2
  ZIIoT Платформа для работы с промышленными данными - 2
  Другие 15

  Visary BI Платформа бизнес-аналитики - 7
  Rocket Group: rTIM Платформа генеративного дизайна территорий - 2
  Luxms BI - 2
  Arenadata Catalog - 2
  ZIIoT Платформа для работы с промышленными данными - 2
  Другие 11