Разработчики: | |
Дата премьеры системы: | 2014/08/08 |
Технологии: | СУБД, СХД |
Mesa - распределенная СУБД для обработки непрерывно обновляемой информации, в состоянии обслужить триллионы запросов в течение суток.
8 августа 2014 года компания Google анонсировала технологию распределения хранилища данных между несколькими дата-центрами с помощью разработанной в компании архитектуры, способной продолжить путь к гораздо более масштабным, надежным и быстрым облачным аналитическим системам - Mesa.
В Google сообщили: Mesa обеспечит хранение петабайтов данных, обновляет миллионы строк в секунду и обслуживает триллионы запросов в сутки. Возможно распределение системы между несколькими центрами обработки данных и она будет продолжать работу при отключении одного из них. Технология создана для хранения и анализа контрольно-измерительных данных бизнеса онлайн-рекламы Google, но, по мнению разработчиков, систему можно использовать в других похожих задачах.
Mesa помогла Google решить ряд операционных задач, с которыми не справлялись традиционные хранилища данных и аналитические системы уровня предприятия.
Google требовалось чтобы новые данные подлежали анализу непосредственно по поступлению в базу, а большинство коммерческих хранилищ данных не поддерживают непрерывное обновление данных. Компания нуждалась в надежной гарантии согласованности запросов - консистентности, то есть одинаковый запрос из одного и того же источника всегда должен дать один и тот же результат, независимо от того, какой ЦОД обрабатывает запрос.«Гознак» развивает систему «Электронный бюджет» с помощью импортозамещенных решений экосистемы EvaTeam
Это соответствие всегда обеспечивали только реляционные СУБД, но они не справляются с загрузкой петабайт данных, тем более, если база тиражируется между многими серверами в кластере, как это обычно делается на предприятиях для ускорения отклика и увеличения коэффициента безотказной работы. Базы NoSQL, такие как Cassandra, с легкостью справляются с загрузкой огромных объемов данных, но Google требовался гораздо более высокий уровень консистентности, чем обеспечивают большинство нереляционных СУБД. По словам специалистов компании, ни один из коммерческих продуктов и проектов Open Source не отвечал требованиям и тогда была создана Mesa.
В Mesa используется ряд других технологий, разработанных в компании, в том числе распределенная файловая система Colossus, распределенная система хранения данных BigTable и аналитический фреймворк MapReduce. Консистентность помогает обеспечивать распределенный протокол синхронизации Paxos, тоже созданный в Google.
Mesa имеет еще одно преимущество помимо масштабируемости и консистентности — она может работать на стандартных серверах, не требует специализированного дорогостоящего оборудования. Из-за этого она может действовать в качестве облачного сервиса, масштабируемого как вверх, так и вниз - по необходимости.
Mesa не поддерживает опрос данных с помощью команд SQL. Поэтому для Hadoop разработали технологии с поддержкой языков запросов, схожих с SQL - Hive, Impala и Shark.
Подрядчики-лидеры по количеству проектов
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение систем по количеству проектов, не включая партнерские решения
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Подрядчики-лидеры по количеству проектов
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение систем по количеству проектов, не включая партнерские решения
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)