Microsoft и MIT: MosAIc

Продукт
Название базовой системы (платформы): Искусственный интеллект (ИИ, Artificial intelligence, AI)
Разработчики: Microsoft, Массачусетский технологический институт (MIT)
Дата премьеры системы: 2020/08/18

Основные статьи:

2020: Анонс системы MosAIc

18 августа 2020 года стало известно о том, что исследователи из Microsoft и Массачусетского технологического института (MIT) разработали систему MosAIc для поиска взаимосвязей между предметами искусства из различных культур и эпох.

MosAIc

Как пояснялось, MosAIc использует глубокое обучение (deep learning) для анализа базы изображений предметов искусства, представленных в Музее Метрополитен (Нью-Йорк) и национальном музее Амстердама Рейксмузеум. Целью ученых было создать алгоритм, который будет подбирать предметы искусства, похожие не только по цвету и стилю, но и по значению и теме.

В результате система анализирует не только контуры и цвета на изображении, но и позволяет учитывать при поиске культуру, к которой принадлежит предмет, а также материал, из которого он изготовлен. Таким образом с ее помощью можно отследить процесс культурного обмена между различными эпохами и территориями. Например, на запрос «какой музыкальный инструмент больше всего похож на это изображение бело-голубого платья?» к домашнему пальто, которое носили богатые голландцы в XVII веке, система предложила бело-голубую фарфоровую голландскую скрипку. Обе картинки не только похожи по узору и форме, они также являются наглядной демонстрацией обмена между голландскими и китайскими культурами – об этом говорит использование голландцами фарфора.Метавселенная ВДНХ 3.3 т

В создании алгоритма команда использовала структуру данных для поиска изображений, называемую «условным деревом KNN (K-nearest neighbors, k-ближайших соседей)», которая группирует похожие изображения вместе в древовидную структуру. При поиске совпадений система начинает со «ствола» дерева и следует за наиболее перспективным ответвлением, пока не найдет самое близкое изображение.

Исследователей вдохновила выставка «Рембрандт и Веласкес» в Рейксмюсеуме, в рамках которой картины художников, объединенные незаметными на первый взгляд общими чертами, выставлялись парами. Это распространенное явление в искусстве, когда в произведениях из разных периодов времени и частей света можно проследить схожие черты, ставшие результатом культурного обмена. Однако, человеку было бы невозможно проанализировать миллионы картин за тысячи лет и найти в них параллели в темах, мотивах и визуальных стилях. Разработка пригодится не только в искусствоведении, но и в любой сфере, где может быть полезен поиск сходных факторов: гуманитарных науках, медицине и других.



СМ. ТАКЖЕ (1)