Нейросеть научилась рисовать совместно с художником

2022: Представление нейросети-соавтора

Облачная платформа Yandex Cloud, студия Arka и мультимедиа-художник Andrey Berger представили нейросеть-соавтора. Об этом Яндекс сообщил 8 декабря 2022 года. Это алгоритм машинного обучения, который может постоянно дополнять и дорисовывать изображение вместе с человеком. Участники назвали этот метод цифрового искусства «принципом пинг-понга». С 28 января 2023 года узнать больше о проекте и посмотреть, как работает нейросеть, сможет каждый в Музее Яндекса.

Иллюстрация, созданная нейросетью-соавтором

Для перфоманса использовали сверточную нейронную сеть VGG-19. Ее развернули в среде для ML-разработки Yandex DataSphere и обработали с ее помощью черновой эскиз иллюстрации художника. Потом Andrey Berger скорректировал полученное изображение. Затем иллюстрацию снова «дорисовала» нейросеть – и такой последовательный обмен повторялся более 15 раз. Помимо эскизов, в процессе перформанса «смешивали» QR-коды, логотип Yandex Cloud, «Черный квадрат» Малевича, изображения пузырчатых, слоистых и других природных структур.

Такой «принцип пинг-понга» можно использовать для генерации любых изображений – для выставок, промышленного и архитектурного дизайна, рекламы. В результате коллаборации был создан плед с особым digital-рисунком.

Плед с digital-рисунком, созданным в коллаборации с нейросетью

Много художников исследуют территории machine learning. Существует множество сценариев взаимодействия с нейронными сетями. В основном, художник загружает в них свой запрос и алгоритм ему что-то выдает. Одни из самых распространенных — это так называемая генерация по текстовому запросу или генерация по исходному изображению, а в зависимости от того, на чем обучена сеть, художник получает результат. Когда появлялись первые такие проекты, результаты производили фурор. Мы видим, как растет популярность развлекательного применения этих алгоритмов. Однако мне было интересно выстроить обоюдное взаимодействие с искусственным интеллектом. Мне хотелось не просто обучить нейросеть на своих картинках, но и самому, глядя на ее работу, попробовать понять ее логику, выстроить такой диалог сотворчества, – рассказал мультимедиа-художник Andrey Berger.

Разработка нейросети для art science – зачастую технологически непростая задача. Для ее решения может потребоваться много вычислительных ресурсов и времени специалиста по машинному обучению Понятный интерфейс, быстрые настройки внутри Yandex DataSphere помогли специалистам в короткие сроки создать особую нейросеть и сделать важный вклад в развитие цифрового искусства, – рассказал Алексей Башкеев, руководитель платформы Yandex Cloud.