Yandex AI Assistant API

2024: Представление AI Assistant API

21 ноября 2024 года Yandex B2B Tech запустил сервис для создания помощников на базе искусственного интеллекта AI Assistant API. Компании смогут разрабатывать собственных AI-ассистентов под бизнес-сценарии без настройки инфраструктуры и написания большого объема кода. Таких помощников обычно используют для автоматизации технической поддержки, умного корпоративного поиска, создания рекомендаций на маркетплейсах и не только. AI Assistant API позволит ускорить внедрение языковых моделей в бизнес-процессы более чем на 30%. Воспользоваться сервисом можно на публичной облачной платформе Yandex Cloud. В ближайшее время он станет доступен и для использования на собственной инфраструктуре компаний.

В AI Assistant API уже реализована функциональность ответа LLM на основе данных компании. Это могут быть, например, документы организации или статьи. Можно подгрузить файлы в формате PDF, DOC, TEXT или XLS в модель, и она будет отвечать на вопросы пользователей с опорой на них. Сервис работает таким образом за счет метода RAG (Retrieval Augmented Generation) — задается контекст в виде фрагментов текста, на базе которых LLM должна скомпоновать ответ.

В реальных бизнес-кейсах важно, чтобы модель умела отвечать на вопросы клиентов, основываясь на базе знаний компании. Это позволяет в разы сокращать долю ошибок и выдуманных фактов при ответах. При этом не во всех компаниях есть выделенные команды data science, которые могут адаптировать YandexGPT под конкретные бизнес-сценарии. AI Assistant API помогает упростить этот процесс и легко внедрять нейросети в приложения, — рассказал Григорий Атрепьев, директор по продуктам Yandex Cloud.

Сервис работает с поколением языковых моделей YandexGPT 4. Данная линейка включает языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы — порядка 60 страниц текста. Кроме этого, с помощью моделей последнего поколения скорость генерации ответов увеличилась в 2 раза.