Дополненная генерация поиска: что это такое и почему это важно для корпоративного ИИ

Retrieval Augmented Generation (RAG) стал необходим для руководителей ИТ и предприятий, желающих внедрить генеративный ИИ. Используя большую языковую модель (LLM) и RAG, предприятия могут заземлить LLM на корпоративных данных, повысив точность выходных данных.

Но как работает RAG? Каковы варианты использования RAG? И есть ли реальные альтернативы?

TechRepublic встретился с Давором Боначи, главным техническим директором и исполнительным вице-президентом компании DataStax, занимающейся базами данных и искусственным интеллектом, чтобы узнать, как RAG используется на рынке во время развертывания генеративного искусственного интеллекта в 2024 году и каким он видит следующий шаг этой технологии в 2025 году.

Что такое расширенная генерация поиска?

RAG — это метод, который повышает релевантность и точность результатов генеративной модели LLM ИИ путем добавления расширенного или дополненного контекста из предприятия. Он позволяет руководителям ИТ использовать генеративные LLM ИИ для корпоративных вариантов использования.

Боначи объяснил, что, хотя магистры права «в основном обучались на основе всей информации, доступной в Интернете», до определенной даты (в зависимости от модели) их сильные стороны в области языка и общих знаний нивелируются значительными и хорошо известными проблемами, такими как галлюцинации ИИ.

СМОТРИТЕ: Zetaris о том, почему федеративные озера данных — это будущее для поддержки ИИ

«Если вы хотите использовать его в корпоративной среде, вы должны обосновать его в корпоративных данных. В противном случае вы получите множество галлюцинаций», — сказал он. «С RAG, вместо того чтобы просто попросить LLM что-то создать, вы говорите: «Я хочу, чтобы вы что-то создали, но, пожалуйста, рассмотрите эти вещи, которые, как я знаю, точны»».

Как RAG работает в корпоративной среде?

RAG дает ссылку LLM на набор корпоративной информации, такой как база знаний, база данных или набор документов. Например, основным продуктом DataStax является ее векторная база данных Astra DB, которую предприятия используют для поддержки создания приложений ИИ на предприятиях.

На практике запрос, введенный пользователем, будет проходить этап поиска — векторный поиск — определяя наиболее релевантные документы или фрагменты информации из предопределенного источника знаний. Это может включать корпоративные документы, научные статьи или часто задаваемые вопросы.

Полученная информация затем подается в генеративную модель в качестве дополнительного контекста вместе с исходным запросом, что позволяет модели обосновать свой ответ на реальных, актуальных или предметно-ориентированных знаниях. Такое обосновывание снижает риск галлюцинаций, которые могут стать решающими для предприятия.

Насколько RAG улучшает результаты генеративных моделей ИИ?

Разница между использованием генеративного ИИ с RAG и без него — это «день и ночь», сказал Боначи. Для предприятия склонность LLM к галлюцинациям по сути означает, что они «непригодны» или только для очень ограниченных случаев использования. Метод RAG — это то, что открывает двери генеративному ИИ для предприятий.

«В конце концов, они [LLM] обладают знаниями, полученными из интернета», — объяснил Боначи. «Но если вы зададите вопрос, который немного выходит за рамки, они дадут вам очень уверенный ответ, который может быть… совершенно неверным».

SEE: Генеративный ИИ стал источником дорогостоящих ошибок для предприятий

Боначи отметил, что методы RAG могут повысить точность выходных данных LLM до более чем 90% для задач, не требующих рассуждений, в зависимости от используемых моделей и контрольных показателей. Для сложных задач на рассуждения они, скорее всего, обеспечат точность в 70-80% с использованием методов RAG.

Каковы некоторые варианты использования RAG?

RAG применяется в нескольких типичных сценариях использования генеративного ИИ в организациях, включая:

Автоматизация

Используя LLM, дополненные RAG, предприятия могут автоматизировать повторяющиеся задачи. Распространенным вариантом использования автоматизации является поддержка клиентов, где система может быть уполномочена искать документацию, предоставлять ответы и выполнять такие действия, как отмена тикета или совершение покупки.

Персонализация

RAG можно использовать для синтеза и обобщения больших объемов информации. Боначи привел пример отзывов клиентов, которые можно обобщить персонализированным образом, соответствующим контексту пользователя, например, его местоположению, прошлым покупкам или предпочтениям в путешествиях.

Поиск

RAG можно применять для улучшения результатов поиска на предприятии, делая их более релевантными и контекстно-зависимыми. Боначи отметил, как RAG помогает пользователям потоковых сервисов находить фильмы или контент, соответствующие их местоположению или интересам, даже если поисковые термины не совсем соответствуют доступному контенту.

Как можно использовать графы знаний с RAG?

Использование графов знаний с RAG — это «продвинутая версия» базового RAG. Боначи объяснил, что, хотя векторный поиск в базовом RAG выявляет сходства в векторной базе данных, что делает его подходящим для общих знаний и естественного человеческого языка, он имеет ограничения для определенных корпоративных вариантов использования.

В сценарии, когда оператор мобильной связи предлагает многоуровневые планы с различными включениями, запрос клиента — например, включен ли международный роуминг — потребует принятия решения ИИ. Граф знаний может помочь организовать информацию, чтобы помочь ему понять, что применимо.

SEE: Цифровая зрелость — ключ к успеху в области ИИ для кибербезопасности

«Проблема в том, что содержание этих плановых документов противоречит друг другу», — сказал Боначи. «Поэтому система не знает, какой из них истинный. Поэтому вы можете использовать граф знаний, чтобы помочь вам правильно организовать и связать информацию, чтобы помочь вам разрешить эти конфликты».

Существуют ли альтернативы RAG для предприятий?

Основной альтернативой RAG является тонкая настройка генеративной модели ИИ. При тонкой настройке вместо использования корпоративных данных в качестве подсказки данные вводятся в саму модель для создания набора данных, на который оказывается влияние, чтобы подготовить модель к использованию таким образом, чтобы можно было использовать эти корпоративные данные.

Боначи отметил, что на сегодняшний день RAG является общепринятым в отрасли методом, который является наиболее эффективным способом сделать генеративный ИИ актуальным для предприятия.

«Мы видим, как люди совершенствуют модели, но это решает лишь небольшую нишу проблем, поэтому это не получило широкого признания в качестве решения», — сказал он.