Sutra-Online: Количественная оценка для запросов LLM в реальном времени
27 июня 2025 г.Таблица ссылок
Аннотация и 1 введение
2 Связанная работа
3 подход сутры
3.1 Что такое сутра?
3.2 Архитектура
3.3 Данные обучения
4 тренинги многоязычных токенизаторов
5 многоязычных MMLU
5.1 Массивное многозадачное понимание языка
5.2 Расширение MMLU на несколько языков и 5.3 последовательная производительность между языками
5.4 по сравнению с ведущими моделями для многоязычной производительности
6 Количественная оценка запросов в реальном времени
7 Обсуждение и заключение, а также ссылки
6 Количественная оценка запросов в реальном времени
Модели сутры подключены, обновленные и без галлюцинации, которые предоставляют фактические ответы с разговорным тоном. Это онлайн-LLM, которые используют, выводят и обрабатывают знания в режиме реального времени из Интернета и используют их для предоставления наиболее современной информации при формировании ответов. Модели Sutra-Online могут точно реагировать на чувствительные ко времени запросы, расширяя свои знания за пределами статического обучения. Поэтому онлайн -модели могут точно ответить на такие вопросы, как «Кто выиграл игру прошлой ночью» или «Какой самый популярный фильм сейчас?».
Мы оценили модели Sutra, используя Fresh Romact Framework [Vu et al., 2023], разработанные Google для оценки онлайн-LLMS [Press et al., 2022], и обнаружили, что модели Sutra-Online превосходят конкурирующий поиск
![Table 9: Performance Comparison of Language Models for handling fresh (realtime queries) with valid premise according to freshness LLM benchmark from Vu et al. [2023]](https://cdn.hackernoon.com/images/fWZa4tUiBGemnqQfBGgCPf9594N2-oj934ea.png)
Модели с двигателем от Google, а также GPTAI GPT-3,5 и AI Displexity AI. Трингм содержит исчерпывающие вопросы, охватывающие различные нюансированные онлайн-сценарии, охватывающие никогда не меняющиеся, в которых ответ почти никогда не меняется; медленно меняющееся, в котором ответ обычно меняется в течение нескольких лет; быстро меняется, в котором ответ обычно меняется в течение года или меньше. Сутра хорошо показала большинство этих сценариев, как показано в таблице 9.
Авторы:
(1) Абхиджит Бендейл, две платформы (abhijit@two.ai);
(2) Майкл Сапенза, две платформы (michael@two.ai);
(3) Стивен Рипплингер, две платформы (steven@two.ai);
(4) Саймон Гиббс, две платформы (simon@two.ai);
(5) Jaewon Lee, две платформы (jaewon@two.ai);
(6) Пранав Мистри, две платформы (pranav@two.ai).
Эта статья есть
Оригинал