Имейте в виду разрыв: сквозное качество падения с Ann в веб-поиске AI
5 июля 2025 г.Таблица ссылок
Аннотация и 1 введение
2 предыстория и связанная с ним работа
2.1 Поиск информации в Интернете
2.2 Существующие наборы данных
3 MS MS MARCO WEBEATET и 3.1 Подготовка документов
3.2 Выбор запроса и маркировка
3.3 Анализ наборов данных
3.4 Новые проблемы, поднятые MS Marco Web Search
4 базовые результаты и настройка среды 4.1
4.2 Базовые методы
4.3 Метрики оценки
4.4 Оценка моделей встраивания и 4.5 Оценка алгоритмов ANN
4.6 Оценка сквозной производительности
5 Потенциальные предубеждения и ограничения
6 Будущая работа и выводы, а также ссылки
4.6 Оценка сквозной производительности
В этом разделе мы оцениваем сквозную производительность трех базовых моделей встраивания плюс индекс Spann и широко используемого решения Elasticsearch BM25. Таблица 6 и таблица 7 демонстрируют качество результата и производительность системы всех этих базовых систем, соответственно. По сравнению с таблицей 4 мы видим, что после использования индекса ANN качество конечного результата сильно падает. Например, метрический отзыв@100 падает более чем на 10 баллов для всех базовых моделей. Существуют большие качественные разрывы между результатами ANN и KNN (см. Таблицу 5). Более того, мы замечаем, что использование индекса ANN изменит тенденцию ранжирования модели. Симанс достигает наилучших результатов для всех показателей качества результатов с поиском грубой силы. Однако при использовании индекса SPAN он работает хуже, чем Ance в Remeply@20 и Remeply@100. Мы также подробно анализируем это явление и обнаруживаем, что Simans имеет больший разрыв между средним расстоянием запроса до 100 документов относительно среднего расстояния документов до 100 документов, чем ANCE. Разрыв в Симансе и Ансе составляет 103,35 и 73,29 соответственно. Это приведет к неточной оценке расстояния для запроса соседей документа. В результате Энн не может работать хорошо, потому что она опирается на расстояние, оцененное в соответствии с неравенством треугольника. Результаты качества качества и производительность системы из сквозного оценки вызывая для получения дополнительной инноваций по проектированию системы поиска в конечном итоге.
Авторы:
(1) Ци Чен, Microsoft Пекин, Китай;
(2) Xiubo Geng, Microsoft Пекин, Китай;
(3) Корби Россет, Microsoft, Редмонд, США;
(4) Кэролин Бурактаон, Microsoft, Редмонд, США;
(5) Jingwen Lu, Microsoft, Redmond, США;
(6) Тао Шен, Технологический университет Сидней, Сидней, Австралия, и работа была выполнена в Microsoft;
(7) Кун Чжоу, Microsoft, Пекин, Китай;
(8) Чеменский Сюн, Университет Карнеги -Меллона, Питтсбург, США, и работа была выполнена в Microsoft;
(9) Yeyun Gong, Microsoft, Пекин, Китай;
(10) Пол Беннетт, Spotify, Нью -Йорк, США, и работа была выполнена в Microsoft;
(11) Ник Красвелл, Microsoft, Redmond, США;
(12) Xing Xie, Microsoft, Пекин, Китай;
(13) Fan Yang, Microsoft, Пекин, Китай;
(14) Брайан Тауэр, Microsoft, Редмонд, США;
(15) Нихил Рао, Microsoft, Mountain View, США;
(16) Anlei Dong, Microsoft, Mountain View, США;
(17) Венки Цзян, Эт Цюрих, Цюрих, Швейцария;
(18) Чжэн Лю, Microsoft, Пекин, Китай;
(19) Mingqin Li, Microsoft, Redmond, США;
(20) Chuanjie Liu, Microsoft, Пекин, Китай;
(21) Зенчжонг Ли, Microsoft, Редмонд, США;
(22) Ранган Мадждер, Microsoft, Редмонд, США;
(23) Дженнифер Невилл, Microsoft, Редмонд, США;
(24) Энди Окли, Microsoft, Редмонд, США;
(25) Knut Magne Risvik, Microsoft, Осло, Норвегия;
(26) Харша Вардхан Симхадри, Microsoft, Бангалор, Индия;
(27) Маник Варма, Microsoft, Бенгалор, Индия;
(28) Юджин Ван, Microsoft, Пекин, Китай;
(29) Линджун Ян, Microsoft, Редмонд, США;
(30) Мао Ян, Microsoft, Пекин, Китай;
(31) CE Zhang, Eth Zürich, Zürich, Швейцария, и работа была выполнена в Microsoft.
Эта статья есть
Оригинал