Как RPCA повышает точность прогнозирования местоположения
tech-stories human-robot-interaction vision-language-models cross-modal-ai 3d-point-cloud-navigation spatial-language-grounding instance-free-localization ai-in-robotics

Как RPCA повышает точность прогнозирования местоположения

16 июля 2025 г.

Аннотация и 1. Введение

  1. Связанная работа

  2. Метод

    3.1 Обзор нашего метода

    3.2 грубое извлечение текстовых клеток

    3.3 Оценка прекрасной позиции

    3.4 Цели обучения

  3. Эксперименты

    4.1 Описание набора данных и 4.2 Подробная информация

    4.3 Критерии оценки и 4.4 результаты

  4. Анализ производительности

    5.1 Исследование абляции

    5.2 Качественный анализ

    5.3 Анализ встраивания текста

  5. Заключение и ссылки

Дополнительный материал

  1. Подробная информация о наборе данных Kitti360
  2. Больше экспериментов по экстрактору запроса экземпляра
  3. Анализ космического пространства текстовых клеток
  4. Больше результатов визуализации
  5. Анализ устойчивости точек

Анонимные авторы

  1. Подробная информация о наборе данных Kitti360
  2. Больше экспериментов по экстрактору запроса экземпляра
  3. Анализ космического пространства текстовых клеток
  4. Больше результатов визуализации
  5. Анализ устойчивости точек

3.3 Оценка прекрасной позиции

Следуя грубой стадии, мы стремимся уточнить прогнозирование местоположения в извлеченных клетках. Основываясь на сети без сопоставления [42], мы вводим экстрактор экземпляра запроса, чтобы смягчить зависимость от экземпляров-территории земли в качестве входных данных. Более того, мы предлагаем относительный модуль перекрестного привлечения относительного положения, чтобы включить информацию о пространственных отношениях в процесс оценки позиции.

Figure 5: Illustration of the relative position-aware multimodal fusion module. The relative-position-aware cross attention (RPCA) merges potential instance features with text keys and values, infusing semantic and spatial relation information with text embeddings.

Относительное перекрестное сопровождение (RPCA).В мультимодальном модуле слияния мы вводим RPCA для интеграции информации о пространственной связи с функциями текстовых клеток, как показано на рис. 5. Модуль мультимодального слияния состоит из двух модулей перекрестного привязанности и одного модуля RPCA. Два модуля по перекрестному взаимодействию настроены с помощью текстовой функции, служащей в качестве запроса и функции облака точек как ключа, так и значения. RPCA принимает функцию облака точек как запрос и текстовую функцию как ключ и значение. Чтобы подготовить функцию облака точек для RPCA, она сначала проходит через модуль Rowcolrpa, который создает запрос для RPCA, а также генерирует ключ и значение (K1, V1) для первого перекрестного привлечения. Одновременно текстовая функция подвергается двум линейным слоям, чтобы получить ключ и значение. После операции по перекрестному взаимодействию применяется дополнительная Rowcolrpa для создания ключа и значения (K2, v2) для второго перекрестного привлечения. Эта конструкция включает в себя функции пространственной связи в процессе мультимодального слияния.

3.4 Цели обучения

Авторы:

(1) Lichao Wang, FNII, Cuhksz (wanglichao1999@outlook.com);

(2) Zhihao Yuan, FNII и SSE, Cuhksz (zhihaoyuan@link.cuhk.edu.cn);

(3) Jinke Ren, FNII и SSE, Cuhksz (jinkeren@cuhk.edu.cn);

(4) Shuguang Cui, SSE и FNII, Cuhksz (shuguangcui@cuhk.edu.cn);

(5) Чжэнь Ли, автор -соответствующий автор из SSE и FNII, Cuhksz (lizhen@cuhk.edu.cn).

Эта статья естьДоступно на Arxivв соответствии с CC BY-NC-ND 4.0 DEED (Атрибуция-Нонкоммерка-Noderivs 4.0 International).

Оригинал

Recent Post

Categories

PREVIOUS ARTICLE
NEXT ARTICLE