machine-learning model-scaling transformer-models attention-mechanism associative-memory hopfield-networks model-generalization cross-entropy-loss neural-network-performance

Ассоциативные воспоминания: запоминание трансформатора и динамика производительности

19 июня 2025 г.

Таблица ссылок

Аннотация и 1 введение

2 Связанная работа

3 модели и 3.1 ассоциативные воспоминания

3.2 трансформаторные блоки

4 Новая энергетическая функция

4.1 Слоистая структура

5 Потеря по перекрестной энтропии

6 Эмпирические результаты и 6.1 Эмпирическая оценка радиуса

6.2 Обучение GPT-2

6.3 Тренировка ванильных трансформаторов

7 Заключение и подтверждение

Приложение A. отложенные таблицы

Приложение B. Некоторые свойства энергетических функций

Приложение C. отложенные доказательства из раздела 5

Приложение D. Трансформатор Подробности: Использование GPT-2 в качестве примера

Ссылки

3 модель

3.1 Ассоциативные воспоминания

Наблюдение 1Модели, как правило, запоминают модели учебных данных.

Авторы:

(1) Xueyan Niu, Theory Laboratory, Central Research Institute, 2012 Laboratories, Huawei Technologies Co., Ltd.;

(2) Бо Бай Байбо (8@huawei.com);

(3) Lei Deng (deng.lei2@huawei.com);

(4) Вэй Хан (harvey.hanwei@huawei.com).

Эта статья естьДоступно на ArxivПод CC BY-NC-ND 4.0 Лицензия.

Оригинал

Ассоциативные воспоминания: запоминание трансформатора и динамика производительности

Таблица ссылок

3 модель

3.1 Ассоциативные воспоминания

Recent Post

Теоретическая структура: запоминание трансформатора и динамика производительности

Может ли ИИ понять шутку? Новые тестирование наборов данных ботов на метафорах, сарказме и юморе

Новый набор данных побуждает ИИ объяснить юмор и сарказм, который он «видит» и «читает»

Исследователи объединяют GPT-4 и человеческих экспертов, чтобы обучать ИИ по визуальным образном рассуждении

Может ли ИИ объяснить шутку? Не совсем - но это быстро учится

Categories