Qdylora in oction: метод, тесты и почему он превосходит qlora
1 июля 2025 г.Таблица ссылок
Аннотация и 1. Введение
- Предложенный метод: квантовая Dylora
- Эксперименты и оценка
- На полуосорвантном поведении Qdylora
- Заключение, ограничения и ссылки
А. Дополнительный материал
А.1 Гиперпараметры
А.2. Сгенерированное качество текста
2 Предложенный метод: квантовая Dylora
После Qlora (Dettmers et al., 2023) мы использовали 4-битный нормальный поплавок (NF4) для хранения двойных квантовых предварительно обученных весов. Поскольку все вычисления должны быть рассчитаны по точке BFLOAT16, DDEQUANT-NF4 отдержит сохраненные данные. Подобно (Dettmers et al., 2023), мы имеем:
Алгоритм 1 подробно описывает рабочий процесс предлагаемой нами Qdylora.
3 эксперименты и оценка
Этот раздел оценивает эффективность и эффективность Qdylora через несколько инструктаж настройки
задачи. Первый эксперимент сравнивает Qdylora с Qlora на массивно многозадачном языке, занижающем (MMLU) Benchmark (Hendrycks et al., 2020), состоящий из более чем 50 различных задач, охватывающих фундаментальную математику и историю США до компьютерных наук и права. Как показано в таблице 1 [1], мы фигурируем Llama-7B, Llama-13b, Llama2-13b и Falcon40b на различных наборах данных, Alpaca (Taori et al., 2023), OASST1 (Köpf et al., 2023), самостоятельно инструкция (Wang et al., 2022) и Flanv2 (Chung et at et al. Qlora и Qdylora Techniques. Мы используем тот же бюджет обучения и максимальный ранг Lora [2] для каждой техники. Результаты последовательно показывают, что Qdylora достигает превосходной производительности, находя оптимальный ранг.
Второй эксперимент обеспечивает более глубокое сравнение между Qlora и Qdylora. В частности, мы довольно созданные Falcon-40B на бэндсках WebGlm (Liu et al., 2023) и GSM8K (Cobbe et al., 2021) и сравнили их тестовые характеристики в разных рядах. Как описано в таблице 2, Qdylora достигает превосходной производительности, в частности, при использовании своих оптимальных рангов (ранга 2 для веб-GLM и ранга 8 для GSM8K). Кроме того, Qdylora демонстрирует последовательное превосходство над Qlora, особенно в более низких рядах. Эти результаты подчеркивают адаптивную природу Qdylora в динамической корректировке его фокуса во время точной настройки, что приводит к повышению эффективности и эффективности по сравнению со статическим аналогом Qlora. Третий эксперимент сравнивает эффективность Dylora, Qdylora и Qlora на GSM8K и Viriviaqa (Joshi et al., 2017), принимая Llama2-13B и Llama-7B в качестве LLMS. В таблице 3 сообщается результаты. Как показывает таблица, для моделей меньшего размера, то есть Llama-7B, Dylora и Qdylora работают выше, чем Qlora. Для более крупных моделей, то есть LLAMA2-13B, Dylora выходит из строя из-за ошибки вне памяти (OOM), в то время как Qdylora работает лучше всего в таких ситуациях.
4 О полуосаленном поведении Qdylora
Как показано в таблице 2, Qdylora раскрывает полусортативную производительность в разных рядах. Мы оправдываем это поведение, указывая на ограниченный бюджет на создание. В ограниченном бюджетном предположении Qdylora обновляет свои более низкие ранги чаще, чем его более высокие ранги. Это связано с тем, что более низкие ранги также обновляются при выборе более высоких рангов. Другими словами, более низкие ряды имеют больше шансов получить обновление, чем более высокие ранги. Следовательно, более низкие ранги более настроены, чем более высокие ранги.
Авторы:
(1) Хоссейн Раджабзаде, Университет Ватерлоо и лабораторию Хуауэя Ноа (hossein.rajabzadeh@uwaterloo.ca);
(2) Mojtaba Valipour, Университет Ватерлоо (mojtaba.valipour@uwaterloo.ca);
(3) Tianshu Zhu, Huawei Noah's Ark Lab (tianshu.zhu@huawei.com);
(4) Марзи Тахей, лаборатория Арк Хуауей Ноа (marzieh.tahaei@huawei.com);
(5) Hyock Ju Kwon, (hjkwon@uwaterloo.ca);
(6) Али Годси, (ali.ghodsi@uwaterloo.ca);
(7) Boxing Chen, Huawei Noah's Ark Lab (boxing.chen@huawei.com);
(8) Мехди Резагхолизаде, лаборатория Арк Хуавей Ноа (mehdi.rezagholizadeh@huawei.com).
Эта статья есть
[1] Те же настройки, что и исходная работа Qlora, применяются здесь.
[2] Максимальный ранг LORA фиксируется до 64. В то время как звание Qlora всегда фиксируется, Qdylora может разделить обучение по ряду в диапазоне от 1 до 64.
Оригинал