Qdylora in oction: метод, тесты и почему он превосходит qlora
tech-stories quantized-low-rank-adaptation dynamic-lora efficient-llm-tuning memory-optimization-in-llms 4-bit-quantization peft-techniques gpu-memory-management qlora-vs-qdylora

Qdylora in oction: метод, тесты и почему он превосходит qlora

1 июля 2025 г.

Аннотация и 1. Введение

  1. Предложенный метод: квантовая Dylora
  2. Эксперименты и оценка
  3. На полуосорвантном поведении Qdylora
  4. Заключение, ограничения и ссылки

А. Дополнительный материал

А.1 Гиперпараметры

А.2. Сгенерированное качество текста

2 Предложенный метод: квантовая Dylora

После Qlora (Dettmers et al., 2023) мы использовали 4-битный нормальный поплавок (NF4) для хранения двойных квантовых предварительно обученных весов. Поскольку все вычисления должны быть рассчитаны по точке BFLOAT16, DDEQUANT-NF4 отдержит сохраненные данные. Подобно (Dettmers et al., 2023), мы имеем:

Алгоритм 1 подробно описывает рабочий процесс предлагаемой нами Qdylora.

3 эксперименты и оценка

Этот раздел оценивает эффективность и эффективность Qdylora через несколько инструктаж настройки

Table 3: Comparing the performance of DyLoRA, QLoRA and QDyLoRA across different evaluation ranks. all models receives the same training settings. Maximum LoRA rank is set to 64. The results are reported in terms of exact matching.

задачи. Первый эксперимент сравнивает Qdylora с Qlora на массивно многозадачном языке, занижающем (MMLU) Benchmark (Hendrycks et al., 2020), состоящий из более чем 50 различных задач, охватывающих фундаментальную математику и историю США до компьютерных наук и права. Как показано в таблице 1 [1], мы фигурируем Llama-7B, Llama-13b, Llama2-13b и Falcon40b на различных наборах данных, Alpaca (Taori et al., 2023), OASST1 (Köpf et al., 2023), самостоятельно инструкция (Wang et al., 2022) и Flanv2 (Chung et at et al. Qlora и Qdylora Techniques. Мы используем тот же бюджет обучения и максимальный ранг Lora [2] для каждой техники. Результаты последовательно показывают, что Qdylora достигает превосходной производительности, находя оптимальный ранг.

Второй эксперимент обеспечивает более глубокое сравнение между Qlora и Qdylora. В частности, мы довольно созданные Falcon-40B на бэндсках WebGlm (Liu et al., 2023) и GSM8K (Cobbe et al., 2021) и сравнили их тестовые характеристики в разных рядах. Как описано в таблице 2, Qdylora достигает превосходной производительности, в частности, при использовании своих оптимальных рангов (ранга 2 для веб-GLM и ранга 8 для GSM8K). Кроме того, Qdylora демонстрирует последовательное превосходство над Qlora, особенно в более низких рядах. Эти результаты подчеркивают адаптивную природу Qdylora в динамической корректировке его фокуса во время точной настройки, что приводит к повышению эффективности и эффективности по сравнению со статическим аналогом Qlora. Третий эксперимент сравнивает эффективность Dylora, Qdylora и Qlora на GSM8K и Viriviaqa (Joshi et al., 2017), принимая Llama2-13B и Llama-7B в качестве LLMS. В таблице 3 сообщается результаты. Как показывает таблица, для моделей меньшего размера, то есть Llama-7B, Dylora и Qdylora работают выше, чем Qlora. Для более крупных моделей, то есть LLAMA2-13B, Dylora выходит из строя из-за ошибки вне памяти (OOM), в то время как Qdylora работает лучше всего в таких ситуациях.

4 О полуосаленном поведении Qdylora

Как показано в таблице 2, Qdylora раскрывает полусортативную производительность в разных рядах. Мы оправдываем это поведение, указывая на ограниченный бюджет на создание. В ограниченном бюджетном предположении Qdylora обновляет свои более низкие ранги чаще, чем его более высокие ранги. Это связано с тем, что более низкие ранги также обновляются при выборе более высоких рангов. Другими словами, более низкие ряды имеют больше шансов получить обновление, чем более высокие ранги. Следовательно, более низкие ранги более настроены, чем более высокие ранги.

Авторы:

(1) Хоссейн Раджабзаде, Университет Ватерлоо и лабораторию Хуауэя Ноа (hossein.rajabzadeh@uwaterloo.ca);

(2) Mojtaba Valipour, Университет Ватерлоо (mojtaba.valipour@uwaterloo.ca);

(3) Tianshu Zhu, Huawei Noah's Ark Lab (tianshu.zhu@huawei.com);

(4) Марзи Тахей, лаборатория Арк Хуауей Ноа (marzieh.tahaei@huawei.com);

(5) Hyock Ju Kwon, (hjkwon@uwaterloo.ca);

(6) Али Годси, (ali.ghodsi@uwaterloo.ca);

(7) Boxing Chen, Huawei Noah's Ark Lab (boxing.chen@huawei.com);

(8) Мехди Резагхолизаде, лаборатория Арк Хуавей Ноа (mehdi.rezagholizadeh@huawei.com).

Эта статья естьДоступно на ArxivПод атрибуцией-некоммерческими показателями 4.0 Международная лицензия.

[1] Те же настройки, что и исходная работа Qlora, применяются здесь.

[2] Максимальный ранг LORA фиксируется до 64. В то время как звание Qlora всегда фиксируется, Qdylora может разделить обучение по ряду в диапазоне от 1 до 64.

Оригинал

Recent Post

Categories

PREVIOUS ARTICLE
NEXT ARTICLE