QLoRA

Метод дозволив донавчати модель на 65 мільярдів параметрів на одній відеокарті на 48 ГБ, зберігаючи ваги в чотирьох бітах і змінюючи лише невеликі додаткові матриці.

Чому це важливо

Донавчання великої моделі перестало вимагати кластера — і відкриті моделі стали придатними на одній професійній відеокарті.

Дві ідеї разом: квантування базових ваг до чотирьох бітів і навчання лише низькорангових доповнень. Базова модель при цьому не змінюється, тож пам'ять іде на неї один раз. Стаття повідомляє, що повну якість 16-бітного донавчання на задачах збережено. Наслідок екосистемний: спільнота донавчених варіантів відкритих моделей, що виникла після LLaMA, стала можливою саме технічно.

Відомості про подію

Дата події

23 травня 2023 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0276

Препринт від 23 травня 2023 року.

Джерела

першоджерело QLoRA: Efficient Finetuning of Quantized LLMs
arXiv · Опубліковано травень 2023 р.

Пов’язані події

Раніше

Пов’язано LLaMA 2023
Метод робить донавчання відкритих моделей доступним на одній відеокарті.
Пов’язано NVIDIA H100 2022
Замість більшого заліза — менша точність і менше параметрів, що змінюються.
Уможливлює Низькорангова адаптація (LoRA) 2021посилається на цей запис
QLoRA донавчає квантовану до 4 біт модель саме низькоранговими адаптерами: «Low-rank Adapter (LoRA) finetuning [28]».
- QLoRA: Efficient Finetuning of Quantized LLMs · arXiv

Пізніше

Пов’язано Ваги з трьох станів замість чисел 2024посилається на цей запис
QLoRA стискає вже навчені ваги до чотирьох бітів; тут навпаки — модель від початку навчають у трьох станах, і стиснення після навчання не потрібне.