Дослідження · 23 травня 2023 р.

QLoRA

Метод дозволив донавчати модель на 65 мільярдів параметрів на одній відеокарті, зберігаючи ваги в чотирьох бітах і змінюючи лише невеликі додаткові матриці.

Чому це важливо

Донавчання великої моделі перестало вимагати кластера — і відкриті моделі стали придатними для будь-кого з ігровою відеокартою.

Дві ідеї разом: квантування базових ваг до чотирьох бітів і навчання лише низькорангових доповнень. Базова модель при цьому не змінюється, тож пам'ять іде на неї один раз. Утрати якості виявилися незначними. Наслідок екосистемний: спільнота донавчених варіантів відкритих моделей, що виникла після LLaMA, стала можливою саме технічно.

Відомості про подію

Дата події

23 травня 2023 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0276

Препринт від 23 травня 2023 року.

Джерела

першоджерело QLoRA: Efficient Finetuning of Quantized LLMs
arXiv · Опубліковано травень 2023 р.

Пов’язані події

Пов’язано LLaMA
Метод робить донавчання відкритих моделей доступним на одній відеокарті.
Пов’язано NVIDIA H100
Замість більшого заліза — менша точність і менше параметрів, що змінюються.

Записи, що посилаються на цей

Пов’язано Ваги з трьох станів замість чисел
QLoRA стискає вже навчені ваги до чотирьох бітів; тут навпаки — модель від початку навчають у трьох станах, і стиснення після навчання не потрібне.
Уможливлює Низькорангова адаптація (LoRA)
QLoRA донавчає квантовану до 4 біт модель саме низькоранговими адаптерами: «Low-rank Adapter (LoRA) finetuning [28]».
QLoRA: Efficient Finetuning of Quantized LLMs