Обмеження методу квантизації в штучному інтелекті

Квантизація — один з найбільш поширених методів оптимізації штучного інтелекту, однак він має свої обмеження, з якими галузь може зіткнутися значно швидше, ніж очікувалося.

У контексті ШІ квантизація означає зменшення кількості біт, необхідних для представлення даних. Простіше кажучи, це як якби вам потрібно було відповісти на питання про час: замість точного «0 годин 12 хвилин 0 секунд і 4 мілісекунди» ви скажете «опівдні». Відповідь буде точною, але менш детальною.

Моделі ШІ складаються з безлічі параметрів, які можна піддавати квантизації для зменшення обчислювальних витрат. Наприклад, коли модель використовує менше біт для зберігання інформації, це знижує вимоги до обчислень і полегшує її використання в реальних умовах. Однак варто зазначити, що квантизація не завжди є ідеальним рішенням, особливо коли вихідна модель була навчена на величезних обсягах даних.

Дослідження, проведені фахівцями з Гарварду, Стенфорду та MIT, показали, що квантизація може погіршити роботу моделі, якщо вона була навчена на великих обсягах даних протягом тривалого часу. Це ставить під сумнів загальноприйняте уявлення про те, що великі моделі можна зробити ефективнішими за допомогою квантизації.

Наприклад, нещодавно модель Llama 3 від Meta після квантизації показала погіршення результатів, що пов'язують з особливостями її навчання. Це є важливим попередженням для компаній, що прагнуть зменшити витрати на обслуговування ШІ, які часто застосовують квантизацію до великих моделей, сподіваючись на значне зниження витрат.

Однак Кумар і його колеги пропонують альтернативний підхід — навчання моделей з низькою точністю. Це може допомогти зробити ШІ більш стійким до втрат при квантизації. Наприклад, використання 8-бітної точності (замість більш високих значень) дозволяє зменшити розмір моделі та її вимоги до обчислень, але при цьому не сильно погіршувати якість висновків.

Для обладнання, такого як чіпи від Nvidia, що підтримують квантизацію з 4-бітною точністю, зниження точності необхідне для ефективного використання пам'яті в центрах обробки даних. Однак надмірне зниження точності може негативно вплинути на якість роботи моделі.

Найважливіше висновок дослідження Кумара: навіть якщо здається, що можна продовжувати знижувати точність, є межі, за які переходити не можна, не пошкодивши модель. Це відкриває шлях до нових підходів і архітектур, які будуть спрямовані на стабільність навчання з низькою точністю та підвищену ефективність.