Từ điển
Quantization là gì?
Quantization là giảm độ chính xác số học của mô hình để tiết kiệm bộ nhớ và tăng tốc, đổi lại có thể giảm nhẹ chất lượng câu trả lời.
Quantization là giảm độ chính xác số học của trọng số mô hình, ví dụ từ 16-bit xuống 8-bit hoặc 4-bit. Mục tiêu là giảm bộ nhớ và tăng tốc inference.
Vì sao cần?
Mô hình lớn cần nhiều GPU và RAM. Lượng tử hóa cho phép chạy mô hình trên phần cứng nhỏ hơn, hoặc phục vụ nhiều người hơn trên cùng một máy.
Đánh đổi
- Lợi: ít bộ nhớ hơn, nhanh hơn, rẻ hơn.
- Hại: có thể giảm độ chính xác, đặc biệt với tác vụ cần tính toán hoặc ngôn ngữ ít dữ liệu.
Mức 8-bit thường gần như không khác biệt. 4-bit tiết kiệm hơn nhưng cần đánh giá kỹ.
Liên quan gì đến người dùng?
Bạn không tự lượng tử hóa mô hình khi dùng API. Nhưng hiểu khái niệm này giúp giải thích vì sao cùng một mô hình có thể cho kết quả khác nhau giữa các nhà cung cấp, hoặc vì sao bản chạy cục bộ nhẹ hơn nhưng kém chính xác hơn.