Quantizationgiáo trình tự học
Chương 132 phút đọcLượng tử hoá cho LLM và quy trình

13Những hiểu lầm thường gặp#

Hiểu lầm Thực tế
"Lượng tử hóa luôn làm mô hình nhanh hơn." Chỉ khi phần cứng và thư viện có kernel phù hợp. Mục 10.1.5 cho thấy weight-only INT8 chạy eager chậm hơn FP32 hơn 2 lần.
"INT8 luôn giảm kích thước đúng 4 lần." Đúng với phần trọng số. File thực tế còn chứa siêu dữ liệu, scale và các lớp giữ FP32; mô hình nhỏ ở Mục 10.1.2 chỉ giảm 2,4 lần.
"FP32 dùng một số bit cho phần nguyên và số bit còn lại cho phần thập phân." Sai. FP32 gồm 1 bit dấu, 8 bit exponent, 23 bit mantissa (Mục 2.2); vị trí dấu chấm được mã hóa qua exponent.
"Dynamic quantization lượng tử activation dựa trên thống kê một batch lúc chuyển đổi." Trọng số được lượng tử sẵn lúc chuyển đổi; activation được lượng tử lúc chạy từ min/max của chính tensor đó, nên không cần dữ liệu calibration.
"quantize_dynamic của PyTorch lượng tử cả Conv2d." Không. Chỉ Linear và các lớp hồi quy (LSTM, GRU…); tích chập cần static quantization.
"Sai số trọng số càng nhỏ thì mô hình càng chính xác." Cái cần bảo toàn là đầu ra. GPTQ tăng sai số trọng số 2,7 lần nhưng giảm sai số đầu ra 3,7 lần (Mục 11.4).
"Dải min–max là an toàn nhất vì không cắt giá trị nào." Min–max thường cho MSE lớn hơn nhiều so với ngưỡng tối ưu: 6,4 lần trong thí nghiệm Mục 4.3.
"QAT lúc nào cũng tốt hơn PTQ." Ở 8 bit, PTQ thường ngang QAT với chi phí nhỏ hơn rất nhiều (Mục 9.3). QAT đáng giá ở số bit thấp hoặc với mô hình nhỏ, nhạy cảm.
"Lớp đầu và lớp cuối luôn là lớp nhạy nhất." Chỉ là kinh nghiệm. Ở Mục 12.2, lớp cuối lại không nhạy chút nào; phải đo trên chính mô hình.

Tự kiểm tra

2 câu. Chọn đáp án để xem ngay lời giải thích.

  1. 1"INT8 luôn giảm kích thước file đúng 4 lần." Phát biểu này:

  2. 2"Sai số trọng số càng nhỏ thì mô hình càng chính xác." Phát biểu này:

Đã trả lời 0/2