9PTQ và QAT#

9.1Post-Training Quantization (PTQ)#

PTQ lượng tử mô hình đã huấn luyện xong, không cập nhật trọng số bằng gradient (hoặc chỉ tối ưu cục bộ một ít như AdaRound). Quy trình: gộp lớp → lượng tử trọng số → calibration activation → chuyển đổi. Ưu điểm là nhanh (vài phút), không cần nhãn, không cần pipeline huấn luyện. Với mô hình đủ lớn, INT8 PTQ thường chỉ làm giảm dưới 1 điểm phần trăm độ chính xác.

9.2Quantization-Aware Training (QAT)#

QAT tiếp tục huấn luyện (fine-tune) mô hình với các nút fake-quant trong đồ thị (Hình 10). Nhờ thấy được sai số lượng tử ngay trong lượt xuôi, mạng học cách điều chỉnh trọng số để bù lại.

Vấn đề gradient. Hàm làm tròn là hàm bậc thang: đạo hàm của nó bằng 0 ở hầu khắp nơi và không xác định tại các bước nhảy. Nếu dùng đạo hàm thật, gradient truyền về trọng số luôn bằng 0 và mạng không học được gì.

Straight-Through Estimator (STE) (Bengio và cộng sự, 2013) giải quyết bằng cách, trong lượt ngược, coi phép làm tròn như hàm đồng nhất:

$$\frac{\partial \hat{x}}{\partial x} \approx \begin{cases} 1 & \text{nếu } \alpha \le x \le \beta \\ 0 & \text{nếu ngược lại (bị cắt)} \end{cases}$$

Trong PyTorch, STE viết gọn bằng một dòng: x_hat = x + (fake_quant(x) - x).detach(). Giá trị trả về bằng fake_quant(x), nhưng gradient đi qua như thể hàm là x.

Học cả scale. Thay vì cố định dải bằng EMA, phương pháp LSQ (Esser và cộng sự, 2020) coi $S$ là tham số huấn luyện được. Với lượng tử đối xứng $\hat{x} = S \cdot \text{clamp}(\lfloor x/S \rceil, -Q_N, Q_P)$, đạo hàm theo $S$ (vẫn dùng STE cho phép làm tròn) là

$$\frac{\partial \hat{x}}{\partial S} = \begin{cases} -Q_N & x/S \le -Q_N \\ \lfloor x/S \rceil - x/S & -Q_N < x/S < Q_P \\ Q_P & x/S \ge Q_P \end{cases}$$

BatchNorm trong QAT. Nếu huấn luyện với BN riêng rồi mới gộp, trọng số được fake-quant không phải trọng số thật sẽ chạy trên thiết bị. Cách chuẩn (Jacob và cộng sự, 2018; Krishnamoorthi, 2018) là mô phỏng việc gộp BN ngay trong lúc huấn luyện, và đóng băng thống kê BN sau một số epoch để ổn định. fuse_modules_qat trong PyTorch thực hiện việc này. Thí nghiệm dưới đây đơn giản hóa bằng cách gộp BN trước rồi fine-tune mạng đã gộp.

9.3Thí nghiệm: PTQ và QAT theo độ rộng bit#

Cấu hình: trọng số per-channel đối xứng, activation per-tensor bất đối xứng, lớp đầu và cuối giữ 8 bit (thực hành phổ biến vì đây là hai lớp nhạy cảm nhất). QAT khởi tạo từ dải của PTQ (MSE), dùng EMA cho dải activation, STE, Adam với learning rate $5 \times 10^{-4}$ trong 15 epoch, lấy trung bình 3 lần chạy.

(FP32: 99,26%. Mỗi ảnh test tương ứng 0,19 điểm phần trăm.)

Nhận xét:

1. Từ 4 bit trở lên, PTQ đã đủ cho mô hình này. QAT không cải thiện thêm; sai khác 0,2 điểm ở 8 bit là 1 ảnh, nằm trong dao động ngẫu nhiên.
2. Dưới 4 bit, PTQ sụp đổ (còn 66–72% ở 3 bit), trong khi QAT giữ được 94%. Đây là khoảng mà QAT thực sự đáng giá.
3. Ở 2 bit, ngay cả QAT cũng mất nhiều độ chính xác. Muốn đi xa hơn cần kỹ thuật chuyên biệt (học scale kiểu LSQ, huấn luyện lâu hơn, chưng cất tri thức từ mô hình FP32).

Quy luật này khớp với kinh nghiệm chung: mô hình càng nhỏ, càng "gọn" (MobileNet, EfficientNet-Lite) hoặc số bit càng thấp thì càng cần QAT.

9.4Nên chọn PTQ hay QAT#

Luôn bắt đầu bằng PTQ; chỉ chuyển sang QAT khi PTQ và các cải tiến ở Mục 9.5 không đạt yêu cầu.

9.5Các kỹ thuật PTQ nâng cao#

Giữa PTQ cơ bản và QAT có một nhóm kỹ thuật chỉ cần dữ liệu không nhãn hoặc không cần dữ liệu:

Cân bằng giữa các lớp (Cross-Layer Equalization, CLE) (Nagel và cộng sự, 2019). Với hai lớp liên tiếp có ReLU ở giữa, do $\text{ReLU}(s\,z) = s\,\text{ReLU}(z)$ với $s > 0$, ta có thể chia kênh $i$ của lớp thứ nhất cho $s_i$ và nhân kênh đầu vào $i$ của lớp thứ hai với $s_i$ mà đầu ra không đổi. Gọi $r_i^{(1)}$, $r_i^{(2)}$ là dải trọng số kênh $i$ ở hai lớp. Chọn

$$s_i = \frac{1}{r_i^{(2)}}\sqrt{r_i^{(1)}\, r_i^{(2)}}$$

thì dải của kênh $i$ ở cả hai lớp đều bằng $\sqrt{r_i^{(1)} r_i^{(2)}}$, khiến các kênh đồng đều hơn và lượng tử per-tensor tốt hơn hẳn. Kỹ thuật này không cần dữ liệu. SmoothQuant (Mục 11.3) dùng đúng ý tưởng này giữa activation và trọng số.

Bias correction. Sai số lượng tử trọng số $\varepsilon = \hat{W} - W$ làm đầu ra lệch trung bình một lượng $\mathbb{E}[\hat{y} - y] = \varepsilon\,\mathbb{E}[x]$. Nếu ước lượng được $\mathbb{E}[x]$ (từ dữ liệu, hoặc từ tham số BN của lớp trước), ta bù lại: $b \leftarrow b - \varepsilon\,\mathbb{E}[x]$.

AdaRound (Nagel và cộng sự, 2020). Làm tròn đến số gần nhất tối ưu cho từng trọng số nhưng không tối ưu cho đầu ra của lớp. AdaRound học quyết định làm tròn lên hay xuống cho mỗi trọng số bằng cách tối ưu

$$\begin{gathered} \min_{V}\; \big\| W x - \widetilde{W}(V)\, x \big\|_F^2 + \lambda\, f_{\text{reg}}(V), \\ \widetilde{W} = S \cdot \text{clamp}\!\left(\left\lfloor \tfrac{W}{S} \right\rfloor + h(V),\, q_{min},\, q_{max}\right), \end{gathered}$$

trong đó $h(V) \in [0, 1]$ là một hàm sigmoid chỉnh sửa, và $f_{\text{reg}}$ đẩy $h(V)$ về đúng 0 hoặc 1. Chỉ cần vài trăm hoặc vài nghìn mẫu không nhãn, AdaRound thường đưa PTQ 4 bit trọng số tiến gần QAT. GPTQ (Mục 11.4) theo đuổi cùng mục tiêu "tối thiểu sai số đầu ra thay vì sai số trọng số".