4Phân tích sai số lượng tử#

4.1Hai nguồn sai số#

Với dải $[\alpha, \beta]$ đã chọn, mỗi giá trị $x$ chịu đúng một trong hai loại sai số:

• Sai số làm tròn (rounding error) khi $x$ nằm trong dải. Độ lớn luôn $\le S/2$.
• Sai số cắt (clipping error) khi $x$ nằm ngoài dải. Độ lớn bằng khoảng cách từ $x$ đến mép dải, không bị chặn.

Mô hình nhiễu đều. Nếu $S$ nhỏ so với độ biến thiên của phân phối dữ liệu, sai số làm tròn $e = \hat{x} - x$ xấp xỉ phân phối đều trên $[-S/2, S/2]$. Khi đó:

$$\mathbb{E}[e^2] = \frac{1}{S}\int_{-S/2}^{S/2} e^2\, de = \frac{S^2}{12}.$$

Kết quả này cho thấy sai số làm tròn tỉ lệ với bình phương bước nhảy $S$, tức tỉ lệ với bình phương độ rộng dải.

4.2Mỗi bit đáng giá khoảng 6 dB#

Đại lượng chuẩn để đo chất lượng lượng tử là tỉ số tín hiệu trên nhiễu lượng tử (SQNR):

$$\text{SQNR} = 10\log_{10}\frac{\mathbb{E}[x^2]}{\mathbb{E}[(x - \hat{x})^2]} \quad (\text{dB}).$$

Xét trường hợp lý tưởng: $x$ phân phối đều trên $[-c, c]$, dùng lưới đối xứng hạn chế với $q = 2^{b-1} - 1$ mức mỗi phía, $S = c/q$. Công suất tín hiệu là $c^2/3$, công suất nhiễu là $S^2/12$, nên

$$\begin{gathered} \text{SQNR} = \frac{c^2/3}{S^2/12} = \frac{4c^2}{S^2} = (2q)^2 = (2^b - 2)^2 \\ \;\Rightarrow\; 20\log_{10}(2^b - 2) \approx 6{,}02\, b \text{ dB}. \end{gathered}$$

Kết luận: mỗi bit thêm vào giảm $S$ một nửa, giảm công suất nhiễu 4 lần, tức tăng SQNR khoảng 6 dB.

Vì sao dữ liệu Gauss kém hơn? Với $10^6$ mẫu $\mathcal{N}(0,1)$, giá trị lớn nhất vào khoảng $5\sigma$, trong khi phần lớn dữ liệu nằm trong $\pm 2\sigma$. Dùng dải min–max nghĩa là "trả tiền" cho cả một vùng rộng gần như không có dữ liệu.

4.3Đánh đổi giữa làm tròn và cắt#

Thu hẹp dải $[-c, c]$ làm $S$ nhỏ đi (giảm sai số làm tròn) nhưng khiến nhiều giá trị bị cắt hơn (tăng sai số cắt). Tổng MSE vì thế có một điểm cực tiểu.

Phân phối Laplace được chọn vì trọng số của mạng nơ-ron đã huấn luyện thường có dạng "nhọn đỉnh, đuôi dày" giống Laplace hơn là Gauss. Đuôi càng dày, cái giá của dải min–max càng lớn và việc chọn ngưỡng cắt càng quan trọng. Chương 8 sẽ trình bày các phương pháp tự động tìm ngưỡng này cho activation.

Câu hỏi suy ngẫm. Vì sao ngưỡng tối ưu $c^*$ tăng khi số bit tăng? (Gợi ý: khi $b$ tăng, sai số làm tròn giảm theo $4^{-b}$ còn sai số cắt không phụ thuộc $b$, nên ta "đủ khả năng" mở rộng dải để giảm clipping.)