Phòng thí nghiệm5 công cụ

Phòng thí nghiệm

Năm công cụ chạy hoàn toàn trong trình duyệt, cài đặt đúng theo công thức của giáo trình. Đổi tham số rồi quan sát là cách nhanh nhất để thấy vì sao mỗi lựa chọn lại quan trọng.

1 · Máy lượng tử affine

Nhập dải và độ rộng bit, xem ngay $S$ , $Z$ và toàn bộ hàm bậc thang. Đây chính là ví dụ tính tay ở Mục 3.3 và hình dạng ở Hình 4, nhưng đổi được tham số.

Cận dưới αCận trên βĐộ rộng bit bKiểu lượng tửGiá trị x cần lượng tử

Phép làm tròn dùng quy tắc nửa về số chẵn giống NumPy.

Bước nhảy S–

Zero-point Z–

Miền số nguyên–

q của x–

x̂ khôi phục–

Sai số x̂ − x–

Trên: hàm fake quantization $x \mapsto \hat{x}$ . Dưới: sai số $\hat{x} - x$ . Vùng tô đỏ là vùng bị cắt.

2 · Đánh đổi giữa làm tròn và cắt

Thu hẹp dải làm bước nhảy mịn hơn nhưng cắt nhiều hơn, nên tổng MSE có một cực tiểu. Mô phỏng lại Mục 4.3 và Hình 7 ngay trên trình duyệt.

Phân phối dữ liệuĐộ rộng bitNgưỡng cắt c 4.8

50 000 mẫu, hạt giống cố định. Con số sẽ gần nhưng không trùng khít Hình 7 (dùng $10^6$ mẫu).

MSE ở ngưỡng đang chọn–

MSE nhỏ nhất–tại c*

MSE nếu dùng min–max–

Ngưỡng tối ưu c*–

max |x| của mẫu–

min–max tệ hơn bao nhiêu lần–

MSE theo ngưỡng cắt $c$ . Chấm là vị trí đang chọn, vạch đứt là $c^*$ , vạch chấm là $\max|x|$ (tức dải min–max).

3 · Soi bit một số dấu phẩy động

Tách ba trường dấu – exponent – mantissa và xem giá trị thực sự được lưu. Công cụ cho Mục 2.2, Mục 2.3 và Bài 2.

Giá trịĐịnh dạng

Giá trị lưu được–

Sai số tuyệt đối–

Sai số tương đối–

Số mũ thật e–

Khoảng cách lưới tại đây–

ε máy của định dạng–

4 · Requantization bằng dấu chấm tĩnh

Nhân với hệ số thực $M = S_w S_x / S_y$ mà không dùng một phép toán số thực nào. Cài đặt đúng theo Mục 6.4.

S_w — scale trọng sốS_x — scale activation vàoS_y — scale activation raGiá trị bộ cộng dồn (int32)

Giá trị mặc định lấy đúng từ kết quả in ra ở Mục 6.5. Lưu ý các scale ở đó chỉ in 6 chữ số thập phân, nên $M$ dựng lại từ chúng lệch với con số $0{,}0020223740$ của sách ở vài chữ số cuối.

M = S_w·S_x / S_y–

M₀ dạng int32–

Tổng dịch phải–

Kết quả đường số nguyên–

Kết quả dùng số thực–

Chênh lệch–

5 · Tính dung lượng thật

Số bit thực tế mỗi trọng số (Mục 11.8) và dung lượng KV cache (Mục 11.7) — hai phép tính quyết định mô hình có vừa bộ nhớ hay không. Giá trị mặc định là đề Bài 9.

Trọng số

Số tham số (tỉ)Định dạng

Bit thực tế / trọng số–

Dung lượng–

KV cache

Số lớpSố KV head

d_headSố token

BatchKiểu số

Mỗi token, mỗi chuỗi–

Tổng KV cache–