Học sâu · thực hành

Phòng thí nghiệm

Ba thí nghiệm tương tác đi kèm giáo trình: phép chia $\sqrt{d_k}$ trong attention, ước lượng tài nguyên của một Transformer, và độ lớn của gradient qua nhiều lớp.

Mỗi công cụ gắn với một mục trong giáo trình và cài đúng công thức ở đó. Nhưng chúng chạy trong trình duyệt nên dùng ít mẫu và ít vòng lặp hơn các thí nghiệm ngoại tuyến, vì vậy con số hiện ra sát chứ không trùng khít với bảng đã in. Chỗ nào phải trùng đúng thì có ghi rõ.

1 · Vì sao phải chia cho $\sqrt{d_k}$

Nếu các thành phần của $q$ và $k$ độc lập, trung bình 0, phương sai 1 thì $q \cdot k$ có phương sai $d_k$ . Tăng $d_k$ để thấy softmax bão hoà, rồi bật phép chia để thấy entropy giữ ổn định. Chứng minh và số đo ở Mục 9.2.

d_k–Chia cho √d_k

Phương sai điểm số đo được–

Phương sai theo lý thuyết–

Entropy (nat)–tối đa ln 64 = 4,159

Trọng số lớn nhất–

2 · Máy tính tham số, FLOP và bộ nhớ

Các công thức của Chương 12 trong một biểu mẫu. Chọn một cấu hình có sẵn hoặc tự nhập. Tỉ số $T/(6d)$ ở ô cuối cho biết khi nào phần tính toán của attention chiếm phần chính.

Cấu hình có sẵnSố lớp LChiều mô hình dTừ vựng VSố đầu querySố đầu KVĐộ dài ngữ cảnh TCỡ lô khi suy luậnToken huấn luyện (tỉ)

Tham số không tính embedding–

Đối chiếu 12·L·d²–phải trùng ô trên

Tổng tham số–

Embedding chiếm–

FFN chiếm (trong khối)–lý thuyết 2/3

C ≈ 6ND (FLOP)–

Giờ-GPU ở 40% MFU–A100 bf16

KV cache (FP16)–

KV mỗi token mỗi chuỗi–

Tỉ lệ T/(6d)–> 1 thì attention chi phối

Ngưỡng 6d (token)–

3 · Gradient qua nhiều lớp

Đường đậm là cấu hình đang chọn; các đường mờ là các cấu hình đo ở Mục 6.3 để so sánh. Thử bật kết nối tắt mà không bật chuẩn hoá: gradient bùng nổ thay vì ổn định, điều Mục 6.3 giải thích.

Hệ số khởi tạo–Số lớp–Chuẩn hoá lớpKết nối tắt

Tỉ lệ lớp đầu / lớp cuối–

Kết luận–