Thư viện hình minh hoạ
Toàn bộ 15 hình của giáo trình. Mười lăm hình: tám hình là kết quả thí nghiệm do code/models/experiments.py sinh ra, một hình do code/models/thi_giac.py sinh ra, và sáu hình là sơ đồ khái niệm. Các kết quả ở Chương 12 được đối chiếu với số tham số và ngân sách giờ-GPU đã công bố của GPT-2 và Llama 2. Xem mã nguồn sinh hình. Bấm vào ảnh để phóng to.
Hình 1
Bốn họ mô hình lớn. Từ trái sang phải, mô hình càng ít giả định về dạng của hàm cần học, nên càng linh hoạt, nhưng càng cần nhiều dữ liệu và càng khó diễn giải.
Chương 1 · Các họ mô hình →
Hình 2
Độ chệch², phương sai và tổng sai số theo bậc đa thức, trục dọc theo thang log. Đường chấm ngang là mức nhiễu ; đường đứt dọc đánh dấu bậc có tổng sai số nhỏ nhất.
Chương 2 · Độ chệch và phương sai →
Hình 3
Trái: cây chia mặt phẳng bằng các đường thẳng song song với trục. Phải: cùng mô hình đó vẽ dưới dạng cây nhị phân, mỗi nút trong là một phép chia.
Chương 3 · Cây quyết định và phương pháp tập hợp →
Hình 4
Độ chệch² và phương sai của ba mô hình trên cùng bài toán.
Chương 3 · Cây quyết định và phương pháp tập hợp →
Hình 5
Trái: sai số nhỏ nhất của mạng một lớp ẩn theo bề rộng, với từng số lớp của mạng sâu; hai trục theo thang log. Sai số chỉ bắt đầu giảm khi bề rộng đạt cỡ . Phải: số tham số cần thiết của hai loại mạng theo .
Chương 4 · Mạng nơ-ron nhiều lớp →
Hình 6
Lượt xuôi tính và lưu lại các giá trị trung gian; lượt ngược nhân dần các đạo hàm cục bộ theo thứ tự ngược lại, dùng lại các giá trị đã lưu.
Chương 5 · Lan truyền ngược và các thuật toán tối ưu →
Hình 7
Chuẩn của gradient tại từng lớp, chia cho giá trị ở lớp cuối, với sáu cách dựng lớp. Trục dọc theo thang log.
Chương 6 · Khởi tạo, chuẩn hoá và kết nối tắt →
Hình 8
Mỗi lớp tích chập với bước nhảy 1 mở rộng trường tiếp nhận thêm 2 ô theo mỗi chiều.
Chương 7 · Mạng nơ-ron tích chập →
Hình 9
Trái: NMS với ngưỡng IoU 0,5 trên sáu hộp của Ví dụ 7.3; nét liền là hộp được giữ, nét đứt là hộp bị loại. Phải: đường precision–recall của bộ phát hiện mô phỏng, khi không lọc trùng và khi có NMS, ở ngưỡng IoU 0,5 và 0,75.
Chương 7 · Mạng nơ-ron tích chập →
Hình 10
Chuẩn tương đối của gradient khi truyền ngược qua thời gian, theo số bước lùi; trục dọc theo thang log.
Chương 8 · Mạng nơ-ron hồi quy →
Hình 11
Trái: phương sai đo được của so với giá trị lý thuyết (đường chấm). Phải: entropy của phân phối attention trên 64 khoá theo , có và không có phép chia cho .
Chương 9 · Attention và Transformer →
Hình 12
Một khối Transformer, vẽ theo thứ tự pre-LN (Mục 10.2): hai khối con, mỗi khối con có một kết nối tắt đi vòng qua.
Chương 9 · Attention và Transformer →
Hình 13
Các thành phần của Transformer năm 2017 và lựa chọn phổ biến hiện nay. Khung kiến trúc giữ nguyên; các thành phần thay đổi vì những lý do cụ thể.
Chương 10 · Các cải tiến của Transformer →
Hình 14
Trái: tích vô hướng sau khi quay chỉ phụ thuộc khoảng cách tương đối, dù vị trí tuyệt đối khác nhau hàng trăm. Phải: độ tương đồng của một vector với chính nó ở hai vị trí, theo khoảng cách giữa hai vị trí.
Chương 10 · Các cải tiến của Transformer →
Hình 15
Trái: xác suất theo thứ hạng của token sau mỗi phép biến đổi, trục dọc theo thang log. Phải: số token phủ 90% xác suất.
Chương 11 · Các chiến lược giải mã →