Tra cứu14 hình

Thư viện hình minh hoạ

Toàn bộ 14 hình của giáo trình. Mười bốn hình: chín hình kết quả thí nghiệm do code/bieudien/experiments.py sinh ra và năm sơ đồ khái niệm. Một số kết quả là kiểm chứng đẳng thức, khớp tới sai số của bộ giải. Xem mã nguồn sinh hình. Bấm vào ảnh để phóng to.

Hình 1 — Hình 1
Bốn câu hỏi và bốn nhóm kỹ thuật trả lời chúng, theo thứ tự một mô hình ngôn ngữ được xây dựng.
Chương 1 · Tổng quan →

Hình 2 — Hình 2
Trái: ma trận PMI của 20 từ. Giữa: các từ chiếu xuống hai chiều đầu tiên; màu là chủ đề, hình dạng điểm là vai trò. Phải: tích vô hướng học được bằng skip-gram so với PMI (Mục 2.6).
Chương 2 · Word2Vec →

Hình 3 — Hình 3
Số phép tính cho mỗi cặp huấn luyện theo kích thước từ vựng: softmax đầy đủ tăng tuyến tính theo $V$ , lấy mẫu âm không phụ thuộc $V$ .
Chương 2 · Word2Vec →

Hình 4 — Hình 4
Phân bố cosine giữa mọi cặp vector trong ba đám mây; vạch đỏ là giá trị trung bình. Ở đám mây lệch tâm mạnh, hai vector ngẫu nhiên độc lập có cosine trung bình 0,87.
Chương 3 · Hình học của không gian embedding →

Hình 5 — Hình 5
Bốn cách tái sử dụng một mô hình đã tiền huấn luyện. Ô xám là phần đóng băng, ô xanh là phần được cập nhật, ô tím là tham số mới thêm vào.
Chương 5 · Tiền huấn luyện →

Hình 6 — Hình 6
Độ chính xác trên tập kiểm tra theo số mẫu có nhãn, trục hoành theo thang log.
Chương 6 · Đóng băng và tinh chỉnh →

Hình 7 — Hình 7
LoRA giữ nguyên $W_0$ và chỉ học phần cộng thêm $BA$ , tích của hai ma trận hạng thấp.
Chương 7 · LoRA và tinh chỉnh tiết kiệm tham số →

Hình 8 — Hình 8
Trái: sai số tái dựng và tổng KL theo $\beta$ . Phải: số chiều ẩn còn mang thông tin theo $\beta$ .
Chương 9 · Bộ tự mã hoá biến phân →

Hình 9 — Hình 9
Mẫu sinh ra (đỏ) so với dữ liệu thật (xám) với hai hàm mất mát, hai lần khởi tạo mỗi hàm.
Chương 10 · Mạng đối sinh →

Hình 10 — Hình 10
Trái: tín hiệu còn lại $\bar\alpha_t$ theo bước. Phải: SNR theo bước, trục dọc theo thang log.
Chương 11 · Mô hình khuếch tán →

Hình 11 — Hình 11
Ba họ mô hình sinh. Cả ba đều biến nhiễu Gauss thành mẫu; khác nhau ở cách huấn luyện.
Chương 8 · Mô hình sinh →

Hình 12 — Hình 12
Trái: chính sách học được ở cấu hình 1. Phải: tỉ lệ tới đích theo $\varepsilon$ ở ba cấu hình.
Chương 12 · Nhập môn học tăng cường →

Hình 13 — Hình 13
Trái: với $\beta$ nhỏ, chính sách tối ưu đi xa khỏi $\pi_{\text{ref}}$ . Phải: đường đánh đổi giữa phần thưởng đạt được và độ lệch khỏi $\pi_{\text{ref}}$ .
Chương 14 · Học tăng cường từ phản hồi của con người →

Hình 14 — Hình 14
Ba giai đoạn huấn luyện một trợ lý ngôn ngữ. DPO (Chương 15) gộp hai bước 3a và 3b thành một.
Chương 14 · Học tăng cường từ phản hồi của con người →