Biểu diễn & Căn chỉnh · thực hành

Phòng thí nghiệm

Ba thí nghiệm tương tác đi kèm giáo trình: phép đánh trọng số lại trong nghiệm của RLHF, lịch nhiễu của mô hình khuếch tán, và bộ nhớ huấn luyện khi dùng LoRA.

Mỗi công cụ gắn với một mục trong giáo trình và cài đúng công thức ở đó. Nhưng chúng chạy trong trình duyệt nên dùng ít mẫu và ít vòng lặp hơn các thí nghiệm ngoại tuyến, vì vậy con số hiện ra sát chứ không trùng khít với bảng đã in. Chỗ nào phải trùng đúng thì có ghi rõ.

1 · RLHF: $\beta$ là vị trí trên một đường đánh đổi

Nghiệm tối ưu có dạng đóng $\pi^{*} \propto \pi_{\text{ref}}\,e^{r/\beta}$ , tức chính sách tham chiếu đánh trọng số lại theo hàm mũ của phần thưởng. Thay đổi $\beta$ để xem phân phối thay đổi thế nào (trái) và vị trí tương ứng trên đường đánh đổi (phải). Lý thuyết ở Mục 14.4.

β–

KL(π* ‖ π_ref)–

E[r] đạt được–

Xác suất lớn nhất của π*–

2 · Lịch nhiễu: vì sao $t$ nhỏ học chi tiết còn $t$ lớn học bố cục

Dạng đóng $q(x_t \mid x_0) = \mathcal{N}(\sqrt{\bar\alpha_t}\,x_0,\ (1-\bar\alpha_t)I)$ cho phép lấy trực tiếp $x_t$ ở bước bất kỳ. Thay đổi $t$ để xem tín hiệu còn lại theo lịch nhiễu (trái) và một tín hiệu một chiều bị nhiễu dần (phải). Số liệu ở Mục 11.3.

Bước t–

ᾱ_t–

SNR = ᾱ/(1−ᾱ)–

Biên độ tín hiệu còn lại–

3 · LoRA: bộ nhớ khi huấn luyện

LoRA không làm mô hình chạy nhanh hơn: khi suy luận, $BA$ được gộp vào $W_0$ nên tốc độ bằng mô hình gốc. Điều LoRA thay đổi là bộ nhớ khi huấn luyện. Nhập cấu hình để so sánh với tinh chỉnh toàn phần. Lý thuyết và số đo ở Mục 7.3.

Chiều mô hình dSố lớp LHạng r của LoRATham số không tính embedding (tỉ)Chỉ gắn vào W_Q và W_V

Tỉ lệ 2r/d của một lớp–

Tham số huấn luyện–

Bằng bao nhiêu % mô hình–

Trạng thái Adam · LoRA–

Trạng thái Adam · toàn phần–

Chênh nhau–

Tổng bộ nhớ khi tinh chỉnh toàn phần–trọng số + gradient + Adam

Một GPU 80 GB–