15Tối ưu trực tiếp theo sở thích (DPO)#

DPO (direct preference optimization; Rafailov và cộng sự, 2023) dựa trên một quan sát: nghiệm dạng đóng ở Mục 14.4 có thể đảo ngược để biểu diễn phần thưởng qua chính sách, và khi thay vào mô hình Bradley–Terry, hằng số chuẩn hoá không tính được tự triệt tiêu. Kết quả là một hàm mất mát tính trực tiếp từ dữ liệu so sánh, không cần mô hình thưởng và không cần học tăng cường. Vì DPO và RLHF tối ưu cùng một mục tiêu, câu hỏi thực tế không phải phương pháp nào đúng hơn mà là mỗi cách đánh đổi những gì.

15.1Hàm thưởng ẩn trong chính sách#

Từ nghiệm ở Mục 14.4, $\pi^*(y \mid x) = \pi_{\text{ref}}(y \mid x)\exp\big(r(x, y)/\beta\big)/Z(x)$. Lấy logarit rồi giải theo $r$:

$$r(x, y) = \beta\log\frac{\pi^*(y \mid x)}{\pi_{\text{ref}}(y \mid x)} + \beta\log Z(x).$$

Đẳng thức cho thấy mọi chính sách đều ngầm xác định một hàm thưởng mà nó là nghiệm tối ưu: không cần huấn luyện một mô hình thưởng riêng, vì chính sách đã chứa thông tin đó ở dạng khác.

15.2Hằng số chuẩn hoá triệt tiêu#

Số hạng $\beta\log Z(x)$ không tính được, vì $Z(x)$ là tổng trên mọi câu trả lời có thể. Nhưng mô hình Bradley–Terry chỉ dùng hiệu phần thưởng của hai câu trả lời cho cùng một câu hỏi:

$$\begin{aligned} r(x, y_w) - r(x, y_l) &= \beta\log\frac{\pi(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \beta\log\frac{\pi(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)} \\ &\quad + \underbrace{\beta\log Z(x) - \beta\log Z(x)}_{=\,0}. \end{aligned}$$

$Z(x)$ phụ thuộc $x$ nhưng không phụ thuộc $y$, nên triệt tiêu khi lấy hiệu. Thay vào hàm mất mát của mô hình thưởng ở Mục 14.3 được hàm mất mát DPO, tối ưu trực tiếp trên tham số của chính sách:

$$\begin{aligned} \mathcal{L}_{\text{DPO}}(\theta) = -\,\mathbb{E}_{(x, y_w, y_l)}\Bigg[\log\sigma\Bigg(&\beta\log\frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} \\ &- \beta\log\frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}\Bigg)\Bigg]. \end{aligned}$$

Hàm mất mát có dạng cross-entropy nhị phân (Chương 6 của Nền tảng); mỗi số hạng log xác suất tính được bằng một lượt xuôi qua mô hình. Với một cặp mà $\pi_{\text{ref}}$ gán 0,5 cho mỗi câu và $\beta = 0{,}5$: lúc bắt đầu, $\pi_\theta = \pi_{\text{ref}}$ nên hiệu phần thưởng ẩn bằng 0 và mất mát là $\log 2 = 0{,}693$. Khi chính sách chuyển xác suất sang câu được chọn, thành 0,7 và 0,3, hiệu phần thưởng ẩn là $0{,}5\,(\ln 1{,}4 - \ln 0{,}6) = 0{,}424$ và mất mát giảm còn 0,504. Không cần mô hình thưởng, không cần lấy mẫu từ chính sách trong khi huấn luyện, và không cần critic.

15.3Kiểm chứng bằng số#

Phép suy ra ở trên chặt chẽ trên giấy; thí nghiệm kiểm tra nó khi chạy thật. Trên một không gian 8 câu trả lời, đủ nhỏ để giải chính xác, ta sinh 52 588 cặp so sánh từ một hàm thưởng thật đã biết theo mô hình Bradley–Terry, rồi tìm chính sách theo hai cách. Cách thứ nhất là RLHF hai bước: khớp hàm thưởng $\hat r$ bằng hợp lý cực đại, rồi tính $\pi_{\text{RLHF}} \propto \pi_{\text{ref}}\exp(\hat r/\beta)$. Cách thứ hai là DPO một bước: cực tiểu trực tiếp $\mathcal{L}_{\text{DPO}}$ theo $\pi$, không dùng mô hình thưởng nào.

Chênh lệch lớn nhất là $4{,}2 \times 10^{-8}$: hai chính sách trùng nhau tới sai số của bộ tối ưu. Hàm thưởng học được ở cách thứ nhất có tương quan 0,99995 với hàm thưởng thật, nên phép so sánh không bị ảnh hưởng bởi một mô hình thưởng kém.

So cột $\pi_{\text{ref}}$ với cột kết quả cho thấy phép đánh trọng số lại theo hàm mũ ở Mục 14.4: câu trả lời 6 tăng từ 0,0306 lên 0,2868 (gấp khoảng 9,4 lần), câu trả lời 0 giảm từ 0,0669 xuống 0,0015 (khoảng 45 lần).

15.4So sánh DPO với RLHF#

Hai dòng cuối là điểm mạnh còn lại của RLHF. RLHF lấy mẫu từ chính sách hiện tại rồi chấm bằng mô hình thưởng, nên học được trên đúng những câu trả lời mô hình đang sinh ra. DPO chỉ học trên tập so sánh đã thu thập sẵn; khi chính sách đi xa khỏi phân phối của tập đó, tín hiệu học yếu đi. Xu và cộng sự (2024) so sánh hai cách trên nhiều nhiệm vụ và thấy PPO được chỉnh tốt vẫn có thể cho kết quả tốt hơn DPO, nhất là ở các nhiệm vụ như sinh mã. Ngoài ra, mô hình thưởng là một thành phần dùng lại được: chấm dữ liệu mới, so sánh các phiên bản mô hình, phát hiện suy giảm chất lượng trong vận hành.

Vì vậy khi phải chọn giữa hai cách, không có phe nào đúng tuyệt đối. Hai phương pháp tối ưu cùng một mục tiêu và có cùng nghiệm tối ưu trên lý thuyết; DPO đơn giản, rẻ và ổn định hơn nên là lựa chọn mặc định hợp lý. RLHF có lợi thế khi cần học trên phân phối câu trả lời mà mô hình đang sinh ra, hoặc khi mô hình thưởng có giá trị riêng cho đánh giá và giám sát.

15.5Các phương pháp sau DPO#

Hướng nghiên cứu này còn phát triển nhanh, nên ở đây chỉ nêu các ý chính. IPO (Azar và cộng sự, 2024) xử lý một điểm yếu của DPO: khi dữ liệu so sánh gần như tất định, tức một câu trả lời luôn được chọn, DPO có xu hướng đẩy tỉ số xác suất ra vô cùng, giống hiện tượng trọng số của hồi quy logistic tăng không giới hạn trên dữ liệu tách được (Mục 6.5 của Nền tảng). IPO thay hàm mất mát để chặn hiện tượng này. KTO (Ethayarajh và cộng sự, 2024) chỉ cần nhãn "tốt" hoặc "không tốt" cho từng câu trả lời riêng lẻ, không cần cặp so sánh, nên dữ liệu rẻ hơn khi thu thập. Một hướng khác thay người gán nhãn bằng chính một mô hình ngôn ngữ: phản hồi từ AI (RLAIF; Bai và cộng sự, 2022b) dùng một mô hình, theo một bộ nguyên tắc viết sẵn, để tạo dữ liệu so sánh.

Các phương pháp này giữ cùng khung, cực đại phần thưởng có ràng buộc KL, và thay đổi cách lấy tín hiệu hoặc cách hạn chế độ lệch. Nắm được khung ở Mục 14.4 thì đọc một phương pháp mới chủ yếu là xem nó thay đổi thành phần nào.

15.6Tóm tắt#

Nghiệm dạng đóng của RLHF cho phép viết phần thưởng qua chính sách, $r = \beta\log(\pi/\pi_{\text{ref}}) + \beta\log Z(x)$. Mô hình Bradley–Terry chỉ dùng hiệu phần thưởng của hai câu trả lời cho cùng một câu hỏi, nên $\log Z(x)$ triệt tiêu, và hàm mất mát DPO tính trực tiếp được từ dữ liệu so sánh. Trên không gian 8 câu trả lời, chính sách DPO trùng chính sách RLHF hai bước tới $4{,}2 \times 10^{-8}$. DPO đơn giản và ổn định hơn, chỉ cần 2 mô hình trong bộ nhớ; RLHF giữ lợi thế khi cần học trên câu trả lời do chính sách hiện tại sinh ra và khi cần một mô hình thưởng dùng lại được. Các phương pháp ra đời sau như IPO, KTO và RLAIF giữ cùng khung cực đại phần thưởng có ràng buộc KL.

Với chương này, giáo trình đã đi hết con đường đặt ra ở Chương 1: biểu diễn dữ liệu bằng vector, tiền huấn luyện và tái sử dụng mô hình, sinh nội dung mới, và căn chỉnh hành vi theo mong muốn của con người. Cách đưa một mô hình đã căn chỉnh vào sản phẩm, với prompt, truy xuất tài liệu và đánh giá, là nội dung của giáo trình Ứng dụng LLM.