17Câu hỏi phỏng vấn#

17.1Cách trình bày câu trả lời#

Các câu hỏi về biểu diễn, mô hình sinh và căn chỉnh thường có dạng "X hoạt động thế nào" hoặc "vì sao dùng X thay cho Y". Câu trả lời tốt đi theo ba bước như ở các giáo trình trước: vấn đề X giải quyết, cơ chế (tốt nhất bằng một công thức ngắn hoặc một con số), và giới hạn của X. Với nhóm chủ đề này, nêu được mối liên hệ giữa các phương pháp thường làm câu trả lời nổi bật, ví dụ word2vec là phân rã ma trận PMI, hay DPO và RLHF có cùng nghiệm tối ưu.

17.2Biểu diễn#

Câu hỏi: Word2Vec hoạt động thế nào?

Trả lời

Word2Vec dựa trên giả thuyết phân bố: các từ xuất hiện trong ngữ cảnh giống nhau có nghĩa giống nhau. Skip-gram học hai vector cho mỗi từ sao cho tích vô hướng giữa từ trung tâm và từ ngữ cảnh lớn với các cặp thật, nhỏ với các cặp ghép ngẫu nhiên. Levy và Goldberg (2014) chứng minh rằng ở điểm tối ưu, tích vô hướng bằng PMI dịch đi $\log k$, nên word2vec thực chất phân rã ma trận PMI mà không lập ma trận đó. Ở Mục 2.6, với hạng đầy đủ, tích vô hướng học được có tương quan 0,9995 với PMI.

Câu hỏi: Vì sao cần lấy mẫu âm?

Trả lời

Softmax đầy đủ có mẫu số là tổng trên toàn bộ từ vựng, tính lại cho mỗi cặp huấn luyện. Lấy mẫu âm thay bài toán chọn 1 trong $V$ từ bằng $k + 1$ bài toán phân loại nhị phân, nên chi phí không phụ thuộc $V$. Với từ vựng 2 triệu từ và vector 300 chiều, softmax đầy đủ tốn khoảng 1,2 tỉ phép tính mỗi cặp, lấy mẫu âm với $k = 5$ tốn 3 600. Số mũ 3/4 trong phân phối lấy mẫu là lựa chọn thực nghiệm.

Câu hỏi: Vì sao cosine giữa hai embedding bất kỳ thường rất cao?

Trả lời

Do tính bất đẳng hướng: đám mây embedding lệch khỏi gốc toạ độ, nên mọi vector có chung một thành phần lớn. Ở Mục 3.2, 900 vector ngẫu nhiên độc lập cộng một vector hằng có cosine trung bình 0,87, dù không có quan hệ gì với nhau. Trừ vector trung bình đưa con số này về khoảng 0. Cách sửa triệt để là huấn luyện embedding với mục tiêu tương phản.

Câu hỏi: Chiều thứ 37 của một embedding mang nghĩa gì?

Trả lời

Thường không mang nghĩa riêng. Nếu $EE^\top \approx M$ thì $(EQ)(EQ)^\top = EE^\top$ với mọi ma trận trực giao $Q$: xoay toàn bộ không gian không thay đổi mọi tích vô hướng, nên hệ trục toạ độ là tuỳ ý. Thứ có nghĩa là quan hệ giữa các vector. Các chiều chỉ diễn giải được khi huấn luyện có thêm ràng buộc, như bộ tự mã hoá thưa.

Câu hỏi: Vì sao không dùng trực tiếp trạng thái ẩn của BERT làm embedding câu?

Trả lời

Vì mô hình được huấn luyện để đoán token bị che, không được huấn luyện để các câu cùng nghĩa có biểu diễn gần nhau. Reimers và Gurevych (2019) cho thấy trung bình các vector đầu ra của BERT kém cả trung bình vector GloVe trên các bộ đánh giá độ tương đồng câu. Cần huấn luyện thêm với mục tiêu tương phản trên các cặp câu liên quan, dùng các câu khác trong lô làm mẫu âm.

17.3Học chuyển giao#

Câu hỏi: Vì sao dự đoán token tiếp theo dạy được nhiều kỹ năng?

Trả lời

Để dự đoán đúng trong mọi ngữ cảnh, mô hình buộc phải nắm sự kiện về thế giới, quan hệ ngữ pháp, phép tính đơn giản và cấu trúc mã nguồn. Không kỹ năng nào được dạy riêng; chúng là hệ quả của việc giảm mất mát trên một kho văn bản đủ lớn và đa dạng. Nhiệm vụ dự đoán token là một nhiệm vụ đại diện rất rộng, và nhãn tự sinh ra từ dữ liệu.

Câu hỏi: Nên đóng băng hay tinh chỉnh toàn phần?

Trả lời

Tuỳ lượng dữ liệu có nhãn và mức phù hợp của đặc trưng tiền huấn luyện. Ở thí nghiệm Mục 6.3, với 20 và 50 mẫu, ba cách không phân biệt được; từ 150 mẫu trở lên, tinh chỉnh toàn phần vượt đóng băng, khoảng cách tăng tới 0,17 ở 8 000 mẫu (0,818 so với 0,645). Cột đóng băng gần như không tăng từ 500 mẫu: đặc trưng cố định đặt một giới hạn trên, và khi thấy dấu hiệu đó thì thêm dữ liệu không giúp, cần cho phép cập nhật các lớp dưới.

Câu hỏi: LoRA hoạt động thế nào và tiết kiệm được gì?

Trả lời

LoRA đóng băng $W_0$ và học phần cộng thêm $\Delta W = BA$, với $B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times d}$, $r \ll d$, dựa trên giả định phần cần thay đổi có hạng thấp. $B$ khởi tạo bằng 0 để mô hình bắt đầu đúng bằng mô hình gốc. Với Llama 2 7B, LoRA $r = 8$ trên $W_Q$ và $W_V$ có 4 194 304 tham số, trạng thái Adam 32 MiB so với 48,2 GiB khi tinh chỉnh toàn phần. LoRA tiết kiệm bộ nhớ khi huấn luyện và dung lượng lưu trữ; khi suy luận, $BA$ được cộng vào $W_0$ nên tốc độ không đổi.

Câu hỏi: LoRA có làm mô hình chạy nhanh hơn không?

Trả lời

Không. Khi suy luận, $BA$ được cộng vào $W_0$ một lần, nên mô hình chạy đúng bằng tốc độ mô hình gốc. Nếu không gộp, để đổi adapter theo từng yêu cầu, thì chậm hơn một chút.

17.4Mô hình sinh#

Câu hỏi: VAE, GAN và mô hình khuếch tán khác nhau thế nào?

Trả lời

Cả ba biến nhiễu Gauss thành mẫu, khác nhau ở cách huấn luyện: VAE cực đại một chặn dưới của log hợp lý; GAN là trò chơi giữa bộ sinh và bộ phân biệt; mô hình khuếch tán giải một bài hồi quy dự đoán nhiễu. Mô hình khuếch tán thay thế GAN trong phần lớn ứng dụng sinh ảnh vì đạt độ sắc nét tương đương mà huấn luyện ổn định; đổi lại phải lấy mẫu nhiều bước.

Câu hỏi: Vì sao mẫu của VAE thường mờ?

Trả lời

Với bộ giải mã Gauss, số hạng tái dựng là bình phương sai số, và hàm cực tiểu hoá bình phương sai số là kỳ vọng có điều kiện $\mathbb{E}[x \mid z]$. Nếu nhiều ảnh thật ứng với cùng một $z$, trung bình của chúng nhoè ở các đường viền. Độ mờ là hệ quả của hàm mất mát, không chủ yếu do mô hình thiếu dung lượng.

Câu hỏi: Hệ số $\beta$ trong VAE điều khiển điều gì?

Trả lời

Ngoài việc cân bằng tái dựng và KL, nó quyết định số chiều ẩn còn mang thông tin. Ở Mục 9.3, dữ liệu sinh từ đúng 2 yếu tố, VAE được cho 6 chiều ẩn: với $\beta = 0$ cả 6 chiều đều dùng; với $\beta = 1$ đúng 2 chiều mang thông tin; với $\beta = 16$ không chiều nào, tức sụp hậu nghiệm, và sai số tái dựng tăng lên 15,28.

Câu hỏi: Vì sao bài báo GAN gốc đổi hàm mất mát của bộ sinh?

Trả lời

Với $D = \sigma(s)$, đạo hàm của $\log(1 - \sigma(s))$ theo $s$ là $-\sigma(s)$. Lúc đầu bộ sinh kém, $\sigma(s) \approx 0$ với mẫu giả, nên gradient gần 0 và bộ sinh không học được. Cực đại $\log\sigma(s)$ cho đạo hàm $1 - \sigma(s)$, lớn nhất khi bộ sinh kém nhất. Ở Mục 10.2, dạng gốc phủ 0 trong 8 cụm ở cả bốn lần khởi tạo, dạng không bão hoà phủ đủ 8 cụm.

Câu hỏi: Vì sao mô hình khuếch tán dễ huấn luyện hơn GAN?

Trả lời

Vì hàm mất mát là bình phương sai số giữa nhiễu thật và nhiễu dự đoán, một bài hồi quy: mất mát giảm nghĩa là mô hình tốt lên, không có trò chơi giữa hai mạng. Dạng đóng $q(x_t \mid x_0) = \mathcal{N}(\sqrt{\bar\alpha_t}x_0, (1 - \bar\alpha_t)I)$ cho phép lấy $x_t$ ở bước bất kỳ trong một phép tính, nên mỗi bước huấn luyện chỉ cần một bước ngẫu nhiên $t$.

17.5Căn chỉnh#

Câu hỏi: Vì sao cần RLHF khi đã có tinh chỉnh có giám sát?

Trả lời

Tinh chỉnh có giám sát là học bắt chước, nên mô hình chỉ tốt bằng các câu trả lời mẫu. RLHF học từ so sánh, và đánh giá câu trả lời nào tốt hơn dễ hơn tự viết câu trả lời tốt nhất, nên tín hiệu so sánh cho phép vượt chất lượng của câu trả lời mẫu. So sánh cũng nhất quán giữa những người gán nhãn hơn chấm điểm tuyệt đối.

Câu hỏi: Nghiệm của bài toán RLHF có ràng buộc KL là gì?

Trả lời

$\pi^*(y \mid x) = \pi_{\text{ref}}(y \mid x)\exp(r(x, y)/\beta)/Z(x)$: chính sách tham chiếu đánh trọng số lại theo hàm mũ của phần thưởng, suy ra bằng nhân tử Lagrange. Nếu $\pi_{\text{ref}}(y) = 0$ thì $\pi^*(y) = 0$ bất kể phần thưởng. Ở Mục 14.4, nghiệm dạng đóng khớp với nghiệm tìm bằng BFGS tới $10^{-7}$.

Câu hỏi: Vì sao cần số hạng KL?

Trả lời

Để hạn chế lách phần thưởng. Mô hình thưởng là một xấp xỉ học từ dữ liệu hữu hạn; tối ưu quá mạnh theo nó là tối ưu theo điểm yếu của xấp xỉ, và mô hình có thể mất khả năng ngôn ngữ để đạt điểm cao. $\beta$ chọn một điểm trên đường đánh đổi giữa phần thưởng và độ lệch khỏi mô hình tham chiếu.

Câu hỏi: DPO hoạt động thế nào?

Trả lời

Nghiệm dạng đóng của RLHF đảo ngược được: $r = \beta\log(\pi/\pi_{\text{ref}}) + \beta\log Z(x)$. Thay vào mô hình Bradley–Terry, vốn chỉ dùng hiệu phần thưởng của hai câu trả lời cho cùng một câu hỏi, $\log Z(x)$ triệt tiêu. Kết quả là một hàm mất mát cross-entropy nhị phân tính trực tiếp từ dữ liệu so sánh, không cần mô hình thưởng hay học tăng cường. Ở Mục 15.3, chính sách DPO và chính sách RLHF hai bước khác nhau không quá $4{,}2 \times 10^{-8}$.

Câu hỏi: Nên dùng DPO hay RLHF?

Trả lời

Hai phương pháp tối ưu cùng một mục tiêu và có cùng nghiệm tối ưu. DPO đơn giản, cần 2 mô hình trong bộ nhớ thay vì 4, ổn định hơn, nên là lựa chọn mặc định hợp lý. RLHF có lợi thế khi cần học trên các câu trả lời mà chính sách hiện tại sinh ra, và mô hình thưởng của nó dùng lại được để đánh giá và giám sát.

Câu hỏi: $\varepsilon$-tham lam có phải cách khám phá duy nhất không?

Trả lời

Không. Khởi tạo lạc quan, tức khởi tạo hàm giá trị cao hơn giá trị thật, làm mọi hành động chưa thử trông hấp dẫn, nên chính sách tham lam tự khám phá. Ở Mục 12.4, với phạt $-0{,}1$ mỗi bước và $Q_0 = 0$, $\varepsilon = 0$ vẫn tới đích 100%; với khởi tạo bi quan $Q_0 = -20$, ngay cả $\varepsilon = 0{,}3$ cũng không đủ.

17.6Các câu trả lời chưa đạt#