Học sâu và các kiến trúc mô hình

0Ký hiệu và quy ước#

Giáo trình dùng lại ký hiệu và quy ước thuật ngữ của Nền tảng (Chương 0 của Nền tảng), và bổ sung các ký hiệu riêng cho mạng nơ-ron và Transformer.

0.1Bảng ký hiệu#

Giáo trình Nền tảng viết hàm mất mát là $L$, vì ở đó chưa có mạng nhiều lớp. Từ giáo trình này, chữ $L$ được dành cho số lớp, xuất hiện từ định nghĩa mạng nhiều lớp ở Chương 4 tới phép đếm tham số ở Chương 12, nên hàm mất mát viết là $\mathcal{L}$. Chữ $h$ chỉ vector ẩn khi nói về mạng nhiều lớp, mạng hồi quy và kết nối tắt (Chương 4 tới 8), và chỉ số đầu attention trong các chương về Transformer (Chương 9 tới 12).

0.2Quy ước thuật ngữ#

Giống Nền tảng, giáo trình dùng thuật ngữ theo cách phổ biến trong cộng đồng học máy tiếng Việt, có tham khảo bản dịch tiếng Việt các cheatsheet CS229 và CS230 của Đại học Stanford. Bảng dưới ghi các thuật ngữ mới xuất hiện trong giáo trình này.

Chữ bias có ba nghĩa trong giáo trình, và mỗi nghĩa có một tên riêng. Độ chệch là sai lệch có hệ thống của một ước lượng, như trong "ước lượng không chệch". Hệ số chặn là tham số cộng thêm $b$ trong $Wx + b$. Thiên kiến quy nạp là tập các giả định mà một thuật toán học dùng để chọn giữa các hàm cùng khớp dữ liệu (Mục 1.4).

0.3Quy ước về chiều#

Trong công thức, $x$ là vector cột và một lớp viết là $Wx + b$ với $W \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}$. Trong mã, dữ liệu xếp theo hàng nên cả lô viết là X @ W + b với W.shape == (d_in, d_out). Hai cách viết chỉ khác nhau một phép chuyển vị. Phần chữ dùng dấu phẩy thập phân (0,15); phần mã và kết quả in ra từ script giữ dấu chấm (0.15).

1Các họ mô hình#

Ở giáo trình Nền tảng, mỗi chương giới thiệu một mô hình: hồi quy tuyến tính, hồi quy logistic, SVM, k láng giềng gần nhất. Khi đứng trước một bài toán mới, câu hỏi thực tế lại khác: nên dùng mô hình nào? Câu trả lời hay nghe là "thử vài mô hình rồi chọn cái tốt nhất". Lời khuyên đó không sai, nhưng có thể đoán trước khá nhiều điều nếu biết mỗi họ mô hình giả định gì về hàm cần học. Chẳng hạn, cây tăng cường gradient vẫn thường thắng mạng nơ-ron trên dữ liệu dạng bảng, trong khi mạng tích chập và Transformer vượt xa mọi thứ khác trên ảnh và văn bản; cả hai sự kiện đều giải thích được bằng giả định của mô hình. Ta bắt đầu bằng việc dựng một khung để so sánh các họ mô hình theo cách đó.

1.1Các câu hỏi khi thiết kế một mô hình#

Mọi thuật toán học có giám sát đều phải trả lời cùng một nhóm câu hỏi, và mỗi thuật toán là một cách trả lời cụ thể. Câu hỏi đầu tiên là xét họ hàm nào: hàm tuyến tính của đặc trưng, hàm hằng trên từng vùng hình hộp, hay hợp của nhiều phép biến đổi. Đây chính là thành phần "mô hình" trong ba thành phần của một thuật toán học (Mục 1.1 của Nền tảng). Câu hỏi thứ hai là đo mức tốt của một hàm bằng gì, tức hàm mất mát, thành phần thứ hai trong ba thành phần đó; Domingos (2012) tóm gọn cả ba thành công thức học = biểu diễn + đánh giá + tối ưu. Câu hỏi thứ ba là số tham số được cố định trước hay tăng theo dữ liệu. Hồi quy tuyến tính có $d + 1$ tham số dù có bao nhiêu dữ liệu, còn cây quyết định có thể mọc thêm nút khi có thêm dữ liệu; những mô hình như cây được gọi là phi tham số (nonparametric). Tên gọi này dễ gây hiểu nhầm: chúng vẫn có tham số, chỉ là số tham số tăng theo dữ liệu, và một cây bị giới hạn độ sâu, như cây một lần chia ở Mục 1.4, lại là mô hình có tham số.

Câu hỏi thứ tư là tìm tham số bằng cách nào: bằng nghiệm dạng đóng như hồi quy tuyến tính, giải bài toán tối ưu lồi như hồi quy logistic và SVM, tìm kiếm tham lam như cây quyết định, hay chạy gradient descent trên một hàm không lồi như mạng nơ-ron. Câu hỏi cuối cùng là kiểm soát overfitting bằng cách nào: phạt chuẩn của trọng số, giới hạn độ sâu của cây, lấy trung bình nhiều mô hình, hay dừng sớm quá trình tối ưu.

Trả lời được năm câu hỏi này cho một mô hình là nắm được những đặc điểm quan trọng nhất của nó: nó biểu diễn được gì, cần bao nhiêu dữ liệu, huấn luyện tốn kém thế nào và dễ hỏng ở đâu. Hình 1 xếp bốn họ mô hình lớn theo mức độ giả định của chúng.

1.2So sánh các họ mô hình#

Bảng dưới trả lời các câu hỏi ở Mục 1.1 cho bốn họ mô hình, kèm trường hợp phù hợp và hạn chế của mỗi họ. Bảng không có dòng cho hàm mất mát, vì lựa chọn đó phụ thuộc vào bài toán, hồi quy hay phân loại, nhiều hơn vào họ mô hình.

Bảng này giải thích được một kết quả thực nghiệm mà người mới thường ngạc nhiên: trên dữ liệu dạng bảng, các mô hình dựa trên cây, nhất là gradient boosting, vẫn thường cho kết quả bằng hoặc tốt hơn mạng nơ-ron sâu, với chi phí thấp hơn nhiều. Grinsztajn, Oyallon và Varoquaux (2022) so sánh trên 45 bộ dữ liệu dạng bảng cỡ vừa, khoảng 10 nghìn mẫu huấn luyện mỗi bộ, sau khi tinh chỉnh kỹ siêu tham số cho mọi mô hình, và chỉ ra ba nguyên nhân. Dữ liệu bảng thường có nhiều đặc trưng không liên quan. Hàm cần học thường không trơn mà có những bước nhảy theo ngưỡng. Và mỗi cột có ý nghĩa riêng, nên một phép quay không gian đặc trưng làm mất thông tin. Cả ba đặc điểm này hợp với cách chia theo từng trục của cây, và không hợp với phép biến đổi affine của mạng nơ-ron. Kết luận đúng trong phạm vi đó chứ không phải một quy luật chung: McElfresh và cộng sự (2023) so sánh trên 176 bộ dữ liệu và thấy rằng trên nhiều bộ, chênh lệch giữa hai họ không đáng kể, còn tinh chỉnh nhẹ siêu tham số của gradient boosting quan trọng hơn việc chọn giữa mạng nơ-ron và cây.

1.3Các yếu tố quyết định kết quả#

Họ mô hình không phải yếu tố duy nhất, và thường cũng không phải yếu tố quan trọng nhất. Với cùng một bài toán, kinh nghiệm thực tế cho thấy thứ tự ảnh hưởng tới kết quả thường là

$$\begin{gathered} \text{dữ liệu và nhãn} \;>\; \text{đặc trưng} \;>\; \text{họ mô hình} \\ \;>\; \text{siêu tham số} \;>\; \text{chi tiết kiến trúc}. \end{gathered}$$

Đây là quy tắc kinh nghiệm, không phải định lý, và có ngoại lệ: với ảnh và văn bản, chọn đúng họ mô hình như mạng tích chập hay Transformer quan trọng hơn nhiều so với tự thiết kế đặc trưng. Nhưng quy tắc này nhắc một điều hay bị quên: nhãn sai, hoặc dữ liệu không đại diện cho tình huống sử dụng thật, là những lỗi mà không mô hình nào sửa được. Giáo trình này tập trung vào ba mức sau; hai mức đầu được bàn trong MLOps.

Với một dự án cụ thể, không cần dựa vào thứ tự chung này, vì có thể đo được thành phần nào đáng cải thiện nhất. Andrew Ng thường dạy hai phép đo cho việc đó trong phần hướng dẫn áp dụng học máy của khoá CS229. Phân tích lỗi (error analysis) lần lượt thay đầu ra của từng bước trong hệ thống bằng kết quả đúng, rồi xem độ chính xác cuối cùng tăng bao nhiêu. Chẳng hạn một hệ thống đọc hoá đơn gồm ba bước, tìm vùng chữ, nhận dạng chữ và trích các trường thông tin, đạt độ chính xác 85%. Thay bước tìm vùng chữ bằng vùng đúng chỉ đưa con số lên 86%, còn thay thêm bước nhận dạng chữ bằng chữ đúng đưa lên 97%, nên bước nhận dạng chữ là chỗ đáng đầu tư trước. Phân tích loại bỏ (ablation) đi theo chiều ngược lại: bỏ lần lượt từng thành phần khỏi hệ thống hoàn chỉnh rồi đo mức giảm, để biết thành phần nào thật sự đóng góp.

1.4Thiên kiến quy nạp#

Một tập dữ liệu hữu hạn luôn khớp được với vô số hàm khác nhau. Qua 10 điểm dữ liệu có vô số đường cong đi qua chính xác mọi điểm, và chúng dự đoán rất khác nhau ở những điểm chưa thấy. Muốn dự đoán được, thuật toán học phải ưu tiên một số hàm hơn các hàm khác, bằng những giả định không đến từ dữ liệu.

Định nghĩa 1.1 (Thiên kiến quy nạp)

Thiên kiến quy nạp (inductive bias) của một thuật toán học là tập các giả định nó dùng để chọn giữa các hàm cùng khớp dữ liệu huấn luyện, và do đó quyết định cách nó dự đoán cho các điểm chưa thấy.

Mỗi họ mô hình có một thiên kiến quy nạp riêng. Hồi quy tuyến tính giả định quan hệ tuyến tính. Regularization $\ell_2$ ưu tiên trọng số nhỏ (Mục 9.2 của Nền tảng). k láng giềng gần nhất giả định các điểm gần nhau có nhãn giống nhau. Mạng tích chập giả định đặc trưng có tính cục bộ và giống nhau ở mọi vị trí trong ảnh (Mục 7.1). Transformer giả định rất ít, và vì thế cần rất nhiều dữ liệu.

Bốn căn hộ ở Chương 4 của Nền tảng, rộng 40, 60, 80, 100 m² với giá 1,5; 2,1; 2,4; 3,0 tỉ đồng, cho thấy thiên kiến quy nạp quyết định dự đoán ra sao. Ba mô hình học từ cùng bốn điểm này. Hồi quy tuyến tính cho đường $0{,}57 + 0{,}024x$. Cây quyết định một lần chia cắt ở 70 m², dự đoán 1,8 tỉ cho mọi căn nhỏ hơn và 2,7 tỉ cho mọi căn lớn hơn. Còn 1 láng giềng gần nhất lấy giá của căn gần nhất. Với căn 120 m², ba mô hình dự đoán lần lượt 3,45; 2,7 và 3,0 tỉ. Cả ba đều khớp bốn căn hộ ở mức chấp nhận được, nhưng khác nhau ở giả định: hồi quy tuyến tính giả định giá tăng đều theo diện tích nên ngoại suy theo đường thẳng, cây giả định giá là hằng số trên từng khoảng nên mọi dự đoán của nó nằm trong khoảng giá đã thấy, còn 1 láng giềng gần nhất giả định một căn hộ đáng giá như căn giống nó nhất đã thấy. Dữ liệu không cho biết giả định nào đúng.

Không có thiên kiến quy nạp nào tốt nhất cho mọi bài toán. Định lý "không có bữa trưa miễn phí" (no free lunch; Wolpert, 1996) phát biểu chặt chẽ điều này: lấy trung bình trên mọi bài toán có thể, mọi thuật toán học có cùng sai số trên các điểm ngoài tập huấn luyện. Một thuật toán chỉ tốt hơn thuật toán khác trên những bài toán mà giả định của nó phù hợp. Vì vậy câu hỏi "mô hình nào tốt nhất" không có câu trả lời chung; câu hỏi đúng là giả định của mô hình nào khớp với cấu trúc của dữ liệu đang có.

Lượng dữ liệu cũng quyết định giả định nào có lợi. Domingos (2012) dẫn một thí nghiệm trong đó dữ liệu được sinh từ một tập luật, vậy mà Naive Bayes, với giả định độc lập vốn sai với dữ liệu đó, vẫn thắng một thuật toán học luật cho tới khoảng 1 000 mẫu: khi dữ liệu còn ít, một giả định mạnh mà sai có thể tốt hơn một giả định yếu mà đúng. Andrew Ng minh hoạ chiều còn lại bằng đồ thị hiệu năng theo lượng dữ liệu có nhãn trong khoá Deep Learning Specialization. Các mô hình như hồi quy logistic chững lại khi dữ liệu tăng, còn mạng nơ-ron càng lớn càng tiếp tục cải thiện. Ở vùng ít dữ liệu, thứ tự giữa các thuật toán không rõ ràng, và cách thiết kế đặc trưng quyết định nhiều hơn.

1.5Tóm tắt#

Mỗi họ mô hình là một cách trả lời năm câu hỏi: xét họ hàm nào, đo mức tốt bằng hàm mất mát nào, số tham số cố định hay tăng theo dữ liệu, tìm tham số bằng cách nào, và kiểm soát overfitting ra sao. Các câu trả lời đó quy về thiên kiến quy nạp của mô hình, tức những giả định nó dùng để chọn giữa các hàm cùng khớp dữ liệu; từ cùng bốn căn hộ, hồi quy tuyến tính, cây một lần chia và 1 láng giềng gần nhất định giá căn 120 m² là 3,45; 2,7 và 3,0 tỉ. Không có thiên kiến nào tốt nhất cho mọi bài toán: cây hợp với dữ liệu bảng vì nó chia theo từng trục, còn mạng tích chập và Transformer hợp với ảnh và văn bản vì giả định của chúng khớp với cấu trúc của các loại dữ liệu đó. Khi dữ liệu ít, giả định mạnh có lợi kể cả khi nó sai; khi dữ liệu nhiều, mô hình ít giả định như mạng nơ-ron lớn tiếp tục cải thiện. Dù vậy, dữ liệu và nhãn thường ảnh hưởng tới kết quả nhiều hơn việc chọn mô hình, và trong một dự án cụ thể, phân tích lỗi cho biết thành phần nào đáng cải thiện nhất.

Giả định càng mạnh thì họ hàm càng hẹp. Nếu giả định đúng, mô hình học được từ ít dữ liệu; nếu sai, nó mắc một sai số có hệ thống mà thêm dữ liệu cũng không sửa được. Chương 2 đặt tên cho loại sai số này và loại sai số đối lập với nó, rồi đo cả hai.

2Độ chệch và phương sai#

Mục 3.6 của Nền tảng đã tách sai số của một ước lượng thành độ chệch và phương sai. Ở đây ta áp dụng cùng phép tách cho dự đoán của cả một mô hình học máy, rồi đo từng thành phần bằng mô phỏng. Phép tách này có giá trị thực tế rất rõ: biết sai số chủ yếu đến từ độ chệch hay từ phương sai thì biết nên đổi mô hình hay nên thu thêm dữ liệu, hai hướng đi tốn kém theo những cách rất khác nhau.

2.1Vai trò của phân rã độ chệch – phương sai#

Nhiều quyết định trong các chương sau thực chất là điều chỉnh độ linh hoạt của mô hình: thêm hay bớt lớp, regularization mạnh hay nhẹ, cây sâu hay nông, lấy trung bình bao nhiêu mô hình. Mỗi quyết định như vậy làm hai loại sai số thay đổi theo hai chiều ngược nhau. Phân rã độ chệch – phương sai cho biết chính xác hai loại sai số đó là gì, và vì sao tổng của chúng thường nhỏ nhất ở một mức linh hoạt vừa phải.

2.2Phân rã sai số dự đoán#

Giả sử dữ liệu sinh từ mô hình $y = f(x) + \varepsilon$, trong đó $f$ là hàm thật, $\varepsilon$ là nhiễu có $\mathbb{E}[\varepsilon] = 0$, $\operatorname{Var}(\varepsilon) = \sigma^2$ và độc lập với $x$. Một thuật toán học nhận tập huấn luyện $\mathcal{D}$ và trả về hàm dự đoán $\hat f_{\mathcal{D}}$. Vì $\mathcal{D}$ là ngẫu nhiên, giá trị dự đoán $\hat f_{\mathcal{D}}(x_0)$ tại một điểm cố định $x_0$ cũng là một biến ngẫu nhiên.

Trước khi phát biểu định lý, hai loại sai số nói ở Mục 2.1 có thể thấy ngay trên bốn căn hộ ở Mục 1.4. Bài giảng CS229 cũng đi theo thứ tự đó: độ chệch được hiểu trước hết là sai số vẫn còn kể cả khi có vô hạn dữ liệu, phương sai là mức mô hình thay đổi giữa các tập huấn luyện, và phép phân rã chặt chẽ đến sau. Giả sử giá thật là ${f(x) = 0{,}57 + 0{,}024x}$ cộng nhiễu có phương sai $\sigma^2$ ở mỗi căn, và ta dự đoán giá căn 120 m², nơi $f(120) = 3{,}45$. Ba mô hình dưới đây đều cho dự đoán là một tổ hợp tuyến tính $\sum_i c_i y_i$ của bốn mức giá quan sát được, với các hệ số $c_i$ chỉ phụ thuộc vào diện tích. Nhiễu ở bốn căn độc lập, nên phương sai của dự đoán là $\sigma^2\sum_i c_i^2$.

Mô hình hằng số có phương sai nhỏ nhất nhưng kỳ vọng của nó là ${f(70) = 2{,}25}$, lệch 1,2 tỉ so với giá thật 3,45 tỉ. Đường thẳng và đa thức bậc ba đều không chệch, vì hàm thật là một đường thẳng, nhưng phương sai của đa thức gấp 46 lần đường thẳng: hệ số $-6$ của căn 80 m² nghĩa là nhiễu ở căn đó bị khuếch đại sáu lần khi ngoại suy ra 120 m². Với $\sigma^2 = 0{,}009$, ước lượng ở Mục 10.2 của Nền tảng, phần sai số ngoài nhiễu là 1,442 cho mô hình hằng số, 0,0135 cho đường thẳng và 0,621 cho đa thức bậc ba.

Con số $69\,\sigma^2$ cần được đọc đúng. Tại chính bốn diện tích đã thấy, phương sai trung bình của ba mô hình chỉ là $0{,}25\,\sigma^2$, $0{,}5\,\sigma^2$ và $1{,}0\,\sigma^2$, bằng số tham số chia cho số điểm (Hastie, Tibshirani và Friedman, 2009). Phương sai của đa thức bậc ba lên tới $69\,\sigma^2$ chủ yếu vì 120 m² nằm ngoài khoảng dữ liệu, nơi nó phải ngoại suy: độ linh hoạt khuếch đại nhiễu mạnh nhất ở những chỗ dữ liệu không ràng buộc được mô hình. Định lý sau cho thấy độ chệch bình phương, phương sai và nhiễu cộng lại đúng bằng sai số kỳ vọng tại một điểm.

Định lý 2.1 (Phân rã độ chệch – phương sai)

Tại một điểm $x_0$, với $y_0 = f(x_0) + \varepsilon_0$ là một quan sát mới độc lập với tập huấn luyện, sai số bình phương kỳ vọng tách thành ba phần:

$$\begin{aligned} \mathbb{E}\big[(y_0 - \hat f_{\mathcal{D}}(x_0))^2\big] &= \underbrace{\big(\mathbb{E}[\hat f_{\mathcal{D}}(x_0)] - f(x_0)\big)^2}_{\text{độ chệch}^2} \\ &\quad + \underbrace{\operatorname{Var}\big(\hat f_{\mathcal{D}}(x_0)\big)}_{\text{phương sai}} + \underbrace{\sigma^2}_{\text{nhiễu}}, \end{aligned}$$

trong đó kỳ vọng và phương sai lấy theo phân phối của tập huấn luyện $\mathcal{D}$ và của nhiễu $\varepsilon_0$.

Chứng minh

Viết gọn $\hat f = \hat f_{\mathcal{D}}(x_0)$, $f = f(x_0)$ và $m = \mathbb{E}[\hat f]$. Ta có $y_0 - \hat f = (f - \hat f) + \varepsilon_0$. Bình phương và lấy kỳ vọng: số hạng chéo $2\,\mathbb{E}[(f - \hat f)\varepsilon_0]$ bằng 0 vì $\varepsilon_0$ độc lập với $\hat f$ và có kỳ vọng 0, còn $\mathbb{E}[\varepsilon_0^2] = \sigma^2$. Phần còn lại $\mathbb{E}[(f - \hat f)^2]$ được tách giống Định lý 3.2 của Nền tảng: viết $f - \hat f = (f - m) + (m - \hat f)$, số hạng chéo $2(f - m)\,\mathbb{E}[m - \hat f]$ bằng 0, còn lại $(f - m)^2 + \operatorname{Var}(\hat f)$.

Ba thành phần có ý nghĩa khác nhau. Độ chệch đo sai lệch có hệ thống: lấy trung bình trên rất nhiều tập huấn luyện, mô hình vẫn dự đoán lệch khỏi giá trị thật, vì họ hàm quá hẹp so với hàm thật. Độ chệch cao ứng với underfitting. Phương sai đo mức dao động: đổi tập huấn luyện thì dự đoán thay đổi nhiều, vì mô hình đủ linh hoạt để khớp cả phần nhiễu riêng của từng tập. Phương sai cao ứng với overfitting. Còn nhiễu $\sigma^2$ không phụ thuộc vào mô hình; nó là cận dưới của sai số mà không mô hình nào vượt qua được.

Lưu ý

Độ chệch và phương sai được định nghĩa qua kỳ vọng trên các tập huấn luyện có thể rút ra, tại một điểm $x_0$ cố định. Chúng không đo mức dao động của dự đoán giữa các điểm dữ liệu khác nhau. Một mô hình có dự đoán thay đổi mạnh theo $x$ vẫn có thể có phương sai thấp, nếu huấn luyện trên tập dữ liệu khác thì nó cho gần như cùng một hàm.

Lưu ý

Phân rã trên chỉ đúng với mất mát bình phương. Với mất mát 0–1 của bài toán phân loại, chưa có một phân rã được chấp nhận chung, và trực giác từ hồi quy có thể sai. Nếu xác suất thật của lớp dương tại một điểm là 0,9 mà mô hình luôn ước lượng 0,6, độ chệch bình phương của ước lượng xác suất là 0,09, nhưng mô hình vẫn chọn đúng lớp dương, nên sai số 0–1 không tăng chút nào so với một mô hình biết xác suất thật (Hastie, Tibshirani và Friedman, 2009).

Ba mô hình này là một trường hợp của quy luật chung. Khi tăng độ linh hoạt của mô hình, độ chệch thường giảm vì họ hàm rộng hơn, còn phương sai thường tăng vì có nhiều cách hơn để khớp theo nhiễu. Tổng của chúng vì vậy thường có dạng chữ U theo độ linh hoạt. Chữ "thường" ở đây là cần thiết: định lý chỉ khẳng định phép tách, không khẳng định hai thành phần thay đổi đơn điệu, và Mục 2.3 sẽ cho thấy những trường hợp ngoại lệ. Chữ "đánh đổi" cũng không có nghĩa là giảm thành phần này buộc phải tăng thành phần kia: độ chệch và phương sai có thể cùng cao, và với mạng nơ-ron, tăng kích thước mạng đi kèm regularization thích hợp thường giảm được độ chệch mà không làm tăng phương sai, điều Andrew Ng nhấn mạnh trong khoá Deep Learning Specialization.

2.3Đo độ chệch và phương sai bằng mô phỏng#

Với dữ liệu mô phỏng, hàm thật $f$ đã biết, nên có thể đo trực tiếp cả ba thành phần: sinh nhiều tập huấn luyện độc lập, huấn luyện một mô hình trên mỗi tập, rồi tính trung bình và phương sai của các dự đoán tại từng điểm.

Thí nghiệm trong code/models/experiments.py dùng hàm thật $f(x) = \sin(2{,}2x) + 0{,}35x$ trên đoạn $[-3, 3]$ và nhiễu Gauss có độ lệch chuẩn $\sigma = 0{,}35$, tức $\sigma^2 = 0{,}1225$. Mỗi tập huấn luyện gồm 40 điểm có $x$ rút đều trên đoạn. Với mỗi bậc đa thức từ 1 tới 14, thí nghiệm khớp đa thức trên 250 tập huấn luyện độc lập, rồi tính độ chệch² và phương sai tại 200 điểm cách đều và lấy trung bình theo các điểm.

Ta đọc bảng từ trên xuống. Ở bậc thấp, sai số đến từ độ chệch: với bậc 1, độ chệch² bằng 0,4221, chiếm 74% tổng sai số. Một đường thẳng không thể theo được hình sin dù có bao nhiêu dữ liệu, nên thu thêm dữ liệu không giúp gì; phải dùng họ hàm linh hoạt hơn.

Bảng còn cho thấy một chi tiết bất ngờ: tăng lên bậc chẵn gần như không làm giảm độ chệch. Độ chệch² ở bậc 2 bằng bậc 1 (0,4223 so với 0,4221), ở bậc 4 xấp xỉ bậc 3 (0,4191 so với 0,4098). Lý do là hàm thật là hàm lẻ, $f(-x) = -f(x)$, còn dữ liệu rải đối xứng quanh 0, nên các số hạng bậc chẵn không giúp xấp xỉ $f$ tốt hơn; chúng chỉ thêm tham số để khớp nhiễu, nên phương sai tăng. Đây là một ví dụ cụ thể cho điều Mục 2.2 đã lưu ý: độ chệch không nhất thiết giảm đều khi mô hình phức tạp hơn, mà chỉ giảm khi họ hàm mở rộng theo hướng có ích cho việc xấp xỉ hàm thật.

Tổng sai số nhỏ nhất ở bậc 5, nơi độ chệch² 0,0836 và phương sai 0,0767 gần bằng nhau. Tổng 0,2828 vẫn cao hơn mức nhiễu 0,1225, và phần chênh này là sai số không tránh được khi chỉ có 40 điểm dữ liệu.

Từ bậc 7 trở đi, sai số đến từ phương sai. Ở bậc 12, phương sai bằng 52,2, gấp khoảng 1 900 lần độ chệch². Đa thức bậc cao dao động rất mạnh ở hai đầu đoạn, nơi có ít điểm dữ liệu, và mỗi tập huấn luyện cho một kiểu dao động khác nhau. Khác với độ chệch, phương sai giảm khi có thêm dữ liệu, nên với mô hình này thu thêm dữ liệu là cách sửa đúng.

Dòng cuối của bảng cần đọc thận trọng. Độ chệch² đo được ở bậc 13 (dòng này không có trong bảng) và bậc 14 tăng vọt lên 6,2 và 35,1, nhưng đó không phải độ chệch thật. Trung bình của 250 dự đoán có sai số ngẫu nhiên, và bình phương của sai số đó cộng thêm vào độ chệch² ước lượng một lượng cỡ $\text{phương sai}/250$, bằng khoảng 3,5 ở bậc 13 và 29,6 ở bậc 14. Khi phương sai lớn tới mức này, cần nhiều tập huấn luyện hơn hẳn mới ước lượng được độ chệch; kết luận chắc chắn duy nhất là phương sai chi phối.

Giá trị thực tế của phép phân rã nằm ở chỗ nó phân biệt hai tình huống cần xử lý ngược nhau. Độ chệch cao cần mô hình linh hoạt hơn, thêm đặc trưng hoặc giảm regularization, và thu thêm dữ liệu gần như vô ích. Phương sai cao thì cần thêm dữ liệu, tăng regularization hoặc dùng mô hình đơn giản hơn. Chẩn đoán sai có thể dẫn tới việc tốn nhiều tuần thu thập dữ liệu cho một mô hình mà dữ liệu không cứu được.

2.4Chẩn đoán bằng đường cong học#

Với dữ liệu thật, hàm $f$ không biết trước và không thể rút lại hàng trăm tập huấn luyện, nên không đo trực tiếp được độ chệch và phương sai. Công cụ thay thế là đường cong học (learning curve): đồ thị sai số trên tập huấn luyện và sai số trên tập xác thực theo số điểm dữ liệu huấn luyện, hoặc theo số vòng huấn luyện. Bảng dưới tóm tắt cách đọc các dấu hiệu thường gặp.

Dòng cuối cần chú ý vì nó trông như tin tốt. Tình huống vô hại duy nhất là khi dropout hoặc tăng cường dữ liệu chỉ bật lúc huấn luyện, vì khi đó sai số huấn luyện được đo trên một bài toán khó hơn bài toán lúc xác thực. Trong các trường hợp còn lại, nguyên nhân thường là rò rỉ dữ liệu (Mục 8.5 của Nền tảng), chẳng hạn tập xác thực chứa bản sao gần giống của dữ liệu huấn luyện.

Hai đường cong theo số điểm dữ liệu còn trả lời một câu hỏi có giá trị kinh tế: thu thêm dữ liệu có đáng không. Nếu đường sai số xác thực đã nằm ngang và sát đường sai số huấn luyện, thêm dữ liệu không giúp gì; nếu nó vẫn đang giảm và còn cách xa đường huấn luyện, thêm dữ liệu nhiều khả năng giúp được.

Andrew Ng dạy cách chẩn đoán này bằng những cặp số cụ thể, và cách dạy đó dễ nhớ hơn một bảng quy tắc. Sai số huấn luyện 2% và sai số xác thực 12%: khoảng cách lớn, nên phương sai cao. Sai số 14% và 15%: cả hai cùng cao và sát nhau, nên độ chệch cao. Sai số 14% và 28%: cả hai vấn đề cùng lúc. Sai số 1% và 1,5%: không có vấn đề gì đáng kể. Cách đọc này ngầm giả định rằng sai số nhỏ nhất có thể đạt được, gọi là sai số Bayes, gần bằng 0. Nếu ảnh mờ tới mức người giỏi nhất cũng sai 13%, thì cặp 14% và 15% lại là một mô hình tốt.

Từ đó Ng tách sai số theo một mức tham chiếu, thường là sai số của người giỏi nhất, dùng làm ước lượng cho sai số Bayes. Khoảng cách từ mức tham chiếu tới sai số huấn luyện là độ chệch tránh được (avoidable bias), còn khoảng cách từ sai số huấn luyện tới sai số xác thực là phương sai. Với sai số huấn luyện 6% và sai số xác thực 9%, nếu người làm được 1% thì độ chệch tránh được là 5 điểm, lớn hơn phương sai 3 điểm, nên cần một mô hình mạnh hơn trước; nếu người cũng sai 5% thì độ chệch tránh được chỉ còn 1 điểm, và phần đáng giảm là phương sai.

Khi dữ liệu huấn luyện và dữ liệu dùng thật đến từ hai phân phối khác nhau, chẳng hạn huấn luyện trên ảnh sản phẩm lấy từ web mà dùng cho ảnh chụp bằng điện thoại, khoảng cách giữa sai số huấn luyện và sai số xác thực lẫn hai thứ: phương sai và độ lệch giữa hai phân phối. Ng tách chúng bằng một tập huấn luyện–xác thực (train-dev), rút từ cùng phân phối với tập huấn luyện nhưng không dùng để huấn luyện. Với sai số huấn luyện 2%, huấn luyện–xác thực 8% và xác thực 9%, khoảng cách đã xuất hiện ngay trên dữ liệu cùng phân phối, nên đó là phương sai. Với 2%, 2,5% và 9%, mô hình tổng quát tốt trên phân phối cũ nhưng hỏng khi đổi phân phối; vấn đề là độ lệch dữ liệu, và thêm dữ liệu cùng loại cũ không giúp được (Chương 9 của MLOps).

Thứ tự xử lý mà Ng khuyên là giải quyết độ chệch trước, nhìn vào sai số huấn luyện: dùng mạng lớn hơn, huấn luyện lâu hơn hoặc đổi kiến trúc. Khi sai số huấn luyện đã chấp nhận được mới xét phương sai, nhìn vào sai số xác thực: thêm dữ liệu, tăng regularization hoặc đổi kiến trúc. Hai bước được lặp lại cho tới khi cả hai sai số đều đạt yêu cầu.

2.5Double descent#

Đường chữ U ở Mục 2.3 là bức tranh cổ điển, đúng khi số tham số nhỏ hơn số điểm dữ liệu. Với mô hình có số tham số vượt xa số điểm dữ liệu, như các mạng nơ-ron hiện đại, người ta quan sát được hiện tượng double descent (Belkin và cộng sự, 2019): sai số xác thực tăng lên tới một đỉnh tại ngưỡng mà mô hình vừa đủ tham số để khớp chính xác mọi điểm huấn luyện, gọi là ngưỡng nội suy, rồi giảm trở lại khi số tham số tiếp tục tăng. Nakkiran và cộng sự (2020) quan sát cùng hiện tượng với mạng tích chập và Transformer, theo cả số tham số lẫn số vòng huấn luyện, và thấy cả những trường hợp thêm dữ liệu lại làm sai số tăng.

Double descent không mâu thuẫn với Định lý 2.1, vì phân rã là một đẳng thức và luôn đúng. Điều thay đổi là cách phương sai phụ thuộc vào số tham số. Khi có nhiều tham số hơn số điểm dữ liệu, có vô số nghiệm khớp chính xác dữ liệu huấn luyện, và thuật toán tối ưu chọn một trong số đó. Với hồi quy tuyến tính, có thể chứng minh gradient descent khởi tạo từ 0 hội tụ tới nghiệm có chuẩn nhỏ nhất, tức nghiệm giả nghịch đảo (Mục 4.3 của Nền tảng). Việc chọn nghiệm chuẩn nhỏ nhất tác dụng như một dạng regularization ngầm, và càng nhiều tham số thì nghiệm chuẩn nhỏ nhất càng trơn. Với mạng sâu, cơ chế tương tự được nhiều nghiên cứu ủng hộ nhưng chưa được chứng minh đầy đủ.

Hai nhận xét giúp đọc đúng hiện tượng này. Thứ nhất, đỉnh ở ngưỡng nội suy phần lớn đến từ việc khớp dữ liệu mà không có regularization: với cường độ regularization được chọn tối ưu, đỉnh giảm hẳn hoặc biến mất (Nakkiran và cộng sự, 2021), và James và cộng sự (2021) nhấn mạnh rằng double descent không mâu thuẫn với đánh đổi độ chệch – phương sai. Thứ hai, khi có vô số nghiệm khớp dữ liệu, số tham số là một thước đo tồi cho độ linh hoạt: ghi chú bài giảng CS229 cho thấy vẽ sai số theo chuẩn của nghiệm thay vì theo số tham số thì đường cong không còn hai lần giảm.

Vì vậy câu "mô hình càng nhiều tham số càng dễ overfitting" chỉ đúng trong chế độ cổ điển, khi số tham số nhỏ hơn số điểm dữ liệu. Trong chế độ nhiều tham số hơn dữ liệu, nó không còn đúng hiển nhiên, và đó là một phần lời giải thích cho việc các mô hình hàng tỉ tham số vẫn tổng quát hoá được. Tuy vậy, ngay trong chế độ này, regularization, dừng sớm và dữ liệu nhiều hơn vẫn có ích; double descent không có nghĩa là có thể bỏ qua overfitting.

2.6Tóm tắt#

Sai số kỳ vọng của một mô hình tại một điểm tách thành độ chệch², phương sai và nhiễu. Độ chệch đến từ họ hàm quá hẹp, phương sai đến từ việc khớp theo nhiễu riêng của từng tập huấn luyện, còn nhiễu là cận dưới không vượt qua được. Với bốn căn hộ và căn 120 m², mô hình hằng số lệch 1,2 tỉ, đường thẳng không chệch với phương sai $1{,}5\,\sigma^2$, còn đa thức bậc ba qua bốn điểm không chệch nhưng có phương sai $69\,\sigma^2$, phần lớn vì phải ngoại suy. Phân rã này chỉ đúng với mất mát bình phương. Mô phỏng với đa thức cho thấy tổng sai số nhỏ nhất ở bậc 5, nơi hai thành phần gần bằng nhau, và độ chệch chỉ giảm khi họ hàm mở rộng theo hướng có ích, như các bậc lẻ với một hàm lẻ. Với dữ liệu thật, đường cong học thay cho phép đo trực tiếp và cho biết nên đổi mô hình hay thu thêm dữ liệu; so sánh sai số huấn luyện và xác thực với một mức tham chiếu như sai số của người cho biết nên giảm độ chệch tránh được hay phương sai, còn tập huấn luyện–xác thực tách phương sai khỏi độ lệch phân phối. Ở chế độ nhiều tham số hơn dữ liệu, double descent cho thấy phương sai không nhất thiết tăng theo số tham số, và đỉnh của nó phần lớn biến mất khi regularization được chọn đúng.

Một mô hình minh hoạ rất rõ cả hai loại sai số là cây quyết định: cây nông có độ chệch cao, cây sâu có phương sai cao. Chương 3 xét cây quyết định, rồi hai cách kết hợp nhiều cây để giảm từng loại sai số.

3Cây quyết định và phương pháp tập hợp#

Cây quyết định có những ưu điểm mà các mô hình khác hiếm có: dễ diễn giải, không cần chuẩn hoá đặc trưng, xử lý tự nhiên cả đặc trưng số lẫn đặc trưng hạng mục. Điểm yếu của nó là phương sai: một cây sâu thay đổi gần như hoàn toàn khi dữ liệu thay đổi một chút. Hai ý tưởng kết hợp nhiều cây biến điểm yếu đó thành điểm mạnh theo hai cách khác nhau, và phân rã ở Chương 2 cho biết chính xác mỗi cách tác động vào đâu: bagging nhắm vào phương sai, còn boosting nhắm vào độ chệch. Rừng ngẫu nhiên và gradient boosting, hai sản phẩm của hai ý tưởng đó, nằm trong số các mô hình được dùng nhiều nhất cho dữ liệu dạng bảng. Ta bắt đầu từ một cây.

3.1Cây quyết định#

Cây quyết định chia không gian đặc trưng thành các vùng hình hộp bằng các phép chia dạng "$x_j \le t$", mỗi phép chia dùng một đặc trưng và một ngưỡng. Mỗi lá của cây ứng với một vùng, và dự đoán trong vùng đó là một hằng số: lớp chiếm đa số với bài toán phân loại, hoặc giá trị trung bình với bài toán hồi quy, của các điểm huấn luyện rơi vào vùng.

Vì mọi phép chia đều song song với trục, cây có ba tính chất đi liền với nhau. Thứ nhất, cây bất biến với phép biến đổi đơn điệu của từng đặc trưng: lấy logarit hay chuẩn hoá một đặc trưng không đổi thứ tự các giá trị, nên không đổi tập các phép chia có thể có. Vì vậy cây không cần chuẩn hoá đặc trưng, khác với hồi quy logistic, SVM hay k-NN. Thứ hai, cây không ngoại suy được: ngoài miền dữ liệu huấn luyện, nó trả về hằng số của vùng ngoài cùng. Một cây dự đoán giá nhà theo diện tích sẽ cho căn nhà 500 m² cùng giá với căn lớn nhất trong dữ liệu huấn luyện. Cây một lần chia ở Mục 1.4 định giá mọi căn từ 70 m² trở lên là 2,7 tỉ, dù căn đó rộng 100 m² hay 500 m². Thứ ba, cây khó biểu diễn biên chéo. Biên quyết định $x_1 + x_2 > 1$ phải được xấp xỉ bằng một đường bậc thang gồm nhiều phép chia, trong khi mô hình tuyến tính chỉ cần ba tham số.

3.2Chọn phép chia#

Cây được xây từ gốc xuống. Tại mỗi nút, thuật toán xét mọi đặc trưng và mọi ngưỡng có thể, rồi chọn phép chia làm giảm độ không thuần nhất (impurity) nhiều nhất. Với phân loại, gọi $p_c$ là tỉ lệ điểm thuộc lớp $c$ trong nút; hai thước đo thông dụng là

$$\text{Gini}(p) = 1 - \sum_c p_c^2, \qquad H(p) = -\sum_c p_c \log_2 p_c.$$

Cả hai bằng 0 khi nút chỉ chứa một lớp và lớn nhất khi các lớp chia đều. Độ lợi của một phép chia là độ không thuần nhất của nút cha trừ trung bình có trọng số, theo số điểm, của hai nút con. Với hồi quy, độ không thuần nhất là phương sai của $y$ trong nút, và phép chia tốt nhất là phép chia làm giảm tổng bình phương sai số nhiều nhất. Với bốn căn hộ, có ba ngưỡng để thử: giữa 40 và 60 m², giữa 60 và 80 m², giữa 80 và 100 m². Khi mọi căn được đoán bằng giá trung bình 2,25 tỉ, tổng bình phương sai số là 1,17. Chia ở 50 m² tách căn nhỏ nhất ra một mình và đoán 2,5 tỉ cho ba căn còn lại, tổng còn 0,42; chia ở 70 m² cho hai nút với giá trung bình 1,8 và 2,7 tỉ, tổng còn 0,36; chia ở 90 m² cũng còn 0,42. Thuật toán chọn ngưỡng 70 m², và đó là cây một lần chia ở Mục 1.4.

Ví dụ 3.1

Một nút có 10 điểm, 6 điểm lớp A và 4 điểm lớp B, nên $\text{Gini} = 1 - 0{,}6^2 - 0{,}4^2 = 0{,}48$. Phép chia thứ nhất cho nút trái 4 điểm (4A, 0B) và nút phải 6 điểm (2A, 4B). Gini của nút trái bằng 0, của nút phải bằng $1 - (1/3)^2 - (2/3)^2 = 0{,}444$, nên trung bình có trọng số là $0{,}4 \cdot 0 + 0{,}6 \cdot 0{,}444 = 0{,}267$ và độ lợi là $0{,}48 - 0{,}267 = 0{,}213$. Phép chia thứ hai cho hai nút 5 điểm: (4A, 1B) có Gini 0,32 và (2A, 3B) có Gini 0,48, trung bình 0,40, nên độ lợi chỉ là 0,08. Thuật toán chọn phép chia thứ nhất. Dùng entropy cũng cho cùng kết luận: độ lợi thông tin là 0,420 bit so với 0,125 bit.

Một câu hỏi tự nhiên là vì sao không chọn phép chia theo chính tỉ lệ phân loại sai, thước đo cuối cùng ta quan tâm. Ghi chú CS229 về cây quyết định trả lời bằng một ví dụ kiểu sau. Một nút có 300 điểm lớp A và 100 điểm lớp B, tức 100 điểm bị phân loại sai nếu cả nút đoán A. Phép chia thứ nhất cho hai nút (100A, 100B) và (200A, 0B); phép chia thứ hai cho (200A, 100B) và (100A, 0B). Cả hai phép chia vẫn để lại đúng 100 điểm sai, nên theo tỉ lệ sai, chúng không tốt hơn việc không chia, và một thuật toán dừng khi tỉ lệ sai không giảm sẽ dừng ngay tại đây. Gini thì phân biệt được: Gini của nút cha là 0,375, của phép chia thứ nhất là $0{,}5 \cdot 0{,}5 + 0{,}5 \cdot 0 = 0{,}25$, của phép chia thứ hai là $0{,}75 \cdot 0{,}444 = 0{,}333$. Phép chia thứ nhất tạo một nút thuần nhất 200 điểm, và nút còn lại có thể chia tiếp. Lý do nằm ở hình dạng của hàm: Gini và entropy là hàm lõm ngặt của tỉ lệ lớp, nên trung bình có trọng số của các nút con nhỏ hơn hẳn nút cha trừ khi các nút con có cùng tỉ lệ lớp với nút cha, còn tỉ lệ sai là hàm tuyến tính từng khúc nên không có tính chất này.

Trong thực tế, Gini và entropy gần như luôn chọn cùng một phép chia, và Gini tính nhanh hơn vì không cần logarit. Các siêu tham số đáng chỉnh hơn nhiều là độ sâu tối đa và số điểm tối thiểu trong mỗi lá, vì chúng quyết định độ linh hoạt của cây.

Cách xây cây như trên là tham lam: tại mỗi nút, nó chọn phép chia tốt nhất lúc đó mà không xét ảnh hưởng tới các phép chia phía dưới. Tìm cây tối ưu toàn cục là bài toán NP-khó (Hyafil và Rivest, 1976). Vì vậy một cây đơn lẻ có phương sai cao: chỉ cần vài điểm dữ liệu thay đổi là phép chia ở gốc có thể đổi, kéo theo toàn bộ cấu trúc phía dưới thay đổi.

Còn lại câu hỏi dừng ở đâu. Dừng khi một phép chia không làm độ không thuần nhất giảm đủ nhiều nghe hợp lý, nhưng có thể bỏ lỡ những phép chia chỉ có ích khi đi cùng phép chia sau nó. Với dữ liệu XOR ở Mục 4.1, phép chia đầu tiên theo trục nào cũng giữ nguyên Gini ở mức 0,5, nhưng phép chia thứ hai cho bốn lá thuần nhất. Vì vậy cách làm chuẩn, được ISLR và CS229 trình bày, là mọc cây thật lớn rồi cắt tỉa (pruning): trong các cây con, chọn cây làm nhỏ nhất $\text{SSE} + \alpha T$, với $T$ là số lá và $\alpha \ge 0$ là giá của mỗi lá. Với bốn căn hộ, cây tốt nhất có 1, 2, 3 và 4 lá có tổng bình phương sai số lần lượt là 1,17; 0,36; 0,18 và 0. Với $\alpha = 0{,}1$, điểm của bốn cây là 1,27; 0,56; 0,48 và 0,40, nên giữ cây 4 lá, tức ghi nhớ cả bốn căn. Với $\alpha = 0{,}2$, điểm là 1,37; 0,76; 0,78 và 0,80, nên giữ cây 2 lá, đúng cây cắt ở 70 m². Với $\alpha = 1$, chỉ còn một lá. Giá trị của $\alpha$ được chọn bằng cross-validation, giống cường độ regularization ở Mục 9.5 của Nền tảng.

3.3Bagging, rừng ngẫu nhiên và boosting#

Phương sai cao là điểm yếu khi dùng một cây, nhưng lại làm cây trở thành thành phần phù hợp cho phương pháp tập hợp. Có hai cách kết hợp, và chúng tác động vào hai thành phần khác nhau của phân rã ở Chương 2.

Cách thứ nhất là bagging (bootstrap aggregating; Breiman, 1996): huấn luyện $M$ mô hình, mỗi mô hình trên một mẫu bootstrap, tức $n$ điểm rút có hoàn lại từ $n$ điểm huấn luyện, rồi lấy trung bình dự đoán. Theo Ví dụ 3.1 của Nền tảng, nếu mỗi mô hình có phương sai $\sigma^2$ và mỗi cặp có hệ số tương quan $\rho$ thì trung bình của $M$ mô hình có phương sai

$$\rho\,\sigma^2 + \frac{1 - \rho}{M}\,\sigma^2.$$

Khi $M$ tăng, số hạng thứ hai tiến về 0 và chỉ còn lại $\rho\,\sigma^2$. Công thức này nói hai điều. Thêm mô hình không bao giờ làm phương sai tăng, nên thêm cây vào bagging không gây overfitting. Và muốn giảm phương sai tiếp thì phải giảm tương quan $\rho$ giữa các mô hình. Rừng ngẫu nhiên (random forest; Breiman, 2001) làm đúng việc đó: tại mỗi nút, cây chỉ được chọn phép chia trong một tập con ngẫu nhiên các đặc trưng, thường là $\sqrt d$ đặc trưng với bài toán phân loại, nên các cây khác nhau hơn và ít tương quan hơn. Còn độ chệch thì bagging gần như không thay đổi, vì trung bình của các mô hình có cùng kỳ vọng với từng mô hình. Cũng vì vậy bagging chỉ có ích với mô hình không ổn định: lấy trung bình nhiều đường thẳng hồi quy khớp trên các mẫu bootstrap cho gần như đúng đường thẳng khớp trên toàn bộ dữ liệu, vì hồi quy tuyến tính vốn đã ổn định, còn với cây sâu, mỗi mẫu bootstrap cho một cây rất khác và trung bình của chúng mới khác hẳn từng cây (Hastie, Tibshirani và Friedman, 2009).

Cách thứ hai là boosting: huấn luyện các mô hình tuần tự, mỗi mô hình mới sửa phần sai của tổng các mô hình trước. Gradient boosting (Friedman, 2001) viết điều này dưới dạng

$$F_m(x) = F_{m-1}(x) + \eta\, h_m(x),$$

trong đó cây $h_m$ được huấn luyện để xấp xỉ gradient âm của hàm mất mát theo giá trị dự đoán, $-\partial \mathcal{L}(y, F)/\partial F$ tại $F = F_{m-1}(x)$, và $\eta$ là tốc độ học, thường từ 0,01 tới 0,3. Với mất mát bình phương, gradient âm chính là phần dư $y - F_{m-1}(x)$, nên mỗi cây mới học phần dư của các cây trước. Với bốn căn hộ và cây một lần chia, $F_0$ là giá trung bình 2,25 tỉ, và phần dư là $-0{,}75$; $-0{,}15$; $0{,}15$; $0{,}75$. Cây đầu tiên khớp phần dư này bằng phép chia ở 70 m², dự đoán $-0{,}45$ cho hai căn nhỏ và $0{,}45$ cho hai căn lớn. Với $\eta = 0{,}1$, $F_1$ chỉ đi một phần mười quãng đường đó: 2,205 tỉ cho hai căn nhỏ, 2,295 tỉ cho hai căn lớn, và sai số bình phương trung bình giảm từ 0,2925 xuống 0,254. Phần dư mới lớn nhất ở hai căn ngoài cùng, nên cây thứ hai chia ở 50 m² để tách căn 40 m², và cây thứ ba chia ở 90 m² để tách căn 100 m². Đây là gradient descent trong không gian hàm: thay vì cập nhật tham số, mỗi bước cộng thêm một hàm theo hướng làm giảm mất mát. Gradient âm chỉ tính được tại các điểm huấn luyện, nơi biết nhãn $y$; khớp một cây vào các giá trị đó là bước biến một hướng chỉ xác định trên dữ liệu thành một hàm dùng được cho mọi $x$. Vì mỗi cây chỉ cần sửa một phần nhỏ, các cây trong boosting thường rất nông, độ sâu từ 2 tới 6. Tổ hợp của nhiều cây nông có độ chệch thấp hơn nhiều so với từng cây, nên boosting chủ yếu giảm độ chệch.

3.4Đo tác dụng của bagging và boosting#

Phân tích trên có thể kiểm tra trực tiếp. Thí nghiệm trong code/models/experiments.py dùng cùng hàm thật và mức nhiễu như Chương 2, mỗi tập huấn luyện 120 điểm, và đo độ chệch² cùng phương sai của ba mô hình trên 40 tập huấn luyện độc lập: một cây sâu 8, bagging 100 cây sâu 8, và gradient boosting 100 cây sâu 2 với tốc độ học 0,1.

Cây sâu 8 đủ linh hoạt để có độ chệch rất thấp, nên sai số của nó gần như hoàn toàn là phương sai: phương sai gấp khoảng 35 lần độ chệch². Bagging giảm phương sai đi một nửa, từ 0,1089 xuống 0,0534, và gần như không đổi độ chệch, đúng như phân tích ở Mục 3.3. Phương sai không giảm tới 0 dù có 100 cây, vì các cây được huấn luyện trên các mẫu bootstrap của cùng một tập dữ liệu nên vẫn tương quan với nhau; phần còn lại đó chính là số hạng $\rho\sigma^2$.

Gradient boosting cho tổng sai số thấp nhất. Mỗi cây sâu 2 chỉ có 4 lá, nên nếu dùng một mình thì có độ chệch rất cao. Cộng 100 cây như vậy hạ độ chệch xuống ngang cây sâu 8, trong khi phương sai giữ ở mức thấp vì mỗi cây rất đơn giản và tốc độ học 0,1 làm mỗi cây chỉ đóng góp một phần nhỏ.

3.5Các hiểu lầm thường gặp#

Cây và các phương pháp tập hợp đi kèm khá nhiều hiểu lầm phổ biến. Một hiểu lầm thấy được ngay trên bốn căn hộ: tiếp tục ví dụ ở Mục 3.3 tới 100 cây thì sai số huấn luyện gần như bằng 0. Tổng các cây khi đó là một hàm bậc thang đi qua đúng bốn mức giá, và nó định giá căn 85 m² là 2,4 tỉ, bằng căn 80 m², trong khi đường thẳng định giá 2,61 tỉ. Bốn điểm dữ liệu không đủ cho 100 cây. Bảng dưới gom những hiểu lầm hay gặp nhất cùng điều đúng tương ứng.

3.6Gradient boosting trong thực hành#

Các thư viện phổ biến là XGBoost, LightGBM (Ke và cộng sự, 2017) và CatBoost (Prokhorenkova và cộng sự, 2018). Chúng khác nhau ở chi tiết cài đặt, như cách tìm ngưỡng chia trên dữ liệu lớn hay cách xử lý đặc trưng hạng mục, nhưng có chung các siêu tham số quan trọng.

Quan trọng nhất là cặp tốc độ học và số cây, hai siêu tham số luôn đi cùng nhau: tốc độ học nhỏ cần nhiều cây hơn nhưng thường tổng quát hoá tốt hơn. Cách làm thông dụng là cố định tốc độ học ở một mức nhỏ, chẳng hạn 0,05, rồi chọn số cây bằng dừng sớm trên tập xác thực, tức dừng khi sai số xác thực không giảm sau một số vòng. Tiếp theo là độ phức tạp của mỗi cây, đặt bằng độ sâu tối đa hoặc số lá tối đa và số điểm tối thiểu trong mỗi lá. Cây sâu hơn biểu diễn được tương tác bậc cao hơn giữa các đặc trưng, nhưng làm tăng phương sai.

Hai nhóm siêu tham số còn lại đóng vai trò regularization. Lấy mẫu con cho mỗi cây chỉ dùng một phần ngẫu nhiên các điểm dữ liệu, chẳng hạn 80%, và một phần các đặc trưng; cách này giảm tương quan giữa các cây theo đúng ý tưởng của rừng ngẫu nhiên, và thường cải thiện tổng quát hoá (Friedman, 2002). Regularization trên lá phạt $\ell_2$ lên giá trị của các lá và yêu cầu một độ lợi tối thiểu cho mỗi phép chia.

So với rừng ngẫu nhiên, gradient boosting thường chính xác hơn khi được chỉnh tốt, nhưng nhạy hơn với siêu tham số. Rừng ngẫu nhiên là lựa chọn mặc định an toàn: các cây độc lập nên dễ song song hoá, và thêm cây không làm kết quả kém đi. Với cả hai, cần chia tập xác thực đúng cách, theo thời gian hoặc theo nhóm khi dữ liệu có cấu trúc đó (Mục 8.5 của Nền tảng).

3.7Tóm tắt#

Cây quyết định chia không gian bằng các phép chia song song với trục, chọn tham lam theo độ giảm độ không thuần nhất, đo bằng Gini hay entropy chứ không bằng tỉ lệ sai, vì tỉ lệ sai có thể không phân biệt được hai phép chia rất khác nhau. Cây được mọc lớn rồi cắt tỉa theo $\text{SSE} + \alpha T$, với $\alpha$ chọn bằng cross-validation. Nhờ vậy nó không cần chuẩn hoá đặc trưng, nhưng không ngoại suy được và có phương sai cao. Bagging lấy trung bình nhiều cây trên các mẫu bootstrap để giảm phương sai, tới giới hạn $\rho\sigma^2$ đặt bởi tương quan giữa các cây, và rừng ngẫu nhiên hạ giới hạn đó bằng cách chọn ngẫu nhiên đặc trưng ở mỗi nút. Gradient boosting cộng dần các cây nông, mỗi cây đi theo gradient âm của hàm mất mát, nên chủ yếu giảm độ chệch. Với bốn căn hộ, cây chọn ngưỡng 70 m² vì nó giảm tổng bình phương sai số từ 1,17 xuống 0,36, và gradient boosting với cây một lần chia khớp đúng bốn mức giá sau 100 cây, thành một hàm bậc thang. Trên bài toán mô phỏng, bagging giảm một nửa phương sai của một cây sâu, còn gradient boosting cho tổng sai số thấp nhất.

Gradient boosting là gradient descent trong không gian hàm, mỗi bước cộng thêm một cây. Chương 4 chuyển sang một họ mô hình mà gradient descent chạy trên chính các tham số: mạng nơ-ron nhiều lớp, bắt đầu từ chỗ hồi quy logistic đã dừng.

4Mạng nơ-ron nhiều lớp#

Hồi quy logistic ở Chương 6 của Nền tảng là một mạng nơ-ron một lớp: một phép biến đổi tuyến tính theo sau là hàm sigmoid. Nó chỉ vẽ được biên quyết định thẳng, nên ở Nền tảng, mỗi khi biên cong ta phải tự tạo thêm đặc trưng như bình phương hay tích của các đặc trưng gốc. Mạng nhiều lớp tự học những đặc trưng đó bằng cách chồng nhiều lớp lên nhau. Ta sẽ thấy vì sao giữa các lớp bắt buộc phải có hàm phi tuyến, mạng một lớp ẩn biểu diễn được tới đâu theo định lý xấp xỉ phổ quát, và độ sâu tiết kiệm được bao nhiêu tham số qua một phép dựng tường minh.

4.1Từ mô hình tuyến tính tới mạng nhiều lớp#

Mô hình tuyến tính ngầm giả định rằng mỗi đặc trưng tác động theo một chiều cố định và với cùng một mức ở mọi nơi. Giả định đó sai ở nhiều bài toán quen thuộc, và d2l.ai mở đầu chương về mạng nhiều lớp bằng đúng nhận xét này. Mức thoải mái của người trong phòng cao nhất quanh 25 °C và giảm khi phòng nóng lên hay lạnh đi, nên không hàm tuyến tính nào của nhiệt độ mô tả được nó; trường hợp này còn sửa được bằng tay, bằng cách dùng khoảng cách tới 25 °C làm đặc trưng. Với ảnh thì không: giá trị của một điểm ảnh riêng lẻ không cho biết ảnh có con mèo hay không, vì điều đó phụ thuộc vào quan hệ giữa rất nhiều điểm ảnh, và không có đặc trưng tự tạo đơn giản nào nắm được quan hệ ấy. Mạng nhiều lớp học những đặc trưng như vậy từ dữ liệu.

Một lớp tuyến tính tính $Wx + b$. Chồng hai lớp tuyến tính không tạo ra gì mới, vì

$$W_2(W_1 x + b_1) + b_2 = (W_2 W_1)\,x + (W_2 b_1 + b_2)$$

vẫn là một phép biến đổi affine của $x$. Chồng bao nhiêu lớp tuyến tính cũng chỉ tương đương một lớp. Muốn nhiều lớp biểu diễn được nhiều hơn một lớp, phải xen giữa chúng một hàm phi tuyến.

Định nghĩa 4.1 (Mạng nơ-ron truyền thẳng nhiều lớp)

Một mạng nơ-ron truyền thẳng nhiều lớp (multilayer perceptron, MLP) có $L$ lớp tính

$$\begin{aligned} h^{(0)} &= x, \\ h^{(l)} &= \phi\big(W^{(l)} h^{(l-1)} + b^{(l)}\big), \qquad l = 1, \dots, L-1, \\ \hat y &= W^{(L)} h^{(L-1)} + b^{(L)}, \end{aligned}$$

trong đó $\phi$ là hàm kích hoạt áp dụng cho từng phần tử. Các $h^{(l)}$ với $1 \le l \le L-1$ gọi là lớp ẩn, số phần tử của mỗi lớp ẩn là bề rộng của lớp đó.

Định nghĩa đếm các lớp có trọng số, không đếm lớp đầu vào, theo cùng quy ước với CS231n: mạng 784–256–10 ở dưới là mạng hai lớp. Lớp cuối không có hàm kích hoạt vì nó được chọn theo bài toán. Với hồi quy, $\hat y$ được dùng trực tiếp và hàm mất mát là bình phương sai số. Với phân loại nhị phân, $\hat y$ đi qua sigmoid; với nhiều lớp, qua softmax; và hàm mất mát là cross-entropy. Cả hai cặp lựa chọn đều đến từ ước lượng hợp lý cực đại (Chương 10 của Nền tảng): bình phương sai số ứng với nhiễu Gauss, cross-entropy ứng với phân phối Bernoulli hoặc phân phối phân loại.

Một lớp có $d_{\text{in}}$ đầu vào và $d_{\text{out}}$ đầu ra có $d_{\text{in}} d_{\text{out}} + d_{\text{out}}$ tham số. Chẳng hạn, mạng 784–256–10 cho ảnh chữ số MNIST có $784 \cdot 256 + 256 = 200\,960$ tham số ở lớp ẩn và $256 \cdot 10 + 10 = 2\,570$ tham số ở lớp ra, tổng cộng 203 530.

Ví dụ 4.1 (Hàm XOR)

Bốn điểm $(0,0)$, $(1,1)$ có nhãn 0 và $(1,0)$, $(0,1)$ có nhãn 1 không tách được bằng một đường thẳng, nên không mô hình tuyến tính nào phân loại đúng cả bốn. Một mạng có hai đơn vị ReLU ở lớp ẩn làm được:

$$\begin{aligned} h_1 &= \operatorname{ReLU}(x_1 + x_2), \\ h_2 &= \operatorname{ReLU}(x_1 + x_2 - 1), \\ \hat y &= h_1 - 2h_2. \end{aligned}$$

Kiểm tra: tại $(0,0)$ có $h = (0, 0)$ nên $\hat y = 0$; tại $(1,0)$ và $(0,1)$ có $h = (1, 0)$ nên $\hat y = 1$; tại $(1,1)$ có $h = (2, 1)$ nên $\hat y = 2 - 2 = 0$. Lớp ẩn đã biến đổi bốn điểm sang một không gian mới, trong đó chúng tách được bằng một hàm tuyến tính. Đó là cách hiểu hữu ích về mạng nhiều lớp: các lớp ẩn học một phép biến đổi đặc trưng, lớp cuối là một mô hình tuyến tính trên đặc trưng đã học. Nghiệm này cũng là nghiệm mà Goodfellow, Bengio và Courville (2016, Mục 6.1) dùng để giới thiệu mạng truyền thẳng.

4.2Hàm kích hoạt#

Bảng dưới so sánh các hàm kích hoạt thường gặp.

Trong bảng, $\Phi$ là hàm phân phối tích luỹ của phân phối chuẩn tắc. GELU do Hendrycks và Gimpel (2016) đề xuất; SiLU do Elfwing, Uchibe và Doya (2018) và Ramachandran, Zoph và Le (2017) đề xuất độc lập.

Từ bảng có ba điều cần nắm. Điều đầu tiên giải thích vì sao ReLU thay thế sigmoid trong mạng sâu: đạo hàm của ReLU bằng 1 ở phía dương. Gradient qua nhiều lớp là tích của các đạo hàm (Chương 5), mà đạo hàm của sigmoid không vượt quá 1/4, nên qua 10 lớp sigmoid, riêng phần đạo hàm của hàm kích hoạt đã nhân gradient với tối đa $0{,}25^{10} \approx 9{,}5 \times 10^{-7}$. Đây là một nguồn của gradient tiêu biến (Chương 6).

Điều thứ hai là ReLU có một kiểu hỏng riêng, gọi là đơn vị chết. Nếu một bước cập nhật lớn đẩy hệ số chặn của một đơn vị xuống đủ âm, đơn vị đó cho $z < 0$ với mọi đầu vào, đạo hàm bằng 0, và nó không bao giờ được cập nhật lại. Nguyên nhân thường gặp là tốc độ học quá lớn.

Điều thứ ba là hàm kích hoạt của lớp ra khác với lớp ẩn. Lớp ra dùng sigmoid, softmax hoặc không dùng gì, tuỳ bài toán (Mục 4.1). Dùng ReLU ở lớp ra của một bài toán hồi quy có giá trị âm là một lỗi hay gặp: mô hình khi đó không bao giờ dự đoán được giá trị âm.

4.3Định lý xấp xỉ phổ quát#

Một câu hỏi tự nhiên là mạng nhiều lớp biểu diễn được những hàm nào. Câu trả lời cổ điển là: gần như mọi hàm, ngay cả khi chỉ có một lớp ẩn.

Định lý 4.1 (Xấp xỉ phổ quát)

Cho $\phi$ là một hàm liên tục không phải đa thức. Với mọi hàm liên tục $f$ trên một tập compact $K \subset \mathbb{R}^d$ và mọi $\varepsilon > 0$, tồn tại một mạng một lớp ẩn $g(x) = \sum_{j=1}^{m} a_j\,\phi(w_j^\top x + b_j)$ sao cho $|f(x) - g(x)| < \varepsilon$ với mọi $x \in K$.

Cybenko (1989) chứng minh định lý cho hàm sigmoid, Hornik (1991) mở rộng, và Leshno và cộng sự (1993) chứng minh điều kiện "không phải đa thức" là đủ, nên định lý áp dụng cho cả ReLU.

Với đầu vào một chiều, có thể thấy định lý đúng bằng một phép dựng tay, theo tinh thần chứng minh bằng hình của Nielsen (2015). Mỗi đơn vị $\operatorname{ReLU}(x - a)$ bằng 0 bên trái $a$ và tăng tuyến tính bên phải $a$, nên tổng của vài đơn vị như vậy là một đường gấp khúc có điểm gãy tại các $a$ đã chọn. Đường gấp khúc đi qua các điểm của một hàm liên tục, với các điểm gãy đủ dày, xấp xỉ hàm đó tốt tuỳ ý. Chẳng hạn trên đoạn $[0, 1]$, hàm $g(x) = 0{,}5\operatorname{ReLU}(x) + \operatorname{ReLU}(x - 0{,}5)$ có hệ số góc 0,5 rồi 1,5, đi qua đúng các điểm $(0; 0)$, $(0{,}5; 0{,}25)$ và $(1; 1)$ của $x^2$, và lệch khỏi $x^2$ nhiều nhất 0,0625. Dùng bốn đơn vị với các điểm gãy cách nhau 0,25 thì sai số lớn nhất còn 0,0156: mỗi lần gấp đôi số đơn vị, sai số giảm bốn lần.

Định lý nói rằng mạng một lớp ẩn đủ rộng biểu diễn được mọi hàm liên tục, nhưng nó chỉ khẳng định sự tồn tại. Nó không cho biết cần bao nhiêu đơn vị ẩn, và với một số hàm, con số này tăng theo hàm mũ của số chiều $d$ hoặc của độ phức tạp của hàm. Nó không cho biết gradient descent có tìm được bộ trọng số đó hay không. Và nó cũng không cho biết cần bao nhiêu dữ liệu để tìm được bộ trọng số đó mà không overfitting. Ba câu hỏi này mới là những câu quan trọng trong thực tế. d2l.ai so sánh định lý với nhận xét rằng ngôn ngữ C viết được mọi chương trình: điều đó đúng, nhưng viết ra chương trình cần thiết mới là phần khó.

Vì vậy định lý không giải thích được vì sao mạng sâu hoạt động tốt hơn mạng nông mà rộng. Mục 4.4 trả lời một phần câu hỏi này: có những hàm mà mạng sâu biểu diễn bằng số tham số tăng tuyến tính, trong khi mạng một lớp ẩn cần số tham số tăng theo hàm mũ.

4.4Độ sâu và số tham số cần thiết#

Phép dựng sau, theo ý tưởng của Telgarsky (2016), cho thấy lợi ích của độ sâu mà không phụ thuộc vào việc huấn luyện có thành công hay không. Ta xuất phát từ hàm lều dùng đúng hai đơn vị ReLU:

$$g(x) = 2\operatorname{ReLU}(x) - 4\operatorname{ReLU}\!\left(x - \tfrac12\right).$$

Trên $[0, 1]$, hàm này tăng tuyến tính từ $g(0) = 0$ lên $g(1/2) = 1$ rồi giảm tuyến tính về $g(1) = 0$, nên nó ánh xạ $[0, 1]$ lên $[0, 1]$. Bây giờ hợp $g$ với chính nó $k$ lần. Mỗi nhánh của $g$ phủ trọn đoạn $[0, 1]$, nên mỗi lần hợp làm số đoạn tuyến tính tăng gấp đôi. Với $k = 2$: $g(1/4) = 1/2$ và $g(1/2) = 1$, nên $g(g(1/4)) = 1$; tương tự $g(3/4) = 1/2$ nên $g(g(3/4)) = 1$, còn $g(g(1/2)) = g(1) = 0$. Hàm $g \circ g$ đi từ 0 lên 1 ở $x = 1/4$, xuống 0 ở $x = 1/2$, lên 1 ở $x = 3/4$ rồi về 0 ở $x = 1$: bốn đoạn tuyến tính, từ hai lớp, mỗi lớp hai đơn vị. Kết quả $g^{(k)} = g \circ \dots \circ g$ là một hàm răng cưa có đúng $2^k$ đoạn tuyến tính, biểu diễn bằng một mạng $k$ lớp, mỗi lớp 2 đơn vị ReLU, tổng cộng $6k$ tham số.

Mạng một lớp ẩn cần bao nhiêu đơn vị để biểu diễn cùng hàm đó? Với đầu vào một chiều, mỗi đơn vị ReLU $\operatorname{ReLU}(w x + b)$ tạo ra đúng một điểm gãy tại $x = -b/w$, và tổng của $m$ đơn vị là một hàm tuyến tính từng khúc có tối đa $m$ điểm gãy. Hàm răng cưa có $2^k - 1$ điểm gãy bên trong đoạn, nên mạng một lớp ẩn cần ít nhất $2^k - 1$ đơn vị để biểu diễn chính xác nó.

Thí nghiệm trong code/models/experiments.py kiểm tra điều này theo hướng xấp xỉ. Với mỗi bề rộng $m$ trong dãy 2, 4, 8, …, 256, thí nghiệm đặt $m$ điểm gãy cách đều trên $(0, 1)$ rồi giải bình phương tối thiểu cho các hệ số của lớp ra. Như vậy mạng một lớp được cho sẵn nghiệm tối ưu với các điểm gãy cố định, thay vì phải tự tìm bằng gradient descent. Bề rộng cần thiết là bề rộng nhỏ nhất trong dãy cho sai số bình phương trung bình dưới một nửa phương sai của hàm răng cưa, tức tốt hơn rõ rệt so với dự đoán bằng một hằng số.

Với mọi $k$, bề rộng cần thiết là $2^k$, khớp với cận dưới $2^k - 1$ ở trên. Dưới bề rộng đó, mạng một lớp không làm tốt hơn dự đoán hằng số: với $k = 7$, mọi bề rộng từ 2 tới 64 đều cho sai số 0,083, đúng bằng phương sai $1/12$ của hàm răng cưa. Số tham số của mạng sâu tăng tuyến tính theo $k$, của mạng một lớp tăng theo $2^k$, nên tỉ lệ giữa chúng tăng không giới hạn: 9,2 lần ở $k = 7$, và hơn 26 000 lần ở $k = 20$.

Kết quả này cần được đọc đúng phạm vi. Đây là so sánh về khả năng biểu diễn, không phải về khả năng học: mạng sâu được cho trọng số tường minh, không qua huấn luyện. Trên thực tế, huấn luyện một mạng 7 lớp chỉ có 2 đơn vị mỗi lớp để học hàm này bằng gradient descent gần như luôn thất bại, và Chương 6 giải thích một phần nguyên nhân. Hàm răng cưa cũng là trường hợp thuận lợi nhất cho độ sâu, vì nó có cấu trúc lặp lại mà phép hợp hàm khai thác trực tiếp; kết quả không có nghĩa là mạng càng sâu càng tốt với mọi dữ liệu, và với dữ liệu dạng bảng, thêm lớp thường không giúp gì (Mục 1.2). Cuối cùng, độ sâu không làm tăng những gì mạng biểu diễn được về nguyên tắc, vì theo Định lý 4.1 mạng một lớp đủ rộng đã biểu diễn được mọi hàm liên tục. Thứ độ sâu mang lại là khả năng biểu diễn một số hàm bằng ít tham số hơn rất nhiều.

4.5Thiết kế MLP trong thực hành#

Với dữ liệu không có cấu trúc không gian hay thời gian, một số lựa chọn mặc định thường là điểm khởi đầu tốt. Đầu vào cần được chuẩn hoá: đưa mỗi đặc trưng số về trung bình 0, độ lệch chuẩn 1, dùng thống kê tính trên tập huấn luyện. Khác với cây quyết định, mạng nơ-ron nhạy với thang đo của đặc trưng, vì thang đo ảnh hưởng tới số điều kiện của bài toán tối ưu (Mục 5.3 của Nền tảng). Mạng nên có 2 tới 4 lớp ẩn, bề rộng bằng nhau hoặc giảm dần; mạng sâu hơn cần kết nối tắt và chuẩn hoá (Chương 6). Hàm kích hoạt nên là ReLU hoặc GELU, và thuật toán tối ưu là Adam hoặc AdamW với tốc độ học khoảng $10^{-3}$ (Mục 5.4). Để chống overfitting, dừng sớm dựa trên sai số xác thực là biện pháp rẻ và hiệu quả nhất, nên làm trước; sau đó mới tới weight decay và dropout với tỉ lệ 0,1 tới 0,3 (Mục 6.6).

Trước khi huấn luyện lâu, có hai kiểm tra rẻ ngay ở bước khởi tạo. Với bài toán phân loại $C$ lớp, mạng vừa khởi tạo nên cho xác suất gần đều trên các lớp, nên cross-entropy ban đầu phải gần $\ln C$, tức khoảng 2,303 với 10 lớp. Một con số lớn hơn nhiều cho thấy logit ban đầu quá lớn, và mạng sẽ tốn những vòng huấn luyện đầu chỉ để thu nhỏ chúng (CS231n; Karpathy, 2019). Kiểm tra thứ hai là đặt sẵn hệ số chặn của lớp ra theo dữ liệu: bằng trung bình của biến mục tiêu với hồi quy, hoặc bằng log tỉ lệ cược của tỉ lệ lớp với phân loại mất cân bằng; chẳng hạn khi 10% mẫu là dương, hệ số chặn ban đầu là $\ln(0{,}1/0{,}9) \approx -2{,}2$, ứng với xác suất dự đoán 0,1. Như vậy mô hình không phải học điều hiển nhiên đó trong những vòng đầu.

CS231n còn có một lời khuyên đi ngược trực giác: không thu nhỏ mạng để chống overfitting. Mạng nhỏ dễ dừng ở những nghiệm có mất mát cao và cho kết quả dao động nhiều giữa các lần khởi tạo; nên dùng mạng lớn nhất mà tài nguyên cho phép rồi kiểm soát overfitting bằng regularization.

Trên dữ liệu dạng bảng, nên so sánh MLP với gradient boosting (Mục 3.6) trước khi kết luận, vì như Mục 1.2 đã nêu, gradient boosting thường tốt bằng hoặc tốt hơn.

4.6Tóm tắt#

Mạng nơ-ron nhiều lớp chồng các phép biến đổi affine xen với hàm kích hoạt phi tuyến; không có hàm phi tuyến thì chồng bao nhiêu lớp cũng chỉ bằng một lớp. Các lớp ẩn học một phép biến đổi đặc trưng, như ví dụ XOR cho thấy, còn lớp ra là một mô hình tuyến tính trên đặc trưng đã học, với hàm kích hoạt và hàm mất mát chọn theo bài toán. ReLU thay sigmoid trong mạng sâu vì đạo hàm của nó bằng 1 ở phía dương. Định lý xấp xỉ phổ quát bảo đảm mạng một lớp ẩn đủ rộng biểu diễn được mọi hàm liên tục, và với ReLU có thể thấy điều đó bằng một đường gấp khúc đi qua các điểm của hàm cần xấp xỉ; nhưng định lý không nói gì về số đơn vị cần thiết hay về việc học. Trước khi huấn luyện, mất mát ban đầu gần $\ln C$ và hệ số chặn lớp ra đặt theo dữ liệu là hai kiểm tra rẻ. Với hàm răng cưa $2^k$ đoạn, mạng sâu cần $6k$ tham số, trong khi mạng một lớp cần cỡ $3 \cdot 2^k$.

Biểu diễn được một hàm chưa có nghĩa là học được nó. Để học, ta cần gradient của hàm mất mát theo mọi tham số của mạng, và một cách dùng gradient đó để cập nhật tham số. Chương 5 trình bày cả hai việc.

5Lan truyền ngược và các thuật toán tối ưu#

Huấn luyện một mạng nơ-ron gồm hai việc tách biệt: tính gradient của hàm mất mát theo mọi tham số, và dùng gradient đó để cập nhật tham số. Lan truyền ngược làm việc thứ nhất; SGD, momentum và Adam làm việc thứ hai. Người mới hay gộp hai việc làm một, nói "huấn luyện bằng lan truyền ngược" như thể lan truyền ngược là một thuật toán học. Tách chúng ra giúp trả lời những câu hỏi rất thực tế: vì sao tính gradient của một mô hình hàng tỉ tham số chỉ tốn cỡ ba lần tính hàm mất mát, vì sao huấn luyện tốn bộ nhớ hơn suy luận nhiều, và vì sao Adam phải giữ thêm hai giá trị cho mỗi tham số.

5.1Lan truyền ngược#

Định nghĩa 5.1 (Lan truyền ngược)

Lan truyền ngược (backpropagation) là thuật toán tính gradient của một hàm mất mát vô hướng theo mọi tham số của mạng, bằng cách áp dụng quy tắc dây chuyền theo thứ tự từ đầu ra ngược về đầu vào và dùng lại các giá trị trung gian đã tính ở lượt xuôi.

Lan truyền ngược không phải là thuật toán học. Nó chỉ tính gradient; dùng gradient để cập nhật tham số thế nào là việc của thuật toán tối ưu (Mục 5.4). Hai thành phần độc lập với nhau: cùng một gradient có thể dùng cho SGD hay Adam, và cùng một thuật toán tối ưu nhận được gradient tính bằng lan truyền ngược hay bằng cách khác.

Thuật toán gồm hai lượt. Lượt xuôi tính đầu ra từ đầu vào, lần lượt qua từng lớp, và lưu lại mọi giá trị trung gian: đầu vào của mỗi lớp, giá trị trước và sau hàm kích hoạt. Lượt ngược bắt đầu từ $\partial \mathcal{L}/\partial \mathcal{L} = 1$ và đi ngược qua từng lớp. Với một lớp $z = Wh + b$, $a = \phi(z)$, khi đã có $\delta_a = \partial \mathcal{L}/\partial a$ thì

$$\delta_z = \delta_a \odot \phi'(z), \qquad \frac{\partial \mathcal{L}}{\partial W} = \delta_z\, h^\top, \qquad \frac{\partial \mathcal{L}}{\partial b} = \delta_z, \qquad \delta_h = W^\top \delta_z.$$

Vector $\delta_h$ lại là đầu vào cho lớp phía trước, và mỗi công thức chỉ cần các giá trị $z$, $h$ đã lưu ở lượt xuôi. Rumelhart, Hinton và Williams (1986) phổ biến thuật toán này cho mạng nơ-ron; trong toán học ứng dụng, nó là trường hợp riêng của vi phân tự động chế độ ngược.

Bài giảng CS231n trình bày cùng thuật toán theo một cách dễ hình dung hơn: mỗi phép toán là một cổng, nhận gradient từ phía sau rồi nhân với đạo hàm cục bộ của chính nó. Lấy $f = (a + b)\,c$ với $a = 1$, $b = 2$, $c = -3$. Lượt xuôi cho $q = a + b = 3$ rồi $f = qc = -9$. Lượt ngược bắt đầu từ $\partial f/\partial f = 1$. Cổng nhân đổi chéo: gradient của $c$ là giá trị của đầu vào kia, $q = 3$, còn gradient của $q$ là $c = -3$. Cổng cộng chia đều: $a$ và $b$ cùng nhận nguyên gradient $-3$ của $q$. Cổng max, như trong ReLU, chuyển toàn bộ gradient cho đầu vào lớn hơn và cho đầu vào kia 0. Khi một biến được dùng ở nhiều chỗ, gradient của nó là tổng gradient từ mọi nhánh; Karpathy (2022) minh hoạ bằng $b = a + a$, có đạo hàm 2 chứ không phải 1, và quên cộng dồn là lỗi kinh điển khi tự cài lan truyền ngược.

Ví dụ sau thực hiện đầy đủ một lượt xuôi, một lượt ngược và một bước cập nhật trên mạng nhỏ nhất có lớp ẩn, để thấy từng công thức trên hoạt động thế nào.

Ví dụ 5.1

Mạng có đầu vào $x = (1, 2)$, lớp ẩn 2 đơn vị ReLU và một đầu ra tuyến tính, hàm mất mát $\mathcal{L} = \tfrac12(\hat y - y)^2$ với $y = 1$. Tham số:

$$\begin{gathered} W_1 = \begin{pmatrix} 0{,}1 & 0{,}2 \\ -0{,}3 & 0{,}1 \end{pmatrix}, \quad b_1 = (0, 0), \\ w_2 = (0{,}5;\; -0{,}4), \quad b_2 = 0{,}2. \end{gathered}$$

Lượt xuôi. $z = W_1 x + b_1 = (0{,}1 + 0{,}4;\; -0{,}3 + 0{,}2) = (0{,}5;\; -0{,}1)$. Qua ReLU: $h = (0{,}5;\; 0)$. Đầu ra $\hat y = w_2^\top h + b_2 = 0{,}25 + 0 + 0{,}2 = 0{,}45$. Mất mát $\mathcal{L} = \tfrac12(0{,}45 - 1)^2 = 0{,}15125$.

Lượt ngược. $\partial \mathcal{L}/\partial \hat y = \hat y - y = -0{,}55$. Lớp ra: $\partial \mathcal{L}/\partial w_2 = -0{,}55 \cdot h = (-0{,}275;\; 0)$, $\partial \mathcal{L}/\partial b_2 = -0{,}55$, và $\delta_h = -0{,}55 \cdot w_2 = (-0{,}275;\; 0{,}22)$. Qua ReLU: $\delta_z = \delta_h \odot \mathbb{1}[z > 0] = (-0{,}275;\; 0)$. Lớp ẩn: $\partial \mathcal{L}/\partial W_1 = \delta_z\, x^\top = \begin{pmatrix} -0{,}275 & -0{,}55 \\ 0 & 0 \end{pmatrix}$ và $\partial \mathcal{L}/\partial b_1 = (-0{,}275;\; 0)$.

Kiểm tra bằng sai phân. Tăng rồi giảm $W_1[1,2]$ một lượng $10^{-4}$: mất mát thành $0{,}151195$ và $0{,}151305$, nên đạo hàm xấp xỉ $(0{,}151195 - 0{,}151305)/(2 \cdot 10^{-4}) = -0{,}55$, khớp với lượt ngược.

Cập nhật. Một bước gradient descent với $\eta = 0{,}1$ đưa $\hat y$ từ 0,45 lên 0,606 và mất mát từ 0,151 xuống 0,078.

Ví dụ cho thấy một chi tiết quan trọng: đơn vị ẩn thứ hai có $z_2 = -0{,}1 < 0$, nên đạo hàm của ReLU tại đó bằng 0, và toàn bộ hàng thứ hai của $W_1$ nhận gradient bằng 0. Đơn vị nào không kích hoạt với một đầu vào thì không học được gì từ đầu vào đó. Nếu một đơn vị không kích hoạt với mọi đầu vào, nó không bao giờ được cập nhật nữa; đó chính là đơn vị ReLU chết ở Mục 4.2. Cách kiểm tra bằng sai phân, và cách chọn bước sai phân, được trình bày ở Mục 5.5 của Nền tảng. Khi kiểm tra gradient của cả một mạng, CS231n khuyên dùng sai phân trung tâm như trong ví dụ và so bằng sai số tương đối $|a - n|/\max(|a|, |n|)$ giữa gradient giải tích $a$ và gradient số $n$: dưới $10^{-7}$ là tốt, còn trên $10^{-2}$ thì gần như chắc chắn có lỗi. Phép kiểm tra nên chạy bằng số thực 64 bit, trên vài điểm dữ liệu, và tắt dropout cùng regularization. Với ReLU, các giá trị trước hàm kích hoạt nên cách 0 xa hơn bước sai phân, như $z_2 = -0{,}1$ trong ví dụ, để phép sai phân không vắt qua điểm gãy.

5.2Thứ tự nhân các ma trận Jacobi#

Vì sao phải đi ngược mà không đi xuôi? Theo quy tắc dây chuyền, với mạng $x \to h_1 \to \dots \to h_{L-1} \to \mathcal{L}$ trong đó $\mathcal{L}$ là một số, gradient theo đầu vào là tích các ma trận Jacobi:

$$\frac{\partial \mathcal{L}}{\partial x} = \underbrace{\frac{\partial \mathcal{L}}{\partial h_{L-1}}}_{1 \times m}\;\underbrace{\frac{\partial h_{L-1}}{\partial h_{L-2}}}_{m \times m}\;\cdots\;\underbrace{\frac{\partial h_1}{\partial x}}_{m \times d}.$$

Phép nhân ma trận có tính kết hợp, nên có thể nhân theo bất kỳ thứ tự nào, nhưng chi phí rất khác nhau. Nhân từ trái sang phải, tức chế độ ngược của lan truyền ngược, thì kết quả trung gian luôn là một vector hàng $1 \times m$, và mỗi bước chỉ là một phép nhân vector với ma trận, tốn $O(m^2)$. Nhân từ phải sang trái, tức chế độ xuôi, thì kết quả trung gian là một ma trận $m \times d$, và mỗi bước là một phép nhân ma trận với ma trận, tốn $O(m^2 d)$. Với 10 lớp có $m = d = 1\,000$, chế độ ngược tốn khoảng $10 \times 10^6 = 10^7$ phép nhân, chế độ xuôi khoảng $10 \times 10^9 = 10^{10}$, chênh nhau 1 000 lần, đúng bằng số đầu vào $d$.

Tổng quát hơn, với một hàm từ $n$ đầu vào ra $k$ đầu ra, chế độ ngược tính toàn bộ gradient với chi phí cỡ $k$ lần tính hàm, còn chế độ xuôi cần cỡ $n$ lần (Baydin và cộng sự, 2018). Huấn luyện mạng nơ-ron có $k = 1$, vì hàm mất mát là một số, còn $n$ bằng số tham số, có thể tới hàng tỉ, nên chế độ ngược rẻ hơn hàng tỉ lần. Trên thực tế, một lượt ngược tốn khoảng gấp đôi một lượt xuôi (Mục 12.4), nên tính gradient chỉ tốn cỡ ba lần tính hàm mất mát. Đặt cạnh cách tính bằng sai phân, vốn cần thêm một lượt tính hàm mất mát cho mỗi tham số, tức một triệu lẻ một lượt với một mô hình một triệu tham số (Nielsen, 2015), hai cách chênh nhau hơn trăm nghìn lần.

Ngược lại, khi cần đạo hàm của nhiều đầu ra theo ít đầu vào, chế độ xuôi rẻ hơn. Các thư viện như PyTorch và JAX cài đặt cả hai chế độ.

5.3Bộ nhớ cho lan truyền ngược#

Lượt ngược cần các giá trị trung gian của lượt xuôi, nên chúng phải được giữ trong bộ nhớ cho tới khi lượt ngược dùng xong. Phần bộ nhớ này, gọi là bộ nhớ kích hoạt, tỉ lệ với

$$\text{số lớp} \times \text{kích thước lô} \times \text{độ dài chuỗi} \times \text{bề rộng} \times \text{số byte mỗi số}.$$

Bộ nhớ kích hoạt không tỉ lệ với số tham số mà tỉ lệ với kích thước lô và độ dài chuỗi. Vì vậy khi huấn luyện bị hết bộ nhớ, cách xử lý đầu tiên thường là giảm kích thước lô, không phải thu nhỏ mô hình.

Có hai kỹ thuật đổi thời gian tính lấy bộ nhớ. Gradient checkpointing (Chen và cộng sự, 2016) chỉ lưu giá trị trung gian tại một số lớp mốc; các lớp khác được tính lại từ mốc gần nhất khi lượt ngược cần tới. Đặt mốc cách nhau $\sqrt{L}$ lớp thì bộ nhớ kích hoạt giảm từ $O(L)$ xuống $O(\sqrt L)$, đổi lại phải tính thêm khoảng một lượt xuôi, tức thời gian tăng khoảng một phần ba. Tích luỹ gradient (gradient accumulation) chia một lô lớn thành nhiều lô nhỏ, cộng dồn gradient của các lô nhỏ rồi mới cập nhật một lần. Kết quả tương đương huấn luyện với lô lớn, bộ nhớ chỉ bằng của lô nhỏ, nhưng không nhanh hơn. Có một chi tiết dễ quên: khi mất mát của mỗi lô nhỏ là trung bình trên lô đó, phải chia nó cho số lô nhỏ trước khi cộng dồn, nếu không gradient sẽ lớn gấp từng ấy lần so với khi huấn luyện thật với lô lớn (Karpathy, 2024).

5.4SGD, momentum và Adam#

Có gradient rồi, ta chuyển sang việc thứ hai. Gradient descent cập nhật $\theta_{t+1} = \theta_t - \eta\, g_t$ với $g_t = \nabla_\theta \mathcal{L}(\theta_t)$ (Chương 5 của Nền tảng). Với mạng nơ-ron, $L$ là trung bình trên hàng triệu điểm dữ liệu, nên tính gradient đầy đủ ở mỗi bước là quá đắt. Cách giải quyết là SGD theo mini-batch: ước lượng $g_t$ bằng gradient trên một lô nhỏ $B$ điểm chọn ngẫu nhiên. Ước lượng này không chệch, và phương sai của nó giảm theo $1/B$. Nhiễu của ước lượng không hoàn toàn có hại: nhiều nghiên cứu cho thấy nó giúp tránh một số điểm cực tiểu hẹp và có tác dụng như một dạng regularization, dù cơ chế chính xác vẫn đang được nghiên cứu.

Cải tiến đầu tiên là momentum, giữ một trung bình trượt của các gradient:

$$v_{t+1} = \beta v_t + g_t, \qquad \theta_{t+1} = \theta_t - \eta\, v_{t+1}.$$

Trong một thung lũng hẹp và dài, gradient đổi dấu liên tục theo chiều ngang thung lũng và giữ cùng dấu theo chiều dọc. Trung bình trượt triệt tiêu phần dao động ngang và cộng dồn phần dọc, nên với $\beta = 0{,}9$, bước đi theo hướng ổn định lớn gấp khoảng $1/(1-\beta) = 10$ lần. Mục 5.3 của Nền tảng đã đo được tác dụng này: số vòng lặp giảm từ bậc $\kappa$ xuống bậc $\sqrt\kappa$. CS231n và Andrew Ng cùng dùng hình ảnh một quả bóng lăn xuống dốc có ma sát: gradient đóng vai trò gia tốc, $v$ là vận tốc, còn $\beta$ là hệ số giữ lại vận tốc sau mỗi bước, tức phần bù của ma sát.

Các tài liệu viết momentum theo ba cách sai khác nhau một hệ số. Cách ở trên, $v \leftarrow \beta v + g$, là cách của PyTorch. CS231n viết $v \leftarrow \mu v - \eta g$ rồi cộng thẳng $v$ vào tham số, tương đương với cách trên. Andrew Ng viết $v \leftarrow \beta v + (1 - \beta)\,g$, một trung bình trượt mũ thật sự, nên với cùng $\eta$, bước đi nhỏ hơn $1/(1-\beta)$ lần, tức 10 lần khi $\beta = 0{,}9$. Khi chuyển công thức hay siêu tham số giữa các tài liệu, tốc độ học phải được chỉnh lại theo hệ số đó. Tên "trung bình trượt" cũng có nghĩa cụ thể: với $\beta = 0{,}9$, trọng số của giá trị cách đây 10 bước là $0{,}9^{10} \approx 0{,}35 \approx 1/e$, nên trung bình chủ yếu gồm khoảng $1/(1-\beta) = 10$ giá trị gần nhất.

Adam (Kingma và Ba, 2015) đi xa hơn: giữ trung bình trượt của cả gradient và bình phương gradient, rồi chia từng toạ độ cho căn bậc hai của trung bình bình phương, nên mỗi tham số có một bước đi riêng:

$$m_t = \beta_1 m_{t-1} + (1-\beta_1)\,g_t, \qquad v_t = \beta_2 v_{t-1} + (1-\beta_2)\,g_t^2,$$

$$\hat m_t = \frac{m_t}{1-\beta_1^t}, \qquad \hat v_t = \frac{v_t}{1-\beta_2^t}, \qquad \theta_{t+1} = \theta_t - \eta\,\frac{\hat m_t}{\sqrt{\hat v_t} + \epsilon}.$$

Các giá trị mặc định là $\beta_1 = 0{,}9$, $\beta_2 = 0{,}999$, $\epsilon = 10^{-8}$.

Hai phép chia cho $1 - \beta^t$ gọi là hiệu chỉnh độ chệch (bias correction), và tên gọi này đúng theo nghĩa thống kê của Mục 2.2. Vì khởi tạo $m_0 = 0$, khai triển công thức truy hồi được $m_t = (1-\beta_1)\sum_{i=1}^{t}\beta_1^{t-i} g_i$. Nếu các $g_i$ có cùng kỳ vọng $\mathbb{E}[g]$ thì

$$\mathbb{E}[m_t] = (1-\beta_1)\big(1 + \beta_1 + \dots + \beta_1^{t-1}\big)\,\mathbb{E}[g] = (1 - \beta_1^t)\,\mathbb{E}[g].$$

Như vậy $m_t$ là ước lượng chệch về phía 0 của $\mathbb{E}[g]$, và chia cho $1 - \beta_1^t$ cho ước lượng không chệch. Andrew Ng giảng điều này bằng trung bình trượt của nhiệt độ hằng ngày. Với nhiệt độ ba ngày đầu là 30, 32 và 31 °C và hệ số 0,9, trung bình trượt khởi tạo từ 0 cho 3; 5,9 và 8,41, thấp xa nhiệt độ thật; chia lần lượt cho $1 - 0{,}9 = 0{,}1$, $1 - 0{,}9^2 = 0{,}19$ và $1 - 0{,}9^3 = 0{,}271$ được 30; 31,05 và 31,03. Cùng lập luận cho $\mathbb{E}[v_t] = (1 - \beta_2^t)\,\mathbb{E}[g^2]$. Hai độ chệch này không bù trừ cho nhau, vì $v_t$ bị kéo về 0 mạnh hơn nhiều. Ở bước đầu, $m_1 = 0{,}1\,g_1$ và $v_1 = 0{,}001\,g_1^2$, nên nếu không hiệu chỉnh, bước đi là $\eta \cdot 0{,}1\,g_1/\sqrt{0{,}001\,g_1^2} \approx 3{,}16\,\eta$ theo dấu của $g_1$, trong khi bước đã hiệu chỉnh là đúng $\eta$. Với gradient không đổi, tỉ số giữa hai bước là $(1 - \beta_1^t)/\sqrt{1 - \beta_2^t}$: tăng lên tới khoảng 6,6 quanh bước 12, còn 3,2 ở bước 100 và vẫn còn 1,26 ở bước 1 000, vì $1 - \beta_2^t$ tăng rất chậm. Bỏ hiệu chỉnh vì vậy làm các bước đầu lớn bất thường, không phải nhỏ đi; Kingma và Ba (2015) nêu đúng điều này. Khi $t$ lớn, $\beta^t \to 0$ và phép hiệu chỉnh không còn tác dụng gì.

Cuối cùng, AdamW (Loshchilov và Hutter, 2019) sửa cách Adam xử lý weight decay. Nếu thêm $\lambda\|\theta\|^2$ vào hàm mất mát rồi dùng Adam, gradient của thành phần phạt $2\lambda\theta$ cũng bị chia cho $\sqrt{\hat v_t}$, nên tham số có gradient lớn lại bị phạt ít hơn, ngược với mục đích của regularization. AdamW tách weight decay ra khỏi gradient và trừ trực tiếp $\eta\lambda\theta_t$ ở mỗi bước. AdamW là lựa chọn mặc định khi huấn luyện Transformer. Bảng dưới so sánh hai nhóm thuật toán.

Dòng cuối quan trọng khi huấn luyện mô hình lớn. Adam giữ $m$ và $v$ cho mọi tham số, thường ở FP32. Với mô hình 7 tỉ tham số, riêng trạng thái Adam đã chiếm $7 \times 10^9 \times 2 \times 4 = 56$ GB. Mục 12.5 sẽ tính đầy đủ bộ nhớ huấn luyện.

5.5Lịch tốc độ học#

Tốc độ học là siêu tham số quan trọng nhất khi huấn luyện mạng nơ-ron, và cách thay đổi nó theo thời gian cũng quan trọng gần như vậy. Phần lớn lịch tốc độ học hiện nay bắt đầu bằng warmup: tăng tuyến tính tốc độ học từ gần 0 lên giá trị đích trong vài trăm tới vài nghìn bước đầu. Với Adam, $\hat v_t$ ở các bước đầu được ước lượng từ rất ít gradient nên rất nhiễu, và bước đi có thể lớn bất thường; warmup tránh được những bước như vậy. Warmup cũng cần thiết với Transformer dùng post-LN (Mục 10.2).

Sau warmup, tốc độ học được giảm dần. Lịch phổ biến khi huấn luyện mô hình ngôn ngữ là cosine decay (Loshchilov và Hutter, 2017), giảm tốc độ học theo nửa chu kỳ hàm cosin về gần 0 ở bước cuối. Trong thị giác máy tính, lịch giảm theo bậc thang, tức chia tốc độ học cho 10 tại một số mốc định trước, vẫn còn phổ biến.

Khi tăng kích thước lô lên $k$ lần, gradient ít nhiễu hơn nên có thể dùng tốc độ học lớn hơn. Với SGD, Goyal và cộng sự (2017) dùng quy tắc tuyến tính: nhân tốc độ học với $k$, kèm warmup, và huấn luyện được ResNet-50 trên ImageNet với lô 8 192 ảnh mà không giảm độ chính xác. Với Adam, Malladi và cộng sự (2022) lập luận rằng quy tắc phù hợp là nhân với $\sqrt{k}$. Cả hai là quy tắc kinh nghiệm có cơ sở lý thuyết một phần, và đều không còn đúng khi lô quá lớn.

Một lịch cụ thể cho thấy các thành phần này ghép với nhau ra sao. Khi tái hiện GPT-2 124 triệu tham số, Karpathy (2024) dùng AdamW với $\beta_1 = 0{,}9$, $\beta_2 = 0{,}95$, warmup tuyến tính trong 715 bước lên $6 \times 10^{-4}$, rồi giảm theo cosine xuống $6 \times 10^{-5}$ ở bước 19 073, kèm cắt chuẩn gradient ở 1,0.

Đường mất mát cho biết tốc độ học đang ở mức nào: mất mát gần như không giảm là dấu hiệu tốc độ học quá nhỏ, còn mất mát tăng vọt hoặc thành NaN là dấu hiệu quá lớn. CS231n khuyên theo dõi thêm tỉ số giữa độ lớn của bước cập nhật và độ lớn của tham số, nên ở quanh $10^{-3}$. Và trước khi huấn luyện thật, nên cho mạng khớp hoàn toàn một tập rất nhỏ, chẳng hạn 20 mẫu: một mạng đủ lớn phải đưa được mất mát trên 20 mẫu đó về gần 0, nếu không thì mã có lỗi.

5.6Các hiểu lầm thường gặp#

Bảng dưới gom những hiểu lầm hay gặp về lan truyền ngược và tối ưu.

5.7Tóm tắt#

Lan truyền ngược tính gradient của hàm mất mát theo mọi tham số bằng quy tắc dây chuyền, đi từ đầu ra về đầu vào và dùng lại các giá trị đã lưu ở lượt xuôi; nhìn theo từng cổng, cổng cộng chia đều gradient, cổng nhân đổi chéo, cổng max chuyển gradient cho đầu vào lớn hơn, và gradient của một biến dùng ở nhiều chỗ là tổng các nhánh. Nhân các ma trận Jacobi theo chiều ngược làm mọi kết quả trung gian là vector, nên với hàm mất mát là một số, tính toàn bộ gradient chỉ tốn cỡ ba lần tính hàm. Đổi lại, các giá trị trung gian phải được giữ trong bộ nhớ, và phần bộ nhớ kích hoạt này tăng theo kích thước lô và độ dài chuỗi. Gradient được dùng bởi SGD theo mini-batch, momentum hoặc Adam; Adam chia bước đi theo từng tham số, cần hiệu chỉnh độ chệch ở các bước đầu và giữ hai giá trị trạng thái cho mỗi tham số, còn AdamW tách weight decay khỏi gradient. Momentum được viết theo nhiều quy ước sai khác nhau một hệ số $1/(1-\beta)$, nên phải chỉnh tốc độ học khi đổi quy ước. Tốc độ học thường đi theo lịch warmup rồi giảm dần, và trước khi huấn luyện thật, kiểm tra gradient bằng sai số tương đối và cho mạng khớp một tập rất nhỏ là hai bước kiểm tra rẻ.

Với các công cụ này, ví dụ tính tay đã chạy đúng trên một mạng hai lớp. Khi mạng có hàng chục lớp, một vấn đề mới xuất hiện ngay trong công thức lan truyền ngược: gradient là tích của nhiều ma trận, và tích đó có thể co về 0 hoặc phình ra rất nhanh. Chương 6 xét vấn đề này.

6Khởi tạo, chuẩn hoá và kết nối tắt#

Ở Mục 4.4, một mạng 7 lớp, mỗi lớp 2 đơn vị, biểu diễn được hàm răng cưa 128 đoạn, nhưng gradient descent gần như không bao giờ tìm ra bộ trọng số đó. Một phần nguyên nhân nằm trong công thức lan truyền ngược của Chương 5: gradient tại một lớp là tích của các ma trận Jacobi của mọi lớp phía sau, và tích của nhiều thừa số hơi nhỏ hơn hoặc hơi lớn hơn 1 sẽ co về 0 hoặc phình ra rất nhanh. Trong một thời gian dài, đây là trở ngại khiến các mạng sâu vài chục lớp rất khó huấn luyện. Ba kỹ thuật giữ độ lớn của tín hiệu ổn định đã gỡ trở ngại đó: khởi tạo trọng số đúng phương sai, chuẩn hoá, và kết nối tắt. Một thí nghiệm trên mạng 40 lớp sẽ đo tác dụng của từng kỹ thuật, và cho một kết quả hay bị hiểu sai: kết nối tắt một mình không đủ.

6.1Tín hiệu co lại hoặc phình ra qua nhiều lớp#

Theo Mục 5.2, gradient theo đầu vào của một lớp là tích của các ma trận Jacobi của mọi lớp phía sau. Nếu mỗi lớp nhân độ lớn của gradient với một hệ số trung bình $\gamma$, thì qua $L$ lớp gradient bị nhân với khoảng $\gamma^L$. Với $\gamma = 0{,}9$ và $L = 50$, hệ số là $0{,}005$; với $\gamma = 1{,}1$, hệ số là 117. Chỉ cần $\gamma$ lệch khỏi 1 một chút, gradient ở các lớp đầu sẽ tiêu biến về gần 0 hoặc bùng nổ. Lượt xuôi gặp vấn đề tương tự với độ lớn của các giá trị kích hoạt.

Ba kỹ thuật trong chương này đều nhằm giữ $\gamma$ gần 1, và chúng bổ sung cho nhau chứ không thay thế nhau.

6.2Khởi tạo Xavier và He#

Kỹ thuật đầu tiên tác động ngay từ bước khởi tạo. Trước hết, các trọng số không được khởi tạo bằng nhau, chẳng hạn cùng bằng 0: khi đó mọi đơn vị trong một lớp tính cùng một giá trị, nhận cùng một gradient và mãi giống hệt nhau, nên một lớp rộng 128 đơn vị chỉ làm được việc của một đơn vị (CS231n). Khởi tạo ngẫu nhiên phá vỡ sự đối xứng đó, và câu hỏi còn lại là phương sai bao nhiêu. Xét một lớp $z = Wa$ với $W \in \mathbb{R}^{n_{\text{out}} \times n_{\text{in}}}$. Giả sử các phần tử của $W$ độc lập, có trung bình 0 và phương sai $\sigma_W^2$, và độc lập với $a$. Khi đó mỗi thành phần của $z$ có

$$\operatorname{Var}(z_i) = \sum_{j=1}^{n_{\text{in}}} \operatorname{Var}(W_{ij} a_j) = n_{\text{in}}\,\sigma_W^2\,\mathbb{E}[a_j^2].$$

Nếu $a$ có trung bình 0 thì $\mathbb{E}[a_j^2] = \operatorname{Var}(a_j)$, và muốn phương sai không đổi qua lớp thì cần $\sigma_W^2 = 1/n_{\text{in}}$. Áp dụng cùng lập luận cho lượt ngược, nơi gradient nhân với $W^\top$, cho điều kiện $\sigma_W^2 = 1/n_{\text{out}}$. Khởi tạo Xavier (Glorot và Bengio, 2010) dung hoà hai điều kiện bằng

$$\sigma_W^2 = \frac{2}{n_{\text{in}} + n_{\text{out}}}.$$

Lập luận trên đúng với hàm kích hoạt gần tuyến tính quanh 0 như tanh. Với ReLU thì phải sửa lại: nếu $z$ đối xứng quanh 0 thì $a = \operatorname{ReLU}(z)$ bằng 0 với một nửa số giá trị, nên

$$\mathbb{E}[a^2] = \tfrac12\,\mathbb{E}[z^2] = \tfrac12 \operatorname{Var}(z).$$

Thay vào công thức trên, phương sai giữ nguyên qua các lớp khi $n_{\text{in}}\,\sigma_W^2 \cdot \tfrac12 = 1$, tức

$$\sigma_W^2 = \frac{2}{n_{\text{in}}}.$$

Đây là khởi tạo He (He và cộng sự, 2015). Hệ số 2 đến trực tiếp từ việc ReLU loại bỏ một nửa phân phối. Với các lớp rộng 128 đơn vị ở Mục 6.3, khởi tạo He lấy $\sigma_W^2 = 2/128 \approx 0{,}0156$, tức độ lệch chuẩn 0,125, còn Xavier lấy $2/256$, tức độ lệch chuẩn khoảng 0,088, nhỏ hơn $\sqrt2$ lần. Lớp vuông che mất tính chất dung hoà của Xavier; với một lớp có $n_{\text{in}} = 512$ và $n_{\text{out}} = 128$, điều kiện của lượt xuôi đòi phương sai $1/512$, tức độ lệch chuẩn 0,044, điều kiện của lượt ngược đòi $1/128$, tức 0,088, còn Xavier chọn $2/640$, tức 0,056, nằm giữa hai giá trị đó. Dùng Xavier cho mạng ReLU thì mỗi lớp nhân độ lớn tín hiệu với khoảng $1/\sqrt2 \approx 0{,}71$, và qua 40 lớp còn $2^{-20} \approx 10^{-6}$. Nguyên tắc chung là khởi tạo phải khớp với hàm kích hoạt: Xavier cho tanh và sigmoid, He cho ReLU và các biến thể gần giống.

6.3Thí nghiệm với mạng 40 lớp#

Thí nghiệm trong code/models/experiments.py dùng một mạng 40 lớp, mỗi lớp rộng 128 đơn vị ReLU, với một lô 128 đầu vào ngẫu nhiên. Sau lượt xuôi, một gradient ngẫu nhiên có chuẩn 1 được truyền ngược từ lớp cuối, và thí nghiệm đo chuẩn của gradient theo giá trị kích hoạt $\|\partial \mathcal{L}/\partial a_l\|$ tại từng lớp. Kết quả lấy trung bình trên 5 lần khởi tạo và chia cho giá trị ở lớp cuối. Trọng số được khởi tạo với phương sai $\text{gain}^2/n_{\text{in}}$, nên khởi tạo He ứng với $\text{gain} = \sqrt 2$.

Sáu cách dựng lớp được so sánh. Ba cách đầu là mạng thường, mỗi lớp tính $a_{l+1} = \operatorname{ReLU}(W a_l)$, với ba mức gain 0,5, $\sqrt2$ và 2,0. Cách thứ tư thêm LayerNorm trước ReLU: $a_{l+1} = \operatorname{ReLU}(\operatorname{LN}(W a_l))$. Cách thứ năm thêm kết nối tắt mà không chuẩn hoá: $a_{l+1} = a_l + \operatorname{ReLU}(W a_l)$. Cách thứ sáu dùng cả hai, $a_{l+1} = a_l + \operatorname{ReLU}(\operatorname{LN}(W a_l))$, với chuẩn hoá nằm trong nhánh còn đường tắt đi thẳng, cùng nguyên tắc với pre-LN của Transformer (Mục 10.2). Ba cách sau đều dùng khởi tạo He.

Ba dòng đầu cho thấy khởi tạo có ảnh hưởng rất lớn. Trên cùng một kiến trúc, chỉ đổi gain từ 0,5 sang 2,0 làm gradient ở lớp đầu thay đổi từ $10^{-18}$ tới $10^{6}$, tức 24 bậc độ lớn. Với gain 0,5, mỗi lớp nhân gradient với khoảng $0{,}5/\sqrt2 \approx 0{,}35$, và $0{,}35^{40} \approx 10^{-18}$. Khởi tạo He thì giữ gradient gần như không đổi, với tỉ lệ 1,42 sau 40 lớp, đúng như lập luận ở Mục 6.2.

Dòng thứ năm là kết quả hay bị hiểu sai nhất: kết nối tắt một mình làm gradient bùng nổ. Với khởi tạo He, nhánh $\operatorname{ReLU}(Wa_l)$ có độ lớn cùng cỡ với $a_l$, nên mỗi lớp cộng thêm vào tín hiệu một lượng xấp xỉ bằng chính nó, và độ lớn của tín hiệu tăng gần gấp đôi sau mỗi lớp. Ở lượt ngược, Jacobi của mỗi lớp là $I + J_l$ với $J_l$ có độ lớn cỡ 1, và tích của 40 ma trận như vậy tăng theo cấp số nhân. Vì vậy mạng ResNet luôn có chuẩn hoá đi kèm kết nối tắt.

Dòng cuối cho thấy cách kết hợp đúng: chuẩn hoá trong nhánh kèm đường tắt đi thẳng cho gradient ổn định, với tỉ lệ 2,22. Chuẩn hoá giữ đầu ra của mỗi nhánh ở độ lớn cố định, nên tín hiệu chỉ tăng theo kiểu cộng dồn thay vì nhân lên, còn đường tắt bảo đảm gradient luôn có một đường đi không qua ma trận trọng số nào. Đây là cấu hình mà các Transformer hiện nay dùng (Mục 10.2).

Trang thí nghiệm tương tác của giáo trình cho phép tự chọn gain, số lớp và các thành phần để quan sát các đường trong Hình 7.

Hai bài giảng nổi tiếng quan sát cùng hiện tượng theo hai cách khác, cũng nên dùng khi gỡ lỗi. CS231n vẽ phân phối giá trị kích hoạt ở từng lớp của một mạng 10 lớp tanh: khởi tạo quá nhỏ làm các giá trị co dần về 0 ở các lớp sâu, quá lớn làm chúng dồn về $\pm 1$, tức tanh bão hoà, còn Xavier giữ được phân phối qua mọi lớp; chuyển sang ReLU thì Xavier lại làm các giá trị co dần, và phải thêm hệ số 2 của He. Karpathy, trong bài giảng makemore về giá trị kích hoạt và gradient, theo dõi trong khi huấn luyện tỉ lệ đơn vị tanh bão hoà, với $|\tanh| > 0{,}97$, và tỉ số giữa độ lớn của bước cập nhật và độ lớn của tham số ở từng lớp, nên ở quanh $10^{-3}$ như Mục 5.5.

6.4BatchNorm, LayerNorm và RMSNorm#

Kỹ thuật thứ hai là chuẩn hoá. Các lớp chuẩn hoá đưa giá trị kích hoạt về trung bình 0, phương sai 1, rồi nhân với một hệ số $\gamma$ và cộng một độ dịch $\beta$ học được, để mạng vẫn biểu diễn được mọi thang đo nếu cần:

$$\operatorname{Norm}(x) = \gamma \odot \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta.$$

Các phương pháp khác nhau ở tập giá trị dùng để tính $\mu$ và $\sigma^2$, như bảng dưới cho thấy.

Transformer dùng LayerNorm thay cho BatchNorm, và ba hàng đầu của bảng giải thích vì sao. Các chuỗi trong một lô có độ dài khác nhau và được đệm thêm, nên thống kê theo lô trên trục thời gian bị phần đệm làm sai lệch. BatchNorm dùng thống kê của lô khi huấn luyện và trung bình trượt khi suy luận; khi sinh văn bản từng token, mỗi bước chỉ xử lý một vị trí, và khác biệt giữa hai chế độ trở thành một nguồn sai lệch. Ngoài ra, với BatchNorm, dự đoán cho một mẫu phụ thuộc vào các mẫu khác cùng lô, điều không mong muốn khi phục vụ nhiều người dùng cùng lúc.

RMSNorm (Zhang và Sennrich, 2019) đơn giản hoá LayerNorm bằng cách bỏ bước trừ trung bình và độ dịch $\beta$, chỉ chia cho căn trung bình bình phương:

$$\operatorname{RMSNorm}(x) = \gamma \odot \frac{x}{\sqrt{\frac{1}{d}\sum_{i=1}^{d} x_i^2 + \epsilon}}.$$

Với vector $x = (1;\ 2;\ 3;\ 6)$, $\gamma = 1$ và $\beta = 0$, LayerNorm trừ trung bình 3, chia cho độ lệch chuẩn $\sqrt{3{,}5} \approx 1{,}87$, với phương sai tính bằng mẫu số $n = 4$ như các thư viện làm, và cho $(-1{,}07;\ -0{,}53;\ 0;\ 1{,}60)$. RMSNorm chỉ chia cho căn trung bình bình phương $\sqrt{12{,}5} \approx 3{,}54$ và cho $(0{,}28;\ 0{,}57;\ 0{,}85;\ 1{,}70)$: các phần tử giữ nguyên dấu và tỉ lệ với nhau, chỉ thang đo thay đổi. Phép tính rẻ hơn LayerNorm, và thực nghiệm cho chất lượng tương đương. RMSNorm là lựa chọn của nhiều mô hình ngôn ngữ hiện nay, như Llama.

Hai chi tiết cài đặt của BatchNorm hay gây nhầm. Hệ số chặn của lớp đứng ngay trước BatchNorm là thừa, vì phép trừ trung bình triệt tiêu nó; độ dịch $\beta$ đã làm việc đó. Còn tham số momentum của BatchNorm trong PyTorch, mặc định 0,1, là trọng số dành cho lô mới khi cập nhật trung bình trượt dùng lúc suy luận, ngược với vai trò của $\beta$ trong momentum ở Mục 5.4.

Vì sao chuẩn hoá giúp huấn luyện vẫn còn được thảo luận. Bài báo gốc của BatchNorm giải thích bằng việc giảm "dịch chuyển hiệp biến nội tại" (internal covariate shift), nhưng Santurkar và cộng sự (2018) cho thấy lợi ích chủ yếu đến từ việc làm hàm mất mát trơn hơn, cho phép dùng tốc độ học lớn hơn. Tác dụng giữ ổn định độ lớn của tín hiệu, đo được ở Mục 6.3, là một phần của lời giải thích đó.

6.5Kết nối tắt#

Kỹ thuật thứ ba thay $h = F(x)$ bằng

$$h = x + F(x),$$

trong đó $F$ là một khối gồm vài lớp. Có hai cách hiểu bổ sung cho nhau.

Cách hiểu thứ nhất nhìn theo đường đi của gradient. Jacobi của một khối là $\partial h/\partial x = I + \partial F/\partial x$, và số hạng $I$ bảo đảm gradient luôn có một đường đi thẳng từ đầu ra về đầu vào mà không nhân với ma trận trọng số nào. Qua nhiều khối, tích $\prod_l (I + J_l)$ khai triển thành tổng của mọi tích con, trong đó có số hạng $I$, nên không tự co về 0 như $\prod_l J_l$.