0. Ký hiệu và quy ước — Học sâu và các kiến trúc mô hình

Chương 05 phút đọcMở đầu

0Ký hiệu và quy ước#

Giáo trình dùng lại ký hiệu và quy ước thuật ngữ của Nền tảng (Chương 0 của Nền tảng), và bổ sung các ký hiệu riêng cho mạng nơ-ron và Transformer.

0.1Bảng ký hiệu#

Ký hiệu	Ý nghĩa
$x \in \mathbb{R}^{d}$	một điểm dữ liệu đầu vào có $d$ đặc trưng
$X \in \mathbb{R}^{n \times d}$	ma trận dữ liệu gồm $n$ điểm
$y$ , $\hat{y}$	nhãn thật và giá trị dự đoán
$W$ , $b$	ma trận trọng số và vector hệ số chặn của một lớp
$h^{(l)}$ , $h_t$	đầu ra của lớp ẩn thứ $l$ ; trạng thái ẩn của RNN tại bước $t$
$\phi$ , $\sigma$	hàm kích hoạt nói chung; hàm sigmoid
$\mathcal{L}$	hàm mất mát
$\eta$	tốc độ học (learning rate)
$B$	kích thước lô (batch size)
$T$	độ dài chuỗi: số token hoặc số bước thời gian
$d$ hay $d_{\text{model}}$	số chiều biểu diễn của Transformer
$h$	số đầu attention
$d_k = d/h$	số chiều của mỗi đầu
$d_{\text{ff}}$	số chiều lớp ẩn của khối FFN
$L$	số lớp của mạng; với Transformer là số khối
$V$	kích thước từ vựng; trong công thức attention là ma trận giá trị (value)
$N$	số tham số của mô hình (không tính embedding, trừ khi ghi rõ)
$D$	số token dữ liệu huấn luyện

Giáo trình Nền tảng viết hàm mất mát là $L$ , vì ở đó chưa có mạng nhiều lớp. Từ giáo trình này, chữ $L$ được dành cho số lớp, xuất hiện từ định nghĩa mạng nhiều lớp ở Chương 4 tới phép đếm tham số ở Chương 12, nên hàm mất mát viết là $\mathcal{L}$ . Chữ $h$ chỉ vector ẩn khi nói về mạng nhiều lớp, mạng hồi quy và kết nối tắt (Chương 4 tới 8), và chỉ số đầu attention trong các chương về Transformer (Chương 9 tới 12).

0.2Quy ước thuật ngữ#

Giống Nền tảng, giáo trình dùng thuật ngữ theo cách phổ biến trong cộng đồng học máy tiếng Việt, có tham khảo bản dịch tiếng Việt các cheatsheet CS229 và CS230 của Đại học Stanford. Bảng dưới ghi các thuật ngữ mới xuất hiện trong giáo trình này.

Tiếng Anh	Dùng trong giáo trình
bias (của một ước lượng)	độ chệch
bias (tham số $b$ của một lớp)	hệ số chặn (bias)
inductive bias	thiên kiến quy nạp (inductive bias)
layer, hidden layer	lớp, lớp ẩn
activation function	hàm kích hoạt
forward / backward pass	lượt xuôi / lượt ngược
backpropagation	lan truyền ngược
weight decay	weight decay (suy giảm trọng số)
residual / skip connection	kết nối tắt
convolution, filter, stride, padding, pooling	tích chập, bộ lọc, bước nhảy (stride), phần đệm (padding), gộp (pooling)
receptive field	trường tiếp nhận
recurrent neural network	mạng nơ-ron hồi quy (RNN)
gate, forget gate, cell state	cổng, cổng quên, trạng thái ô nhớ
query, key, value	truy vấn, khoá, giá trị (query, key, value)
head, mask	đầu, mặt nạ
decoding, beam search, temperature	giải mã, beam search, nhiệt độ
ensemble	phương pháp tập hợp (ensemble)
bagging, boosting, dropout, embedding, softmax, attention	giữ nguyên tiếng Anh

Chữ bias có ba nghĩa trong giáo trình, và mỗi nghĩa có một tên riêng. Độ chệch là sai lệch có hệ thống của một ước lượng, như trong "ước lượng không chệch". Hệ số chặn là tham số cộng thêm $b$ trong $Wx + b$ . Thiên kiến quy nạp là tập các giả định mà một thuật toán học dùng để chọn giữa các hàm cùng khớp dữ liệu (Mục 1.4).

0.3Quy ước về chiều#

Trong công thức, $x$ là vector cột và một lớp viết là $Wx + b$ với $W \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}$ . Trong mã, dữ liệu xếp theo hàng nên cả lô viết là X @ W + b với W.shape == (d_in, d_out). Hai cách viết chỉ khác nhau một phép chuyển vị. Phần chữ dùng dấu phẩy thập phân (0,15); phần mã và kết quả in ra từ script giữ dấu chấm (0.15).