Nền tảng · thực hành

Phòng thí nghiệm

Sáu công cụ tương tác, mỗi công cụ gắn với một mục trong giáo trình và cài đúng công thức ở mục đó. Thay đổi tham số và quan sát kết quả thay đổi theo.

Các công cụ chạy trong trình duyệt nên dùng ít điểm dữ liệu và ít vòng lặp hơn thí nghiệm ngoại tuyến. Con số hiển thị gần với bảng trong giáo trình nhưng không trùng khít, trừ những chỗ có ghi rõ, như số hệ số bằng 0 của lasso.

1 · Độ chệch và phương sai

Kéo thanh trượt để đổi bậc đa thức. Bên trái là 14 đường khớp trên 14 tập huấn luyện khác nhau, đúng các tập dữ liệu mà định nghĩa độ chệch và phương sai ở Mục 3.6 lấy kỳ vọng trên đó. Bên phải là sai số tách thành bình phương độ chệch, phương sai và nhiễu. Phép đo trên 400 tập huấn luyện nằm ở Chương 2 của Học sâu.

Bậc đa thức–

Độ chệch²–

Phương sai–

Tổng MSE–

2 · Ridge và lasso: số hệ số bằng 0

Mười hai hệ số, trong đó mô hình sinh dữ liệu chỉ có ba hệ số khác 0. Trượt $\lambda$ và đếm số hệ số mà mỗi phương pháp đưa về đúng 0. Lý thuyết ở Mục 9.4.

λ–

Hệ số = 0 · ridge–

Hệ số = 0 · lasso–mô hình thật có 9

‖w‖₂ · ridge–

‖w‖₂ · lasso–

3 · Gradient descent và số điều kiện

Hàm $f(x) = \tfrac12(x_0^2 + \kappa x_1^2)$ . Trượt $\kappa$ để xem số vòng lặp thay đổi. Đặt tốc độ học vượt ngưỡng $2/\lambda_{\max}$ để thấy thuật toán phân kỳ. Bật momentum để thấy số vòng lặp giảm từ bậc $\kappa$ xuống bậc $\sqrt\kappa$ (Mục 5.3).

Số điều kiện κ–Tốc độ học (% của ngưỡng 2/λ_max)–Dùng momentum (heavy ball)

Số vòng tới sai số 10⁻⁸–

η đang dùng–

η tối ưu về lý thuyết–2/(L+m)

4 · SVM lề mềm: ba nhóm điểm theo $C$

Theo điều kiện KKT (Mục 13.4), mỗi điểm thuộc một trong ba nhóm: nằm ngoài lề (không ảnh hưởng tới nghiệm), nằm đúng trên lề, hoặc vi phạm lề. Trượt $C$ để xem số điểm trong mỗi nhóm thay đổi. Điểm vẽ nhỏ là điểm nằm ngoài lề.

C–

Lề 2/‖w‖–

Ngoài lề · α = 0–

Đúng trên lề · 0 < α < C–

Vi phạm lề · α = C–

Sai số huấn luyện–

5 · PCA và LDA: kéo thả các điểm

Hai lớp được tô hai màu. Kéo một điểm bất kỳ để xem hai hướng được tính lại. Thử kéo để dữ liệu trải rộng theo phương ngang trong khi hai lớp vẫn tách nhau theo phương dọc: thành phần chính thứ nhất sẽ nằm ngang và AUC của nó giảm về gần 0,5, như ở Mục 14.4.

Phương sai giữ lại bởi PC₁–

AUC khi chiếu lên PC₁–

AUC khi chiếu lên LDA–

6 · K-means: chạy từng bước

Bấm "Một bước" để chạy một vòng lặp: gán mỗi điểm cho tâm gần nhất, rồi dời mỗi tâm về trung bình cụm. Bấm "Khởi tạo dồn một chỗ" vài lần để thấy thuật toán dừng ở các nghiệm tồi khác nhau, hiện tượng đo được ở Mục 15.2.

Số cụm k–

Số bước đã chạy–

Inertia–luôn giảm theo k