19Tài liệu tham khảo#

Sách

1. T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009. Nguồn cho ridge, lasso, LDA và QDA, công thức co $d_i^2/(d_i^2+\lambda)$ và số bậc tự do hiệu dụng ở Mục 9.3.
2. C. M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006. Nguồn cho cách hiểu regularization như ước lượng MAP và cho các bộ phân loại Gauss.
3. K. P. Murphy. Machine Learning: A Probabilistic Perspective. MIT Press, 2012. Trình bày học máy thống nhất theo góc nhìn xác suất như Chương 10.
4. S. Boyd, L. Vandenberghe. Convex Optimization. Cambridge University Press, 2004. Nguồn cho Chương 11 và 12: tập lồi, hàm lồi, đối ngẫu Lagrange, điều kiện Slater và KKT. Sách được phát hành miễn phí trên trang của tác giả.
5. G. Strang. Introduction to Linear Algebra, 5th ed. Wellesley–Cambridge Press, 2016. Nền cho Chương 2.
6. T. Hastie, R. Tibshirani, M. Wainwright. Statistical Learning with Sparsity: The Lasso and Generalizations. CRC Press, 2015. Chuyên sâu về lasso và nghiệm thưa.
7. T. M. Mitchell. Machine Learning. McGraw-Hill, 1997. Nguồn của định nghĩa học máy ở Mục 1.1.
8. V. N. Vapnik. The Nature of Statistical Learning Theory. Springer, 1995. Nguồn cho lý thuyết lề và chiều VC ở Mục 13.1.

Bài báo gốc

9. A. E. Hoerl, R. W. Kennard. Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 1970.
10. R. Tibshirani. Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society, Series B, 1996.
11. H. Zou, T. Hastie. Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society, Series B, 2005.
12. F. Rosenblatt. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 1958.
13. A. B. J. Novikoff. On Convergence Proofs on Perceptrons. Symposium on the Mathematical Theory of Automata, 1962. Nguồn của Định lý 6.1.
14. T. Cover, P. Hart. Nearest Neighbor Pattern Classification. IEEE Transactions on Information Theory, 1967. Nguồn của Định lý 7.1.
15. A. Y. Ng, M. I. Jordan. On Discriminative vs. Generative Classifiers: A Comparison of Logistic Regression and Naive Bayes. NIPS, 2002. Nguồn cho so sánh ở Mục 7.1.
16. D. Soudry, E. Hoffer, M. S. Nacson, S. Gunasekar, N. Srebro. The Implicit Bias of Gradient Descent on Separable Data. Journal of Machine Learning Research, 2018. Nguồn cho nhận xét về tốc độ tăng của $\|w\|$ ở Mục 6.5.
17. B. E. Boser, I. M. Guyon, V. N. Vapnik. A Training Algorithm for Optimal Margin Classifiers. COLT, 1992. Nguồn của thủ thuật kernel cho SVM.
18. C. Cortes, V. Vapnik. Support-Vector Networks. Machine Learning, 1995. Nguồn của SVM lề mềm và tham số $C$.
19. J. Platt. Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines. Microsoft Research Technical Report, 1998. Thuật toán nền của libsvm.
20. R. A. Fisher. The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics, 1936. Nguồn của LDA.
21. K. Pearson. On Lines and Planes of Closest Fit to Systems of Points in Space. Philosophical Magazine, 1901. Nguồn của PCA.
22. C. Eckart, G. Young. The Approximation of One Matrix by Another of Lower Rank. Psychometrika, 1936. Định lý ở Mục 14.3.
23. S. P. Lloyd. Least Squares Quantization in PCM. IEEE Transactions on Information Theory, 1982 (báo cáo nội bộ năm 1957). Thuật toán K-means.
24. D. Arthur, S. Vassilvitskii. k-means++: The Advantages of Careful Seeding. SODA, 2007. Nguồn của cách khởi tạo ở Mục 15.2.
25. R. Tibshirani, G. Walther, T. Hastie. Estimating the Number of Clusters in a Data Set via the Gap Statistic. Journal of the Royal Statistical Society, Series B, 2001.
26. Y. Koren, R. Bell, C. Volinsky. Matrix Factorization Techniques for Recommender Systems. IEEE Computer, 2009. Nguồn chính cho Chương 16.
27. Y. Hu, Y. Koren, C. Volinsky. Collaborative Filtering for Implicit Feedback Datasets. ICDM, 2008. ALS cho phản hồi ngầm.
28. E. J. Candès, B. Recht. Exact Matrix Completion via Convex Optimization. Foundations of Computational Mathematics, 2009. Nguồn cho nhận xét lý thuyết ở Mục 16.3.

Tối ưu hoá

29. H. Robbins, S. Monro. A Stochastic Approximation Method. Annals of Mathematical Statistics, 1951. Điều kiện về tốc độ học ở Mục 5.6.
30. B. T. Polyak. Some Methods of Speeding up the Convergence of Iteration Methods. USSR Computational Mathematics and Mathematical Physics, 1964. Phương pháp heavy ball (momentum) ở Mục 5.3.
31. Y. Nesterov. A Method of Solving a Convex Programming Problem with Convergence Rate $O(1/k^2)$. Soviet Mathematics Doklady, 1983.
32. L. Bottou, F. E. Curtis, J. Nocedal. Optimization Methods for Large-Scale Machine Learning. SIAM Review, 2018. Tổng quan về SGD và các biến thể.

Đánh giá mô hình

33. T. Fawcett. An Introduction to ROC Analysis. Pattern Recognition Letters, 2006.
34. J. Davis, M. Goadrich. The Relationship Between Precision-Recall and ROC Curves. ICML, 2006. Nguồn cho lập luận ở Mục 8.3.
35. T. Saito, M. Rehmsmeier. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLOS ONE, 2015.

Tính toán số

36. N. J. Higham. Accuracy and Stability of Numerical Algorithms, 2nd ed. SIAM, 2002. Nguồn cho phân tích $\varepsilon^* \sim u^{1/3}$ ở Mục 5.5 và cho nhận xét $\kappa(X^\top X) = \kappa(X)^2$.

Tài liệu tiếng Việt

37. A. Amidi, S. Amidi. Cheatsheet CS229 và CS230 (bản dịch tiếng Việt). Stanford University, stanford.edu/~shervine/l/vi. Nguồn tham khảo cho quy ước thuật ngữ ở Mục 0.2.
38. Vũ Hữu Tiệp. Machine Learning cơ bản. machinelearningcoban.com. Bộ bài giảng tiếng Việt đầy đủ về học máy cổ điển, có mã Python cho từng thuật toán.
39. Phạm Đình Khánh. Deep AI KhanhBlog. phamdinhkhanh.github.io. Các bài viết về học máy, thị giác máy tính và xử lý ngôn ngữ tự nhiên.

Nhận xét (Về các tài liệu tiếng Việt)

Hai trang 38 và 39 được giới thiệu như tài liệu đọc thêm. Giáo trình này không sao chép nội dung hay hình ảnh của chúng: phần chữ được viết riêng và mọi số liệu, hình vẽ đều sinh từ mã trong code/nentang/. Trang Machine Learning cơ bản ghi rõ mọi hình thức sao chép cần được tác giả đồng ý.