15Tài liệu tham khảo#

Sách và học máy cổ điển

1. T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009. Nguồn chuẩn cho phân rã độ chệch – phương sai, cây quyết định, bagging và boosting.
2. C. M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.
3. I. Goodfellow, Y. Bengio, A. Courville. Deep Learning. MIT Press, 2016. Nguồn chuẩn cho lan truyền ngược, khởi tạo, regularization và tối ưu.
4. D. H. Wolpert. The Lack of A Priori Distinctions Between Learning Algorithms. Neural Computation, 1996. Định lý "không có bữa trưa miễn phí" ở Mục 1.4.
5. L. Hyafil, R. L. Rivest. Constructing Optimal Binary Decision Trees is NP-Complete. Information Processing Letters, 1976.
6. L. Breiman. Bagging Predictors. Machine Learning, 1996.
7. L. Breiman. Random Forests. Machine Learning, 2001. Lập luận về tương quan giữa các cây và permutation importance.
8. J. H. Friedman. Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 2001.
9. J. H. Friedman. Stochastic Gradient Boosting. Computational Statistics & Data Analysis, 2002.
10. T. Chen, C. Guestrin. XGBoost: A Scalable Tree Boosting System. KDD, 2016.
11. G. Ke và cộng sự. LightGBM: A Highly Efficient Gradient Boosting Decision Tree. NeurIPS, 2017.
12. L. Prokhorenkova và cộng sự. CatBoost: Unbiased Boosting with Categorical Features. NeurIPS, 2018.
13. S. M. Lundberg, S.-I. Lee. A Unified Approach to Interpreting Model Predictions. NeurIPS, 2017. Phương pháp SHAP.
14. L. Grinsztajn, E. Oyallon, G. Varoquaux. Why Do Tree-Based Models Still Outperform Deep Learning on Typical Tabular Data? NeurIPS Datasets and Benchmarks, 2022. Nguồn của nhận định ở Mục 1.2.
15. M. Belkin, D. Hsu, S. Ma, S. Mandal. Reconciling Modern Machine-Learning Practice and the Classical Bias–Variance Trade-off. PNAS, 2019. Double descent.
16. P. Nakkiran và cộng sự. Deep Double Descent: Where Bigger Models and More Data Hurt. ICLR, 2020.

Mạng nơ-ron và cách huấn luyện

17. G. Cybenko. Approximation by Superpositions of a Sigmoidal Function. Mathematics of Control, Signals and Systems, 1989.
18. K. Hornik. Approximation Capabilities of Multilayer Feedforward Networks. Neural Networks, 1991.
19. M. Leshno, V. Y. Lin, A. Pinkus, S. Schocken. Multilayer Feedforward Networks with a Nonpolynomial Activation Function Can Approximate Any Function. Neural Networks, 1993.
20. M. Telgarsky. Benefits of Depth in Neural Networks. COLT, 2016. Ý tưởng của phép dựng hàm răng cưa ở Mục 4.4.
21. D. Hendrycks, K. Gimpel. Gaussian Error Linear Units (GELUs). arXiv:1606.08415, 2016.
22. S. Elfwing, E. Uchibe, K. Doya. Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning. Neural Networks, 2018.
23. P. Ramachandran, B. Zoph, Q. V. Le. Searching for Activation Functions. arXiv:1710.05941, 2017.
24. D. E. Rumelhart, G. E. Hinton, R. J. Williams. Learning Representations by Back-Propagating Errors. Nature, 1986.
25. A. G. Baydin, B. A. Pearlmutter, A. A. Radul, J. M. Siskind. Automatic Differentiation in Machine Learning: a Survey. JMLR, 2018. Chế độ xuôi và chế độ ngược ở Mục 5.2.
26. T. Chen, B. Xu, C. Zhang, C. Guestrin. Training Deep Nets with Sublinear Memory Cost. arXiv:1604.06174, 2016. Gradient checkpointing.
27. D. P. Kingma, J. Ba. Adam: A Method for Stochastic Optimization. ICLR, 2015.
28. I. Loshchilov, F. Hutter. SGDR: Stochastic Gradient Descent with Warm Restarts. ICLR, 2017. Lịch cosine.
29. I. Loshchilov, F. Hutter. Decoupled Weight Decay Regularization. ICLR, 2019. AdamW.
30. P. Goyal và cộng sự. Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour. arXiv:1706.02677, 2017. Quy tắc tuyến tính cho tốc độ học.
31. S. Malladi, K. Lyu, A. Panigrahi, S. Arora. On the SDEs and Scaling Rules for Adaptive Gradient Algorithms. NeurIPS, 2022. Quy tắc căn bậc hai cho Adam.
32. A. C. Wilson và cộng sự. The Marginal Value of Adaptive Gradient Methods in Machine Learning. NeurIPS, 2017.
33. Y. N. Dauphin và cộng sự. Identifying and Attacking the Saddle Point Problem in High-Dimensional Non-Convex Optimization. NeurIPS, 2014.
34. X. Glorot, Y. Bengio. Understanding the Difficulty of Training Deep Feedforward Neural Networks. AISTATS, 2010. Khởi tạo Xavier.
35. K. He, X. Zhang, S. Ren, J. Sun. Delving Deep into Rectifiers. ICCV, 2015. Khởi tạo He.
36. S. Ioffe, C. Szegedy. Batch Normalization. ICML, 2015.
37. J. L. Ba, J. R. Kiros, G. E. Hinton. Layer Normalization. arXiv:1607.06450, 2016.
38. B. Zhang, R. Sennrich. Root Mean Square Layer Normalization. NeurIPS, 2019.
39. S. Santurkar, D. Tsipras, A. Ilyas, A. Madry. How Does Batch Normalization Help Optimization? NeurIPS, 2018.
40. K. He, X. Zhang, S. Ren, J. Sun. Deep Residual Learning for Image Recognition. CVPR, 2016. Vấn đề suy thoái và kết nối tắt.
41. N. Srivastava và cộng sự. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. JMLR, 2014.
42. C. Szegedy và cộng sự. Rethinking the Inception Architecture for Computer Vision. CVPR, 2016. Làm mượt nhãn.
43. A. Chowdhery và cộng sự. PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311, 2022.

Mạng tích chập và mạng hồi quy

44. K. Simonyan, A. Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition. ICLR, 2015.
45. A. G. Howard và cộng sự. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arXiv:1704.04861, 2017.
46. W. Luo, Y. Li, R. Urtasun, R. Zemel. Understanding the Effective Receptive Field in Deep Convolutional Neural Networks. NeurIPS, 2016.
47. A. Azulay, Y. Weiss. Why Do Deep Convolutional Networks Generalize So Poorly to Small Image Transformations? JMLR, 2019.
48. A. Dosovitskiy và cộng sự. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR, 2021.
49. Z. Liu và cộng sự. A ConvNet for the 2020s. CVPR, 2022.
50. S. Hochreiter, J. Schmidhuber. Long Short-Term Memory. Neural Computation, 1997.
51. F. A. Gers, J. Schmidhuber, F. Cummins. Learning to Forget: Continual Prediction with LSTM. Neural Computation, 2000.
52. R. Pascanu, T. Mikolov, Y. Bengio. On the Difficulty of Training Recurrent Neural Networks. ICML, 2013. Điều kiện về giá trị suy biến và cắt ngưỡng gradient.
53. R. Jozefowicz, W. Zaremba, I. Sutskever. An Empirical Exploration of Recurrent Network Architectures. ICML, 2015.
54. C. Tallec, Y. Ollivier. Can Recurrent Neural Networks Warp Time? ICLR, 2018.
55. K. Cho và cộng sự. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP, 2014. Mạng GRU.
56. J. Chung, C. Gulcehre, K. Cho, Y. Bengio. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. arXiv:1412.3555, 2014.
57. A. Gu, T. Dao. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752, 2023.

Thị giác máy tính: phát hiện đối tượng và phân đoạn

58. R. Girshick, J. Donahue, T. Darrell, J. Malik. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation. CVPR, 2014. R-CNN.
59. R. Girshick. Fast R-CNN. ICCV, 2015.
60. S. Ren, K. He, R. Girshick, J. Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. NeurIPS, 2015. Mạng đề xuất vùng và hộp neo.
61. J. Redmon, S. Divvala, R. Girshick, A. Farhadi. You Only Look Once: Unified, Real-Time Object Detection. CVPR, 2016.
62. W. Liu và cộng sự. SSD: Single Shot MultiBox Detector. ECCV, 2016.
63. T.-Y. Lin, P. Goyal, R. Girshick, K. He, P. Dollár. Focal Loss for Dense Object Detection. ICCV, 2017. RetinaNet.
64. Z. Tian, C. Shen, H. Chen, T. He. FCOS: Fully Convolutional One-Stage Object Detection. ICCV, 2019.
65. X. Zhou, D. Wang, P. Krähenbühl. Objects as Points. arXiv:1904.07850, 2019. CenterNet.
66. N. Carion và cộng sự. End-to-End Object Detection with Transformers. ECCV, 2020. DETR.
67. M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, A. Zisserman. The PASCAL Visual Object Classes (VOC) Challenge. IJCV, 2010. Cách tính AP 11 điểm và mọi điểm.
68. T.-Y. Lin và cộng sự. Microsoft COCO: Common Objects in Context. ECCV, 2014. AP@[0,5:0,95].
69. J. Long, E. Shelhamer, T. Darrell. Fully Convolutional Networks for Semantic Segmentation. CVPR, 2015.
70. O. Ronneberger, P. Fischer, T. Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation. MICCAI, 2015.
71. V. Dumoulin, F. Visin. A Guide to Convolution Arithmetic for Deep Learning. arXiv:1603.07285, 2016. Kích thước đầu ra của tích chập chuyển vị.
72. A. Odena, V. Dumoulin, C. Olah. Deconvolution and Checkerboard Artifacts. Distill, 2016.
73. L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, A. L. Yuille. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. TPAMI, 2018.
74. K. He, G. Gkioxari, P. Dollár, R. Girshick. Mask R-CNN. ICCV, 2017. RoIAlign.
75. A. Kirillov, K. He, R. Girshick, C. Rother, P. Dollár. Panoptic Segmentation. CVPR, 2019.
76. F. Milletari, N. Navab, S.-A. Ahmadi. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. 3DV, 2016. Dice loss.
77. A. Kirillov và cộng sự. Segment Anything. ICCV, 2023. SAM và bộ dữ liệu SA-1B.
78. J. Ho, A. Jain, P. Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS, 2020. U-Net làm mạng khử nhiễu.

Transformer

79. A. Vaswani và cộng sự. Attention Is All You Need. NeurIPS, 2017. Scaled dot-product attention, lập luận $\sqrt{d_k}$ ở chú thích 4, attention nhiều đầu và bảng so sánh với RNN.
80. D. Bahdanau, K. Cho, Y. Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR, 2015.
81. P. Michel, O. Levy, G. Neubig. Are Sixteen Heads Really Better than One? NeurIPS, 2019.
82. O. Press, N. A. Smith, M. Lewis. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. ICLR, 2022. ALiBi.
83. J. Devlin, M.-W. Chang, K. Lee, K. Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL, 2019.
84. A. Radford và cộng sự. Language Models are Unsupervised Multitask Learners. OpenAI, 2019. GPT-2.
85. C. Raffel và cộng sự. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR, 2020. T5.
86. R. Xiong và cộng sự. On Layer Normalization in the Transformer Architecture. ICML, 2020. Pre-LN và post-LN.
87. J. Su và cộng sự. RoFormer: Enhanced Transformer with Rotary Position Embedding. Neurocomputing, 2024. RoPE.
88. S. Chen, S. Wong, L. Chen, Y. Tian. Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595, 2023.
89. B. Peng, J. Quesnelle, H. Fan, E. Shippole. YaRN: Efficient Context Window Extension of Large Language Models. ICLR, 2024.
90. N. Shazeer. Fast Transformer Decoding: One Write-Head is All You Need. arXiv:1911.02150, 2019. MQA.
91. J. Ainslie và cộng sự. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. EMNLP, 2023.
92. N. Shazeer. GLU Variants Improve Transformer. arXiv:2002.05202, 2020. SwiGLU và việc giảm $d_{\text{ff}}$ còn hai phần ba.
93. N. Shazeer và cộng sự. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR, 2017.
94. W. Fedus, B. Zoph, N. Shazeer. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. JMLR, 2022.
95. A. Q. Jiang và cộng sự. Mixtral of Experts. arXiv:2401.04088, 2024.
96. H. Touvron và cộng sự. Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288, 2023. Cấu hình mô hình và con số 184 320 giờ-GPU.
97. T. Dao, D. Y. Fu, S. Ermon, A. Rudra, C. Ré. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS, 2022.
98. T. Dao. FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. ICLR, 2024.
99. M. Milakov, N. Gimelshein. Online Normalizer Calculation for Softmax. arXiv:1805.02867, 2018.

Giải mã

100. A. Fan, M. Lewis, Y. Dauphin. Hierarchical Neural Story Generation. ACL, 2018. Lấy mẫu top-$k$.
101. A. Holtzman, J. Buys, L. Du, M. Forbes, Y. Choi. The Curious Case of Neural Text Degeneration. ICLR, 2020. Top-$p$ và nhận xét về beam search.
102. M. Nguyen và cộng sự. Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs. ICLR, 2025.
103. N. S. Keskar và cộng sự. CTRL: A Conditional Transformer Language Model for Controllable Generation. arXiv:1909.05858, 2019. Phạt lặp.
104. Y. Leviathan, M. Kalman, Y. Matias. Fast Inference from Transformers via Speculative Decoding. ICML, 2023.
105. C. Chen và cộng sự. Accelerating Large Language Model Decoding with Speculative Sampling. arXiv:2302.01318, 2023.
106. H. He. Defeating Nondeterminism in LLM Inference. Thinking Machines Lab, 2025.

Tài nguyên tính toán

107. J. Kaplan và cộng sự. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020. Công thức $12Ld^2$, $2N$ và $6ND$.
108. J. Hoffmann và cộng sự. Training Compute-Optimal Large Language Models. NeurIPS, 2022. Chinchilla.
109. S. Rajbhandari, J. Rasley, O. Ruwase, Y. He. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC, 2020. Con số 16 byte mỗi tham số.
110. V. Korthikanti và cộng sự. Reducing Activation Recomputation in Large Transformer Models. arXiv:2205.05198, 2022. Công thức bộ nhớ kích hoạt ở Mục 12.5.

Bài giảng và tài liệu bổ sung

111. P. Domingos. A Few Useful Things to Know About Machine Learning. Communications of the ACM, 2012. Công thức học = biểu diễn + đánh giá + tối ưu ở Mục 1.1, và thí nghiệm giả định mạnh mà sai ở Mục 1.4.
112. D. McElfresh và cộng sự. When Do Neural Nets Outperform Boosted Trees on Tabular Data? NeurIPS Datasets and Benchmarks, 2023.
113. A. Ng, T. Ma. CS229: Machine Learning, Lecture Notes. Stanford University. Cách trình bày độ chệch – phương sai, cây quyết định và phương pháp tập hợp; phần hướng dẫn áp dụng học máy đi kèm là nguồn của phân tích lỗi và phân tích loại bỏ ở Mục 1.3.
114. A. Ng. Deep Learning Specialization. DeepLearning.AI và Coursera, 2017. Đồ thị hiệu năng theo lượng dữ liệu ở Mục 1.4; chẩn đoán bằng sai số huấn luyện và xác thực, độ chệch tránh được và tập huấn luyện–xác thực ở Mục 2.4; beam search, chuẩn hoá theo độ dài và phân tích lỗi của beam search ở Mục 11.4.
115. G. James, D. Witten, T. Hastie, R. Tibshirani. An Introduction to Statistical Learning, 2nd ed. Springer, 2021. Nhận xét rằng double descent không mâu thuẫn với đánh đổi độ chệch – phương sai, và cách cắt tỉa cây ở Mục 3.2.
116. P. Nakkiran, P. Venkat, S. Kakade, T. Ma. Optimal Regularization Can Mitigate Double Descent. ICLR, 2021.
117. F.-F. Li, J. Johnson, A. Karpathy và cộng sự. CS231n: Deep Learning for Computer Vision, Course Notes. Stanford University. Cách nhìn lan truyền ngược qua các cổng, kiểm tra gradient, các kiểm tra trước khi huấn luyện, khởi tạo và BatchNorm.
118. A. Zhang, Z. C. Lipton, M. Li, A. J. Smola. Dive into Deep Learning. Cambridge University Press, 2023. Cách mở đầu chương mạng nhiều lớp ở Mục 4.1 và nhiều ví dụ tính tay.
119. M. Nielsen. Neural Networks and Deep Learning. Determination Press, 2015. Chứng minh bằng hình của định lý xấp xỉ phổ quát và phân tích gradient tiêu biến.
120. A. Karpathy. A Recipe for Training Neural Networks. 2019. Các kiểm tra lúc khởi tạo ở Mục 4.5.
121. A. Karpathy. The Spelled-Out Intro to Neural Networks and Backpropagation: Building Micrograd. Bài giảng video, 2022. Ví dụ cộng dồn gradient ở Mục 5.1.
122. A. Karpathy. Let's Reproduce GPT-2 (124M). Bài giảng video và mã nguồn build-nanogpt, 2024. Lịch tốc độ học ở Mục 5.5 và cách chia mất mát khi tích luỹ gradient ở Mục 5.3.
123. A. Karpathy. Building makemore Part 3: Activations & Gradients, BatchNorm. Bài giảng video, 2022. Các đồ thị theo dõi tỉ lệ bão hoà và tỉ số cập nhật ở Mục 6.3.
124. J. Redmon, A. Farhadi. YOLO9000: Better, Faster, Stronger. CVPR, 2017. Chọn kích thước hộp neo bằng K-means.
125. A. Karpathy. The Unreasonable Effectiveness of Recurrent Neural Networks. 2015. Ví dụ mô hình ký tự ở Mục 8.1.
126. C. Olah. Understanding LSTM Networks. 2015. Hình ảnh băng chuyền của ô nhớ ở Mục 8.3.
127. C. D. Manning và cộng sự. CS224n: Natural Language Processing with Deep Learning, Lecture Notes and Slides. Stanford University. Gradient tiêu biến trong RNN, attention, Transformer và các chiến lược giải mã.
128. J. Alammar. The Illustrated Transformer và The Illustrated GPT-2. 2018–2019. Hình ảnh tủ hồ sơ cho truy vấn, khoá và giá trị.
129. A. Karpathy. Let's Build GPT: from Scratch, in Code, Spelled Out. Bài giảng video, 2023. Mẹo ma trận tam giác dưới ở Mục 9.4 và phép thử độ bão hoà của softmax ở Mục 9.2.
130. P. Liang, T. Hashimoto. CS336: Language Modeling from Scratch. Stanford University, 2025. Các bài giảng về kiến trúc, mixture of experts và tính toán tài nguyên.
131. S. Raschka. The Big LLM Architecture Comparison. 2025. Tổng hợp các thay đổi kiến trúc ở Mục 10.1.
132. S. Biderman và cộng sự. Rotary Embeddings: A Relative Revolution. EleutherAI, 2021. So sánh RoPE với các cách mã hoá vị trí khác.
133. Gemma Team. Gemma 3 Technical Report. arXiv:2503.19786, 2025.
134. Team OLMo. 2 OLMo 2 Furious. arXiv:2501.00656, 2024. Báo cáo kỹ thuật của OLMo 2.
135. DeepSeek-AI. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv:2405.04434, 2024. Multi-head latent attention.
136. DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437, 2024.
137. K. Park, J. Wang, T. Berg-Kirkpatrick, N. Polikarpova, L. D'Antoni. Grammar-Aligned Decoding. NeurIPS, 2024. Sai lệch phân phối của giải mã có ràng buộc.
138. Llama Team, AI @ Meta. The Llama 3 Herd of Models. arXiv:2407.21783, 2024.
139. T. Pearce, J. Song. Reconciling Kaplan and Chinchilla Scaling Laws. arXiv:2406.12907, 2024.
140. A. Karpathy. nanoGPT. GitHub, 2023. Sổ tay transformer_sizing.ipynb ước lượng thời gian huấn luyện GPT-2 small bằng $6ND$.
141. OpenAI. gpt-2, kho mã và ghi chú phát hành. GitHub, 2019. Ghi chú rằng số tham số trong bài báo GPT-2 bị tính sai.