Phụ lục: chạy lại thí nghiệm#

code/models/
├── experiments.py            # Hình 2, 4, 5, 7, 10, 11, 14, 15 và mọi số liệu đo được
├── experiments_output.txt    # kết quả in ra của script trên
├── thi_giac.py               # Hình 9 và số liệu về IoU, NMS, AP ở Mục 7.5–7.6
├── thi_giac_output.txt       # kết quả in ra của thi_giac.py
└── fig_diagrams.py           # Hình 1, 3, 6, 8, 12, 13 (sơ đồ khái niệm)

pip install numpy scipy matplotlib scikit-learn
python code/models/experiments.py     # khoảng một tới vài phút trên CPU
python code/models/thi_giac.py        # vài giây
python code/models/fig_diagrams.py

Các script đặt hạt giống cố định nên mọi con số trong giáo trình lặp lại được trên cùng phiên bản thư viện. Môi trường đã dùng: Python 3.13, NumPy 2.3, SciPy 1.16, scikit-learn 1.7, matplotlib 3.10. Trên Windows, đặt PYTHONIOENCODING=utf-8 khi ghi kết quả ra tệp.

Một số kết quả là phép đối chiếu với con số đã công bố, không phải mô phỏng: số tham số của GPT-2 small, medium, large và của Llama 2 7B, 13B; ngân sách giờ-GPU của Llama 2 7B; và phương sai của tích vô hướng trong chú thích 4 của bài báo Transformer. Các phép đối chiếu này kiểm tra rằng công thức ở Chương 12 đúng, không chỉ hợp lý.

Các thí nghiệm dùng dữ liệu mô phỏng nhỏ để quan sát cơ chế một cách rõ ràng. Hai điểm cần nhớ khi đọc kết quả: thí nghiệm ở Mục 4.4 so sánh khả năng biểu diễn chứ không phải khả năng học bằng gradient descent; và thí nghiệm về LSTM ở Mục 8.2 chỉ mô phỏng đường đi qua ô nhớ, không phải một mạng LSTM đầy đủ.