MLOpsgiáo trình tự học
Chương 166 phút đọc

16Tài liệu tham khảo#

Nợ kỹ thuật và kiểm thử hệ thống học máy

  1. D. Sculley, G. Holt, D. Golovin, E. Davydov, T. Phillips, D. Ebner, V. Chaudhary, M. Young, J.-F. Crespo, D. Dennison. Hidden Technical Debt in Machine Learning Systems. NeurIPS 2015. Nguồn của nguyên lý CACE, các dạng nợ kỹ thuật, nhận định về 5% mã học máy, vòng phản hồi, và ba cơ chế giám sát: độ lệch dự đoán, giới hạn hành động, hệ thống phía trước.
  2. D. Sculley và cộng sự. Machine Learning: The High-Interest Credit Card of Technical Debt. SE4ML Workshop, NeurIPS 2014. Phiên bản đầu, ngắn hơn, của bài báo trên.
  3. E. Breck, S. Cai, E. Nielsen, M. Salib, D. Sculley. The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction. IEEE BigData 2017. Nguồn của 28 mục kiểm tra, cách tính điểm và bảng diễn giải ở Mục 6.5.
  4. E. Breck, N. Polyzotis, S. Roy, S. E. Whang, M. Zinkevich. Data Validation for Machine Learning. SysML 2019. Kiểm định dữ liệu bằng lược đồ suy ra từ dữ liệu (Mục 3.3).
  5. M. Zinkevich. Rules of Machine Learning: Best Practices for ML Engineering. Google. Tập hợp các quy tắc thực hành, bổ sung cho Chương 2 và Chương 6.

Quy trình, kiến trúc và vận hành

  1. Google Cloud. MLOps: Continuous delivery and automation pipelines in machine learning. Nguồn của ba mức tự động hoá, tám bước của pipeline, sáu giai đoạn CI/CD ở mức 2, và định nghĩa lệch huấn luyện–phục vụ.
  2. D. Sato, A. Wider, C. Windheuser. Continuous Delivery for Machine Learning. martinfowler.com, 2019.
  3. D. Kreuzberger, N. Kühl, S. Hirschl. Machine Learning Operations (MLOps): Overview, Definition, and Architecture. IEEE Access, 2023.
  4. B. Beyer, C. Jones, J. Petoff, N. R. Murphy (chủ biên). Site Reliability Engineering: How Google Runs Production Systems. O'Reilly, 2016. Nguồn của SLI, SLO, bốn tín hiệu cơ bản và các nguyên tắc cảnh báo ở Chương 10.
  5. J. Dean, L. A. Barroso. The Tail at Scale. Communications of the ACM, 2013. Phân tích phần đuôi độ trễ khi toả nhánh và yêu cầu dự phòng (Mục 7.3).

Thực hành trong công nghiệp

  1. S. Shankar, R. Garcia, J. M. Hellerstein, A. G. Parameswaran. Operationalizing Machine Learning: An Interview Study. arXiv:2209.09125, 2022. Nguồn của ba yếu tố tốc độ, kiểm định, phiên bản; bốn nhiệm vụ trong vòng đời; ba loại lỗi dữ liệu; và bốn thói quen xấu.
  2. C. Huyen. Designing Machine Learning Systems. O'Reilly, 2022. Nguồn của khái niệm vòng phản hồi thoái hoá và cách phân biệt huấn luyện lại từ đầu với huấn luyện có trạng thái.
  3. A. Paleyes, R.-G. Urma, N. D. Lawrence. Challenges in Deploying Machine Learning: A Survey of Case Studies. ACM Computing Surveys, 2022.
  4. M. Mitchell, S. Wu, A. Zaldivar, P. Barnes, L. Vasserman, B. Hutchinson, E. Spitzer, I. D. Raji, T. Gebru. Model Cards for Model Reporting. FAT* 2019. Thẻ mô hình (Mục 5.4).

Đánh giá và thí nghiệm có đối chứng

  1. M. T. Ribeiro, T. Wu, C. Guestrin, S. Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. ACL 2020. Ba loại kiểm thử hành vi ở Mục 6.4.
  2. R. Kohavi, D. Tang, Y. Xu. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Tài liệu chuẩn về A/B test, gồm các lỗi ở Mục 8.5.
  3. A. Deng, Y. Xu, R. Kohavi, T. Walker. Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data. WSDM 2013. Kỹ thuật CUPED ở Mục 8.4.

Dịch chuyển phân phối

  1. J. Quiñonero-Candela, M. Sugiyama, A. Schwaighofer, N. D. Lawrence (chủ biên). Dataset Shift in Machine Learning. MIT Press, 2009. Nguồn học thuật của cách phân loại covariate shift, prior probability shift và concept shift.
  2. J. G. Moreno-Torres, T. Raeder, R. Alaiz-Rodríguez, N. V. Chawla, F. Herrera. A unifying view on dataset shift in classification. Pattern Recognition, 2012.
  3. S. Rabanser, S. Günnemann, Z. C. Lipton. Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift. NeurIPS 2019. So sánh các phương pháp phát hiện dịch chuyển (Mục 9.3).
  4. B. Yurdakul, J. Naranjo. Statistical properties of the population stability index. Journal of Risk Model Validation, 2020. Phân phối tiệm cận của PSI và giá trị tới hạn phụ thuộc cỡ mẫu và số bin (Mục 9.5).
  5. A. du Pisanie và cộng sự. A critical review of existing and new population stability testing procedures in credit risk scoring. arXiv:2303.01227, 2023.

Vòng phản hồi

  1. T. Joachims, A. Swaminathan, T. Schnabel. Unbiased Learning-to-Rank with Biased Feedback. WSDM 2017. Hiệu chỉnh theo xác suất hiển thị (Mục 12.4).

Kho đặc trưng

  1. Tài liệu của Feast (feast.dev) về ghép theo thời điểm, kho ngoại tuyến, kho trực tuyến và sổ đăng ký đặc trưng.

LLMOps

  1. L. Zheng, W.-L. Chiang, Y. Sheng và cộng sự. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023, Datasets and Benchmarks Track. Các thiên lệch của giám khảo LLM (Mục 13.3).
  2. S. Es, J. James, L. Espinosa-Anke, S. Schockaert. RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv:2309.15217, 2023. Ba chỉ số đánh giá RAG (Mục 13.5).
  3. S. Shankar, J. D. Zamfirescu-Pereira, B. Hartmann, A. G. Parameswaran, I. Arawjo. Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences. UIST 2024. Hiện tượng criteria drift (Mục 13.3).
  4. L. Chen, M. Zaharia, J. Zou. How is ChatGPT's Behavior Changing over Time? arXiv:2307.09009, 2023. Thay đổi hành vi của cùng một tên mô hình theo thời gian (Mục 13.1).
  5. C. Huyen. AI Engineering: Building Applications with Foundation Models. O'Reilly, 2025. Đánh giá, vận hành và kiến trúc của ứng dụng dùng mô hình nền tảng.