Phòng thí nghiệm4 công cụ

Phòng thí nghiệm

Bốn công cụ tính toán cho bốn câu hỏi thường gặp khi vận hành hệ thống học máy: A/B test cần bao nhiêu mẫu, ngưỡng PSI nên đặt ở đâu, phần đuôi độ trễ tăng thế nào khi toả nhánh, và hệ thống đạt bao nhiêu điểm ML Test Score. Mọi công thức đều lấy từ các chương của giáo trình.

1 · Cỡ mẫu cho A/B test

Tính số mẫu và số ngày một A/B test cần chạy. Cỡ mẫu tỉ lệ nghịch với bình phương mức cải thiện cần phát hiện, nên đây thường là ràng buộc quyết định quy trình ra mắt (Mục 8.4).

Tỉ lệ nền (%)Cải thiện tương đối cần phát hiện (%)Lực kiểm địnhMức ý nghĩa α (hai phía)Lưu lượng mỗi nhánh mỗi ngàyGiảm phương sai nhờ CUPED (%)

Cỡ mẫu mỗi nhánh–

Số ngày cần chạy–

Chênh lệch tuyệt đối–

Tổng mẫu cả thí nghiệm–

Làm tròn lên tuần trọn–

Số mẫu CUPED giảm được–

Số ngày cần chạy theo mức cải thiện cần phát hiện. Chấm tròn là cấu hình đang chọn.

2 · Ngưỡng PSI theo cỡ mẫu và số bin

Ngưỡng 0,25 là quy tắc kinh nghiệm không tính tới cỡ mẫu và số bin. Công cụ này tính ngưỡng cho cấu hình đang xét, dựa trên kết quả $\tfrac{n}{2}\mathrm{PSI} \approx \chi^2_{k-1}$ ở Mục 9.5.

Cỡ mẫu n mỗi phíaSố bin kSố đặc trưng theo dõiSố lần đo mỗi ngàyBáo động giả chấp nhận được mỗi ngày

PSI kỳ vọng khi không có dịch chuyển–

Phân vị 99% của PSI–

Ngưỡng nên dùng–cho mức báo động giả đã chọn

Báo động giả/ngày nếu dùng 0,25–

Báo động giả/ngày nếu dùng 0,10–

n để PSI kỳ vọng < 0,01–

Phân phối của PSI khi hai mẫu có cùng phân phối. Vạch đứt là ngưỡng đề nghị, vạch chấm là quy tắc 0,25.

3 · Phần đuôi độ trễ khi toả nhánh

Một yêu cầu gọi $k$ nhánh song song và đợi đủ cả $k$ kết quả. Công cụ tính p99 của thời gian trả lời và phân vị mà mỗi nhánh phải đạt (Mục 7.3), giả định độ trễ mỗi nhánh có phân phối log-chuẩn.

Trung vị một nhánh (ms)p99 một nhánh (ms)Số nhánh gọi song songNgân sách p99 tổng thể (ms)

p99 của thời gian trả lời–

% yêu cầu gặp nhánh chậm–

Phân vị mỗi nhánh phải đạt–

Mỗi nhánh chỉ được chậm 1 lần trong–

Số nhánh tối đa trong ngân sách–

Trung vị của thời gian trả lời–

p99 của thời gian trả lời theo số nhánh. Vạch ngang là ngân sách, chấm là cấu hình đang chọn.

4 · Chấm điểm ML Test Score

Chấm 28 mục của Mục 6.5: 0,5 điểm nếu làm thủ công và có ghi lại kết quả, 1 điểm nếu có hệ thống chạy tự động và định kỳ. Điểm cuối cùng là giá trị nhỏ nhất trong bốn nhóm.

ML Test Score–min của bốn nhóm

Nhóm yếu nhất–

Tổng điểm cả 28 mục–chỉ để tham khảo

Dữ liệu

Kỳ vọng về đặc trưng được ghi thành lược đồ
Mọi đặc trưng đều có ích
Không đặc trưng nào quá đắt so với lợi ích
Đặc trưng tuân thủ yêu cầu chính sách
Pipeline dữ liệu có kiểm soát quyền riêng tư
Có thể thêm đặc trưng mới nhanh chóng
Toàn bộ mã tính đặc trưng được kiểm thử

Mô hình

Đặc tả mô hình được rà soát và đưa vào kho mã
Chỉ số ngoại tuyến tương quan với chỉ số trực tuyến
Mọi siêu tham số đã được tinh chỉnh
Đã biết ảnh hưởng của việc mô hình cũ đi
Một mô hình đơn giản hơn không tốt hơn
Chất lượng đủ tốt trên mọi lát cắt quan trọng
Đã kiểm tra tính bao hàm giữa các nhóm người dùng

Hạ tầng

Huấn luyện tái lập được
Mã đặc tả mô hình có kiểm thử đơn vị
Toàn bộ pipeline có kiểm thử tích hợp
Chất lượng được kiểm định trước khi phục vụ
Gỡ lỗi được bằng cách quan sát từng bước tính
Có canary trước khi phục vụ toàn bộ
Quay lui mô hình đang phục vụ nhanh và an toàn

Giám sát

Thay đổi ở hệ thống phía trước sinh ra thông báo
Bất biến của dữ liệu đúng ở cả huấn luyện lẫn phục vụ
Đặc trưng lúc huấn luyện và phục vụ tính ra cùng giá trị
Mô hình không quá cũ
Mô hình ổn định về mặt số học
Không suy giảm về tốc độ, độ trễ, thông lượng, bộ nhớ
Chất lượng dự đoán trên dữ liệu thật không suy giảm