Ứng dụng LLM · thực hành

Phòng thí nghiệm

Bốn công cụ tính toán đi kèm giáo trình: chi phí của một yêu cầu theo số token, bộ nhớ KV cache theo độ dài ngữ cảnh, độ tin cậy của một agent nhiều bước, và số câu hỏi cần để so sánh hai phiên bản của một ứng dụng.

Mỗi công cụ gắn với một mục trong giáo trình và cài đúng công thức ở đó. Nhưng chúng chạy trong trình duyệt nên dùng ít mẫu và ít vòng lặp hơn các thí nghiệm ngoại tuyến, vì vậy con số hiện ra sát chứ không trùng khít với bảng đã in. Chỗ nào phải trùng đúng thì có ghi rõ.

1 · Chi phí của một yêu cầu

Tách chi phí của một yêu cầu thành từng phần của ngữ cảnh, theo cách tính ở Mục 2.5. Giá trị mặc định là ví dụ trong bài: một yêu cầu RAG với đơn giá giả định 1 đơn vị tiền cho mỗi triệu token đầu vào và 4 đơn vị cho mỗi triệu token đầu ra. Đơn giá thật thay đổi theo nhà cung cấp và theo thời gian.

Token chỉ dẫn hệ thốngSố đoạn truy xuấtToken mỗi đoạnToken lịch sử hội thoạiToken câu hỏiToken đầu raĐơn giá đầu vào (mỗi triệu token)Đơn giá đầu ra (mỗi triệu token)Chỉ dẫn hệ thống đọc từ bộ đệm promptGiá phần đọc từ bộ đệm (% giá thường)Số yêu cầu mỗi tháng

Tổng token đầu vào–

Chi phí mỗi yêu cầu–

Phần chi phí do đầu ra–

Câu hỏi chiếm trong đầu vào–

Bộ đệm prompt giảm được–so với không dùng bộ đệm

Chi phí mỗi tháng–

2 · Bộ nhớ KV cache

Mỗi token trong ngữ cảnh cần lưu key và value ở mọi lớp: $2 \times L \times n_{kv} \times d_{head} \times$ số byte mỗi giá trị (Mục 2.2). Chọn một cấu hình công bố hoặc tự nhập, rồi so dung lượng KV cache với dung lượng trọng số của mô hình.

Cấu hình có sẵnSố lớp LSố đầu querySố đầu key/valueSố chiều mỗi đầuSố tham số (tỉ)Kiểu số của KV cacheĐộ dài ngữ cảnh (token)Số chuỗi phục vụ đồng thời

KV cache mỗi token–

KV cache một chuỗi–

KV cache tất cả các chuỗi–

Trọng số (2 byte mỗi tham số)–

Nếu không dùng GQA–số đầu KV bằng số đầu query

KV cache / trọng số–

3 · Độ tin cậy của agent nhiều bước

Mỗi bước đúng với xác suất $p$ , độc lập với các bước khác. Một bước kiểm tra phát hiện bước sai với xác suất $c$ , và mỗi bước được thử lại tối đa $r$ lần khi bị phát hiện sai. Công thức ở Mục 9.7: $q = \sum_{j=0}^{r} p\,((1-p)c)^j$ và $P(\text{hoàn thành}) = q^n$ .

Xác suất đúng mỗi bước p–Số bước n–Tỉ lệ phát hiện lỗi c–Số lần thử lại tối đa r–

Hoàn thành, không kiểm tra–pⁿ

Hoàn thành, có kiểm tra–qⁿ

Lời gọi trung bình mỗi bước–

4 · Cần bao nhiêu câu hỏi để so sánh hai phiên bản

Phiên bản A đúng một tỉ lệ $p_A$ số câu. Phiên bản B giữ đúng một phần số câu A đúng và sửa được một phần số câu A sai (Mục 12.4). Công cụ tính khoảng tin cậy của độ chính xác và xác suất phát hiện B tốt hơn A ở mức ý nghĩa 5%, khi chấm hai phiên bản trên cùng bộ câu hỏi (kiểm định McNemar chính xác) và khi dùng hai bộ câu hỏi độc lập.

Độ chính xác của A (%)B giữ đúng (% số câu A đúng)B sửa được (% số câu A sai)Số câu hỏi n

Độ chính xác của B–

Nửa độ rộng KTC 95% của A–đơn vị: điểm phần trăm

Xác suất phát hiện, ghép cặp–McNemar chính xác

Xác suất phát hiện, hai bộ độc lập–xấp xỉ chuẩn

Số câu cần cho 80%, ghép cặp–xấp xỉ chuẩn

Số câu cần cho 80%, hai bộ độc lập–xấp xỉ chuẩn