AI model benchmarks: ba thứ khác nhau cùng được gọi là benchmark

Ba thứ khác nhau cùng được gọi là AI model benchmarks: tỉ lệ đúng trên một bộ đề công khai, phân vị độ trễ đo tại gateway, và chi phí mỗi kết quả dùng được. Thứ ba mới là thứ quyết định hoá đơn tháng của bạn, và nó cần hai thứ trước làm đầu vào.

Wisa giữ hai trong ba thứ đó, và chỉ cho 6 trong 46 model, số liệu đo tại gateway của Wisa trong cửa sổ 7 ngày kết thúc 27/10/2026. Tỉ lệ đúng công khai thì chúng tôi không giữ, vì nó gắn với một bộ đề cụ thể và bạn không dựng lại được phép chấm đó.

Ba nghĩa của chữ benchmark trong tài liệu AI

Nghĩa thứ nhất là tỉ lệ đúng trên một bộ đề cố định. Một harness như lm-evaluation-harness chạy model qua vài nghìn bài có đáp án rồi đếm phần trăm giải đúng. Câu nó trả lời là "đã giải được chưa"; câu nó không trả lời là "mất bao lâu" và "tốn bao nhiêu".

Nghĩa thứ hai là phân vị độ trễ. Ở đây người ta không đếm đúng sai mà sắp các lần gọi theo thời gian hoàn tất rồi cắt ở p50, p95, p99. Câu nó trả lời là "một lượt điển hình chờ bao lâu, lượt xấu nhất trong hai mươi lượt chờ bao lâu". Muốn đọc loại số này bạn cần cửa sổ thời gian, số mẫu và định nghĩa điểm kết thúc; bài benchmark trong AI là gì đi vào phần định nghĩa đó.

Nghĩa thứ ba là chi phí mỗi kết quả dùng được, tức phép chia giữa giá một lượt và tỉ lệ lượt cho ra kết quả dùng được. Đây là con số không nằm trong bảng công khai nào, vì chỉ bạn biết tỉ lệ lỗi của lưu lượng mình.

Tỉ lệ đúng công khai và phân vị độ trễ khác nhau ở đâu

Khác ở chỗ chúng đo hai phía của cùng một lần gọi. Tỉ lệ đúng đo phía ra: đáp án có dùng được không. Phân vị độ trễ đo phía vào: bạn phải chờ bao lâu. Một model có thể đúng 90 phần trăm nhưng đuôi độ trễ dài gấp mười lần phần thân, và ở đúng phần trăm đó người dùng đã bỏ đi trước khi thấy kết quả.

Khác thứ hai là tính kiểm chứng. Bạn dựng lại được một phép đo phân vị trong một buổi chiều: gọi cùng một prompt nhiều lần, ghi thời gian hoàn tất, sắp xếp, cắt phân vị. Một điểm pass rate công khai thì không.

Khác thứ ba là độ ổn định. Điểm pass rate chỉ đổi khi có phiên bản model mới. Phân vị độ trễ đổi theo lưu lượng và độ dài prompt, nên con số đo tháng trước không nói gì về tuần này.

Chi phí mỗi kết quả dùng được: 27,00 đồng so với 3,456 đồng

Một lượt chuẩn trong phần tính toán này là 2.000 token vào cộng 700 token ra. Giá vào và giá ra của từng model lấy từ bảng giá token, nhân với số token rồi chia cho một triệu để ra CUBE, sau đó nhân một nghìn để ra đồng.

Model	Một lượt	Tỉ lệ lỗi	Mỗi kết quả dùng được
DeepSeek V4.1 Flash	3,456 đồng	0%	3,456 đồng
DeepSeek V4.1 Flash 1017	3,456 đồng	0,67%	3,48 đồng
Gemini 3.8 Flash	4,95 đồng	0,48%	4,97 đồng
GPT 6.1 SOL	13,20 đồng	1,40%	13,39 đồng
Claude Sonnet 5.5	13,20 đồng	2,08%	13,48 đồng
Claude Opus 5.5	26,40 đồng	2,21%	27,00 đồng

Cột cuối là cột bạn cần nhìn. Claude Opus 5.5 có giá vào 4.800đ và giá ra 24.000đ, nên một lượt tốn 26,40 đồng; chia thêm cho 0,9779 thì thành 27,00 đồng. DeepSeek V4.1 Flash có giá vào 720đ và giá ra 2.880đ, một lượt tốn 3,456 đồng, và vì tỉ lệ lỗi bằng 0 nên cột cuối giữ nguyên 3,456 đồng. Hai con số này cách nhau 27,00 ÷ 3,456 = 7,81 lần.

Cách tính chi phí mỗi kết quả dùng được từ tỉ lệ lỗi

Công thức chỉ có một phép chia: chi phí mỗi kết quả dùng được bằng chi phí một lượt chia cho (1 trừ tỉ lệ lỗi). Mỗi lượt lỗi vẫn bị tính token đã sinh nhưng không cho lại kết quả nào dùng được, nên chi phí của nó phải dồn vào những lượt thành công.

Bốn phép tính đầy đủ: 4,95 chia 0,9952 ra 4,97 đồng cho Gemini 3.8 Flash; 3,456 chia 0,9933 ra 3,48 đồng cho DeepSeek V4.1 Flash 1017; 13,20 chia 0,986 ra 13,39 đồng cho GPT 6.1 SOL; 13,20 chia 0,9792 ra 13,48 đồng cho Claude Sonnet 5.5.

GPT 6.1 SOL và Claude Sonnet 5.5 cho thấy tỉ lệ lỗi làm đảo thứ tự: cùng 13,20 đồng một lượt, nhưng 1,40% so với 2,08% đẩy chi phí mỗi kết quả dùng được lên 13,39 đồng và 13,48 đồng.

Một phép đối chiếu để bạn kiểm tra chéo: Gemini 3.8 Flash có p50 là 10.181 ms, tức khoảng mười giây cho một lượt hoàn tất. Nếu tác vụ của bạn chỉ cho người dùng chờ ba giây, thì mức 4,97 đồng của Gemini 3.8 Flash cũng không cứu được trải nghiệm.

Vì sao 40 model không có phân vị độ trễ?

Vì dữ liệu chỉ nhận một model vào bảng khi nó có ít nhất 20 mẫu trong cửa sổ 7 ngày. Danh mục có 46 model, 6 model đủ điều kiện, còn 40 model không có hàng nào. Với nhóm đó bạn không tính được p50, nên cũng không tính được chi phí mỗi kết quả dùng được.

Ô trống không có nghĩa là model chậm, cũng không có nghĩa là model nhanh. Nó chỉ có nghĩa là chưa ai gọi đủ nhiều qua gateway. Nếu bạn đang cân nhắc một model trong nhóm chưa có số đo, cách duy nhất là tự đo: gọi vài chục lượt đại diện cho lưu lượng thật, ghi lại đúng sai và thời gian, rồi tự tính cả ba cột.

Đây cũng là giới hạn của bài này. Ba nghĩa ở trên chỉ đọc được cùng nhau khi bạn có đủ ba cột cho cùng một model; với 40 model còn lại, con số chi phí mỗi kết quả dùng được chỉ là chi phí một lượt chưa chia cho tỉ lệ lỗi.

Khi đã có phân vị, bước tiếp theo là ghép chúng với điểm chất lượng theo cách bài SWE benchmark AI model mô tả, hoặc quay lại chuyên mục chọn và so sánh model để đọc các bài cùng nhóm. Cách chia chi phí một lượt cho số kết quả dùng được nằm ở chi phí trên mỗi kết quả. Khái niệm nền cho mọi phép đo ở đây nằm ở inference là gì.