Đánh giá model AI: ba cột đo được, một cột không, và cách tự dựng bộ đề

Một bài đánh giá model AI cần ba cột: giá, độ trễ, tỉ lệ lỗi. Wisa có giá cho 46 model, độ trễ và tỉ lệ lỗi cho 6 model, và không có cột chất lượng nào. Bài này không xếp hạng model, mà đưa bộ 20 prompt để bạn tự đo trên việc của mình.

Ba cột đo được, và cột thứ tư không tồn tại

Cột thứ nhất là giá, phủ 46 model, tính theo token hoặc theo lần gọi. Cột thứ hai là độ trễ hoàn tất toàn bộ yêu cầu, phủ 6 model. Cột thứ ba là tỉ lệ lỗi, cũng phủ 6 model. Số liệu đo tại gateway của Wisa trong cửa sổ 7 ngày kết thúc 27/10/2026 chỉ phủ 6 trong 46 model, nên 40 model còn lại không có một con số độ trễ nào để so.

Cột thứ tư là chất lượng, và nó không tồn tại trong dữ liệu. Không có điểm 0 đến 100, không có bảng xếp hạng, không có nhãn "tốt cho viết lách". Bài này không giả vờ có cột đó. Phần sau đưa cách bạn tự dựng cột ấy bằng 20 prompt của chính bạn, vì đó là bộ đề duy nhất khớp với việc bạn làm.

Sáu model có số đo: tỉ lệ lỗi 0 đến 2,21 phần trăm

Model	Số mẫu	Tỉ lệ lỗi	p50	p95
DeepSeek V4.1 Flash	213	0 phần trăm	11.581 ms	74.224 ms
DeepSeek V4.1 Flash 1017	4.660	0,67 phần trăm	7.998 ms	27.807 ms
Gemini 3.8 Flash	6.051	0,48 phần trăm	10.181 ms	27.344 ms
GPT 6.1 SOL	214	1,40 phần trăm	26.226 ms	125.749 ms
Claude Sonnet 5.5	48	2,08 phần trăm	10.029 ms	45.156 ms
Claude Opus 5.5	271	2,21 phần trăm	15.168 ms	103.013 ms

Tỉ lệ lỗi chạy từ 0 phần trăm trên 213 mẫu ở DeepSeek V4.1 Flash đến 2,21 phần trăm trên 271 mẫu ở Claude Opus 5.5. Hai đầu này không so ngang được, vì số mẫu chênh 271 ÷ 213 = 1,27 lần. Hàng dày mẫu nhất là Gemini 3.8 Flash với 6.051 mẫu; hàng dày thứ hai là DeepSeek V4.1 Flash 1017 với 4.660 mẫu và 0,67 phần trăm, dày gấp 17,20 lần hàng Claude Opus 5.5.

p50 chạy từ 7.998 ms đến 26.226 ms, tức 26.226 ÷ 7.998 = 3,28 lần. p95 giãn rộng hơn: 27.344 ms ở Gemini 3.8 Flash đến 125.749 ms ở GPT 6.1 SOL. Cột n nên đọc trước cột kết quả, vì một phân vị trên 48 mẫu là ước lượng, còn một phân vị trên 6.051 mẫu là mô tả.

Vì sao Wisa không có điểm chất lượng cho từng model?

Ba lý do. Thứ nhất, chất lượng gắn với bộ đề: model đứng đầu bảng toán có thể xếp cuối bảng viết hợp đồng tiếng Việt, và cả hai bảng đều đúng. Thứ hai, một điểm trung bình che mất phân bố: model đúng 80 phần trăm lượt dễ và sai 80 phần trăm lượt khó có thể cùng điểm với model đúng đều 80 phần trăm. Thứ ba, bộ đề công khai bị luyện quen theo thời gian, nên điểm tăng dần trong khi việc thật không nhanh hơn.

Cách một bộ benchmark được dựng, và vì sao nó không chuyển thẳng sang việc của bạn, được trình bày ở benchmark trong AI là gì. Nếu bạn cần một con số để báo cáo nội bộ, hãy dùng tỉ lệ đúng trên bộ đề của bạn, kèm số mẫu. Một tỉ lệ kèm n nhỏ vẫn hơn một điểm chất lượng không có n.

Cách tự dựng bộ 20 prompt và chấm ba tiêu chí

Chia bộ đề theo việc, không chia theo model: 8 prompt lấy từ việc lặp lại nhiều nhất trong tuần, 6 prompt khó nhất bạn từng phải làm lại, 4 prompt văn bản dài tiếng Việt (một hợp đồng, một email dài, một bản tóm tắt ba trang, một bài có số liệu), 2 prompt bẫy yêu cầu thông tin không tồn tại. Hai prompt cuối dùng để đếm lỗi bịa, và khái niệm đó được giải thích ở hallucination là gì.

Chấm ba tiêu chí, mỗi tiêu chí một con số: đúng hay sai (0 hoặc 1), đạt định dạng yêu cầu (0 hoặc 1), số lần phải chạy lại (0, 1, 2). Ghi thêm thời gian hoàn tất và số token ra cho từng lượt. Với 20 prompt và 2 model, bạn có 40 dòng dữ liệu, đủ để tính tỉ lệ đúng, chi phí mỗi kết quả dùng được và số lần gọi lại trung bình.

Một chỗ dễ sai: đừng chấm bằng cảm giác "câu này hay". Viết tiêu chí đúng sai trước khi chạy, nếu không bạn sẽ chấm theo thứ tự model và kết quả không dùng lại được. Nếu nhóm việc chính của bạn là văn bản dài tiếng Việt, đọc AI viết tiếng Việt cho văn bản dài để chọn prompt cho nhóm thứ ba.

Một buổi đo 40 lượt tốn 198 đồng, và khi nào lời khuyên hết đúng

Tính bằng Gemini 3.8 Flash, model có giá vào 900đ và giá ra 4.500đ một triệu token. Một lượt chuẩn 2.000 vào cộng 700 ra: 2.000 × 900 ÷ 1.000.000 = 1,8 đồng cho phần vào, 700 × 4.500 ÷ 1.000.000 = 3,15 đồng cho phần ra, tổng 4,95 đồng. Bốn mươi lượt là 40 × 4,95 = 198 đồng.

198 đồng rẻ hơn nhiều so với một tháng chạy sai model trên toàn bộ lưu lượng, và đó là toàn bộ lý do nên đo trước khi chốt. Bạn có thể lấy danh sách model và giá hiện hành ở chuyên mục chọn và so sánh model để chọn model thứ hai cho buổi đo, miễn là model đó nằm trong nhóm bạn thực sự cân nhắc.

Lời khuyên trên đúng khi bạn có ít nhất 40 yêu cầu thật để lấy mẫu và khi việc của bạn lặp lại đủ đều để 20 prompt đại diện. Nó hết đúng khi công việc thay đổi theo mùa hoặc theo khách hàng: lúc đó bộ đề cũ đo một việc bạn không còn làm. Nó cũng không thay được số đo độ trễ, vì 40 lượt không tạo ra một phân vị đáng tin, và 40 trong 46 model vẫn không có p50 để đối chiếu.