Benchmark model AI coding: đọc điểm pass rate mà bỏ qua đuôi độ trễ là đọc thiếu

Một benchmark coding công khai đo tỉ lệ giải đúng, không đo hai con số quyết định hoá đơn của bạn là chi phí và đuôi độ trễ. Số liệu đo tại gateway của Wisa, cửa sổ 7 ngày kết thúc 27/10/2026, chỉ phủ 6 trong 46 model, và p95 của 6 model đó dài 2,69 đến 6,79 lần p50.

Điểm pass rate đo tỉ lệ giải đúng, không đo hoá đơn của bạn

Một bộ đánh giá như lm-evaluation-harness chạy model trên một tập bài toán có đáp án, rồi đếm tỉ lệ giải đúng. Nó trả lời câu hỏi "model có ra đáp án đúng không", không trả lời "mất bao lâu" và không trả lời "tốn bao nhiêu".

Với người chọn model để đưa vào sản phẩm, hai câu sau mới là câu quyết định. Một model giải đúng 80% bài nhưng mất 125.749 ms ở p95 sẽ làm hỏng trải nghiệm ở đúng 5% lượt khó nhất, và 5% đó thường là những lượt người dùng đang chờ lâu nhất.

p95 dài 2,69 đến 6,79 lần p50 trên 6 model đã đo

Model	n	p50	p95	p99	p95 ÷ p50
Gemini 3.8 Flash	6.051	10.181 ms	27.344 ms	59.922 ms	2,69
DeepSeek V4.1 Flash 1017	4.660	7.998 ms	27.807 ms	63.460 ms	3,48
Claude Sonnet 5.5	48	10.029 ms	45.156 ms	142.126 ms	4,50
GPT 6.1 SOL	214	26.226 ms	125.749 ms	244.824 ms	4,79
DeepSeek V4.1 Flash	213	11.581 ms	74.224 ms	194.521 ms	6,41
Claude Opus 5.5	271	15.168 ms	103.013 ms	170.422 ms	6,79

Phép chia ở cột cuối là p95 ÷ p50. Với Gemini 3.8 Flash: 27.344 ÷ 10.181 = 2,69. Với Claude Opus 5.5: 103.013 ÷ 15.168 = 6,79. Hai model này chênh nhau 2,52 lần về độ dài đuôi, dù cả hai đều nằm trong nhóm 6 model có số đo.

Cột p50 trải từ 7.998 ms tới 26.226 ms, tức 3,28 lần. Nhưng cột p95 trải từ 27.344 ms tới 125.749 ms, tức 4,60 lần. Đuôi độ trễ phân tán rộng hơn phần thân, nên một bảng chỉ có p50 sẽ che mất khác biệt lớn nhất.

Vì sao 40 trong 46 model không có số đo độ trễ nào

Dữ liệu chỉ nhận model có ít nhất 20 mẫu trong cửa sổ 7 ngày. 40 model còn lại không đủ mẫu, nên không có p50 hay p95 để công bố. Ô trống đó không có nghĩa là model nhanh, cũng không có nghĩa là model chậm; nó chỉ có nghĩa là chưa ai gọi đủ nhiều.

Điều này quan trọng khi bạn đọc một bài so sánh. Nếu ai đó xếp 46 model theo tốc độ mà chỉ 6 model có số đo, phần còn lại là phỏng đoán. Hãy yêu cầu cột n kèm theo mọi cột p50.

Đọc một bảng benchmark coding theo thứ tự nào

Thứ tự đúng là: lọc theo bộ đề gần việc của bạn, đọc cột n, đọc p50, rồi mới đọc p95. Nếu bước đầu không lọc được, mọi bước sau đều so sai thứ.

Ví dụ, nếu việc của bạn là sửa một hàm ngắn, hãy tìm bộ đề có bài ngắn tương tự. Một bộ đề toàn bài toán nhiều bước sẽ đẩy mọi model về phía trả lời dài, và cột p50 sẽ cao hơn hẳn so với lưu lượng thật của bạn.

Bước cuối là ghép điểm số với chi phí. Một model đúng 80% nhưng tốn 132 đồng một lượt có thể tệ hơn model đúng 75% mà tốn 4,95 đồng, tuỳ việc bạn cần độ chính xác hay số lượt.

Từ 0,27 đến 132 đồng: cột giá không có trong benchmark công khai

Không bộ benchmark công khai nào có cột giá, vì giá phụ thuộc nhà bán. Trong danh mục Wisa, một lượt 2.000 token vào cộng 700 token ra tốn từ 0,27 đồng với GPT OSS 20B đến 132 đồng với Claude Fable 5.1, tức 488,89 lần.

Hai đầu của dải đó là GPT OSS 20B với giá vào 60đ và giá ra 216đ, và Claude Fable 5.1 với giá vào 24.000đ và giá ra 120.000đ. Chia 24.000 cho 60 ra 400 lần ở cột giá vào, còn chia 120.000 cho 216 ra 555,56 lần ở cột giá ra.

Vì vậy một bảng benchmark đầy đủ phải có ít nhất bốn cột: điểm đúng, n, p50 và giá một lượt. Thiếu cột nào cũng dẫn tới quyết định sai, và cột giá là cột hay bị bỏ nhất.

Cách tự ghép điểm pass rate với p95

Lấy một bộ 20 bài từ chính mã nguồn của bạn. Chạy cả 20 bài trên từng model, ghi lại đúng hay sai và thời gian hoàn tất. Sắp thời gian tăng dần, lấy mẫu thứ 19 làm p95, rồi tính chi phí bằng công thức token.

Ví dụ với GPT 6.1 SOL: nếu 20 bài của bạn có p95 là 125.749 ms và mỗi lượt tốn 13,20 đồng, thì 20 lượt tốn 264 đồng. Nếu model đó giải đúng 17 bài, chi phí mỗi bài đúng là 264 ÷ 17 = 15,53 đồng. Con số 15,53 đồng mới là con số so sánh được với model khác.

Cách chạy bộ bài này trên mã nguồn thật được mô tả trong bài kiểm tra mã nguồn bằng AI, và khái niệm inference nền tảng nằm ở inference là gì.

Giới hạn của bài này

Bài này không xếp hạng model theo chất lượng code. Dữ liệu của Wisa không có điểm pass rate, nên mọi so sánh chất lượng phải đến từ bộ đề của bạn. Bài này chỉ nói cách đọc cột độ trễ cho đúng.

Số liệu phủ 6 model trong 7 ngày kết thúc 27/10/2026. Nếu bạn đọc bài này sau đó vài tuần, hãy lấy lại số đo thay vì dùng bảng trên, vì p95 thay đổi nhanh hơn p50 khi lưu lượng đổi hình dạng. Bài model AI nào phù hợp hiện nay trình bày sáu điều kiện đã đo để bạn đối chiếu. Bài benchmark model AI 2026 đọc độ rộng của từng dải phân vị trên cùng bộ số, và chuyên mục chọn và so sánh model gom các bài cùng nhóm.