Benchmark AI model comparison: so ở percentile mà công việc của bạn thực sự chạm

Benchmark AI model comparison chỉ có nghĩa khi bạn ghi rõ đang so ở phân vị nào. GPT 6.1 SOL chậm hơn Gemini 3.8 Flash 2,58 lần ở p50; ở p95 khoảng cách là 4,60 lần; ở p99 là 4,09 lần, nên một bảng chỉ có p50 đang giấu phần lớn khác biệt.

GPT 6.1 SOL so với Gemini 3.8 Flash ở p50, p95 và p99

Đặt hai hàng cạnh nhau trước khi chia. Gemini 3.8 Flash có p50 là 10.181 ms, p95 là 27.344 ms, p99 là 59.922 ms, trên 6.051 mẫu. GPT 6.1 SOL có p50 là 26.226 ms, p95 là 125.749 ms, p99 là 244.824 ms, trên 214 mẫu.

Ba phép chia cho ba câu trả lời: 26.226 ÷ 10.181 = 2,58 lần ở p50, 125.749 ÷ 27.344 = 4,60 lần ở p95, 244.824 ÷ 59.922 = 4,09 lần ở p99. Con số 244.824 ms tức khoảng 244,8 giây, nằm ở đầu cao của GPT 6.1 SOL.

Cặp này đáng so vì chênh lệch số mẫu rất lớn: một bên 6.051 mẫu, một bên 214 mẫu. Hàng 6.051 mẫu cho một p99 ổn định; hàng 214 mẫu cho một p99 dao động hơn giữa hai lần đo. Khi bạn trích tỉ lệ 4,09 lần, hãy trích kèm hai số mẫu đó.

Khoảng cách 2,58 lần ở p50 nới thành 4,60 lần ở p95

p50 đo lượt điển hình, và ở lượt điển hình cả hai model đều trả lời một câu ngắn, nên phần lớn thời gian là xử lý prompt, thứ ít khác biệt giữa các model. Đuôi thì cộng thêm hai thứ không hiện đều ở giữa: độ dài câu trả lời và xếp hàng phía sau.

Độ dài câu trả lời là phần giải thích được bằng số. Trung vị đầu ra của GPT 6.1 SOL là 2.036 token, của Gemini 3.8 Flash là 427 token. Thông lượng tương ứng là 35,54 token/giây và 42,57 token/giây. Câu trả lời dài hơn nhân với tốc độ phát chậm hơn cho ra một lượt dài hơn ở đúng những ca dài nhất.

Đừng nhân hai cột đó để suy ra thời lượng. Phép nhân bỏ qua xếp hàng, bỏ qua độ dài prompt, và bỏ qua việc token trung vị chỉ là trung vị. Đọc hai cột như hai dấu hiệu cùng chiều là đủ để hiểu vì sao đuôi của GPT 6.1 SOL dài hơn.

Claude Opus 5.5 chậm hơn Gemini 3.8 Flash 3,77 lần ở p95

Claude Opus 5.5 có p95 là 103.013 ms trên 271 mẫu; 103.013 ÷ 27.344 = 3,77 lần p95 của Gemini 3.8 Flash. Claude Opus 5.5 có p50 là 15.168 ms, còn Gemini 3.8 Flash có p50 là 10.181 ms. Ở p99 hai con số là 170.422 ms và 59.922 ms.

Claude Sonnet 5.5 có p95 là 45.156 ms, nằm giữa hai model này, dù hàng đó chỉ có 48 mẫu. Một hàng 48 mẫu không đủ để chốt thứ hạng, nhưng đủ để nói hai bản Claude không hành xử giống nhau ở đuôi, và đủ để bạn không gộp chúng thành một mục khi so.

Nếu bạn chọn theo p50, ba model Claude và Gemini gần như không tách được: 10.029 ms, 10.181 ms, 15.168 ms. Ở p95 là 45.156 ms, 27.344 ms và 103.013 ms, khoảng cách mở ra tới 3,77 lần.

DeepSeek V4.1 Flash 1017 là ca ngược lại và đáng để bạn nhớ. Model này có p50 là 7.998 ms, thấp nhất trong sáu hàng, nhưng p95 là 27.807 ms, trong khi Gemini 3.8 Flash có p95 là 27.344 ms. Đọc p50 thì nó dẫn; đọc p95 thì nó hoà với Gemini 3.8 Flash và không còn dẫn nữa.

Phân vị nào mô tả đúng công việc bạn đang chạy?

Với chat một lượt có người ngồi chờ, p50 mô tả phần lớn thời gian người dùng thấy, còn p95 mô tả lúc họ bắt đầu thấy chậm. Nếu sản phẩm của bạn chấp nhận 1 trong 20 lượt bị chậm, hãy đọc p95; nếu không chấp nhận, bạn cần p99.

Với agent nhiều bước, mỗi tác vụ gồm nhiều lượt gọi model, nên mỗi lượt là một cơ hội chạm vào đuôi 5%. Một tác vụ hai mươi bước có hai mươi cơ hội như vậy, và p95 của một lượt không còn mô tả được tác vụ nữa. Khi ấy bạn phải so ở p99, hoặc tự đo phân vị trên chính chuỗi gọi.

Với batch không có người chờ, p99 là cột duy nhất đáng đặt timeout. Nếu bạn đặt timeout dưới 244.824 ms cho GPT 6.1 SOL, bạn đang tự tạo ra lỗi ở đúng phần đuôi mà mình không nhìn thấy. Mỗi lần như vậy là một lượt đã tiêu token nhưng không trả về kết quả.

Cả ba cách đọc đều dựa trên cùng một định nghĩa: một lần inference được tính từ lúc gửi yêu cầu tới lúc nhận token cuối. Nếu công cụ của bạn báo số ở mốc khác, hãy đổi sang mốc này trước khi so với bảng bên dưới.

Trong một sản phẩm thật, ba cách đọc này thường cùng tồn tại: khung chat cần p50, nút chạy tác vụ dài cần p95, cron ban đêm cần p99. Vì vậy một bảng so sánh chỉ có một cột phân vị là chưa đủ để chốt, và trong sáu hàng ở trên không có model nào dẫn cả ba cột cùng lúc.

Bảng so sánh sáu model kèm số mẫu từng hàng

Model	n	p50	p95	p99
DeepSeek V4.1 Flash 1017	4.660	7.998 ms	27.807 ms	63.460 ms
Claude Sonnet 5.5	48	10.029 ms	45.156 ms	142.126 ms
Gemini 3.8 Flash	6.051	10.181 ms	27.344 ms	59.922 ms
DeepSeek V4.1 Flash	213	11.581 ms	74.224 ms	194.521 ms
Claude Opus 5.5	271	15.168 ms	103.013 ms	170.422 ms
GPT 6.1 SOL	214	26.226 ms	125.749 ms	244.824 ms

Không phép chia nào trong bài đến từ bảng công bố của nhà cung cấp; tất cả đến từ số liệu đo tại gateway của Wisa, cửa sổ 7 ngày kết thúc 27/10/2026, và mỗi hàng chỉ vào bảng khi có tối thiểu 20 mẫu. Bảng sắp theo p50 tăng dần để bạn đối chiếu với các cặp đã so ở trên.

Đọc bảng này theo cặp, đừng đọc theo thứ hạng. Một bảng xếp hạng theo một cột duy nhất cho ra thứ tự khác, và cách đọc bảng đó nằm ở bài xếp hạng model AI theo benchmark. Cách đọc cột số mẫu thì ở bài benchmark model AI, còn bức tranh độ rộng của cả sáu dải nằm ở bài benchmark AI model 2026.

Giới hạn của cách so này

Bài này so độ trễ, không so chất lượng câu trả lời. Một model có p95 thấp vẫn có thể trả lời sai nhiều hơn, và bảng trên không có cột nào đo điều đó.

Dữ liệu phủ 6 trong 46 model, nên mọi so sánh ngoài sáu hàng là phỏng đoán. Hàng 48 mẫu cũng không đủ để chốt thứ hạng, và p99 của nó dựa trên chưa đầy một lượt ở đuôi. Cách so này hết đúng khi công việc của bạn khác về hình dạng: prompt dài hơn nhiều, đầu ra ngắn hơn nhiều, hoặc chạy trên hạ tầng riêng. Danh mục đầy đủ để bạn tự đối chiếu nằm ở chuyên mục chọn và so sánh model.