Benchmark model AI: số mẫu phía sau mỗi con số quan trọng ngang con số đó

Benchmark model AI chỉ đáng đọc khi bạn biết mỗi con số dựa trên bao nhiêu mẫu. Dữ liệu gateway của Wisa phủ 6 trong 46 model, với số mẫu chạy từ 6.051 xuống 48, tức 126,06 lần, nên hai dòng trong cùng một bảng có độ tin khác nhau rất xa.

Sáu model có số đo, 40 model còn lại thì không

Danh mục Wisa có 46 model. Bảng benchmark giữ đúng 6 dòng, vì điều kiện vào bảng là có ít nhất 20 mẫu trong cửa sổ 7 ngày. 40 model còn lại không có dòng nào, và con số 40 đó không phải chi tiết phụ: nó là phần lớn danh mục.

Ô trống trong một bảng benchmark không phải chứng nhận model chậm. Nó chỉ nói chưa ai gọi đủ nhiều để tính phân vị. Nhưng khi bạn đọc một bài xếp hạng 46 model mà chỉ 6 dòng có số, phần còn lại là suy diễn chứ không phải số đo.

6.051 mẫu so với 48 mẫu nghĩa là gì khi đọc p95

Một phân vị chỉ đáng tin bằng số quan sát nằm phía sau nó. Với 48 mẫu, p95 rơi vào quan sát thứ 46, nên chỉ có khoảng hai đến ba mẫu nằm trên mốc đó. Thêm một yêu cầu chậm là phân vị dịch ngay.

Vì thế dòng Claude Sonnet 5.5 phải đọc kèm cảnh báo riêng: p95 45.156 ms của nó dựa trên 48 mẫu, không phải trên hàng nghìn. Cùng một bảng, cùng đơn vị ms, nhưng sai số của hai dòng đó khác nhau rất xa. Ai trích p95 45.156 ms mà bỏ cột n thì đang trích một con số có sai số lớn hơn hẳn sai số của dòng Gemini 3.8 Flash.

Độ chênh về số mẫu giữa hai dòng là 6.051 ÷ 48 = 126,06 lần. Với 6.051 mẫu, mốc p95 có khoảng 303 mẫu phía trên; với 48 mẫu, con số đó là hai hoặc ba. Cùng gọi là p95, nhưng một bên là ước lượng đứng yên, một bên là ước lượng lay động theo từng yêu cầu mới.

Cùng dòng đó còn một hệ quả nữa: p99 142.126 ms cũng chỉ dựa trên 48 mẫu, nên câu nói về một phần trăm xấu nhất của model đó còn mong manh hơn câu nói về p95. Số mẫu càng nhỏ thì phân vị càng cao càng dựa trên ít quan sát, và đó là lý do một bảng có đủ ba cột phân vị mà thiếu cột n vẫn trông như đầy đủ.

Bảng p50, p95, p99 của sáu model kèm số mẫu từng hàng

Model	n	p50	p95	p99
Gemini 3.8 Flash	6.051	10.181 ms	27.344 ms	59.922 ms
DeepSeek V4.1 Flash 1017	4.660	7.998 ms	27.807 ms	63.460 ms
Claude Opus 5.5	271	15.168 ms	103.013 ms	170.422 ms
GPT 6.1 SOL	214	26.226 ms	125.749 ms	244.824 ms
DeepSeek V4.1 Flash	213	11.581 ms	74.224 ms	194.521 ms
Claude Sonnet 5.5	48	10.029 ms	45.156 ms	142.126 ms

Cả sáu dòng trong bảng, số liệu đo tại gateway của Wisa trong cửa sổ 7 ngày kết thúc ngày 27/10/2026, đều vượt ngưỡng 20 mẫu. Ngưỡng đó giải thích vì sao bảng có 6 dòng chứ không phải 46.

Đọc bảng theo thứ tự: cột n trước, rồi p50, rồi p95. Hai dòng có n lớn nhất là Gemini 3.8 Flash với 6.051 mẫu và DeepSeek V4.1 Flash 1017 với 4.660 mẫu; đó là hai chỗ bạn có thể dựa vào khi nói về phân vị.

Phép so sánh hay được trích nhất trong bảng là p50 10.181 ms của Gemini 3.8 Flash đặt cạnh p50 26.226 ms của GPT 6.1 SOL, tức 26.226 ÷ 10.181 = 2,58 lần. Nhưng dòng GPT 6.1 SOL chỉ có 214 mẫu, nên 2,58 lần là một ước lượng, không phải một hằng số.

Cách tự kiểm tra một con số benchmark có đáng tin không?

Ba câu hỏi theo thứ tự: dòng đó có bao nhiêu mẫu, con số là phân vị nào và phân vị đó tính trên toàn bộ yêu cầu hay chỉ một phần, cửa sổ đo dài bao lâu và ai đo.

Bạn tự trả lời cả ba bằng một phép đo nhỏ. Lấy 20 yêu cầu thật từ hệ thống của bạn, chạy trên model đang cân nhắc, ghi thời gian hoàn tất từng yêu cầu, sắp tăng dần và lấy mẫu thứ 19 làm p95. Với 20 mẫu, đó là mức tối thiểu để nói được một câu về phần đuôi.

Điều cần nhớ là p95 bạn tự đo không so sánh trực tiếp được với p95 trong bảng này, vì cửa sổ, hình dạng yêu cầu và độ dài đầu ra khác nhau. Nó chỉ dùng để so các model trên đúng bộ 20 yêu cầu của bạn, và chỉ đúng cho bộ đó.

Hai khái niệm nền nằm ở inference là gì và benchmark trong AI là gì. Bài thứ hai đi vào định nghĩa phân vị; bài này chỉ đọc cột số mẫu.

Vì sao không suy rộng số đo của 6 model ra 46 model

Sáu dòng đo được không phải mẫu ngẫu nhiên của 46 model. Chúng là những model có lưu lượng thật trong 7 ngày, nên chúng đại diện cho phần được gọi nhiều, không đại diện cho toàn danh mục. Một model ít người dùng sẽ không bao giờ đủ 20 mẫu, và cũng không có phân vị nào để suy ra.

Cùng lý do đó, đừng lấy p50 của 6 dòng này làm chuẩn cho 40 dòng còn lại. Nếu bạn cần một con số cho model không có trong bảng, cách duy nhất là tự đo hoặc hỏi nhà cung cấp về cửa sổ và số mẫu của họ.

Thành phần của bảng cũng cho thấy độ phủ không đều: hai dòng DeepSeek, hai dòng Claude, một dòng Gemini và một dòng GPT. Không có model ảnh, không có model chỉ dùng để nhúng, không có model siêu nhỏ. Một bảng như vậy đủ để nói về nhóm chat đang chạy thật, không đủ để nói về toàn danh mục.

Điều tương tự đúng với chi phí. Bảng benchmark không có cột giá, nên giá phải lấy từ bảng giá token đầy đủ 46 model. Một model có p50 thấp vẫn có thể đắt gấp nhiều lần model chậm hơn, và ngược lại.

Giới hạn của bảng này

Bảng mô tả đúng hình dạng lưu lượng của một cửa sổ 7 ngày kết thúc ngày 27/10/2026, không mô tả mọi tuần. Khi lưu lượng đổi hình dạng, phần đuôi đổi trước p50.

Bảng cũng không nói model nào làm việc tốt hơn. Nó chỉ nói mất bao lâu và mất bao nhiêu mẫu để biết. Muốn đọc họ DeepSeek theo cùng cách, bài DeepSeek là gì đặt ba dòng của họ đó cạnh nhau; bài benchmark model AI 2026 đọc dải phân vị của cùng sáu dòng; và chuyên mục chọn và so sánh model giữ toàn bộ các bài so sánh trong cụm.