Benchmark AI model ranking: xếp theo p50 và xếp theo token mỗi giây ra hai thứ khác nhau

Xếp sáu model đã đo theo p50 cho một thứ tự, xếp cùng sáu model đó theo token mỗi giây cho một thứ tự khác, và chỉ DeepSeek V4.1 Flash 1017 đứng đầu cả hai. Gemini 3.8 Flash đứng thứ ba về p50 nhưng tụt xuống thứ tư về thông lượng.

Xếp theo p50: DeepSeek V4.1 Flash 1017 dẫn với 7.998 ms

p50 là thời gian hoàn tất toàn bộ yêu cầu ở mức trung vị: một nửa số lần gọi xong nhanh hơn con số đó, một nửa chậm hơn. Sắp tăng dần theo cột này, sáu model xếp thành một hàng đọc từ trên xuống.

Hạng	Model	p50	Số mẫu
1	DeepSeek V4.1 Flash 1017	7.998 ms	4.660
2	Claude Sonnet 5.5	10.029 ms	48
3	Gemini 3.8 Flash	10.181 ms	6.051
4	DeepSeek V4.1 Flash	11.581 ms	213
5	Claude Opus 5.5	15.168 ms	271
6	GPT 6.1 SOL	26.226 ms	214

Hai đầu bảng cách nhau 26.226 ÷ 7.998 = 3,28 lần. Ba hạng đầu nằm giữa 7.998 ms và 10.181 ms, ba hạng cuối từ 11.581 ms tới 26.226 ms, nên nửa dưới của bảng mới là chỗ khoảng cách mở ra.

Hai bản DeepSeek cách nhau ba hạng: bản 1017 ở hạng một với p50 là 7.998 ms, bản gốc ở hạng bốn với p50 là 11.581 ms, tức 11.581 ÷ 7.998 = 1,45 lần. Hạng nhì thuộc về Claude Sonnet 5.5 với p50 là 10.029 ms, nhưng con số đó chỉ dựa trên 48 mẫu, ít nhất trong sáu hàng. Một hạng nhì trên 48 mẫu không cùng độ chắc với hạng ba trên 6.051 mẫu.

Xếp theo token mỗi giây: Claude Opus 5.5 xếp trên Gemini 3.8 Flash

Token mỗi giây đo nhịp sinh chữ: số token đầu ra chia cho thời gian hoàn tất, đơn vị là token/giây. Sắp giảm dần theo cột này, thứ tự đổi ngay từ hạng ba. Bảng thứ hai giữ thêm cột p50 bên cạnh cột thông lượng, nên nó là bảng hai chiều duy nhất trong bài.

Hạng	Model	Thông lượng	p50
1	DeepSeek V4.1 Flash 1017	71,23 token/giây	7.998 ms
2	Claude Opus 5.5	48,91 token/giây	15.168 ms
3	Claude Sonnet 5.5	44,76 token/giây	10.029 ms
4	Gemini 3.8 Flash	42,57 token/giây	10.181 ms
5	GPT 6.1 SOL	35,54 token/giây	26.226 ms
6	DeepSeek V4.1 Flash	35,03 token/giây	11.581 ms

DeepSeek V4.1 Flash 1017 dẫn cả bảng này với 71,23 token/giây, còn bản gốc của nó xếp cuối với 35,03 token/giây, tức 71,23 ÷ 35,03 = 2,03 lần, dù hai bản cùng một mức giá. Claude Opus 5.5 đứng nhì với 48,91 token/giây dù p50 của nó là 15.168 ms, chậm hơn hẳn p50 của Gemini 3.8 Flash.

Vì sao Gemini 3.8 Flash đứng thứ ba về p50 mà thứ tư về thông lượng?

Hai cột đo hai thứ khác nhau. p50 tính trọn yêu cầu, gồm phần xử lý đầu vào và thời gian chờ trước khi model bắt đầu sinh chữ. Token mỗi giây chỉ tính phần sinh chữ đầu ra, chia cho chính thời gian hoàn tất đó. Một model xử lý đầu vào chậm nhưng sinh chữ nhanh sẽ tụt ở cột thứ nhất và lên ở cột thứ hai.

Dữ liệu của Wisa không tách được hai phần đó, nên câu trả lời trung thực là hai bảng xếp khác nhau vì chúng không đo cùng một thứ, và bản ghi của gateway không có cột chia pha. Bạn đọc được thứ tự, không đọc được nguyên nhân.

Số token đầu ra ở mức trung vị cho một gợi ý, không phải bằng chứng: Claude Opus 5.5 là 658 token, Gemini 3.8 Flash là 427 token. Một yêu cầu sinh nhiều token hơn trong cùng một khoảng thời gian sẽ có thông lượng cao hơn, và đó là toàn bộ điều dữ liệu này nói được.

Chọn theo bảng nào tuỳ việc bạn đang làm

Nếu sản phẩm của bạn chờ trọn câu trả lời rồi mới hiển thị, hãy xếp theo p50, vì đó là toàn bộ thời gian người dùng ngồi chờ. Nếu câu trả lời hiện dần và người dùng đọc theo từng câu, hãy xếp theo token mỗi giây trước, rồi kiểm tra p50 để biết tổng thời gian chờ.

Nếu công việc là sinh nội dung dài, chênh lệch 2,03 lần giữa hai bản DeepSeek hiện gần trọn vào thời gian chờ. Nếu công việc là phân loại một đoạn ngắn, hai bảng gần như trùng nhau vì số token đầu ra quá nhỏ để thông lượng tạo khác biệt. Với tác vụ sửa mã nguồn, hãy đọc thêm SWE benchmark AI model, nơi cái đuôi p99 mới là thứ quyết định.

Bài so sánh benchmark các model AI đi theo từng cặp thay vì xếp hạng, còn tốc độ đọc của AI chỉ bàn cột thông lượng. Khái niệm nền nằm ở inference là gì, và mọi bài trong chuyên mục chọn và so sánh model dùng chung một bộ số đo.

Tự dựng lại hai bảng từ log của bạn

Ba cột là đủ để xếp lại theo lưu lượng thật của bạn: số token đầu ra, thời gian hoàn tất và mã lỗi của từng lượt. p50 là giá trị chia đôi dãy thời gian đã sắp tăng dần; thông lượng, theo định nghĩa Wisa dùng, là số token đầu ra chia cho thời gian hoàn tất của chính yêu cầu đó.

Cách chia tổng và cách lấy trung bình các tỉ số từng lượt không cho cùng một kết quả khi độ dài các lượt chênh lệch. Nếu bạn tính bằng trung bình các tỉ số, một lượt rất ngắn sẽ kéo con số lên rất cao, và bảng của bạn sẽ xếp khác bảng này dù dùng cùng dữ liệu.

Giữ nguyên cột số mẫu bên cạnh mỗi hàng khi bạn công bố lại. Một model có 40 mẫu trong tuần của bạn chưa đủ để nói về p50 của nó, và p99 cần nhiều mẫu hơn thế rất nhiều: với 40 mẫu, con số bạn gọi là p99 chỉ là mẫu xấu nhất bạn có, không phải phân vị 99.

Giới hạn của hai bảng xếp hạng

Sáu model này là toàn bộ nhóm có số đo; 40 trong 46 model của danh mục không có hàng nào, nên hai bảng trên không phải bảng xếp hạng danh mục. Đứng đầu một bảng sáu dòng không nói gì về 40 model còn lại.

Cả hai bảng dựa trên cùng một tập, số liệu đo tại gateway của Wisa trong cửa sổ 7 ngày kết thúc 27/10/2026, tối thiểu 20 mẫu mỗi model. p50 đổi hình dạng khi lưu lượng đổi hình dạng, nên đọc lại bảng này sau vài tuần có thể cho thứ tự khác.

Điều không nên làm là cộng hai bảng lại hoặc lấy trung bình: ms và token/giây là hai đơn vị khác nhau, và phép cộng đó tạo ra một con số không đo gì cả. Bài này cũng không nói model nào nhanh nhất chung, vì câu đó cần biết hình dạng yêu cầu của bạn trước.