Khi nào nên đổi model: đổi khi đuôi độ trễ phá cam kết, không phải khi trung vị xấu

Một cam kết 60 giây bị phá không phải ở lượt điển hình mà ở lượt xấu nhất trong hai mươi. Ở p50 sáu model đo được chạy 7.998 ms đến 26.226 ms, nhưng ở p95 dải đó là 27.344 ms đến 125.749 ms.

Vì sao trung vị che mất phần đuôi

p50 là lượt điển hình: một nửa số yêu cầu xong nhanh hơn mốc đó, một nửa chậm hơn. p95 là mốc mà 5 phần trăm số yêu cầu vượt qua. Một cam kết về thời gian hoàn tất bị phá bởi nhóm 5 phần trăm đó, không bị phá bởi nửa số lượt nhanh.

Hệ quả là câu hỏi đổi model không phải "model này có nhanh không" mà là "đuôi của nó có nằm dưới ngưỡng tôi đã hứa không". Mỗi lượt vẫn là một lần inference đầy đủ, nên phân vị được đo trên toàn bộ thời gian hoàn tất chứ không phải một phần của nó.

p50 từ 7.998 ms đến 26.226 ms trên sáu model

Số liệu đo tại gateway của Wisa, cửa sổ 7 ngày kết thúc 27/10/2026, mỗi hàng tối thiểu 20 mẫu. Sáu model đủ điều kiện. Trong sáu model đo được, p50 thấp nhất là 7.998 ms ở DeepSeek V4.1 Flash 1017 và cao nhất là 26.226 ms ở GPT-6.1 Sol.

Sáu hàng này là toàn bộ nhóm đo được, không phải 46 model của danh mục. Bốn mươi model còn lại chưa đủ mẫu để công bố một phân vị nào, nên mọi câu trong bài chỉ nói về sáu hàng đó.

Khoảng p50 hẹp: 26.226 ÷ 7.998 = 3,28 lần giữa hai đầu. Nhìn riêng cột này, sáu model trông gần nhau, và đó là lý do một bảng chỉ có p50 dễ khiến bạn chốt model quá sớm.

p95 kéo dải lên 27.344 ms đến 125.749 ms

Model	Số mẫu	p50	p95	p99
DeepSeek V4.1 Flash 1017	4.660	7.998 ms	27.807 ms	63.460 ms
Claude Sonnet 5.5	48	10.029 ms	45.156 ms	142.126 ms
Gemini 3.8 Flash	6.051	10.181 ms	27.344 ms	59.922 ms
DeepSeek V4.1 Flash	213	11.581 ms	74.224 ms	194.521 ms
Claude Opus 5.5	271	15.168 ms	103.013 ms	170.422 ms
GPT-6.1 Sol	214	26.226 ms	125.749 ms	244.824 ms

Trong sáu model đo được, p95 thấp nhất là 27.344 ms ở Gemini 3.8 Flash và cao nhất là 125.749 ms ở GPT-6.1 Sol, tức 125.749 ÷ 27.344 = 4,60 lần. Cùng sáu model và cùng cửa sổ, khoảng cách ở đuôi rộng hơn khoảng cách ở trung vị: 4,60 lần so với 3,28 lần.

Ngưỡng 60 giây bị ba model vượt qua ở p95: GPT-6.1 Sol với 125.749 ms, Claude Opus 5.5 với 103.013 ms, và DeepSeek V4.1 Flash với 74.224 ms. Ba hàng còn lại nằm dưới mức đó, thấp nhất là Gemini 3.8 Flash.

Đuôi p95 gấp p50 bao nhiêu lần ở từng model?

Sáu hàng, sáu tỉ lệ. Gemini 3.8 Flash: 27.344 ÷ 10.181 = 2,69 lần. Claude Sonnet 5.5: 45.156 ÷ 10.029 = 4,50 lần. GPT-6.1 Sol: 125.749 ÷ 26.226 = 4,79 lần. Claude Opus 5.5: 103.013 ÷ 15.168 = 6,79 lần. DeepSeek V4.1 Flash 1017: 27.807 ÷ 7.998 = 3,48 lần. DeepSeek V4.1 Flash: 74.224 ÷ 11.581 = 6,41 lần.

Dải tỉ lệ rộng gần gấp đôi: 6,79 ÷ 2,69 = 2,52 lần. Hai model có thể có p50 sát nhau mà đuôi rất khác. Claude Sonnet 5.5 có p50 là 10.029 ms, sát Gemini 3.8 Flash với p50 là 10.181 ms, tức 10.181 ÷ 10.029 = 1,02 lần. Nhưng p95 của hai hàng là 45.156 ms so với 27.344 ms, tức 45.156 ÷ 27.344 = 1,65 lần.

Tỉ lệ này là một thuộc tính của cách model được gọi, không phải một hằng số của model. Một hàng có tỉ lệ 6,79 nghĩa là đuôi của nó dài gấp gần bảy lần trung vị trong cửa sổ này; nếu prompt của bạn dài hơn mức trung bình của lưu lượng đó, tỉ lệ của bạn sẽ khác. Đọc tỉ lệ để biết model nào cần đệm ngưỡng nhiều hơn, đừng dùng nó để tính ngưỡng tuyệt đối cho một hệ thống khác.

Ngưỡng đổi model nên viết thành điều kiện nào

Viết ngưỡng thành một điều kiện có số. Nếu cam kết của bạn là 60 giây, chỉ chọn hàng có p95 nằm dưới mức đó; với bảng trên, điều kiện ấy loại ba hàng và giữ ba hàng.

Điều kiện thứ hai là tần suất bạn chấp nhận. p95 cho phép 1 trong 20 lượt vượt ngưỡng. Nếu bạn cần chắc hơn, đọc p99 và chuẩn bị cho mức đó: với GPT-6.1 Sol, p99 là 244.824 ms, tức 244.824 ÷ 125.749 = 1,95 lần p95 của chính nó.

Điều kiện thứ ba là số mẫu. Hàng 48 mẫu của Claude Sonnet 5.5 chưa đủ để chốt một cam kết, nên nếu bạn định đổi sang hàng đó, hãy đo lại trên lưu lượng thật của bạn trước.

Cách đọc từng phân vị được trình bày ở độ trễ model AI. Nếu câu hỏi của bạn là nâng mức effort trước hay đổi model trước, khi nào nên đổi model AI đi theo hướng ngược lại: giữ model và đổi tham số.

Giới hạn của phép so sánh này

Cửa sổ 7 ngày là một ảnh chụp, không phải một cam kết. p95 phản ứng với thay đổi lưu lượng nhanh hơn p50, nên sau vài tuần hãy đo lại thay vì trích lại bảng trên. Đừng so số của cửa sổ này với số của một cửa sổ khác.

Hàng 48 mẫu của Claude Sonnet 5.5 là hàng mỏng nhất trong sáu hàng và phải đọc như một ước lượng. Một lần đổi phân vị ở hàng đó có thể là nhiễu chứ không phải một thay đổi thật.

Chỉ số trong bài là thời gian hoàn tất toàn bộ yêu cầu, không phải mốc chữ đầu tiên hiện ra. Nếu ngưỡng của bạn đang đặt theo cảm giác chờ chữ đầu quá lâu, đó là một phép đo khác và không có trong bộ dữ liệu này.

Bài này chỉ nói về sáu model đã đủ mẫu. Bốn mươi model còn lại của danh mục chưa có phân vị nào để so, nên đừng suy kết quả ở đây sang chúng. Danh sách đầy đủ nằm trong chuyên mục chọn và so sánh model.