Từ điển
Top-p là gì?
Top-p (nucleus sampling) giới hạn mô hình chỉ chọn trong nhóm token có tổng xác suất đạt ngưỡng p, giúp cân bằng đa dạng và ổn định.
Top-p (nucleus sampling) là cách giới hạn mô hình chỉ chọn trong nhóm token nhỏ nhất có tổng xác suất đạt ngưỡng p. Ví dụ p = 0.9 nghĩa là chỉ xét các token chiếm 90% xác suất.
Khác gì top-k?
Top-k giữ đúng k token có xác suất cao nhất. Top-p giữ một nhóm token có tổng xác suất cho trước, nên số token thay đổi theo từng bước.
Cách dùng thực tế
- p thấp (0.1-0.5): đầu ra tập trung, phù hợp trích xuất.
- p cao (0.9-1.0): đầu ra đa dạng, phù hợp viết sáng tạo.
- Thường chỉ chỉnh temperature hoặc top-p, không chỉnh cả hai cùng lúc.
Lưu ý
Top-p không sửa được câu trả lời sai vì thiếu dữ liệu. Nó chỉ thay đổi cách chọn từ. Với tác vụ cần độ chính xác, cung cấp nguồn và yêu cầu kiểm chứng quan trọng hơn tinh chỉnh tham số.