Từ điển
Inference là gì?
Inference là quá trình dùng một mô hình đã huấn luyện để tạo dự đoán hoặc văn bản. Chi phí và độ trễ của AI chủ yếu đến từ bước này.
Inference là quá trình dùng một mô hình đã huấn luyện để tạo dự đoán hoặc văn bản. Khi bạn gửi câu hỏi cho chatbot, bước mô hình sinh câu trả lời chính là inference.
Training khác inference ở đâu?
- Training: học từ dữ liệu lớn, điều chỉnh trọng số, tốn nhiều thời gian và GPU.
- Inference: dùng trọng số đã học để trả lời, nhanh hơn và lặp lại nhiều lần.
Phần lớn chi phí vận hành AI hằng ngày là inference, không phải training.
Yếu tố ảnh hưởng
- Kích thước mô hình.
- Độ dài đầu vào và đầu ra.
- Phần cứng và cách tối ưu.
- Lưu lượng đồng thời.
Vì sao quan trọng với người dùng?
Hiểu inference giúp bạn chọn đúng mô hình: việc đơn giản dùng mô hình nhỏ, nhanh, rẻ; việc cần lập luận sâu dùng mô hình lớn hơn. Wisa định tuyến theo loại việc và hiển thị chi phí từng lượt để bạn cân đối.