Từ điển
Fine-tuning là gì?
Fine-tuning là huấn luyện thêm một mô hình đã có trên tập dữ liệu nhỏ để đổi phong cách hoặc hành vi. Không phù hợp để nạp kiến thức mới.
Fine-tuning là huấn luyện thêm một mô hình đã được huấn luyện trước trên một tập dữ liệu nhỏ, có mục tiêu cụ thể. Nó thay đổi hành vi của mô hình, không chỉ thêm thông tin vào câu trả lời.
Khi nào nên fine-tuning?
- Cần mô hình giữ đúng một phong cách viết.
- Cần định dạng đầu ra rất ổn định.
- Có hàng nghìn ví dụ chất lượng cao về cặp đầu vào - đầu ra.
- Muốn giảm độ dài prompt bằng cách dạy mô hình thay vì mô tả.
Khi nào không nên?
- Chỉ cần thêm tài liệu mới: dùng RAG hoặc đưa tài liệu vào ngữ cảnh.
- Dữ liệu ít hoặc nhiễu: fine-tuning dễ làm mô hình tệ hơn.
- Cần trích dẫn nguồn: fine-tuning không tạo ra cơ chế dẫn nguồn.
Fine-tuning khác RAG ở đâu?
RAG thay đổi thông tin trong ngữ cảnh mỗi lần gọi. Fine-tuning thay đổi trọng số của mô hình một lần, rồi dùng cho nhiều lần gọi.
Trong thực tế, nhiều hệ thống dùng cả hai: RAG cho kiến thức, fine-tuning cho phong cách và định dạng.
Chi phí thật của một lần fine-tuning
Bảng giá token không hiển thị khoản chi phí này, nên nó thường bị đánh giá thấp. Ba khoản:
Dữ liệu gắn nhãn. Vài trăm đến vài nghìn cặp đầu vào và đầu ra, cùng một chuẩn, do người làm. Đây là khoản lớn nhất và không giảm theo thời gian: khi nghiệp vụ đổi, dữ liệu phải làm lại.
Một lần huấn luyện. Tính theo giờ máy hoặc theo số token huấn luyện, tuỳ nhà cung cấp. Với model mở tự vận hành, đây là chi phí GPU thật; với model đóng, đây là phí dịch vụ.
Duy trì. Mỗi lần nhà cung cấp ra bản base model mới, bạn phải chọn: ở lại bản cũ, hoặc huấn luyện lại từ đầu trên bản mới. Cả hai đều có giá.
Đặt ba khoản đó cạnh lựa chọn đơn giản hơn:
Một prompt 2.000 token chạy 1.000 lần ở Gemini 3 Flash tốn 2 triệu token, tức 1,2 CUBE, khoảng 1.200đ. Fine-tuning để bỏ phần prompt đó phải rẻ hơn 1.200đ mới đáng, và nó không rẻ hơn: chi phí dữ liệu một mình đã vượt con số đó.
Nếu prompt của bạn dài và lặp lại nhiều lần, thứ tự đúng là: viết prompt gọn hơn, dùng few-shot ngắn hơn, rồi dùng cache cho phần lặp lại. Cả ba đều rẻ hơn fine-tuning và không cần dữ liệu gắn nhãn. Cách tính ở prompt caching giảm chi phí.
Khi fine-tuning thật sự đáng
Ba trường hợp:
- Bạn cần định dạng đầu ra rất ổn định và đã thử prompt mà vẫn sai ở 5% số lần.
- Bạn cần giảm độ trễ, và prompt dài là nguyên nhân chính.
- Bạn có sẵn dữ liệu gắn nhãn từ quy trình đang chạy, nên chi phí dữ liệu gần bằng 0.
Ngoài ba trường hợp đó, prompt tốt cộng với ngữ cảnh đúng thường đủ, và rẻ hơn nhiều lần.
Chi phí từng model để so sánh ở bảng quy đổi token. Các khái niệm liên quan: RAG, few-shot và prompt engineering.
Câu hỏi thường gặp
Fine-tuning có dạy mô hình kiến thức mới không?
Không đáng tin cậy. Fine-tuning thay đổi hành vi và phong cách, không phải một cơ sở dữ liệu. Muốn mô hình biết một tài liệu mới, hãy đưa tài liệu vào ngữ cảnh hoặc dùng RAG, vì kiến thức nạp bằng fine-tuning dễ bị quên và không trích được nguồn.
Cần bao nhiêu ví dụ để fine-tuning có tác dụng?
Thường từ vài trăm đến vài nghìn cặp đầu vào và đầu ra chất lượng cao, cùng một chuẩn. Dưới 200 ví dụ, mô hình thường chỉ học thuộc ví dụ mà không tổng quát hoá. Dữ liệu nhiễu hoặc không nhất quán làm kết quả tệ hơn mô hình gốc.
Fine-tuning hay prompt engineering rẻ hơn?
Prompt engineering rẻ hơn trong gần như mọi trường hợp. Một prompt 2.000 token chạy 1.000 lần ở Gemini 3 Flash tốn khoảng 1.200đ. Fine-tuning để bỏ phần prompt đó phải rẻ hơn 1.200đ, trong khi nó cần dữ liệu gắn nhãn, một lần huấn luyện và làm lại mỗi khi base model đổi.