Từ điển
Guardrail trong AI là gì?
Guardrail là các ràng buộc quanh mô hình để chặn đầu ra nguy hiểm, giới hạn quyền công cụ và buộc con người duyệt trước hành động rủi ro.
Guardrail là các ràng buộc đặt quanh mô hình để giảm rủi ro: chặn nội dung nguy hiểm, giới hạn quyền công cụ, kiểm tra định dạng đầu ra và buộc con người duyệt trước hành động rủi ro.
Các lớp guardrail thường gặp
- Đầu vào: lọc prompt xấu, phát hiện dữ liệu nhạy cảm.
- Trong quá trình: giới hạn công cụ, thời gian chạy và số bước.
- Đầu ra: kiểm tra định dạng, chặn nội dung vi phạm, yêu cầu trích nguồn.
- Hành động: xác nhận trước khi ghi, xóa, gửi hoặc thanh toán.
- Giám sát: log, cảnh báo và đánh giá định kỳ.
Vì sao cần?
Mô hình có thể bị thuyết phục bởi prompt độc hại hoặc hiểu sai mục tiêu. Agent có quyền chạy lệnh càng cần guardrail chặt hơn chatbot chỉ trả lời.
Guardrail không phải tường lửa tuyệt đối
Không có bộ lọc nào bắt được mọi trường hợp. Guardrail hiệu quả nhất khi kết hợp nhiều lớp, giới hạn quyền tối thiểu và có người duyệt ở bước quan trọng.
Trong KODA, diff preview và human-in-the-loop là guardrail ở tầng hành động: AI đề xuất, con người quyết định.