Từ điển
Cửa sổ ngữ cảnh là gì?
Cửa sổ ngữ cảnh là lượng token tối đa một mô hình có thể xử lý trong một lần gọi, gồm cả phần bạn gửi vào và phần mô hình trả ra.
Cửa sổ ngữ cảnh là lượng token tối đa một mô hình có thể xử lý trong một lần gọi. Nó bao gồm cả phần bạn gửi vào (câu hỏi, tài liệu, lịch sử hội thoại) và phần mô hình trả ra.
Vì sao giới hạn này quan trọng?
Nếu tài liệu dài hơn cửa sổ ngữ cảnh, hệ thống phải cắt bớt, chia nhỏ hoặc tóm tắt. Cắt sai chỗ có thể làm mất đúng đoạn chứa câu trả lời.
Cửa sổ lớn hơn không tự động tốt hơn: chi phí tăng, tốc độ giảm và mô hình có thể bỏ sót chi tiết ở giữa đoạn ngữ cảnh rất dài.
Cách làm việc với tài liệu dài
- Chia tài liệu theo chương hoặc mục, hỏi từng phần.
- Tóm tắt từng phần rồi hỏi trên bản tóm tắt.
- Giữ câu hỏi và đoạn liên quan ở gần nhau trong prompt.
- Với tác vụ so sánh, gửi các đoạn song song thay vì toàn bộ hai tài liệu.
Liên hệ với Wisa
Wisa đọc tệp tới 25MB, nhưng vẫn phải chia nhỏ nội dung để vừa cửa sổ ngữ cảnh của từng mô hình. Với tài liệu rất dài, hỏi theo mục sẽ cho kết quả tốt hơn hỏi một câu bao trùm tất cả.