Từ điển
Multimodal là gì?
Multimodal là khả năng của mô hình xử lý nhiều loại dữ liệu cùng lúc: văn bản, hình ảnh, âm thanh hoặc video, thay vì chỉ chữ.
Multimodal là khả năng của mô hình xử lý nhiều loại dữ liệu cùng lúc: văn bản, hình ảnh, âm thanh hoặc video. Mô hình không chỉ đọc chữ mà còn nhìn, nghe và kết hợp thông tin.
Ví dụ
- Chụp ảnh hóa đơn và yêu cầu trích xuất số tiền, ngày, nhà cung cấp.
- Tải biểu đồ và hỏi xu hướng chính.
- Gửi bản ghi âm cuộc họp và yêu cầu biên bản.
Không phải mô hình nào cũng giỏi mọi loại
Một mô hình có thể mạnh về ảnh nhưng yếu về âm thanh, hoặc ngược lại. Chất lượng còn phụ thuộc độ phân giải, ngôn ngữ và loại nội dung.
Ứng dụng trong công việc
Multimodal giảm bước chuyển đổi thủ công: không cần OCR trước khi hỏi về ảnh, không cần gõ lại biên bản. Nhưng kết quả vẫn cần kiểm tra, đặc biệt với số liệu và tên riêng.