Quản lí ghi nhớ và bối cảnh dài hạn (tiếp tục)
Bộ nhớ ổn định bên ngoài
+ Lưu giữ lịch sử trò chuyện trong các hệ thống bên ngoài như các CSDL (e.g, SQL, NoSQL, hay vector stores).
+ Làm có thể giành các tương tác đã qua phù hợp thậm chí sau khi ứng dụng khởi động lại.
Các xem xét then chốt
1. Các giới hạn token: Luôn đảm bảo đếm token kết hợp ghi nhớ và prompt đầu vào duy trì bên trong hạn chế token tối
đa của model.
2. Hiệu suất vs Chính xác: Tóm tắt làm giảm trung thực bối cảnh nhưng cải thiện hiệu suất. Chọn dựa trên các nhu
cầu ứng dụng.
3. Riêng tư an ninh: Khi lưu giữ bộ nhớ bên ngoài, đảm bảo thông tin nhạy cảm được mã hóa và tuân thủ với các quy
định bảo vệ dữ liệu.
4. Lọc phù hợp: Giành chỉ các đoạn ghi nhớ phù hợp để tránh quá tải prompt với thông tin không cần thiết.