Hiểu các cơ chế ghi nhớ
Các xích LangChain và bất cứ code nào bạn gói chúng với là phi trạng thái. Khi bạn triển khai các ứng
dụng LangChain ra sản xuất, chúng cũng nên được giữ phi trạng thái để cho phép tăng quy mô theo
chiều ngang (nhiều hơn về cái này trong các học phần sau). Trong phần này, chúng ta sẽ thảo luận làm
cách nào tổ chức ghi nhớ để theo dấu các tương tác giữa ứng dụng AI tạo sinh và một người dùng cụ thể.
Cắt xén lịch sử chat
Mọi ứng dụng chat nên bảo tồn một lịch sử hội thoại. Trong các ứng dụng prototype, bạn có thể lưu giữ
nó trong một biến, mặc dù cái này sẽ không làm việc cho các ứng dụng sản xuất, cái chúng ta sẽ xử lí
trong phần tiêp theo.
Lịch sử chat về cơ bản là một danh sách các thông điệp, nhưng có các tình huống nơi cắt xén lịch sử
này trở nên cần thiết. Trong khi cái này là một mô hình thiết kế rất quan trọng khi các LLMs có một
cửa sổ bối cảnh hạn chế, ngày nay, nó không phải là phù hợp khi hầu hết models (thậm chí các models
mã nguồn mở nhỏ) bây giờ hỗ trợ 8192 tokens hay thậm chí nhiều hơn. Tuy nhiên, hiểu các kĩ thuật cắt
xén vẫn có giá trị cho các trường hợp sử dụng cụ thể.