Làm việc với các cửa sổ bối cảnh ngắn (tiếp tục)
So sánh với độ dài cửa sổ bối cảnh 4096 input tokens cái chúng ta đã làm việc với chỉ cách đây 2 năm,
cửa sổ bối cảnh hiện tại 1 hay 2 triệu tokens là tiến bộ cực lớn. Nhưng nó vẫn là phù hợp để thảo luận
các kĩ thuật vượt qua hạn chế của kích cỡ cửa sổ bối cảnh vì một vài lí do:
+ Không phải tất cả models có các cửa sổ bối cảnh dài, đặc biệt những cái mã nguồn mở hãy những cái
phục vụ tại biên.
+ Cơ sở kiến thức của chúng ta và độ phức tạp của các nhiệm vụ chúng ta đang xử lí với các LLMs
cũng đang mở rộng kể từ khi chúng ta có thể đang đối mặt với các hạn chế thậm chí với các cửa sổ bối cảnh
hiện tại.
+ Các đầu vào ngắn hơn cũng giúp giảm các phí tổn và độ trễ.
+ Các đầu vào như audio hay video được sử dụng ngày càng nhiều, và có các hạn chế thêm trên độ dài
đầu vào (tổng kích cỡ của các PDF files, độ dài của video hay audio, etc.).