Làm việc với các cửa sổ bối cảnh ngắn (tiếp tục)
Vì vậy, hãy nhìn gần vào cái gì chúng ta có thể làm để làm việc với một bối cảnh cái là lớn hơn một cửa
sổ bối cảnh cái một LLM có thể xử lí – tóm tắt là một ví dụ tốt về một nhiệm vụ như vậy. Xử lí một bối
cảnh dài là tương tự một Map-Reduce kinh điển (một kĩ thuật cái đã được phát triển chủ động trong những
năm 2000s để xử lí các tính toán trên các tập dữ liệu lớn theo một phong cách phân tán và song song).
Nói chung, chúng ta có 2 pha:
+ Map: Chúng ta chia tách bối cảnh đi đến thành các đoạn nhỏ hơn và áp dụng cùng nhiệm vụ vào mọi cái
trong số chúng theo một phong cách song song. Chúng ta có thể lặp lại pha này một vài lần nếu cần.
+ Reduce: Chúng ta kết hợp các đầu ra của các nhiệm vụ trước cùng với nhau.
