Xây các dòng làm việc với LangGraph (phần 30)

Zero-shot vs. few-shot prompting (tiếp tục)

Hướng dẫn prompting Gemini khuyến nghị rằng mỗi prompt nên có 4 phần: một persona, một task, một context
phù hợp, và một format mong muốn. Giữ trong đầu rằng các nhà cung cấp model khác nhau có thể có các
khuyến nghị khác nhau về viết hay định dạng prompt, vì vậy nếu bạn có các prompts phức tạp, luôn check
tài liệu hướng dẫn của nhà cung cấp model, đánh giá hiệu suất của các dòng làm việc của bạn trước khi
chuyển đổi sang một nhà cung cấp model mới, và điều chỉnh các prompts tùy theo nếu cần. Nếu bạn muốn
sử dụng nhiều nhà cung cấp model trong sản xuất, bạn có thể kết thúc với nhiều mẫu prompt và lựa chọn
chúng động dựa trên nhà cung cấp model.
Cải tiến lớn khác có thể là cung cấp một LLM với một vài ví dụ của nhiệm vụ cụ thể này như cặp đầu
vào – đầu ra như phần của prompt. Cái này được gọi là few-shot prompting. Điển hình thì, few-shot
prompting là khó để sử dụng trong các kịch bản cái yêu cầu một đầu vào dài (như RAG, cái chúng ta
sẽ nói về trong học phần tới), nhưng nó vẫn là rất hữu dụng cho các nhiệm vụ với các prompts tương
đối ngắn, như phân hạng, rút, etc.
Tất nhiên, bạn luôn có thể hard-code các ví dụ trong bản thân mẫu prompt, nhưng cái này làm nó khó
để quản lí chúng khi hệ thống của bạn tăng trưởng. Một cách thức tốt hơn có thể là lưu giữ các ví
dụ trong file trên ổ cứng riêng rẽ hay trong một CSDL và load chúng vào prompt của bạn.

Chia sẻ