Kiểm soát hành vi model (tiếp tục)
Các tham số này làm việc cùng với nhau để hình thành đầu ra của model:
+ Temperature + Top-k/Top-p: First, Top-k/Top-p lọc phân tán token, và sau đó temperature ảnh hưởng
tùy biến bên trong tập được lọc đó.
+ Penalties + Temperature: Temperature cao hơn với penalties thấp có thể sinh ra sáng tạo nhưng tiềm
tàng text lặp lại.
LangChain cung cấp một giao diện ổn định cho thiết lập các tham số này qua các nhà cung cấp LLM khác
nhau.
from langchain_openai import OpenAI
# For factual, consistent responses
factual_llm = OpenAI(temperature=0.1, max_tokens=256)
# For creative brainstorming
creative_llm = OpenAI(temperature=0.8, top_p=0.95, max_tokens=512)
Một vài xem xét tùy theo nhà cung cấp để giữ trong đầu là:
+ OpenAI: Được biết cho hành vi ổn định với temperature trong dải 0.0-0.1
+ Anthropic: Có thể cần các thiết lập temperature thấp hơn để giành các mức sáng tạo tương tự đối với
các nhà cung cấp khác.
+ Gemini: Hỗ trợ temperature lên tới 2.0, cho phép cho sáng tạo cực điểm hơn tại các thiết lập cao hơn
+ Các models mã nguồn mở: Thường yêu cầu các kết hợp tham số khác nhau hơn là các APIs thương mại.