Các bộ phận lõi của các hệ thống agent (phần 8)

Chọn Model (tiếp tục)

Trong bảng trên, các giá được thể hiện như nhiều giá mỗi triệu tokens trên Llama 3.1, cái là ít tốn
kém nhất tại thời điểm viết. Tại thời điểm viết, Meta đang đòi phí 0.2 $ mỗi triệu tokens đầu vào và
0.6 $ mỗi triệu tokens đầu ra. Bạn cũng có thể nhận thấy rằng hiệu suất không trực tiếp tương quan
với giá. Cũng biết rằng hiệu suất trên các tiêu chuẩn cung cấp hướng dẫn hữu dụng, nhưng số dặm của
bạn có thể khác nhau trong các tiêu chuẩn này căn chỉnh như thế với nhiệm vụ cụ thể của bạn. Khi có
thể, so sánh model cho nhiệm vụ của bạn và tìm ra model cái cung cấp bạn với giá tốt nhất mỗi hiệu suất.
Cuối cùng, chọn model không phải là một quyết định một lần nhưng một lựa chọn thiết kế chiến lược cái
phải được ghé thăm lại khi các khả năng agent, nhu cầu người dùng, và cơ sở hạ tầng phát triển. Các nhà
phát triển phải đánh giá đánh đổi giữa tính chung và chuyên biệt, hiệu suất và chi phí, đơn giản và mở
rộng. Bằng cách xem xét cẩn thận phức tạp nhiệm vụ, thể thức đầu vào, hạn chế hoạt động và các nhu cầu
tùy chỉnh, các đội nhóm có thể chọn các models cái làm các agents của họ có thể hành động có hiệu quả
, tăng quy mô tin cậy, và có hiệu suất với chính xác trong thế giới thực.

Chia sẻ