Chọn Model (tiếp tục)
Ngược lại, cái này có nghĩa hiệu suất vừa phải có thể được giành tại một phần nhỏ của chi phí. Như bạn
có thể thấy trong bảng trên, các models lên tới xấp xỉ 14 tỉ tham số có thể được chạy trên một graphics
processing unit (GPU) cấp người dùng đơn, như NVIDIA’s RTX 3090 với 24 GB video RAM. Trên ngưỡng này,
bạn sẽ có thể muốn một GPU cấp máy chủ như NVIDIA’s A100, cái đi vào với 40 GB và 80 GB khác nhau. Các
models được gọi là “nặng mở” khi kiến trúc và độ nặng (hay các tham số) của model vừa được phát hành
miễn phí ra công chúng, nên bất cứ ai với phần cứng cần thiết có thể load và sử dụng model cho vào
mà không phải trả cho truy cập. Chúng ta sẽ không đưa vào các chi tiết của lựa chọn phần cứng nhưng
những models nặng mở chọn này thể hiện một phạm vi các mức hiệu suất tại các kích thước khác nhau. Các
models nặng mở nhỏ này tiếp tục cải tiến tại một nhịp độ nhanh, đem lại lượng đang tăng trí tuệ vào
các nhân tố hình thành nhỏ hơn. Trong khi chúng có thể không làm việc tốt cho các vấn đề khó nhất của
bạn, chúng có thể xử lí dễ dàng hơn nhiều hơn nhiệm vụ theo thông lộ tại một phần nhỏ của giá cả. Cho
agent hỗ trợ TMĐT ví dụ của chúng ta, một model nhỏ gọn, tốc độ nhanh là đủ – nhưng nếu chúng ta mở rộng
thành các lời khuyên sản phẩm hay leo thang dựa trên tình cảm, một model lớn hơn có thể mở khóa các khả
năng mới.