Làm việc với Chroma (tiếp tục)
Bây giờ rằng bạn vừa nhận dữ liệu và có một nắm vững cơ bản về tìm kiếm được tiến hành như thế nào, nó là lúc
đi với model. Hãy đào sâu vào các thư viện tốt từ vũ trụ Transformers.
Thư viện thông dụng rộng duy trì bởi Hugging Face cung cấp lối truy cập tới một số models không tin được.
Hãy nhập khẩu từ, thư viện Transformers, các tiện ích sau:
+ AutoTokenizer: Công cụ này được sử dụng cho token hóa text và là tương thích với nhiều models huấn luyện trước có
sẵn trong thư viện của Hugging Face.
+ AutoModelForCasualLM: Cung cấp một giao diện cho sử dụng các models thiết kế cụ thể cho các nhiệm vụ tạo sinh text,
như những cái dựa trên GPT. Trong dự án nhỏ này, bạn sẽ sử dụng model TinyLlama/TinyLlama-1.1B-Chat-v1.0.
+ Pipeline: Bằng cách sử dụng các pipelines, thư viện transformers quan tâm đến nhiều nhiệm vụ nhất. Khi bạn tạo
một dòng ống tạo sinh text, bạn chỉ cần truyền prompt tới model và nhận kết quả.
Model tôi đã chọn là TinyLlama-1.1B-Chat-v1.0, cái là một trong những mô hình ngôn ngữ nhỏ thông minh nhất. Thậm
chí như vậy, nó vẫn có 1.1 tỉ tham số. Model này là quá đủ cho dự án nhỏ này, và dựa trên các tests tôi đã tiến hành,
nó dường như thực hiện tốt hơn trong trường hợp này so sánh với GPT-2.
Tuy nhiên, tôi khuyến khích bạn trải nghiệm với các models khác nhau bản thân bạn. Khuyến nghị duy nhất của tôi
là bắt đầu với model nhỏ nhất có sẵn trong gia đình bạn chọn.
Model khác cái thực hiện tốt với ví dụ này là Dolly-v2-3B của Databricks, nhưng nó tiêu thụ nhiều tài nguyên hơn
và yêu cầu một môi trường với nhiều ghi nhớ hơn là có sẵn trong phiên bản miễn phí của Google Colab.