Load Model và test giải pháp
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
model_id = “TinyLlama/TinyLlama-1.1B-Chat-v1.0”
tokenizer = AutoTokenizer.from_pretrained(model_id)
lm_model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
Tip tên của model có thể được tìm thấy trên Hugging Face card tại đỉnh trái. Xem ảnh trên
Sau các dòng này, bạn có cái token hóa và model, những cái là cần thiết để tạo dòng ống.
Trong lời gọi dòng ống, bạn cần chỉ ra kích thước của trả lời, cái tôi sẽ giới hạn tới 256 tokens, và trường device
_map. Tôi thông tin cái cuối cùng này với giá trị “auto”. Cái này chỉ ra rằng bản thân model sẽ quyết định liệu có
sử dụng CPU hay GPU cho tạo sinh text.
pipe = pipeline(
“text-generation”,
model=lm_model,
tokenizer=tokenizer,
max_new_tokens=256,
device_map=”auto”,)
Trong tham số đầu tiên, bạn cần truyền nhiệm vụ cái dòng ống nên thực hiện, và nhiệm vụ này phải khớp cái gì model
được huấn luyện cho. Bạn không thể truyền một model huấn luyện cho fill – mask tới một dòng ống tạo sinh text.
Bạn có thể thấy tất các nhiệm vụ cho chúng các Hugging Face NLP models đã được huấn luyện cho trong ảnh trên.
Bây giờ rằng tập dữ liệu này đã lưu giữ xong trong CSDL vector và model được load, nó là lúc sử dụng thông tin
chứa trong CSDL để tạo prompt augmented cái cuối cùng sẽ truyền tới model.
Để tạo prompt, bạn sẽ sử dụng kết quả của truy vấn thực thi trước trên CSDL. Trong trường hợp của chúng ta, nó đã
trả về 10 articles liên quan đến từ “notebook.”
Nếu bạn nhớ lại, bạn đã giành thông tin phù hợp trước kia khi truy vấn bộ ChromaDB, giành 10 articles cái Chroma cho
là chứa thông tin gần nhất tới từ “laptop”.