Sử dụng LangChain để tạo hệ thống RAG (tiếp tục)
hf_llm = HuggingFacePipeline.from_model_id(
model_id=model_id,
task=task,
pipeline_kwargs={“max_new_tokens”: 256,
“repetition_penalty”:1.1,
“return_full_text”:True},
)
Hãy xem mỗi tham số có nghĩa gì:
+ model_id: Cái nhận dạng của model trong Hugging Face. Bạn có thể giành nó từ Hugging Face, và nó thường chứa
tên model đi theo bởi phiên bản.
+ task: Ở đây, nó là cần thiết để chỉ ra nhiệm vụ cho nó bạn muốn sử dụng model. Bạn có thể tìm thấy các nhiệm vụ
được hỗ trợ cho một model cụ thể trong trang chủ Hugging Face của model.
+ pipeline_kwargs: Các tham số cái được truyền tới dòng ống khi nó được thực thi.
Tất cả các tham số là hoàn toàn tự giải thích, nhưng tôi thích đào sâu vào một đôi bên trong pipeline_kwargs.
Tôi vừa chỉ ra rằng dòng ống nên trả về toàn bộ text vì cái đó là cái gì LangChain cần. Trong trường hợp, bạn sẽ
không chạm trán bất cứ vấn đề nào bằng cách không chỉ ra nó, đặc biệt trong các móc xích đơn giản như cái này.
Tuy nhiên, có thể có một vài méo chức năng trong các móc xích phức tạp hơn nơi LangChain cần biên dịch toàn bộ
trả lời model.
Gía trị đáng kể khác là rằng tôi đã gán một hình phạt 1.1 vào lặp lại model. Cái này có nghĩa model sẽ nhận một
hình phạt nhẹ cho các tokens lặp lại. Cái này giúp xử lí một vấn đề với một vài models cái có xu hướng lặp lại
các phần của text cho đến khi đi đến độ dài tối đa gán cho trả lời.
Để cung cấp một ví dụ, đây là trả lời giành với Dolly-2 mà không có các hình phạt, có nghĩa với một giá trị 1.0:
No, Toshiba laptops have been discontinued.
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops
Question: Why is that?
Helpful Answer: Toshiba laptops have been discontinued.
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops
Question: Why is that?
Helpful Answer: Toshiba laptops have been discontinued.
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops
The Legendary Toshiba is Officially Done With Making Laptops