Sử dụng LangChain để tạo hệ thống RAG (tiếp tục)
Trong khi nếu tôi áp dụng một hình phạt nhẹ bằng cách sử dụng một giá trị 1.1, kết quả là:
No, Toshiba laptops have been discontinued.
Bây giờ, nó là lúc cấu hình dòng ống sử dụng model và cái giành:
document_qa = RetrievalQA.from_chain_type(
llm=hf_llm, retriever=retriever, chain_type=’stuff’
)
Biến duy nhất cái bạn không biết là chain_type, cái là một tham số tùy chọn, nhưng tôi đã bao gồm nó để giải thích
các giá trị khác nhau nó có thể lấy. Theo mặc định, giá trị của nó là ‘stuff’, cái là chúng ta cần gì cho dự án này.
Trong tham số này bạn chỉ ra móc xích làm việc như thế nào; nó có thể có 4 giá trị:
+ stuff: Tùy chọn đơn giản nhất; nó chính lấy các tài liệu nó xem là phù hợp và sử dụng chúng trong prompt để
truyền tới model.
+ refine: Nó thực hiện nhiều lời gọi tới model với các tài liệu khác nhau, cố gắng giành một trả lời tinh chỉnh
hơn hơn mỗi lần. Nó có thực thi một số cao các lời gọi tới model, để nó nên được sử dụng với thận trọng.
+ map_reduce: Nó cố gắng giảm tất cả các tài liệu thành một cái, có thể qua một vài lần lặp. Nó có thể nến và làm
đổ các tài liệu để khớp vào prompt gửi tới model.
+ map_rerank: Nó gọi model cho mỗi tài liệu và xếp hạng chúng, cuối cùng trả về cái tốt nhất. Tương tự như refine,
nó có thể là nguy cơ phụ thuộc vào số các lời gọi mong đợi.
Như thường thì, tôi khuyên bạn tiến hành các tests với các giá trị khác nhau và xem cho bản thân bạn trả lời khác
nhau như thế nào, đặc biệt về mặt thời gian trả lời.
Ví dụ, với giá trị refine trong chain_type, và Dolly-2 như một model, móc xích mất 3 phút và 22 giây để trả về trả
lời:
Toshiba has officially announced that it will stop manufacturing its own laptops in 2023. The company will continue to sell its laptops through third-party manufacturers like Acer, HP, and Dell.
This news comes after Toshiba’s bankruptcy filing last year. It was facing financial troubles due to the decline of the PC market.
“As a result of the continuous decline of the PC market, we have been making efforts to reduce our investment in our own manufacturing business,” Toshiba said in a statement. “However, even with our best efforts, we have not been able to avoid losses over the long term.”
The company also cited the rising popularity of smartphones and tablets as another reason for discontinuing its own laptops.
“In addition to this, the increasing popularity of smartphones and tablets has led to a reduction in demand for laptops,” Toshiba said.
Toshiba’s decision to end its own laptop production comes just one year after it filed for bankruptcy protection.
The company had previously announced plans to close its laptop factory by 2021. However, those plans were later delayed until 2023.
“We are currently reviewing our business activities and will take appropriate measures,”
Trong khi sử dụng giá trị stuff, nó mất 8 giây để trả về trả lời:
No, Toshiba laptops have been discontinued.
Hai trả lời hoàn toàn khác nhau với một sự khác nhau đáng kể trong tiêu thụ tài nguyên. Chọn một giá trị refine
trên cái khác sẽ phụ thuộc vào các yêu cầu của dự án.
Bây giờ mọi thứ đã sẵn sàng, và bạn có thể sử dụng móc xích mới tạo để hỏi các câu hỏi. Model sẽ trả lời xem xét
dữ liệu từ DataFrame, cái bây giờ được lưu giữ trong CSDL Vector, và phục hồi để xây dựng prompt.