TransformChain: Chuyển dạng dữ liệu và tiền xử lí
TransformChain là một xích chuyên biệt trong LangChain thiết kế cho các nhiệm vụ chuyển dạng dữ liệu và tiền xử lí.
Dạng xích này là then chốt cho chuẩn bị các đầu vào trước khi chúng được truyền tới các xích hay mô hình ngôn ngữ
khác, đảm bảo rằng dữ liệu là trong hình thức phù hợp nhất cho xử lí chuỗi.
Các đặc tính then chốt của TransformChain
+ Các chuyển dạng linh động: Có thể thực hiện các thao tác xử lí dữ liệu khác nhau.
+ Chập đầu vào – đầu ra: Định nghĩa rõ ràng các đầu vào được chuyển dạng như thế nào thành các đầu ra
+ Móc xích được: Có thể được tích hợp dễ dàng vào các chuỗi xích lớn.
Các nhiệm vụ chuyển dạng phổ biến
1. Bình thường hóa text: Tiêu chuẩn hóa hình thức, case và mã hóa text
2. Rút đặc tính: Lấy các đặc tính phù hợp từ đầu vào thô.
3. Làm sạch dữ liệu: Loại bỏ ồn nhiễu hay thông tin không phù hợp
4. Chuyển đổi dạng: Chuyển đổi dữ liệu giữa các cấu trúc hay kế hoạch khác nhau.
Thực thi
from langchain.chains import TransformChain
def transform_func(inputs):text = inputs[“text”]
transformed_text = text.lower() # Simple lowercase transformation
word_count = len(text.split())
return {“lowercase_text”: transformed_text, “word_count”: word_count}transform_chain = TransformChain(
input_variables=[“text”],
output_variables=[“lowercase_text”, “word_count”],
transform=transform_func)
result = transform_chain.invoke(“This is an EXAMPLE sentence.”)
print(result)
# Output: {‘lowercase_text’: ‘this is an example sentence.’, ‘word_count’: 5}
TransformChain cho phép các nhà phát triển tạo các bước tiền xử lí dữ liệu mô đun cái có thể cải thiện đáng kể
hiệu suất và tin cậy của các ứng dụng LangChain của họ.