Hugging Face (tiếp tục)
Trong đoạn code nhỏ thể hiện trong ảnh dưới, bạn có thể quan sát làm cách nào sử dụng thư viện các cái chuyển dạng
được biết đến nhiều. Thư viện mã nguồn mở này được duy trì bởi Hugging Face và được cung cấp dưới giấy phép
Apache-2.0.
Những cái chuyển dạng phục vụ như cổng vào tới hàng ngàn models có sẵn trên Hugging Face. Nó là thực sự ấn tượng
để xem nhanh như thế nào các mô hình mã nguồn mở mới tích hợp vào thư viện này, làm chúng có sẵn tới hàng triệu
nhà phát triển làm việc với các cái chuyển dạng.
Trong ảnh, bạn có thể thấy hai cách khác nhau làm việc với các models. Tại đỉnh, chúng ta thấy làm cách nào sử
dụng model sử dụng một dòng ống, trong khi tại đáy, tokenizer và model được load riêng rẽ.
Nói tóm lại, khi sử dụng một dòng ống, các cái chuyển dạng quan tâm hầu hết mọi thứ, chúng ta đơn giản truyền
text, và nó chuyển dạng và truyền nó tới model. Mặt khác, nếu chúng ta download tokenizer, chúng ta sẽ phải chuyển
dạng text bản thân chúng ta trước khi truyền nó tới model, cái sẽ nhận xong nó trong embeddings.
Đừng lo lắng, trong các học phần, bạn sẽ sử dụng cả 2 phương pháp làm việc, và bạn sẽ hiểu tại sao một cái có
thể được thích hơn cái kia trong các tình huống nhất định.
Các cái chuyển dạng sẽ không chỉ là thư viện duy nhất từ Hugging Face bạn gặp trong các học phần. Vũ trụ Hugging
Face là rộng lớn và bao gồm một vài thư viện. Bạn cũng sẽ làm việc với thư viện PEFT, cái có nghĩa cho
parameter-efficient fine-tuning, để tinh chỉnh các models sử dụng các kĩ thuật khác nhau.
Tôi sẽ không cung cấp danh sách hết tất cả các thư viện duy trì bởi Hugging Face vì tôi tin nó là không cần thiết.
Bạn sẽ trở nên quen thuộc với chúng khi chúng xuất hiện trong các ví dụ xuyên suốt các học phần. Tôi sẽ nhằm
cung cấp một mô tả ngắn mỗi cái chúng ta sử dụng. Cho bây giờ, hiểu rằng các cái chuyển dạng là thư viện chính
và PEFT được sử dụng cho tinh chỉnh các models là hơn là đủ.
Tôi nghĩ nó là tốt nhất để bỏ nó ở đây, ngắn gọn là, bạn download các models từ Hugging Face và tạo các dự án với
chúng.