Sử dụng Gemini 1.5 Pro (tiếp tục)
Khi các đầu vào đa thể thức điển hình có một kích cỡ lớn, gửi các bytes thô như phần của yêu cầu của bạn
có thể không là ý tưởng tốt nhất. Bạn có thể gửi nó theo tham chiếu bằng cách trỏ tới nơi lưu giữ blob,
nhưng dạng cụ thể của nơi lưu giữ phụ thuộc vào nhà cung cấp model. Ví dụ, Gemini chấp nhận đầu vào đa
phương tiện như một tham chiếu đến Google Cloud Storage – một dịch vụ lưu giữ blob cung cấp bởi Google
Cloud.
Các chi tiết chính xác về làm cách nào xây dựng một đầu vào đa thể thức có thể phụ thuộc vào nhà cung
cấp LLM (và một tích hợp LangChain tương ứng xử lí một dictionary tương ứng với một phần của trường
content phù hợp). Ví dụ, Gemini chấp nhận một “video_metadata” key thêm cái có thể trỏ tới offset bắt
đầu và/hay kết thúc của một đoạn video sẽ được phân tích:
Và, tất nhiên, các phần đa thể thức cũng có thể được tạo mẫu. Hãy minh họa nó với một mẫu đơn giản cái
mong đợi một đối số image_bytes_str cái chứa các bytes được mã hóa:
