Build your ultimate AI agent
Mô tả khóa học
Tìm hiểu cách chuyển từ gọi LLM đơn giản sang quy trình làm việc RAG đa phương thức với Weaviate! Bạn sẽ học cách xử lý tài liệu PDF để trích xuất nội dung văn bản chính như đoạn văn, tiêu đề và bảng. Bạn sẽ nhúng (embed) và lưu trữ dữ liệu này để truy xuất với Weaviate. Cuối cùng, bạn sẽ soạn các lời nhắc truy xuất hiệu quả để chuyển cho các mô hình sinh. Để hoàn thiện, bạn sẽ xử lý PDF như hình ảnh để nắm bắt ngữ cảnh bị mất từ hình ảnh và biểu đồ. Bạn sẽ dùng mô hình nhúng đa phương thức ColPali cùng mô hình sinh đa phương thức từ OpenAI để bắt đầu trò chuyện với hình ảnh và tài liệu!
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Những điều cơ bản về RAG với Weaviate
Khám phá cách Weaviate hỗ trợ các ứng dụng RAG! Bạn sẽ tự xây dựng thủ công một quy trình RAG end-to-end để làm quen với các bước Truy xuất - Bổ sung - Sinh (Retrieval-Augmentation-Generation). Hiểu biết này sẽ giúp bạn xây dựng quy trình RAG vững chắc và tối ưu trong Chương 2 bằng Weaviate.
2
RAG End-to-End với Weaviate
Mặc dù tự viết mã quy trình RAG khá thú vị, bạn có thể bỏ lỡ các tối ưu hóa do những công cụ như Weaviate cung cấp. Trong chương này, bạn sẽ nhúng, lưu trữ, truy xuất và sinh phản hồi — tất cả đều bằng Weaviate!
3
RAG đa phương thức
Ở chương trước, bạn đã dùng nội dung văn bản từ các tài liệu PDF để tạo các khối tài liệu, nhưng bỏ lại phần nội dung hình ảnh. Điều này làm mất khá nhiều ngữ cảnh có thể hữu ích cho truy xuất và sinh! Trong chương này, bạn sẽ dùng các mô hình đa phương thức ColPali để nhúng và sinh văn bản lẫn hình ảnh, cung cấp thêm ngữ cảnh cho phản hồi của mô hình.
RAG End-to-End với Weaviate
Hoàn
thành khóa học
