Build your ultimate AI agent
课程介绍
学习如何从简单的 LLM 调用,进阶到使用 Weaviate 构建多模态 RAG 工作流!您将学习如何处理 PDF 文档,提取段落、标题和表格等关键文本内容。您会将这些数据进行向量化并存储在 Weaviate 中以便检索。最后,您将设计高效的检索提示,传递给生成式模型。作为收尾,您还会将 PDF 视作图像进行处理,以保留图像和可视化中容易丢失的上下文。您将使用 ColPali 多模态嵌入模型,并结合 OpenAI 的多模态生成模型,开始与图像和文档进行对话!
先修要求
课程大纲
课程大纲
1
Weaviate 中的 RAG 基础
了解 Weaviate 如何赋能 RAG 应用!您将手动构建一个端到端的 RAG 工作流,以熟悉检索—增强—生成各步骤。这一理解将帮助您在第 2 章中使用 Weaviate 构建更健壮、优化更充分的 RAG 工作流。
2
使用 Weaviate 实现端到端 RAG
虽然手写 RAG 工作流很有趣,但可能错过了像 Weaviate 这类工具带来的优化。在本章中,您将使用 Weaviate 完成嵌入、存储、检索与生成的全流程!
3
多模态 RAG
在上一章中,您使用 PDF 文档的文本内容来构建文档分块,但忽略了图像内容。这会丢失大量对检索和生成有用的上下文!在本章中,您将使用 ColPali 多模态模型,对文本与图像进行嵌入与生成,为模型回答提供更充分的上下文。
使用 Weaviate 实现端到端 RAG
课程完成

