Build your ultimate AI agent
コース説明
シンプルな LLM 呼び出しから、Weaviate を使ったマルチモーダル RAG ワークフローまで学びます。PDF 文書を処理して、段落、見出し、表などの主要なテキストを抽出する方法を身につけます。抽出したデータを埋め込み、Weaviate に保存して検索できるようにします。最後に、生成モデルへ渡す効果的な検索プロンプトを作成します。仕上げとして、PDF を画像として扱い、図やプロットから失われがちなコンテキストも取り込めるようにします。ColPali のマルチモーダル埋め込みモデルと、OpenAI のマルチモーダル生成モデルを組み合わせて、画像や文書と対話を始めましょう。
前提条件
カリキュラム
コース概要
1
Weaviate で学ぶ RAG の基礎
Weaviate がどのように RAG アプリケーションを実現するのか見ていきます。まずは Retrieval-Augmentation-Generation の各ステップに慣れるため、手作業でエンドツーエンドの RAG ワークフローを構築します。この理解をもとに、第2章では Weaviate を使って堅牢で最適化された RAG ワークフローを実装できるようになります。
2
Weaviate ではじめる End-to-End RAG
手作業で RAG ワークフローを組むのも楽しいですが、Weaviate のようなツールが提供する最適化を活かせないかもしれません。この章では、埋め込み、保存、検索、応答生成まで、すべてを Weaviate で行います。
3
マルチモーダル RAG
前の章では、PDF 文書のテキストを使ってドキュメントチャンクを作成しましたが、画像の内容は扱いませんでした。これは、検索や生成に役立つ多くのコンテキストを失うことにつながります。この章では、ColPali のマルチモーダルモデルを使って、テキストと画像の両方を埋め込み・生成し、モデルの応答により豊かなコンテキストを与えます。
Weaviate ではじめる End-to-End RAG
コース修了
