LangChainで学ぶ検索拡張生成（RAG）

LangChainを使ったRAGの構築

検索拡張生成（RAG）は、大規模言語モデル（LLM）の課題の1つである知識の限界を克服するために用いられる手法です。 RAGシステムを使えば、さまざまなソースからの外部データをLLMに統合できます。 通常は面倒な複数のシステムとの接続作業も、LangChainなら驚くほど簡単にできます！

最先端の分割・検索手法を学ぶ

RAGアーキテクチャをレベルアップしましょう！PythonやMarkdownファイルなどのコードファイルを読み込み、コードの構文を正しく認識した状態で適切に分割する方法を学びます。 取得したドキュメントがモデルのコンテキストウィンドウ内に収まるように、文字ではなくトークンごとにドキュメントを分割します。 テキスト内のトピックが切り替わるタイミングを検出し、その箇所で分割するセマンティックチャンキングがコンテキストを維持するのにどのように役立つかを学びましょう。 最後は、LangSmithとRagasを使ったRAGアーキテクチャを評価する方法を学びます。

Graph RAGアーキテクチャを理解する

RAGアーキテクチャを根本から見直し、ベクトルベースではなくグラフベースのRAGシステムが、グラフ構造を取り入れることで、ドキュメント内に登場するエンティティやそれらのリレーションシップに対するシステムの理解度を飛躍的に向上させることができます。 LLMを使って、非構造化テキストデータをグラフに変換しましょう。 その後、生成されたグラフドキュメントをNeo4jグラフデータベースに格納し、それを全体的なRAGシステムに組み込むことで、システムを完成させます。