Build your ultimate AI agent
Описание курса
Узнайте, как перейти от простых вызовов LLM к мультимодальным RAG-рабочим процессам с Weaviate! Вы научитесь обрабатывать PDF-документы, извлекая из них ключевые текстовые элементы: абзацы, заголовки и таблицы. Затем вы создадите векторные представления этих данных и сохраните их в Weaviate для последующего поиска. Вы также освоите составление эффективных поисковых запросов для передачи в генеративные модели. В завершение вы научитесь работать с PDF-файлами как с изображениями — это позволит учитывать контекст, теряемый при извлечении графиков и иллюстраций. Для этого вы воспользуетесь мультимодальной моделью векторного представления ColPali и мультимодальной генеративной моделью от OpenAI, чтобы вести полноценный диалог с изображениями и документами!
Предварительные требования
Программа
Структура курса
1
Основы RAG с Weaviate
Узнайте, как Weaviate используется для построения RAG-приложений! Вы создадите RAG-рабочий процесс вручную, шаг за шагом освоив этапы извлечения, дополнения и генерации. Это понимание поможет вам строить надёжные и оптимизированные RAG-рабочие процессы в главе 2 с использованием Weaviate.
2
Сквозной RAG с Weaviate
Реализация RAG-рабочих процессов вручную — полезный опыт, однако при таком подходе вы можете упустить оптимизации, которые предоставляют инструменты вроде Weaviate. В этой главе вы выполните создание векторных представлений, сохранение, поиск и генерацию ответов — всё это с помощью Weaviate!
3
Мультимодальный RAG
В предыдущей главе для формирования фрагментов документа вы использовали только текстовое содержимое PDF-файлов, оставив изображения за кадром. Из-за этого теряется немало контекста, который мог бы оказаться полезным при поиске и генерации. В этой главе вы воспользуетесь мультимодальными моделями ColPali, чтобы создавать векторные представления текста и изображений и тем самым обогащать ответы модели дополнительным контекстом.
Сквозной RAG с Weaviate
Курс
завершён
