As 30 principais perguntas e respostas da entrevista sobre RAG para 2024

Perguntas básicas da entrevista com o RAG

Vamos começar com uma série de perguntas fundamentais para a entrevista sobre o RAG.

Explicar as partes principais de um sistema RAG e como elas funcionam.

Um sistema RAG (geração aumentada por recuperação) tem dois componentes principais: o recuperador e o gerador.

O retriever procura e coleta informações relevantes de fontes externas, como bancos de dadosdocumentos ou sites.

O gerador, geralmente um modelo de linguagem avançado, usa essas informações para criar um texto claro e preciso.

O recuperador garante que o sistema obtenha as informações mais atualizadas, enquanto o gerador combina essas informações com seu próprio conhecimento para produzir respostas melhores.

Juntos, eles fornecem respostas mais precisas do que o gerador poderia fornecer sozinho.

Quais são os principais benefícios de usar o RAG em vez de confiar apenas no conhecimento interno de um LLM?

Se você confiar apenas no conhecimento interno de um LLM, o sistema estará limitado ao que foi treinado, que pode estar desatualizado ou sem detalhes.

Os sistemas RAG oferecem uma grande vantagem ao extrair novas informações de fontes externas, resultando em respostas mais precisas e oportunas.

Essa abordagem também reduz as "alucinações" - erros em que o modelo inventa fatos - porque as respostas são baseadas em dados reais. O RAG é especialmente útil para áreas específicas, como direito, medicinaou tecnologia, em que você precisa de conhecimento especializado e atualizado.

Que tipos de fontes de conhecimento externo o RAG pode usar?

Os sistemas RAG podem coletar informações de fontes externas estruturadas e não estruturadas:

• Fontes estruturadas incluem bancos de dados, APIs ou gráficos de conhecimentoonde os dados são organizados e fáceis de pesquisar.
• Fontes não estruturadas consistem em grandes coleções de texto, como documentos, sites ou arquivos, em que as informações precisam ser processadas usando compreensão de linguagem natural.

Essa flexibilidade permite que os sistemas RAG sejam adaptados a diferentes campos, como o uso jurídico ou médico, extraindo de bancos de dados de jurisprudência, revistas de pesquisa ou dados de ensaios clínicos.

A engenharia imediata é importante no RAG?

Engenharia de prompts ajuda os modelos de linguagem a fornecer respostas de alta qualidade usando as informações recuperadas. A forma como você cria um prompt pode afetar a relevância e a clareza do resultado.

• Modelos específicos de prompt do sistema ajudam a orientar o modelo. Por exemplo, em vez de ter um prompt de sistema simples e pronto para uso, como "Responda à pergunta", você pode ter "Responda à pergunta com base apenas no contexto fornecido". Isso dá ao modelo instruções explícitas para usar somente o contexto fornecido para responder à pergunta, o que pode reduzir a probabilidade de alucinações.
• Solicitação de poucos disparos envolve dar ao modelo alguns exemplos de respostas antes de pedir que ele gere a sua própria resposta, para que ele saiba o tipo de resposta que você está procurando.
• Sugestão de cadeia de raciocínio ajuda a esclarecer perguntas complexas, incentivando o modelo a explicar seu raciocínio passo a passo antes de responder.

Como o recuperador funciona em um sistema RAG? Quais são os métodos comuns de recuperação?

Em um sistema RAG, o recuperador reúne informações relevantes de fontes externas para serem usadas pelo gerador. Há diferentes maneiras de recuperar informações.

Um método é a recuperação esparsa, que corresponde a palavras-chave (por exemplo, TF-IDF ou BM25). Isso é simples, mas pode não captar o significado mais profundo por trás das palavras.

Outra abordagem é a recuperação densa, que usa embeddings neurais para entender o significado de documentos e consultas. Métodos como BERT ou Dense Passage Retrieval (DPR) representam documentos como vetores em um espaço compartilhado, tornando a recuperação mais precisa.

A escolha entre esses métodos pode afetar muito o funcionamento do sistema RAG.

Quais são os desafios da combinação de informações recuperadas com a geração de LLM?

A combinação de informações recuperadas com a geração de um LLM apresenta alguns desafios. Por exemplo, os dados recuperados devem ser altamente relevantes para a consulta, pois dados irrelevantes podem confundir o modelo e reduzir a qualidade da resposta.

Além disso, se as informações recuperadas entrarem em conflito com o conhecimento interno do modelo, isso poderá gerar respostas confusas ou imprecisas. Por isso, é fundamental resolver esses conflitos sem confundir o usuário.

Por fim, o estilo e o formato dos dados recuperados podem nem sempre corresponder à escrita ou à formatação habituais do modelo, o que dificulta a integração das informações sem problemas.

Qual é a função de um banco de dados de vetores no RAG?

Em um sistema RAG, um banco de dados vetorial ajuda a gerenciar e armazenar densas de texto. Esses embeddings são representações numéricas que capturam o significado de palavras e frases, criadas por modelos como o BERT ou o OpenAI.

Quando uma consulta é feita, sua incorporação é comparada com as armazenadas no banco de dados para encontrar documentos semelhantes. Isso torna mais rápida e precisa a recuperação das informações corretas. Esse processo ajuda o sistema a localizar e extrair rapidamente as informações mais relevantes, melhorando a velocidade e a precisão da recuperação.

Quais são algumas maneiras comuns de avaliar os sistemas RAG?

Para avaliar um sistema RAGvocê precisa examinar os componentes de recuperação e geração.

• Para o recuperador, você avalia a precisão e a relevância dos documentos recuperados. Métricas como precision (quantos documentos recuperados são relevantes) e recall (quantos do total de documentos relevantes foram encontrados) podem ser usadas aqui.
• Para o gerador, métricas como BLEU e ROUGE podem ser usadas para comparar o texto gerado com exemplos escritos por humanos para avaliar a qualidade.

Para tarefas posteriores, como responder a perguntas, métricas como Pontuação F1, precisãoe recall também podem ser usados para avaliar o sistema RAG geral.

Como você lida com consultas ambíguas ou incompletas em um sistema RAG para garantir resultados relevantes?

O tratamento de consultas ambíguas ou incompletas em um sistema RAG requer estratégias para garantir que informações relevantes e precisas sejam recuperadas, apesar da falta de clareza na entrada do usuário.

Uma abordagem é implementar técnicas de refinamento de consultas, em que o sistema sugere automaticamente esclarecimentos ou reformula a consulta ambígua em uma consulta mais precisa com base em padrões conhecidos ou interações anteriores. Isso pode envolver fazer perguntas de acompanhamento ou fornecer ao usuário várias opções para restringir sua intenção.

Outro método é recuperar um conjunto diversificado de documentos que abrangem várias interpretações possíveis da consulta. Ao recuperar uma gama de resultados, o sistema garante que, mesmo que a consulta seja vaga, é provável que algumas informações relevantes sejam incluídas.

Por fim, podemos usar compreensão de linguagem natural (NLU) para inferir a intenção do usuário a partir de consultas incompletas e refinar o processo de recuperação.

Perguntas da entrevista sobre RAG intermediário

Agora que já abordamos algumas perguntas básicas, é hora de passar para as perguntas intermediárias da entrevista do RAG.

Como você escolhe o retriever certo para uma aplicação RAG?

A escolha do retriever correto depende do tipo de dados com os quais você está trabalhando, da natureza das consultas e da capacidade de computação que você tem.

Para consultas complexas que precisam de uma compreensão profunda do significado por trás das palavras, métodos de recuperação densos, como o BERT ou DPR são melhores. Esses métodos capturam o contexto e são ideais para tarefas como suporte ao cliente ou pesquisa, em que a compreensão dos significados subjacentes é importante.

Se a tarefa for mais simples e girar em torno da correspondência de palavras-chave, ou se você tiver recursos computacionais limitados, os métodos de recuperação esparsos, como o BM25 ou o TF-IDF, poderão ser mais adequados. Esses métodos são mais rápidos e fáceis de configurar, mas podem não encontrar documentos que não correspondam a palavras-chave exatas.

A principal diferença entre os métodos de recuperação densos e esparsos é a precisão em relação ao custo computacional. Às vezes, a combinação de ambas as abordagens em um sistema de recuperação híbrido pode ajudar a equilibrar a precisão com a eficiência computacional. Dessa forma, você obtém os benefícios dos métodos densos e esparsos, dependendo das suas necessidades.

Descreva o que é uma pesquisa híbrida.

A pesquisa híbrida combina os pontos fortes dos métodos de recuperação densos e esparsos.

Por exemplo, você pode começar com um método esparso como o BM25 para localizar rapidamente documentos com base em palavras-chave. Em seguida, um método denso como o BERT classifica novamente esses documentos compreendendo seu contexto e significado. Isso proporciona a você a velocidade da pesquisa esparsa com a precisão dos métodos densos, o que é ótimo para consultas complexas e grandes conjuntos de dados.

Você precisa de um banco de dados vetorial para implementar o RAG? Se não, quais são as alternativas?

Um banco de dados vetorial é ótimo para gerenciar embeddings densos, mas nem sempre é necessário. As alternativas incluem:

• Bancos de dados tradicionais: Se você estiver usando métodos esparsos ou dados estruturados, os bancos de dados relacionais ou NoSQL comuns podem ser suficientes. Eles funcionam bem para pesquisas de palavras-chave. Bancos de dados como o MongoDB ou o Elasticsearch são bons para lidar com dados não estruturados e pesquisas de texto completo, mas não têm uma pesquisa semântica profunda.
• Índices invertidos: Eles mapeiam palavras-chave para documentos para pesquisas rápidas, mas não capturam o significado por trás das palavras.
• Sistemas de arquivos: Para sistemas menores, documentos organizados armazenados em arquivos podem funcionar, mas eles têm recursos de pesquisa limitados.

A escolha certa depende das suas necessidades específicas, como a escala dos seus dados e se você precisa de uma compreensão semântica profunda.

Como você pode garantir que as informações recuperadas sejam relevantes e precisas?

Para garantir que as informações recuperadas sejam relevantes e precisas, você pode usar várias abordagens:

• Organize bases de conhecimento de alta qualidade: Certifique-se de que as informações do seu banco de dados sejam confiáveis e atendam às necessidades do seu aplicativo.
• Ajuste fino do retriever: Ajuste o modelo do recuperador para melhor atender às suas tarefas e requisitos específicos. Isso ajuda a melhorar a relevância dos resultados.
• Use a reclassificação: Depois de recuperar os resultados iniciais, classifique-os com base na relevância detalhada para obter as informações mais precisas. Essa etapa envolve a verificação do grau de correspondência dos resultados com a consulta em mais detalhes.
• Implemente loops de feedback: Obtenha informações de usuários ou modelos sobre a utilidade dos resultados. Esse feedback pode ajudar a refinar e melhorar o recuperador ao longo do tempo. Um exemplo disso é o RAG corretivo (CRAG).
• Avaliação regular: Meça continuamente o desempenho do sistema usando métricas como precisão, recall ou pontuação F1 para continuar melhorando a precisão e a relevância.

Quais são algumas técnicas para lidar com documentos longos ou grandes bases de conhecimento no RAG?

Ao lidar com documentos longos ou grandes bases de conhecimento, aqui estão algumas técnicas úteis:

1. Chunking: Divida documentos longos em seções menores e mais fáceis de gerenciar. Isso facilita a pesquisa e a recuperação de partes relevantes sem que você precise processar o documento inteiro.
2. Sumarização: Crie versões condensadas de documentos longos. Isso permite que o sistema trabalhe com resumos mais curtos em vez do texto completo, acelerando a recuperação.
3. Recuperação hierárquica: Use uma abordagem de duas etapas em que você primeiro pesquisa categorias amplas de informações e, em seguida, restringe-se a detalhes específicos. Isso ajuda a gerenciar grandes quantidades de dados com mais eficiência.
4. Embeddings eficientes em termos de memória: Use representações vetoriais compactas para reduzir a quantidade de memória e a potência computacional necessárias. A otimização do tamanho dos embeddings pode facilitar o manuseio de grandes conjuntos de dados.
5. Indexação e sharding: Divida a base de conhecimento em partes menores e armazene-as em vários sistemas. Isso permite o processamento paralelo e a recuperação mais rápida, especialmente em sistemas de grande escala.

Como você pode otimizar o desempenho de um sistema RAG em termos de precisão e eficiência?

Para obter o melhor desempenho de um sistema RAG em termos de precisão e eficiência, você pode usar várias estratégias:

1. Modelos de ajuste fino: Ajuste os modelos do recuperador e do gerador usando dados específicos para sua tarefa. Isso os ajuda a ter um melhor desempenho em consultas especializadas.
2. Indexação eficiente: Organize sua base de conhecimento usando estruturas de dados rápidas, como índices invertidos ou hashing. Isso acelera o processo de encontrar informações relevantes.
3. Use o cache: Armazene dados acessados com frequência para que não precisem ser recuperados repetidamente. Isso aumenta a eficiência e acelera as respostas.
4. Reduzir as etapas de recuperação: Minimize o número de vezes que você pesquisa informações. Melhore a precisão do recuperador ou use a reclassificação para garantir que apenas os melhores resultados sejam passados para o gerador, reduzindo o processamento desnecessário.
5. Pesquisa híbrida: Combine métodos de recuperação esparsos e densos. Por exemplo, use a recuperação esparsa para encontrar rapidamente um conjunto amplo de documentos relevantes e, em seguida, aplique a recuperação densa para refinar e classificar esses resultados com mais precisão.

Perguntas avançadas da entrevista sobre RAG

Até o momento, abordamos perguntas básicas e intermediárias de entrevistas sobre RAG e agora abordaremos conceitos mais avançados, como técnicas de fragmentação ou contextualização.

Quais são as diferentes técnicas de fragmentação de documentos e quais são seus prós e contras?

Há várias maneiras de dividir os documentos para recuperação e processamento:

• Comprimento fixo: Dividir documentos em partes de tamanho fixo. É fácil fazer isso, mas, às vezes, os blocos podem não estar alinhados com as quebras lógicas, de modo que você pode dividir informações importantes ou incluir conteúdo irrelevante.
• Baseado em frases: A divisão de documentos em frases mantém as frases intactas, o que é ótimo para análises detalhadas. No entanto, isso pode levar a muitos blocos ou perder o contexto quando as frases são muito curtas para capturar ideias completas.
• Baseado em parágrafo: A divisão por parágrafos ajuda a manter o contexto intacto, mas os parágrafos podem ser muito longos, tornando a recuperação e o processamento menos eficientes.
• Agrupamento semântico: Os blocos são criados com base no significado, como seções ou tópicos. Isso mantém o contexto claro, mas é mais difícil de implementar, pois requer análise avançada de texto.
• Janela deslizante: Os blocos se sobrepõem ao deslizar sobre o texto. Isso garante que informações importantes não sejam perdidas, mas pode ser computacionalmente caro e resultar em informações repetidas.

Quais são as vantagens e desvantagens de dividir os documentos em partes maiores ou menores?

Pedaços menores, como frases ou parágrafos curtos, ajudam a evitar a diluição de informações contextuais importantes quando compactados em um único vetor. No entanto, isso pode fazer com que você perca as dependências de longo alcance entre os blocos, dificultando que os modelos entendam as referências que abrangem os blocos.

Os blocos maiores mantêm mais contexto, o que permite informações contextuais mais ricas, mas podem ser menos focados e as informações podem se perder ao tentar codificar todas as informações em um único vetor.

O que é chunking tardio e como ele difere dos métodos tradicionais de chunking?

A fragmentação tardia é uma abordagem eficaz projetada para lidar com as limitações dos métodos tradicionais de fragmentação no processamento de documentos.

Nos métodos tradicionais, os documentos são primeiro divididos em partes, como frases ou parágrafos, antes de aplicar um modelo de incorporação. Em seguida, esses blocos são codificados individualmente em vetores, geralmente usando pooling médio para criar uma única incorporação para cada bloco. Essa abordagem pode levar a uma perda de dependências contextuais de longa distância porque as incorporações são geradas independentemente, sem considerar o contexto completo do documento.

O chunking tardio adota uma abordagem diferente. Primeiro, ele aplica a camada de transformação do modelo de incorporação a todo o documento ou à maior parte dele possível, criando uma sequência de representações vetoriais para cada token. Esse método captura o contexto completo do texto nesses embeddings em nível de token.

Depois disso, o agrupamento médio é aplicado aos pedaços dessa sequência de vetores de tokens, produzindo embeddings para cada pedaço que são informados pelo contexto do documento inteiro. Diferentemente do método tradicional, o chunking tardio gera embeddings de pedaços que são condicionados uns aos outros, preservando mais informações contextuais e resolvendo dependências de longo alcance.

Ao aplicar o chunking mais tarde no processo, ele garante que a incorporação de cada pedaço se beneficie do rico contexto fornecido pelo documento inteiro, em vez de ficar isolado. Essa abordagem aborda o problema da perda de contexto e melhora a qualidade das incorporações usadas para tarefas de recuperação e geração.

Fonte: Günther et al., 2024

Explique o conceito de "contextualização" no RAG e seu impacto no desempenho.

Contextualização no RAG significa garantir que as informações recuperadas sejam relevantes para a consulta. Ao alinhar os dados recuperados com a consulta, o sistema produz respostas melhores e mais relevantes.

Isso reduz as chances de resultados incorretos ou irrelevantes e garante que o resultado atenda às necessidades do usuário. Uma abordagem é usar um LLM para verificar se os documentos recuperados são relevantes antes de enviá-los ao modelo gerador, conforme demonstrado por RAG corretivo (CRAG).

Como você pode lidar com possíveis vieses nas informações recuperadas ou na geração do LLM?

Primeiro, é essencial criar a base de conhecimento de forma a filtrar o conteúdo tendencioso, garantindo que as informações sejam as mais objetivas possíveis. Você também pode treinar novamente o sistema de recuperação para priorizar fontes equilibradas e imparciais.

Outra etapa importante poderia ser a adoção de um agente especificamente para verificar possíveis vieses e garantir que o resultado do modelo permaneça objetivo.

Discuta os desafios de lidar com bases de conhecimento dinâmicas ou em evolução no RAG.

Um dos principais problemas é manter os dados indexados atualizados com as informações mais recentes, o que exige um mecanismo de atualização confiável. Dessa forma, o controle de versões torna-se crucial para gerenciar diferentes iterações de informações e garantir a consistência.

Além disso, o modelo precisa ser capaz de se adaptar a novas informações em tempo real sem precisar ser retreinado com frequência, o que pode exigir muitos recursos. Esses desafios exigem soluções sofisticadas para garantir que o sistema permaneça preciso e relevante à medida que a base de conhecimento evolui.

Quais são alguns sistemas RAG avançados?

Há muitos sistemas RAG avançados.

Um desses sistemas é o Adaptive RAG, no qual o sistema não apenas recupera informações, mas também ajusta sua abordagem em tempo real com base na consulta. O RAG adaptável pode decidir não executar nenhuma recuperação, RAG de disparo único ou RAG iterativo. Esse comportamento dinâmico torna o sistema RAG mais robusto e relevante para a solicitação do usuário.

Outro sistema RAG avançado é o Agentic RAG, que apresenta agentes de recuperação- ferramentas que decidem se você deve ou não obter informações de uma fonte. Ao fornecer esse recurso a um modelo de linguagem, ele pode determinar por conta própria se precisa de informações adicionais, tornando o processo mais suave.

Corrective RAG (CRAG) também está se tornando popular. Nessa abordagem, o sistema analisa os documentos que recupera, verificando a relevância. Somente os documentos classificados como relevantes seriam enviados ao gerador. Essa etapa de autocorreção ajuda a garantir que sejam usadas informações relevantes e precisas. Para saber mais, você pode ler este tutorial sobre Implementação do RAG corretivo (CRAG) com LangGraph.

O Self-RAG leva isso um passo adiante, avaliando não apenas os documentos recuperados, mas também as respostas finais geradas, garantindo que ambas estejam alinhadas com a consulta do usuário. Isso leva a resultados mais confiáveis e consistentes.

Como você pode reduzir a latência em um sistema RAG em tempo real sem sacrificar a precisão?

Uma abordagem eficaz é a pré-busca de informações relevantes e comumente solicitadas para que elas estejam prontas para serem usadas quando necessário. Além disso, o refinamento de seus algoritmos de indexação e consulta pode fazer uma grande diferença na rapidez com que os dados são recuperados e processados.

Perguntas da entrevista RAG para engenheiros de IA

Agora, vamos abordar algumas perguntas específicas direcionadas a quem está sendo entrevistado para cargos de engenheiro de IA.

Como você avaliaria e melhoraria o desempenho de um sistema RAG em um ambiente de produção?

Primeiro, você precisará acompanhar o feedback do usuário para avaliar o desempenho do sistema e se ele é relevante.

Você também deverá monitorar a latência para garantir que as respostas sejam oportunas e avaliar a qualidade dos documentos recuperados e dos resultados gerados. As principais métricas como a precisão da resposta, a satisfação do usuário e o rendimento do sistema são importantes.

Para aumentar o desempenho, você pode treinar novamente partes do sistema com dados atualizados ou ajustar parâmetros. Você também pode refinar os algoritmos de recuperação para melhorar a relevância e a eficiência e atualizar regularmente as fontes de conhecimento para mantê-las atualizadas.

As análises contínuas de desempenho e os testes A/B podem fornecer insights para melhorias contínuas.

Como você garante a confiabilidade e a robustez de um sistema RAG na produção, principalmente diante de possíveis falhas ou entradas inesperadas?

Para criar um sistema RAG pronto para a produção, você precisa lidar com vários desafios. As possíveis soluções podem incluir:

• Redundância e failover: Implementação de componentes redundantes ou sistemas de backup para garantir a operação contínua em caso de falhas.
• Tratamento de erros e registro em log: Implementar mecanismos de tratamento de erros para capturar e registrar erros, permitindo um rápido diagnóstico e solução de problemas.
• Validação e sanitização de entrada: Validação e sanitização das entradas do usuário para evitar possíveis vulnerabilidades e ataques como injeções de prompt.
• Monitoramento e alertas: Configuração de sistemas de monitoramento e alerta para detectar e resolver problemas de desempenho ou possíveis ameaças.

Como você projetaria um sistema RAG para uma tarefa específica (por exemplo, resposta a perguntas, resumo)?

Para um sistema de resposta a perguntas, você pode começar escolhendo um recuperador que possa encontrar e buscar com eficiência documentos relevantes com base na consulta do usuário. Isso pode ser algo tradicional, como pesquisas por palavras-chave, ou mais avançado, como o uso de embeddings densos para melhorar a recuperação. Em seguida, você precisa escolher ou ajustar um gerador que possa criar respostas precisas e coerentes usando os documentos recuperados.

Quando se trata de resumo, o trabalho do recuperador é reunir conteúdo abrangente relacionado ao documento ou tópico em questão. O gerador, por outro lado, deve ser capaz de destilar esse conteúdo em resumos concisos e significativos.

Engenharia imediata é crucial aqui. Dependendo da tarefa downstream, precisamos criar prompts que orientem o modelo a incorporar as informações recuperadas para produzir o resultado relevante.

Você pode explicar os detalhes técnicos de como você ajustaria um LLM para uma tarefa RAG?

Começa com a coleta e a preparação de dados específicos para a tarefa. Podem ser exemplos anotados de pares de perguntas e respostas ou conjuntos de dados de resumo.

Você pode então usar técnicas como a modelagem de linguagem aumentada por recuperação (REALM), que ajuda o modelo a integrar melhor os documentos recuperados em suas respostas. Isso geralmente significa ajustar a arquitetura do modelo ou os métodos de treinamento para melhorar o tratamento do contexto dos documentos recuperados.

Você também pode usar Retrieval-Augmented Fine-Tuning (RAFT)que combina os pontos fortes do RAG com o ajuste fino, permitindo que o modelo aprenda tanto o conhecimento específico do domínio quanto como recuperar e usar informações externas de forma eficaz.

Como você lida com informações desatualizadas ou irrelevantes em um sistema RAG, especialmente em domínios que mudam rapidamente?

Uma abordagem é implementar atualizações regulares na base de conhecimento ou no índice de documentos, de modo que novas informações sejam incorporadas à medida que estiverem disponíveis. Isso pode envolver a configuração de fluxos de trabalho automatizados que periodicamente coletam ou ingerem conteúdo atualizado, garantindo que o recuperador esteja sempre trabalhando com os dados mais recentes.

Além disso, a marcação de metadados pode ser usada para sinalizar informações desatualizadas, permitindo que o sistema priorize documentos mais recentes e relevantes durante a recuperação.

Em domínios que mudam rapidamente, também é importante integrar mecanismos que filtrem ou classifiquem novamente os resultados da pesquisa com base em sua atualidade. Por exemplo, dar maior peso a artigos ou documentos mais recentes durante a recuperação ajuda a garantir que as respostas geradas sejam baseadas em fontes atualizadas.

Outra técnica é o uso de loops de feedback ou sistemas human-in-the-loop em que as imprecisões sinalizadas podem ser corrigidas rapidamente e o recuperador pode ser ajustado para evitar a recuperação de informações obsoletas.

Como você equilibra a relevância e a diversidade da recuperação em um sistema RAG para garantir respostas abrangentes?

Equilibrar a relevância e a diversidade em um sistema RAG significa fornecer respostas precisas e completas. A relevância garante que os documentos recuperados correspondam à consulta de perto, enquanto a diversidade garante que o sistema não se concentre muito em uma única fonte ou ponto de vista.

Uma maneira de equilibrar isso é usar estratégias de reclassificação que priorizem a relevância e a diversidade. Você também pode aumentar a diversidade extraindo documentos de várias fontes ou seções da base de conhecimento.

O agrupamento de resultados semelhantes e a seleção de documentos de diferentes agrupamentos também podem ajudar.

O ajuste fino do recuperador com foco na relevância e na diversidade também pode garantir que o sistema recupere um conjunto abrangente de documentos.

Como você garante que a saída gerada em um sistema RAG permaneça consistente com as informações recuperadas?

Uma abordagem importante é o acoplamento estreito entre a recuperação e a geração por meio da engenharia imediata. Os prompts cuidadosamente projetados que instruem explicitamente o modelo de linguagem a basear suas respostas nos documentos recuperados ajudam a garantir que a geração permaneça fundamentada nos dados fornecidos pelo recuperador.

Além disso, técnicas como a geração de citações, em que o modelo é solicitado a fazer referência ou justificar suas respostas com as fontes recuperadas, podem ajudar a manter a consistência.

Outra abordagem é aplicar verificações ou validação pós-geração, em que o resultado é comparado com os documentos recuperados para garantir o alinhamento. Isso pode ser feito usando métricas de similaridade ou empregando modelos de verificação menores que validam a consistência factual entre os dados recuperados e o texto gerado.

Em alguns casos, podem ser usados métodos de refinamento iterativos em que o modelo primeiro gera uma saída e, em seguida, revisita os documentos recuperados para verificar e refinar sua resposta. Os loops de feedback e as correções do usuário também podem ser aproveitados para melhorar a consistência ao longo do tempo, pois o sistema aprende com as inconsistências passadas e ajusta seus mecanismos de recuperação e geração de acordo com elas.

Conclusão

Este guia forneceu 30 perguntas-chave de entrevista para ajudar você a se preparar para discussões sobre RAG, desde conceitos básicos até sistemas RAG avançados.

Se você quiser saber mais sobre os sistemas RAG, recomendo estes blogs:

• O que é RAFT? Combinação de RAG e ajuste fino
• Sistemas RAG avançados com LangGraph
• RankGPT como agente de reclassificação para RAG
• RAG com Lhama 3.1 8B, Ollama e Langchain
• Implementação do RAG corretivo (CRAG) com LangGraph
• Uso de um gráfico de conhecimento para implementar um aplicativo RAG