Las 30 mejores preguntas y respuestas de la entrevista RAG para 2024

Preguntas básicas de la entrevista RAG

Empecemos con una serie de preguntas fundamentales para la entrevista sobre la GAR.

Explica las partes principales de un sistema GAR y cómo funcionan.

Un sistema RAG (generación aumentada por recuperación) tiene dos componentes principales: el recuperador y el generador.

El recuperador busca y recopila información relevante de fuentes externas, como bases de datosdocumentos o sitios web.

El generador, normalmente un modelo lingüístico avanzado, utiliza esta información para crear un texto claro y preciso.

El recuperador se asegura de que el sistema obtiene la información más actualizada, mientras que el generador la combina con sus propios conocimientos para producir mejores respuestas.

Juntos, proporcionan respuestas más precisas que las que podría dar el generador por sí solo.

¿Cuáles son las principales ventajas de utilizar el GAR en lugar de confiar sólo en los conocimientos internos de un LLM?

Si sólo confías en los conocimientos incorporados de un LLM, el sistema se limita a aquello en lo que se formó, que podría estar desfasado o carecer de detalles.

Los sistemas RAG ofrecen una gran ventaja, ya que obtienen información nueva de fuentes externas, lo que da lugar a respuestas más precisas y oportunas.

Este enfoque también reduce las "alucinaciones" -errores en los que el modelo inventa hechos- porque las respuestas se basan en datos reales. El GAR es especialmente útil para campos específicos como el derecho, medicinao la tecnología, donde se necesitan conocimientos actualizados y especializados.

¿Qué tipos de fuentes externas de conocimiento puede utilizar el GAR?

Los sistemas GAR pueden recopilar información de fuentes externas estructuradas y no estructuradas:

• Fuentes estructuradas incluyen bases de datos, API o gráficos de conocimientodonde los datos están organizados y son fáciles de buscar.
• Fuentes no estructuradas consisten en grandes colecciones de texto, como documentos, sitios web o archivos, en los que es necesario procesar la información mediante comprensión del lenguaje natural.

Esta flexibilidad permite adaptar los sistemas RAG a distintos campos, como el uso jurídico o médico, extrayéndolos de bases de datos de jurisprudencia, revistas de investigación o datos de ensayos clínicos.

¿Importa la ingeniería rápida en el GAR?

Ingeniería de instrucciones ayuda a los modelos lingüísticos a proporcionar respuestas de alta calidad utilizando la información recuperada. La forma en que diseñes un aviso puede afectar a la relevancia y claridad del resultado.

• Las plantillas específicas del sistema ayudan a guiar el modelo. Por ejemplo, en lugar de tener una simple indicación del sistema como "Responde a la pregunta", podrías tener "Responde a la pregunta basándote sólo en el contexto proporcionado". Esto da al modelo instrucciones explícitas para que sólo utilice el contexto proporcionado para responder a la pregunta, lo que puede reducir la probabilidad de alucinaciones.
• Estimulación de pocas respuestas consiste en dar al modelo algunos ejemplos de respuesta antes de pedirle que genere la suya propia, para que sepa qué tipo de respuesta buscas.
• Indicación de la cadena de pensamiento ayuda a desglosar preguntas complejas animando al modelo a explicar su razonamiento paso a paso antes de responder.

¿Cómo funciona el recuperador en un sistema GAR? ¿Cuáles son los métodos habituales de recuperación?

En un sistema RAG, el recuperador reúne información relevante de fuentes externas para que la utilice el generador. Hay distintas formas de recuperar información.

Un método es la recuperación dispersa, que hace coincidir palabras clave (por ejemplo, TF-IDF o BM25). Esto es sencillo, pero puede que no capte el significado más profundo que hay detrás de las palabras.

Otro enfoque es la recuperación densa, que utiliza incrustaciones neuronales para comprender el significado de los documentos y las consultas. Métodos como BERT o Dense Passage Retrieval (DPR) representan los documentos como vectores en un espacio compartido, lo que hace que la recuperación sea más precisa.

La elección entre estos métodos puede afectar en gran medida a la eficacia del sistema GAR.

¿Cuáles son los retos de combinar la información recuperada con la generación de LLM?

Combinar la información recuperada con la generación de un LLM presenta algunos retos. Por ejemplo, los datos recuperados deben ser muy relevantes para la consulta, ya que los datos irrelevantes pueden confundir al modelo y reducir la calidad de la respuesta.

Además, si la información recuperada entra en conflicto con el conocimiento interno del modelo, puede crear respuestas confusas o inexactas. Por ello, es crucial resolver estos conflictos sin confundir al usuario.

Por último, es posible que el estilo y el formato de los datos recuperados no siempre coincidan con la escritura o el formato habituales del modelo, lo que dificulta que éste integre la información sin problemas.

¿Cuál es el papel de una base de datos vectorial en el GAR?

En un sistema RAG, una base de datos vectorial ayuda a gestionar y almacenar incrustaciones de texto. Estas incrustaciones son representaciones numéricas que captan el significado de palabras y frases, creadas por modelos como BERT u OpenAI.

Cuando se realiza una consulta, su incrustación se compara con las almacenadas en la base de datos para encontrar documentos similares. Esto hace que sea más rápido y preciso recuperar la información correcta. Este proceso ayuda al sistema a localizar y extraer rápidamente la información más relevante, mejorando tanto la velocidad como la precisión de la recuperación.

¿Cuáles son algunas formas habituales de evaluar los sistemas GAR?

Para evaluar un sistema GARtienes que fijarte tanto en los componentes de recuperación como en los de generación.

• Para el recuperador, evalúa la precisión y relevancia de los documentos recuperados. Aquí se pueden utilizar métricas como precision (cuántos documentos recuperados son relevantes) y recall (cuántos del total de documentos relevantes se encontraron).
• Para el generador, métricas como BLEU y ROUGE se pueden utilizar para comparar el texto generado con ejemplos escritos por humanos para medir la calidad.

Para tareas posteriores como la respuesta a preguntas, métricas como Puntuación F1, precisióny recuerdo también pueden utilizarse para evaluar el sistema RAG en su conjunto.

¿Cómo se gestionan las consultas ambiguas o incompletas en un sistema GAR para garantizar resultados relevantes?

Manejar consultas ambiguas o incompletas en un sistema GAR requiere estrategias que garanticen que se recupera información relevante y precisa a pesar de la falta de claridad en la entrada del usuario.

Un enfoque consiste en aplicar técnicas de refinamiento de la consulta, en las que el sistema sugiere automáticamente aclaraciones o reformula la consulta ambigua en una más precisa basándose en patrones conocidos o interacciones anteriores. Esto puede implicar hacer preguntas de seguimiento o proporcionar al usuario múltiples opciones para acotar su intención.

Otro método consiste en recuperar un conjunto diverso de documentos que cubran múltiples interpretaciones posibles de la consulta. Al recuperar una serie de resultados, el sistema garantiza que, aunque la consulta sea vaga, es probable que se incluya alguna información relevante.

Por último, podemos utilizar comprensión del lenguaje natural (NLU) para inferir la intención del usuario a partir de consultas incompletas y refinar el proceso de recuperación.

Preguntas de la entrevista RAG intermedia

Ahora que hemos cubierto algunas preguntas básicas, es hora de pasar a las preguntas intermedias de la entrevista RAG.

¿Cómo elegir el recuperador adecuado para una aplicación GAR?

Elegir el recuperador adecuado depende del tipo de datos con los que trabajes, de la naturaleza de las consultas y de la potencia de cálculo de que dispongas.

Para consultas complejas que necesitan una comprensión profunda del significado que hay detrás de las palabras, los métodos de recuperación densa como BERT o DPR son mejores. Estos métodos captan el contexto y son ideales para tareas como la atención al cliente o la investigación, en las que es importante comprender los significados subyacentes.

Si la tarea es más sencilla y gira en torno a la concordancia de palabras clave, o si tienes recursos informáticos limitados, los métodos de recuperación dispersa, como BM25 o TF-IDF, pueden ser más adecuados. Estos métodos son más rápidos y fáciles de configurar, pero puede que no encuentren documentos que no coincidan exactamente con las palabras clave.

El principal compromiso entre los métodos de recuperación densos y dispersos es la precisión frente al coste computacional. A veces, combinar ambos enfoques en un sistema de recuperación híbrido puede ayudar a equilibrar la precisión con la eficiencia computacional. De este modo, obtendrás las ventajas de los métodos denso y disperso en función de tus necesidades.

Describe qué es una búsqueda híbrida.

La búsqueda híbrida combina los puntos fuertes de los métodos de recuperación densa y dispersa.

Por ejemplo, puedes empezar con un método disperso como el BM25 para encontrar rápidamente documentos basados en palabras clave. A continuación, un método denso como BERT vuelve a clasificar esos documentos comprendiendo su contexto y significado. Esto te proporciona la velocidad de la búsqueda dispersa con la precisión de los métodos densos, lo que es estupendo para consultas complejas y grandes conjuntos de datos.

¿Necesitas una base de datos vectorial para implantar la GAR? Si no, ¿cuáles son las alternativas?

Una base de datos vectorial es estupenda para gestionar incrustaciones densas, pero no siempre es necesaria. Las alternativas incluyen:

• Bases de datos tradicionales: Si utilizas métodos dispersos o datos estructurados, las bases de datos relacionales normales o NoSQL pueden ser suficientes. Funcionan bien para las búsquedas de palabras clave. Las bases de datos como MongoDB o Elasticsearch son buenas para manejar datos no estructurados y búsquedas de texto completo, pero carecen de búsqueda semántica profunda.
• Índices invertidos: Éstas asignan palabras clave a los documentos para realizar búsquedas rápidas, pero no captan el significado que hay detrás de las palabras.
• Sistemas de archivos: Para sistemas más pequeños, los documentos organizados almacenados en archivos pueden funcionar, pero tienen capacidades de búsqueda limitadas.

La elección correcta depende de tus necesidades específicas, como la escala de tus datos y si necesitas una comprensión semántica profunda.

¿Cómo puedes asegurarte de que la información recuperada es relevante y precisa?

Para asegurarte de que la información recuperada es relevante y precisa, puedes utilizar varios enfoques:

• Curar bases de conocimiento de alta calidad: Asegúrate de que la información de tu base de datos es fiable y se ajusta a las necesidades de tu aplicación.
• Afina el recuperador: Ajusta el modelo de recuperador para que se adapte mejor a tus tareas y requisitos específicos. Esto ayuda a mejorar la relevancia de los resultados.
• Utiliza la reclasificación: Tras recuperar los resultados iniciales, ordénalos en función de su relevancia detallada para obtener la información más precisa. Este paso consiste en comprobar en mayor profundidad si los resultados coinciden con la consulta.
• Implementa bucles de retroalimentación: Obtén la opinión de los usuarios o modelos sobre la utilidad de los resultados. Esta información puede ayudar a perfeccionar y mejorar el recuperador con el tiempo. Un ejemplo de ello es el RAG correctivo (CRAG).
• Evaluación periódica: Mide continuamente el rendimiento del sistema utilizando métricas como la precisión, el recuerdo o la puntuación F1 para seguir mejorando la precisión y la relevancia.

¿Cuáles son algunas técnicas para manejar documentos largos o grandes bases de conocimiento en RAG?

Cuando se trata de documentos largos o de grandes bases de conocimientos, aquí tienes algunas técnicas útiles:

1. Agrupar: Divide los documentos largos en secciones más pequeñas y manejables. Esto facilita la búsqueda y recuperación de las partes relevantes sin tener que procesar todo el documento.
2. Resumir: Crea versiones condensadas de documentos largos. Esto permite al sistema trabajar con resúmenes más breves en lugar del texto completo, lo que acelera la recuperación.
3. Recuperación jerárquica: Utiliza un enfoque en dos pasos, en el que primero busques amplias categorías de información y luego te limites a detalles concretos. Esto ayuda a gestionar grandes cantidades de datos de forma más eficaz.
4. Incrustaciones eficientes en memoria: Utiliza representaciones vectoriales compactas para reducir la cantidad de memoria y potencia de cálculo necesarias. Optimizar el tamaño de las incrustaciones puede facilitar el manejo de grandes conjuntos de datos.
5. Indexación y fragmentación: Divide la base de conocimientos en partes más pequeñas y almacénalas en varios sistemas. Esto permite un procesamiento paralelo y una recuperación más rápida, especialmente en sistemas a gran escala.

¿Cómo puedes optimizar el rendimiento de un sistema GAR en términos de precisión y eficacia?

Para obtener el mejor rendimiento de un sistema GAR en términos de precisión y eficacia, puedes utilizar varias estrategias:

1. Afina los modelos: Ajusta los modelos del recuperador y del generador utilizando los datos específicos de tu tarea. Esto les ayuda a rendir mejor en consultas especializadas.
2. Indexación eficiente: Organiza tu base de conocimientos utilizando estructuras de datos rápidas, como índices invertidos o hashing. Esto acelera el proceso de búsqueda de información relevante.
3. Utiliza la memoria caché: Almacena los datos a los que se accede con frecuencia para no tener que recuperarlos repetidamente. Esto mejora la eficacia y acelera las respuestas.
4. Reduce los pasos de recuperación: Minimiza el número de veces que buscas información. Mejora la precisión del recuperador o utiliza la reordenación para garantizar que sólo se pasen al generador los mejores resultados, reduciendo el procesamiento innecesario.
5. Búsqueda híbrida: Combina métodos de recuperación dispersos y densos. Por ejemplo, utiliza la recuperación dispersa para encontrar rápidamente un amplio conjunto de documentos relevantes, y luego aplica la recuperación densa para refinar y clasificar estos resultados con mayor precisión.

Preguntas avanzadas de la entrevista RAG

Hasta ahora, hemos cubierto las preguntas básicas e intermedias de la entrevista RAG, y ahora abordaremos conceptos más avanzados como las técnicas de chunking o la contextualización.

¿Cuáles son las distintas técnicas de fragmentación para descomponer documentos, y cuáles son sus pros y sus contras?

Hay varias formas de descomponer los documentos para recuperarlos y procesarlos:

• De longitud fija: Dividir documentos en trozos de tamaño fijo. Es fácil de hacer, pero a veces los trozos pueden no alinearse con las pausas lógicas, por lo que podrías dividir información importante o incluir contenido irrelevante.
• Basado en frases: Dividir los documentos en frases mantiene intactas las oraciones, lo que es estupendo para un análisis detallado. Sin embargo, puede dar lugar a demasiados trozos o perder el contexto cuando las frases son demasiado cortas para captar las ideas completas.
• Basado en párrafos: Dividir por párrafos ayuda a mantener el contexto intacto, pero los párrafos pueden ser demasiado largos, lo que hace que la recuperación y el procesamiento sean menos eficientes.
• Chunking semántico: Los trozos se crean en función del significado, como secciones o temas. Esto mantiene el contexto claro, pero es más difícil de aplicar, ya que necesita un análisis de texto avanzado.
• Ventana corredera: Los trozos se superponen deslizándose sobre el texto. Esto garantiza que no se pierda información importante, pero puede ser costoso desde el punto de vista informático y puede dar lugar a información repetida.

¿Cuáles son las ventajas y desventajas de dividir los documentos en trozos más grandes o más pequeños?

Los trozos más pequeños, como frases o párrafos cortos, ayudan a evitar la dilución de información contextual importante cuando se comprimen en un solo vector. Sin embargo, esto puede hacer que se pierdan las dependencias de largo alcance entre trozos, lo que dificulta que los modelos comprendan las referencias que abarcan varios trozos.

Los trozos más grandes conservan más contexto, lo que permite una información contextual más rica, pero pueden estar menos centrados y puede perderse información al intentar codificar toda la información en un único vector.

¿Qué es el chunking tardío y en qué se diferencia de los métodos de chunking tradicionales?

El chunking tardío es un enfoque eficaz diseñado para abordar las limitaciones de los métodos tradicionales de chunking en el tratamiento de documentos.

En los métodos tradicionales, los documentos se dividen primero en trozos, como frases o párrafos, antes de aplicar un modelo de incrustación. A continuación, estos trozos se codifican individualmente en vectores, a menudo utilizando la agrupación de medias para crear una única incrustación para cada trozo. Este enfoque puede llevar a una pérdida de las dependencias contextuales a larga distancia, porque las incrustaciones se generan de forma independiente, sin tener en cuenta el contexto completo del documento.

La fragmentación tardía adopta un enfoque diferente. Primero aplica la capa transformadora del modelo de incrustación a todo el documento o a la mayor parte posible, creando una secuencia de representaciones vectoriales para cada token. Este método capta el contexto completo del texto en estas incrustaciones a nivel de token.

Después, se aplica la agrupación de medias a los trozos de esta secuencia de vectores de tokens, produciendo incrustaciones para cada trozo que se basan en el contexto de todo el documento. A diferencia del método tradicional, el chunking tardío genera incrustaciones de trozos condicionadas entre sí, preservando más información contextual y resolviendo las dependencias de largo alcance.

Al aplicar el chunking en una fase posterior del proceso, se garantiza que la incrustación de cada trozo se beneficie del rico contexto proporcionado por todo el documento, en lugar de quedar aislada. Este enfoque aborda el problema del contexto perdido y mejora la calidad de las incrustaciones utilizadas para las tareas de recuperación y generación.

Fuente: Günther et al., 2024

Explica el concepto de "contextualización" en la GAR y su impacto en el rendimiento.

La contextualización en el GAR significa asegurarse de que la información recuperada es relevante para la consulta. Al alinear los datos recuperados con la consulta, el sistema produce respuestas mejores y más pertinentes.

Esto reduce las posibilidades de resultados incorrectos o irrelevantes y garantiza que el resultado se ajuste a las necesidades del usuario. Un enfoque consiste en utilizar un LLM para comprobar si los documentos recuperados son relevantes antes de enviarlos al modelo generador, como demuestra RAG correctivo (CRAG).

¿Cómo puedes abordar los posibles sesgos en la información recuperada o en la generación del LLM?

En primer lugar, es esencial construir la base de conocimientos de forma que se filtre el contenido sesgado, asegurándose de que la información sea lo más objetiva posible. También puedes reentrenar el sistema de recuperación para que dé prioridad a las fuentes equilibradas e imparciales.

Otro paso importante podría ser adoptar un agente específico para comprobar los posibles sesgos y garantizar que el resultado del modelo sigue siendo objetivo.

Discute los retos de manejar bases de conocimiento dinámicas o en evolución en el GAR.

Un problema importante es mantener los datos indexados actualizados con la información más reciente, lo que requiere un mecanismo de actualización fiable. Por ello, el control de versiones resulta crucial para gestionar las distintas iteraciones de la información y garantizar su coherencia.

Además, el modelo debe ser capaz de adaptarse a la nueva información en tiempo real sin tener que volver a entrenarse con frecuencia, lo que puede consumir muchos recursos. Estos retos requieren soluciones sofisticadas para garantizar que el sistema siga siendo preciso y relevante a medida que evoluciona la base de conocimientos.

¿Cuáles son algunos sistemas avanzados de GAR?

Hay muchos sistemas avanzados de GAR.

Uno de estos sistemas es el RAG Adaptativo, en el que el sistema no sólo recupera información, sino que ajusta su enfoque en tiempo real en función de la consulta. El GAR adaptativo puede decidir no realizar ninguna recuperación, realizar una sola recuperación o realizar una recuperación iterativa. Este comportamiento dinámico hace que el sistema GAR sea más robusto y relevante para la petición del usuario.

Otro sistema RAG avanzado es el RAG Agentic, que introduce agentes de recuperación-herramientas que deciden si extraer o no información de una fuente. Al dotar a un modelo lingüístico de esta capacidad, puede determinar por sí mismo si necesita información adicional, lo que facilita el proceso.

El RAG correctivo (CRAG) también se está popularizando. En este enfoque, el sistema revisa los documentos que recupera, comprobando su relevancia. Sólo se alimentarían al generador los documentos clasificados como relevantes. Este paso de autocorrección ayuda a garantizar que se utiliza la información relevante exacta. Para saber más, puedes leer este tutorial sobre Implementación del RAG correctivo (CRAG) con LangGraph.

Self-RAG lleva esto un paso más allá, evaluando no sólo los documentos recuperados, sino también las respuestas finales generadas, asegurándose de que ambas se ajustan a la consulta del usuario. Así se obtienen resultados más fiables y coherentes.

¿Cómo puedes reducir la latencia en un sistema GAR en tiempo real sin sacrificar la precisión?

Un enfoque eficaz es la obtención previa de información relevante y solicitada con frecuencia, para que esté lista cuando se necesite. Además, perfeccionar tus algoritmos de indexación y consulta puede suponer una gran diferencia en la rapidez con que se recuperan y procesan los datos.

Preguntas de la entrevista RAG para ingenieros de IA

Ahora, abordemos algunas preguntas específicas dirigidas a quienes se entrevistan para puestos de Ingeniero en IA.

¿Cómo evaluarías y mejorarías el rendimiento de un sistema GAR en un entorno de producción?

En primer lugar, tendrás que hacer un seguimiento de las opiniones de los usuarios para medir lo bien que funciona el sistema y si es relevante.

También querrás controlar la latencia para asegurarte de que las respuestas son puntuales y evaluar la calidad tanto de los documentos recuperados como de los resultados generados. Las métricas clave como la precisión de la respuesta, la satisfacción del usuario y el rendimiento del sistema son importantes.

Para aumentar el rendimiento, puedes volver a entrenar partes del sistema con datos actualizados o ajustar parámetros. También podrías perfeccionar los algoritmos de recuperación para mejorar la relevancia y la eficacia, y actualizar regularmente las fuentes de conocimiento para mantenerlas al día.

Las revisiones continuas del rendimiento y las pruebas A/B pueden proporcionar información para mejoras continuas.

¿Cómo garantizar la fiabilidad y robustez de un sistema GAR en producción, sobre todo ante posibles fallos o entradas inesperadas?

Construir un sistema GAR listo para la producción requiere afrontar varios retos. Las posibles soluciones podrían incluir:

• Redundancia y conmutación por error: Implementar componentes redundantes o sistemas de copia de seguridad para garantizar un funcionamiento continuo en caso de fallos.
• Tratamiento de errores y registro: Implementar mecanismos de gestión de errores para detectar y registrar los errores, permitiendo un diagnóstico y una resolución de problemas rápidos.
• Validación y limpieza de entradas: Validar y sanear las entradas del usuario para evitar posibles vulnerabilidades y ataques como inyecciones puntuales.
• Supervisión y alerta: Establecer sistemas de supervisión y alerta para detectar y abordar problemas de rendimiento o amenazas potenciales.

¿Cómo diseñarías un sistema GAR para una tarea específica (por ejemplo, respuesta a preguntas, resumen)?

Para un sistema de respuesta a preguntas, puedes empezar por elegir un recuperador que pueda encontrar y obtener eficazmente los documentos pertinentes basándose en la consulta del usuario. Puede ser algo tradicional, como la búsqueda por palabras clave, o más avanzado, como el uso de incrustaciones densas para una mejor recuperación. A continuación, tienes que elegir o poner a punto un generador que pueda crear respuestas precisas y coherentes utilizando los documentos recuperados.

Cuando se trata de resumir, el trabajo del recuperador consiste en recopilar contenido exhaustivo relacionado con el documento o tema en cuestión. El generador, en cambio, debe ser capaz de destilar este contenido en resúmenes concisos y significativos.

Una ingeniería rápida es crucial. En función de la tarea posterior, necesitamos crear indicaciones que guíen al modelo hacia la incorporación de la información recuperada para producir la salida pertinente.

¿Puedes explicar los detalles técnicos de cómo afinarías un LLM para una tarea GAR?

Comienza con la recopilación y preparación de los datos específicos de la tarea. Podrían ser ejemplos anotados de pares pregunta-respuesta o conjuntos de datos de resumen.

A continuación, podrías utilizar técnicas como el modelado lingüístico aumentado por recuperación (REALM), que ayuda al modelo a integrar mejor los documentos que recupera en sus respuestas. A menudo esto significa ajustar la arquitectura del modelo o los métodos de entrenamiento para mejorar su tratamiento del contexto de los documentos recuperados.

También podrías utilizar Ajuste fino mejorado por recuperación (RAFT)que combina los puntos fuertes de la RAG con el ajuste fino, permitiendo que el modelo aprenda tanto el conocimiento específico del dominio como la forma de recuperar y utilizar eficazmente la información externa.

¿Cómo se gestiona la información obsoleta o irrelevante en un sistema GAR, especialmente en ámbitos que cambian rápidamente?

Un enfoque consiste en aplicar actualizaciones periódicas a la base de conocimientos o al índice de documentos, de modo que se incorpore nueva información a medida que esté disponible. Esto puede implicar la creación de flujos de trabajo automatizados que raspen o ingieran periódicamente contenidos actualizados, garantizando que el recuperador trabaje siempre con los datos más recientes.

Además, el etiquetado de metadatos puede utilizarse para marcar la información obsoleta, lo que permite al sistema dar prioridad a los documentos más recientes y relevantes durante la recuperación.

En los dominios que cambian rápidamente, también es importante integrar mecanismos que filtren o reordenen los resultados de búsqueda en función de su actualidad. Por ejemplo, dar más peso a los artículos o documentos más recientes durante la recuperación ayuda a garantizar que las respuestas generadas se basan en fuentes actualizadas.

Otra técnica es utilizar bucles de retroalimentación o sistemas humanos en el bucle, en los que las imprecisiones señaladas pueden corregirse rápidamente, y el recuperador puede ajustarse para evitar recuperar información obsoleta.

¿Cómo equilibrar la relevancia de la recuperación y la diversidad en un sistema GAR para garantizar respuestas exhaustivas?

Equilibrar la relevancia y la diversidad en un sistema RAG consiste en proporcionar respuestas precisas y completas. La relevancia garantiza que los documentos recuperados coincidan con la consulta, mientras que la diversidad garantiza que el sistema no se centre demasiado en una única fuente o punto de vista.

Una forma de equilibrarlos es utilizar estrategias de re-clasificación que den prioridad tanto a la relevancia como a la diversidad. También puedes aumentar la diversidad extrayendo documentos de diversas fuentes o secciones de la base de conocimientos.

Agrupar resultados similares y seleccionar documentos de distintos grupos también puede ayudar.

Afinar el recuperador centrándose tanto en la relevancia como en la diversidad también puede garantizar que el sistema recupere un conjunto completo de documentos.

¿Cómo te aseguras de que la salida generada en un sistema GAR sigue siendo coherente con la información recuperada?

Un enfoque clave es el acoplamiento estrecho entre la recuperación y la generación a través de la ingeniería rápida. Unas instrucciones cuidadosamente diseñadas, que indiquen explícitamente al modelo lingüístico que base sus respuestas en los documentos recuperados, ayudan a garantizar que la generación siga basándose en los datos proporcionados por el recuperador.

Además, técnicas como la generación de citas, en las que se pide al modelo que haga referencia o justifique sus respuestas con las fuentes recuperadas, pueden ayudar a mantener la coherencia.

Otro enfoque consiste en aplicar comprobaciones o validaciones posteriores a la generación, en las que el resultado se compara con los documentos recuperados para garantizar la alineación. Esto puede conseguirse utilizando métricas de similitud o empleando modelos de verificación más pequeños que validen la coherencia factual entre los datos recuperados y el texto generado.

En algunos casos, se pueden utilizar métodos de refinamiento iterativos en los que el modelo primero genera una salida y luego vuelve a visitar los documentos recuperados para comprobar y refinar su respuesta. Los bucles de retroalimentación y las correcciones de los usuarios también pueden aprovecharse para mejorar la coherencia a lo largo del tiempo, ya que el sistema aprende de las incoherencias pasadas y ajusta en consecuencia sus mecanismos de recuperación y generación.

Conclusión

Esta guía te proporciona 30 preguntas clave para la entrevista que te ayudarán a prepararte para los debates sobre la GAR, desde los conceptos básicos hasta los sistemas avanzados de GAR.

Si quieres saber más sobre los sistemas GAR, te recomiendo estos blogs:

• ¿Qué es el RAFT? Combinar RAG y ajuste fino
• Sistemas RAG avanzados con LangGraph
• RankGPT como Agente de Re-Ranking para RAG
• RAG Con Llama 3.1 8B, Ollama y Langchain
• Implementación del RAG correctivo (CRAG) con LangGraph
• Utilizar un grafo de conocimiento para implementar una aplicación RAG