基础 RAG 面试题
先从一系列关于 RAG 的基础面试问题开始。
解释 RAG 系统的主要组成部分及其工作方式。
RAG（检索增强生成）系统包含两个核心组件：检索器和生成器。
检索器负责从外部来源（如数据库、文档或网站）搜索并收集相关信息。
生成器通常是先进的语言模型，利用这些信息生成清晰而准确的文本。
检索器确保系统获得最新信息，而生成器将其与自身知识结合，以产出更好的答案。
两者协同工作，能比单独使用生成器提供更准确的响应。
与仅依赖 LLM 内部知识相比，使用 RAG 的主要优势是什么？
如果只依赖 LLM 的内置知识，系统会受限于训练数据，可能过时或细节不足。
RAG 的优势在于可从外部来源引入最新信息，从而获得更准确、及时的回答。
这种方式还能减少“幻觉”——即模型凭空编造事实的错误——因为答案基于真实数据。RAG 尤其适用于法律、医疗或技术等需要最新且专业知识的领域。
RAG 的常见应用有哪些？
RAG 在各个领域的真实 AI 应用中广泛使用：
-
问答与支持系统：RAG 为客户支持聊天机器人和知识库助手提供能力，通过检索最新文档或常见问题并为用户生成准确答案，确保用最新信息解决客户问题（例如提取当前政策或产品详情）。
-
对话代理：许多聊天机器人和虚拟助手使用 RAG 提供基于事实、具备上下文感知的回复。通过即时获取相关事实，对话代理（如医疗或金融聊天机器人）能给出基于可信来源的知情回答。
-
内容生成与摘要：RAG 有助于生成或总结具备事实准确性的内容。例如，它可以检索新闻文章或研究论文的部分内容，然后生成既连贯又与源数据一致的摘要或报告。
-
领域研究：在法律或医学等专业领域，RAG 系统可从特定领域的数据库（判例法、医学期刊等）中获取信息以回答复杂问题。这样，模型输出建立在可靠且最新的领域知识之上，对专业场景尤为重要。
RAG 可使用哪些类型的外部知识来源？
RAG 系统可从结构化与非结构化的外部来源获取信息：
这种灵活性使 RAG 能针对不同领域（如法律或医疗）进行定制，例如从判例数据库、研究期刊或临床试验数据中检索。
在 RAG 中，提示工程重要吗？
提示工程有助于语言模型更好地利用检索到的信息，产出高质量的响应。提示的设计会影响输出的相关性与清晰度。
- 特定的系统提示模板可对模型进行引导。例如，不用简单的“回答问题”，而是“仅基于所提供的上下文回答问题”。这给出明确指令，要求只使用提供的上下文，从而降低幻觉概率。
- 少样本提示是在提问前给出若干示例，让模型了解您期望的回应类型。
- 思维链提示鼓励模型在作答前逐步解释其推理过程，以拆解复杂问题。
RAG 系统中的检索器如何工作？常见的检索方法有哪些？
在 RAG 中，检索器为生成器收集外部来源的相关信息。检索方法多种多样。
一种是稀疏检索，基于关键词匹配（如 TF-IDF 或 BM25）。其简单易行，但可能无法捕捉词语背后的深层语义。
另一种是稠密检索，利用神经嵌入理解文档与查询的含义。诸如 BERT 或 Dense Passage Retrieval（DPR）的方法将文档表示为共享空间中的向量，使检索更准确。
在这些方法之间的选择，会显著影响 RAG 的表现。
将检索信息与 LLM 生成相结合有哪些挑战？
将检索信息与 LLM 的生成结合会带来一些挑战。例如，检索数据必须与查询高度相关，否则无关数据会干扰模型，降低回答质量。
此外，如果检索信息与模型的内部知识冲突，可能导致答案混乱或不准确。因此，妥善解决这些冲突且不让用户感到困惑至关重要。
最后，检索数据的文风与格式未必与模型的常规写作或排版一致，增加了顺畅整合信息的难度。
向量数据库在 RAG 中的作用是什么？
在 RAG 系统中，向量数据库用于管理和存储文本的稠密嵌入。这些嵌入是由 BERT 或 OpenAI 等模型生成的数值表示，能够捕捉词语与短语的语义。
当发出查询时，其嵌入与数据库中存储的嵌入进行相似度比较，以找到相近的文档。这使检索更快、更准确。该过程帮助系统迅速定位并调取最相关的信息，提高检索的速度与准确性。
评估 RAG 系统的常见方法有哪些？
要评估 RAG 系统，需同时考察检索与生成两个组件。
- 对检索器，关注检索文档的准确性与相关性。可用指标包括精确率（检索到的文档中有多少是相关的）与召回率（在所有相关文档中找到了多少）。
- 对生成器，可用BLEU与ROUGE等指标，将生成文本与人工写作对比以评估质量。
对于下游任务（如问答），还可用F1 分数、精确率和召回率来评估整体 RAG 系统。
在 RAG 中，如何处理含糊或不完整的查询以确保检索结果相关？
处理含糊或不完整的查询，需要采用策略以在用户输入不清的情况下仍能检索到相关且准确的信息。
一种方法是实施查询优化，让系统基于既有模式或交互自动提出澄清或改写模糊查询，使其更精确。这可包括追问或提供多种选项，帮助用户收敛意图。
另一种方法是检索覆盖多种可能解释的多样化文档集合。通过拉取多样结果，即便查询模糊，也更有可能包含相关信息。
最后，可使用自然语言理解（NLU）模型，从不完整查询中推断用户意图并优化检索流程。
中级 RAG 面试题
在覆盖基础问题后，接下来进入中级 RAG 面试题。
如何为 RAG 应用选择合适的检索器？
选择合适的检索器取决于数据类型、查询性质以及可用算力。
对于需要深入语义理解的复杂查询，BERT 或 DPR 等稠密检索更佳。它们能捕捉上下文，适合客户支持或研究等重视语义理解的任务。
若任务较简单、以关键词匹配为主，或算力有限，则 BM25、TF-IDF 等稀疏检索可能更合适。这些方法搭建快捷，但对未出现精确关键词的文档可能无能为力。
稠密与稀疏检索的核心权衡在于准确性与计算成本。有时将二者结合为混合检索，可在计算效率与准确性之间取得平衡，按需取长补短。
什么是混合搜索？
混合搜索将稠密与稀疏检索的优势结合。
例如，可先用 BM25 等稀疏方法基于关键词快速筛选文档，再由 BERT 等稠密方法对这些文档进行重排序，理解其上下文与语义。这样既有稀疏搜索的速度，又具稠密方法的准确性，适合复杂查询与大规模数据集。
实现 RAG 是否必须使用向量数据库？如不需要，有哪些替代方案？
向量数据库有利于管理稠密嵌入，但并非总是必要。替代方案包括：
- 传统数据库：若使用稀疏方法或结构化数据，关系型或 NoSQL 数据库即可胜任，适合关键词搜索。MongoDB 或 Elasticsearch 适合处理非结构化数据与全文检索，但欠缺深层语义搜索能力。
- 倒排索引：将关键词映射到文档以实现快速搜索，但无法捕捉词义。
- 文件系统：对于小型系统，按结构存放的文件或可满足需求，但检索能力有限。
选择取决于具体需求，如数据规模及是否需要深度语义理解。
如何确保检索信息的相关性与准确性？
可采用多种方法确保检索信息的相关性与准确性：
- 构建高质量知识库：确保存储的信息可靠，且契合应用需求。
- 微调检索器：让检索模型更贴合特定任务与需求，以提升结果相关性。
- 采用重排序：在初步检索后，基于更细粒度的相关性排序，获取更准确的信息，即更深入地评估结果与查询的匹配度。
- 建立反馈回路：采集用户或模型对结果有用性的反馈，迭代优化检索器。例如纠错式 RAG（CRAG）即是一例。
- 定期评估：持续用精确率、召回率或 F1 分数等指标衡量系统表现，推动准确性与相关性提升。
处理长文档或超大知识库有哪些技巧？
面对长文档或大型知识库，可采用如下技巧：
- 分块（Chunking）：将长文档拆成更小的部分，便于检索相关片段，无需处理整篇文档。
- 摘要：生成精简版本，使系统处理更短文本，加快检索。
- 分层检索：先检索大类信息，再逐步细化到具体细节，更高效地管理海量数据。
- 内存高效的嵌入：采用更紧凑的向量表示，降低内存与算力消耗，便于处理大规模数据集。
- 索引与分片：将知识库拆分并分布存储，便于并行处理与更快检索，适用于大规模系统。
如何在保证准确与高效的前提下优化 RAG 系统性能？
为兼顾准确性与效率，可采用以下策略：
- 微调模型：用任务特定数据微调检索器与生成器，提升在专业查询上的表现。
- 高效索引：采用倒排索引或哈希等快速数据结构组织知识库，加快定位相关信息。
- 使用缓存：缓存高频访问数据，避免重复检索，提高效率与响应速度。
- 减少检索轮次：尽量减少搜索次数。提升检索器精度或使用重排序，仅将最佳结果传给生成器，减少不必要的处理。
- 混合搜索：结合稀疏与稠密检索，例如先用稀疏检索快速获取候选，再用稠密检索精排。
RAG 系统如何在多轮对话中保持上下文？
在多轮对话（如聊天机器人）中，RAG 需要延续早前轮次的相关上下文，以便正确回答后续问题。为此，RAG 可将对话历史融入每次新查询：
-
查询优化：系统可基于先前交互自动改写或补充用户问题。通过引入既往信息，使检索器获得更富上下文的查询，从而抓取与当前讨论更相关的文档。
-
包含对话历史：另一种做法是将先前对话轮次的摘要或清单作为输入上下文的一部分。许多 RAG 架构允许与新问题一起传入一系列消息（用户与助手历史）。这样检索器搜索时会考虑既定上下文，生成器也能据此保持连贯。
通过这些方法，RAG 能追踪“谁说了什么”和已解决的问题，避免遗忘细节或重复自己。
高级 RAG 面试题
目前我们已覆盖基础与中级问题，接下来将讨论分块技巧与情境化等更高级概念。
将文档拆分的不同分块技术有哪些？各自优缺点是什么？
拆分文档以便检索与处理的方法有多种：
- 定长分块：按固定大小切分。易实施，但可能与逻辑断点不一致，导致关键信息被拆散或混入无关内容。
- 按句分块：保持句子完整，便于细粒分析。但可能产生过多分块，且当句子过短时会丢失上下文。
- 按段分块：按段落划分有助于保留上下文，但段落可能过长，降低检索与处理效率。
- 语义分块：基于含义（如主题或章节）划分。能保持清晰语境，但实现难度更高，需要高级文本分析。
- 滑窗分块：通过重叠滑动窗口生成分块，降低遗漏关键信息的风险，但计算成本更高，且可能引入重复。
将文档分为大块与小块的权衡是什么？
较小的分块（如句子或短段）有助于避免在压缩至单一向量时稀释关键信息，但会丢失跨分块的长距离依赖，使模型难以理解跨块引用。
较大的分块能保留更多上下文，信息更丰富，但焦点可能分散，而且将全部信息编码为单一向量时容易丢失要点。
什么是延迟分块（late chunking）？它与传统分块方法有何不同？
延迟分块是一种为解决传统分块在文档处理中局限而设计的有效方法。
传统方法先将文档按句子或段落等拆分，再对每个分块应用嵌入模型，各自编码为向量，常以均值池化生成单一嵌入。由于彼此独立编码、未考虑全文上下文，容易丢失长距离依赖。
延迟分块的思路不同：先对整篇或尽可能多的文本应用嵌入模型的 Transformer 层，为每个 token 生成向量序列，从而在 token 级嵌入中捕捉完整上下文。
随后，再对这组 token 向量序列按分块进行均值池化，得到受整篇文档上下文影响的分块嵌入。不同于传统方法，延迟分块使各分块嵌入彼此有条件关联，保留更多语境并解决长距离依赖。
通过在流程后期进行分块，使每个分块的嵌入受益于整篇文档提供的丰富上下文，而非彼此孤立。这改善了用于检索与生成任务的嵌入质量。
解释 RAG 中“情境化（contextualization）”的概念及其对性能的影响。
情境化指确保检索信息与查询高度匹配。通过让检索数据与查询对齐，系统能生成更相关、更优质的答案。
这可降低错误或无关结果的风险，确保输出符合用户需求。一种做法是先用 LLM 过滤检索文档的相关性，再将其送入生成模型，如纠错式 RAG（CRAG）所示。
如何应对检索信息或 LLM 生成中的潜在偏见？
首先，要以过滤偏见内容的方式构建知识库，尽量保证信息客观；同时可重训检索系统，以更偏好均衡、无偏的来源。
另一个重要步骤是引入专门的代理检测潜在偏见，确保模型输出保持客观。
讨论在 RAG 中处理动态或演化中的知识库所面临的挑战。
一大难题是保持索引数据的实时更新，需要可靠的更新机制。因此，版本控制对于管理信息的不同迭代并确保一致性至关重要。
此外，模型需能在无需频繁再训练的情况下实时适应新信息，否则资源开销巨大。为确保系统随知识库演化仍然准确与相关，需要更复杂的解决方案。
什么是 CAG？它与传统 RAG 有何不同？在生产中何时优先用 CAG？
CAG（缓存增强生成，Cache-Augmented Generation）是 RAG 的演进：在将检索到的文档传给 LLM 之前，先对其进行摘要或压缩。这能提升相关性、减少 token 使用，并将更多信息装入模型的上下文窗口。
关键差异在于：CAG 会在检索内容进入生成器前，经过摘要器或上下文化精炼等中间步骤；而传统 RAG 通常直接将原始文档拼接进提示中。
CAG 尤其适用于：
-
数据集较为静态（如产品目录、学术论文），可预先压缩并缓存。
-
对 token 成本高度敏感（如成本敏感 API 或移动/端侧推理）。
-
检索文档冗长或噪声较多，需要蒸馏提纯。
相对地，RAG 更适用于：
-
底层数据动态变化或频繁更新（如实时工单、在线文档）。
-
希望在查询时引入最新知识，而无需重处理整个知识库。
简言之，稳定领域倾向使用 CAG 以预先优化上下文；动态场景更适合 RAG，以便获取最新、按需的检索。
想了解更详细的对比，请查看RAG 与 CAG这篇文章。
有哪些先进的 RAG 系统？
先进的 RAG 系统有很多。
其一是自适应 RAG（Adaptive RAG）：系统会根据查询实时调整策略，决定是否不检索、单次 RAG 或迭代式 RAG。此动态行为使系统更稳健、更贴合用户需求。
另一个是Agentic RAG，引入检索代理——即决定是否从某来源拉取信息的工具。赋予语言模型此能力后，它能自主判断是否需要额外信息，使流程更顺畅。
纠错式 RAG（CRAG）也愈发流行：系统会审查检索到的文档，判断其相关性，只有被判定为相关的文档才会送入生成器。此自我修正步骤有助于确保使用准确且相关的信息。想了解更多，请阅读基于 LangGraph 的纠错式 RAG（CRAG）实现教程。
Self-RAG更进一步，不仅评估检索文档，也检查最终生成的回答，使二者与用户查询对齐，从而获得更可靠、一致的结果。
如何在实时 RAG 系统中降低时延且不牺牲准确性？
一大有效方法是预取高频且相关的信息，随取随用。此外，改进索引与查询算法也能显著提升数据检索与处理速度。
RAG 系统有哪些局限或挑战？
尽管 RAG 功能强大，但也面临多重挑战：
-
依赖检索数据质量：RAG 的表现取决于检索信息的好坏。若检索器引入不相关或错误文档，生成器的答案也会受影响。持续确保高质量、可信来源并微调检索器，才能避免“垃圾进、垃圾出”。
-
复杂度与时延增加：RAG 在生成之外引入了检索步骤，使系统比单独 LLM 更复杂、更耗算。搜索大型知识库会增加时延并需大量算力，因此需在准确性与效率间平衡。
-
知识库维护需求：不同于静态 LLM，RAG 依赖的外部知识库需要定期更新与管理。组织需持续摄取新数据、移除过时内容并维护索引，否则 RAG 很快会失效或给出过时答案。
-
集成与调优难度：将检索与生成结合意味着更多组件需调校与监控（向量库、检索模型、LLM）。排错更难，问题可能出在检索侧或生成侧，相比仅用 LLM，开发与维护成本更高。
还需注意，若某领域数据大体静态且已包含在模型训练中，微调 LLM 或许已足够。但微调无法像 RAG 那样即时融合新信息，而且每次知识更新都需付出更高的再训练成本。
面向 AI 工程师的 RAG 面试题
接下来是针对 AI 工程师岗位的部分专项问题。
您将如何在生产环境中评估并改进 RAG 系统的性能？
首先，需要跟踪用户反馈，以衡量系统表现及其相关性。
还应监控时延，确保响应及时，并评估检索文档与生成输出的质量。关键指标包括响应准确性、用户满意度与系统吞吐量。
为提升性能，可用更新数据重训系统部分组件或调整参数；也可优化检索算法以增强相关性与效率，并定期更新知识源以保持新鲜度。
持续的性能复盘与 A/B 测试可为迭代改进提供依据。
在生产中，如何确保 RAG 系统在潜在故障或异常输入下仍具可靠性与稳健性？
要构建可用于生产的 RAG 系统，需要应对多种挑战。可行方案包括：
- 冗余与故障转移：引入冗余或备用组件，以在故障时确保持续运行。
- 错误处理与日志：实现错误处理机制以捕获并记录错误，便于快速定位与排障。
- 输入校验与清洗：对用户输入进行校验与清洗，防范提示注入等潜在攻击与漏洞。
- 监控与告警：部署监控与告警系统，及时发现并处置性能问题或潜在威胁。
如何为特定任务（如问答、摘要）设计 RAG 系统？
对于问答系统，先选择能基于用户查询高效定位并提取相关文档的检索器，可以是传统关键词搜索，也可用稠密嵌入实现更优检索。随后，选择或微调能利用检索文档生成准确、连贯答案的生成器。
对摘要任务，检索器需汇集与文档或主题相关的全面内容；生成器则应能将其提炼为简洁而有意义的摘要。
提示工程在此至关重要。根据下游任务，我们需设计提示，引导模型整合检索信息以产出相关结果。
请解释如何为 RAG 任务微调 LLM 的技术细节。
首先需收集并准备任务相关数据，如带标注的问答对或摘要数据集。
随后可采用检索增强语言建模（REALM）等技术，帮助模型更好地将检索文档融入响应。这通常意味着调整模型结构或训练方法，以提升对检索上下文的处理能力。
还可以使用 检索增强微调（RAFT），将 RAG 与微调的优势结合，让模型同时学习领域知识与如何高效检索并使用外部信息。
在快速变化的领域中，如何处理 RAG 的过时或无关信息？
一是定期更新知识库或文档索引，随新信息出现而纳入。可通过自动化流程定期抓取或摄取更新内容，确保检索器始终使用最新数据。
此外，可使用元数据标记过时信息，让系统在检索时优先选择较新且更相关的文档。
在快速变化的领域，还应将时效性纳入过滤或重排序，例如对较新的文章或文档赋予更高权重，确保生成基于最新来源。
另一做法是建立反馈回路或“人类在环”机制，快速修正被标记的不准确内容，并调整检索器以避免再次检索到已过时的信息。
如何在 RAG 中平衡检索的相关性与多样性，以确保答案全面？
相关性确保检索文档与查询高度匹配；多样性防止系统过度聚焦于单一来源或观点，二者共同保障答案准确而全面。
一种平衡方法是在重排序中同时优化相关性与多样性；也可从不同来源或知识库的不同部分获取文档以增强多样性。
对相似结果进行聚类，并从不同簇中选取文档，也有助于提升多样性。
同时以相关性与多样性为目标微调检索器，也能提高检索集合的全面性。
如何确保 RAG 系统生成的输出与检索信息保持一致？
关键方法之一是在提示工程中加强检索与生成的耦合。精心设计的提示，明确要求模型基于检索文档作答，可确保生成过程扎根于检索数据。
此外，可要求模型在回答中生成引用或佐证，指向检索到的来源，以帮助保持一致性。
还可以在生成后进行一致性检查，将输出与检索文档对比验证。这可通过相似度度量或使用更小的校验模型来完成，以核验生成文本与检索数据在事实层面的吻合度。
某些场景下可采用迭代式精炼：模型先生成初稿，再回看检索文档进行核对与修订。通过反馈回路与用户纠错，系统还可从过往不一致中学习，逐步改进检索与生成机制。
在处理敏感信息时，如何确保 RAG 系统的数据隐私与安全？
在检索数据或用户查询包含敏感或个人信息时，确保隐私与安全至关重要。关键策略包括：
-
数据去标识与匿名化：在数据进入 RAG 流水线前，移除或遮蔽个人可识别信息（PII）与其他敏感细节。例如，在摄取阶段扫描文档并对 PII 进行编辑遮蔽。此“零信任”做法即便在数据被检索时也不会暴露机密信息。
-
安全存储与传输：为静态数据（数据库或向量库）与传输链路加密，确保向量数据库与知识源具备访问控制（认证与授权），仅受信任的应用或服务可读取知识库。
-
基于角色的访问控制：对检索结果实施严格的访问过滤。可用元数据为知识分块标注可见范围（如管理员 vs. 普通用户），并在检索时强制执行。例如，医疗助手允许医生检索可识别患者的信息，但绝不对其他用户展示。
-
提示过滤与输出监测：引入AI 保护栏，防止 LLM 输出私密数据。采用提示注入防护、输出扫描或遵循（如面向 LLM 的 OWASP 指南）等策略，拦截并移除响应中的敏感内容。高风险领域可加人审。
-
合规与审计：按设计确保遵循数据保护法规（GDPR、HIPAA 等）。包括维护检索数据及时间的审计日志、就数据使用取得适当用户同意，并定期审计知识源中的敏感信息。
通过以上措施，可让 RAG 系统安全处理敏感数据。面试中应强调，保护用户数据不是事后补救，而是贯穿 RAG 在摄取、存储、检索与生成各环节的内建能力。
结语
本指南汇总了 30 个关键面试问题，助您从基础概念到先进系统全面准备 RAG 相关面试。
如欲进一步学习 RAG 系统，推荐阅读以下博客：
Ryan 是一名首席数据科学家，专注于使用大型语言模型构建 AI 应用。他是伦敦帝国理工学院自然语言处理与知识图谱方向的博士候选人，并在该校获得了计算机科学硕士学位。除数据科学之外，他还撰写每周的 Substack 时事通讯 The Limitless Playbook，分享来自全球顶尖思想家的一个可操作理念，并不时撰写关于核心 AI 概念的文章。
检索增强生成（RAG）将大型语言模型（LLM）与检索系统结合，在文本生成过程中引入相关的外部信息。
过去几年里，RAG 日益受到关注，已成为AI 工程师、机器学习工程师、提示工程师和数据科学家等岗位面试中的常见话题。
本文旨在通过对 30 个关键问题的全面梳理，帮助您为与 RAG 相关的面试做好准备，内容覆盖从基础概念到更高级的话题。
即使您近期不打算参加面试，本文也不失为一次检验 RAG 知识的好机会。