生成式 AI 基础面试题

先从一些基础的生成式 AI 面试题开始。这些问题将考查您对核心概念和原理的理解。

判别式模型与生成式模型的关键区别是什么？

判别式模型学习类别之间的决策边界以及区分它们的模式。它们估计概率P(y|x)，即在给定输入数据x的情况下，某个标签y 的概率。这类模型专注于区分不同类别（例如：“这是一封垃圾邮件吗？”）。

生成式模型通过建模联合概率P(x,y)来学习数据本身的分布，这涉及从该分布中采样数据点。在用成千上万张手写数字图像进行训练后，这种采样可以生成一张新的数字图像。

阅读更多，请参阅这篇博客：生成式与判别式模型：差异与用例。

在大语言模型（LLM）中，什么是 token 和 embedding？

Token 是 LLM 处理的文本基本单位；它们可以是完整的单词、音节，甚至是单个字母（例如，单词 "generative" 可能被拆分为 "gener"、"at"、"ive"）。

Embedding 是这些 token 的数值向量表示，根据其含义将它们置于多维空间中。这样的转换使模型能够捕捉语义并理解词与词之间的关系，例如识别出 "king" 与 "queen" 的距离很近。

您能解释一下生成对抗网络（GAN）的基本原理吗？

GAN 由两个相互博弈的神经网络构成（因此称为“对抗式”）：生成器和判别器。

生成器创建虚假的数据样本，而判别器将其与真实训练数据进行对比评估。两个网络同时训练：

• 生成器的目标是生成与真实数据难以区分的图像，使判别器无法分辨真伪。
• 判别器的目标是准确识别给定图像是真实的还是生成的。

通过这种对抗学习，生成器会逐步掌握生成与训练数据非常相似的高逼真度数据。

生成式 AI 在现实世界中的一些热门应用有哪些？

• 文本生成： 用于聊天机器人、内容创作或翻译（ChatGPT、Claude、Gemini）。
• 图像生成： 为艺术或设计生成逼真的图像（如 ChatGPT Images、Nano Banana Pro、Stable Diffusion）。
• 编码代理：在软件工程中用于编写完整的代码模块。
• 检索增强生成（RAG）：用于企业知识检索，服务于客服或内部 wiki。
• 药物研发： 设计新的药物分子结构。
• 数据增强： 扩充小样本数据集以用于机器学习。

训练和评估生成式 AI 模型面临哪些挑战？

• 计算成本： 训练更复杂的模型需要高计算能力和硬件要求。
• 训练复杂性： 训练生成式模型可能充满挑战且细节繁多。
• 评估指标：定量评估模型输出的质量与多样性具有挑战性。
• 数据需求： 生成式模型通常需要大量且高质量、多样化的数据。此类数据的收集可能耗时且昂贵。
• 偏见与公平性：若不加以检查，模型可能放大训练数据中的偏见，从而导致不公平的输出。

围绕生成式 AI 的伦理考量有哪些？

GenAI 的广泛使用及其用例需要对其在伦理方面的表现进行全面评估。具体包括：

• 深度伪造（Deepfakes）：生成虚假但高度逼真的媒体，可能传播错误信息或诽谤个人。
• 偏见生成：放大训练数据中的历史和社会偏见。
• 知识产权：在数据中未经授权使用受版权保护的材料。

生成式 AI 如何用来增强或提升人类创造力？

尽管 AI 模型的幻觉可能产生错误输出，但这些生成式模型在诸多方面和用途中都很有帮助。它们可作为各领域专家的创意灵感来源：

• 艺术与设计：提供艺术与设计灵感。
• 写作辅助：建议标题、写作思路或进行文本续写。
• 音乐：谱写节拍与和声。
• 编程：优化现有代码或提供实现思路。

基础模型与微调模型有何区别？

基础模型（如 GPT-5.2）在海量的广域互联网数据上训练，以学习通用模式、推理能力和语言结构。

微调模型在此通用底座上，使用更小且精心挑选的数据集进一步训练，以精通某项特定任务，如医学诊断或使用特定编程语言交流。微调以牺牲广泛的通用性，换取在特定领域的更深专长。

生成式 AI 中级面试题

在掌握基础之后，来看看一些中级的生成式 AI 面试题。

GAN 中的“模式崩塌”（Mode Collapse）是什么？如何应对？

类似于内容创作者发现某种视频格式更易获得传播与互动，GAN 的生成器也可能固化于极少量能骗过判别器的输出模式，导致生成器只产出小范围的结果，牺牲了生成数据的多样性和灵活性。

可行的解决方案包括：在训练技巧上着力，通过调节超参数与不同优化算法，应用促进多样性的正则化，或组合多个生成器以覆盖不同的生成模式。

变分自编码器（VAE）如何工作？

变分自编码器（VAE）是一种生成式模型，它学习将输入数据编码到潜在空间，再解码回去以重构原始输入。VAE 属于编码器-解码器结构：

• 由编码器将输入数据映射为潜在空间上的分布。
• 由解码器从该潜在空间分布采样以重构输入数据。

变分自编码器的结构。（来源： Wikimedia Commons）

VAE 与传统自编码器的不同之处在于，VAE 鼓励潜在空间服从已知分布（如高斯分布）。这使其更适合通过在该潜在空间中采样来生成新数据。

解释检索增强生成（RAG）与微调的区别。何时应选择其一？

RAG 将模型连接到外部数据源（如公司 wiki），以在无需重训模型的情况下获取最新事实。模型参数保持不变；它只是能访问附加数据。

微调会修改模型的内部权重，从而改变它如何表达、行为或推理，但不适合用于增加新的事实性知识。

当您需要最新事实（新闻、私有企业数据）或特定引用时，用 RAG；当您需要模型学习新的“行为”、语言或特定输出格式（如用 SQL 表达）时，用微调。

您将如何评估一个 LLM 应用？解释“LLM-as-a-Judge”。

评估生成样本是一项复杂任务，取决于数据模态（图像、文本、视频等）。传统文本指标（如准确率）对创意性任务并不足够，因为它们只检查词汇重合，而非意义。

LLM 基准与排行榜使用标准化测试来衡量模型处理特定任务的表现。它们有助于比较模型并在同一或跨模态中跟踪进展。

LLM-as-a-Judge 是一种现代评估框架，其中高能力的“教师”模型（如 Gemini 3）根据真实性、助益性和语气等特定标准为较小模型的输出打分。这样可在不依赖人工审核缓慢且昂贵的情况下，以可扩展方式近似人类偏好。

有哪些技术可提升 GAN 训练的稳定性与收敛性？

提升 GAN 训练的稳定性和收敛性有助于避免模式崩塌、提高训练效率并获得更好结果。常见技术包括：

• Wasserstein GAN（WGAN）： 使用 Wasserstein 距离作为损失函数，改善训练稳定性并提供更平滑的梯度。
• 双时间尺度更新规则（TTUR）： 对生成器与判别器使用不同的学习率。
• 标签平滑： 软化标签以防止过度自信。
• 自适应学习率： 使用如 Adam 的优化器以动态管理学习率。
• 梯度惩罚： 对判别器中的大梯度进行惩罚以强制Lipschitz 连续性，从而获得更稳定的训练。

如何控制生成式 AI 模型输出内容的风格或属性？

控制 GenAI 输出风格的常见技术包括：

• 提示工程：通过在提示中详细说明所需的风格或语气来指定期望输出风格。这在文本到文本和文本到图像模型中都简单且高效。若与特定模型的要求或文档保持一致，效果更佳。
• 温度与采样控制：参数temperature 控制输出的随机程度。温度越低，token 选择越保守、可预测；温度越高，生成越具创造性。其他参数如 top-k 和 top-p 也可在生成时控制模型的创意选择范围。
• 结构化输出：为保证结构，现代模型利用“JSON 模式”或“结构化输出”，将模型限制为严格生成有效的 JSON 或 XML 架构，而非自由文本。
• 系统提示：系统提示会随每条新消息一并发送给模型。它们可用于设置持久的行为指令，覆盖用户输入，以维持特定人设或规则。
• 风格迁移（图像）：对于支持的模型，在推理时可将一张图像（参考图像）的风格应用于输入图像。
• 微调：使用预训练模型，并在包含目标风格或语气的特定数据集上进行微调。即通过更多数据继续训练模型，以学习额外的特定风格或属性。
• 强化学习：通过提供反馈引导模型偏好某些输出、规避其他输出，并据此用强化学习调整模型。随着时间推移，模型将与用户及/或偏好数据集的偏好对齐。在 LLM 语境中的一个例子是基于人类反馈的强化学习（RLHF）。

有哪些方法可应对生成式 AI 模型中的偏见问题？

确保模型不偏不倚与公平，需要在各阶段进行迭代调整与监测。

首先需防止数据污染，确保测试数据不泄漏到训练数据中。否则，模型会倾向于记忆数据而非从中泛化。

进一步地，要确保训练数据尽可能多样且包容。在训练过程中，可将公平性目标纳入损失函数，引导模型生成更公平的结果。

必须定期监测模型输出的偏见情况。为建立公众信任，宜尽可能透明地披露模型的决策过程、数据集细节及预处理步骤。

请讨论生成模型中的“潜在空间”（Latent Space）概念及其重要性。

在生成式模型的语境下，潜在空间是一个低维空间，以使相似输入被映射得彼此更近的方式来捕捉数据的关键特征。从该潜在空间中采样，允许模型生成新数据并操控特定属性或特征（如生成图像的变体）。

潜在空间是实现可控、忠于训练数据且多样化输出的关键。

自监督学习在生成式 AI 模型发展中的作用是什么？

自监督学习的核心思想是利用海量未标注数据，在无需人工标注的情况下学习有用表征。诸如 BERT 与 GPT 的模型通过自监督方法（如下一词预测）进行训练，学习语言的结构与语义。这降低了对昂贵且耗时的标注数据的依赖，使模型得以利用海量未标注数据进行训练。

什么是低秩适配（LoRA）？

对一个 700 亿参数的超大模型进行再训练，对大多数组织来说成本高昂且缓慢。 低秩适配（LoRA）通过冻结主模型权重，仅训练一个很小的“适配器”层（通常不到总参数的 1%）来解决这一问题。这样您可以从一个基础模型服务数十种不同的“定制”模型，大幅降低计算成本与存储需求。

生成式 AI 高级面试题

若您寻求更高级别岗位或希望展示对生成式 AI 的深入理解，以下是一些高级面试题。

解释“扩散模型”（Diffusion Models）的概念，以及它们与早期架构的不同。

扩散模型的工作机制主要是：逐步向图像添加噪声，直到只剩噪声——然后学习如何逆转该过程，从噪声中生成新样本。该过程称为扩散。这些模型因其生成高质量、高细节图像的能力而流行。

图像通过扩散步骤生成。（来源： Wikimedia Commons）

这些模型的训练过程包括两步：

1. 前向过程（扩散）：对输入图像在多个步骤中逐步加噪，直至数据变为纯噪声。
2. 反向过程（去噪）：学习如何从噪声中恢复原始数据。具体做法是训练一个神经网络去预测噪声，然后逐步去噪，直至从噪声中还原出原始数据。

与常因训练不稳定而著称的早期 GAN 不同，扩散模型更稳定且更易扩展，但由于其迭代特性，速度可能较慢。

现代变体如潜变量扩散在压缩的“潜在空间”中运行以加速生成，而 flow matching 架构正逐步取代标准扩散以获得更佳性能。

Transformer 架构如何工作，其主要瓶颈是什么？

由Transformer 架构在论文“Attention is All You Need”提出以来，已彻底改变了生成式 AI 领域，特别是自然语言处理（NLP）。

与按序列方式处理数据的传统循环神经网络（RNN）不同，Transformer 使用自注意力机制同时为输入数据的不同部分分配权重。这使模型能够有效捕捉上下文关系，并允许对序列进行并行处理，从而显著加速训练。

其主要瓶颈在于注意力机制随序列长度呈二次方扩展——将上下文窗口翻倍需要四倍算力。这使得“无限上下文”在理论上可行，却在计算上代价高昂，因而推动了更高效注意力方法的研究。

什么是“推理模型”（系统 2 思维），它与标准 LLM 有何不同？

标准 LLM 更像“系统 1”思考者，基于表层模式立即预测下一个词。

推理模型（如 Gemini 3 或 DeepSeek-R1）被训练为在输出答案前生成隐藏的“思维链”（Chain of Thought），从而“思考”、规划并自我纠错。这使其在复杂数学、编码与逻辑难题上显著更强，但运行更慢、成本更高。

使用生成式 AI 生成高分辨率或长篇内容有哪些挑战？

随着生成任务复杂度提升，您还需要应对：

• 计算成本： 高分辨率输出需要更大的网络与更多算力。
• 多 GPU 训练： 更大的模型可能无法放入单张 GPU，需要多 GPU 训练。线上平台可降低部署此类系统的复杂度。
• 训练稳定性： 更大的网络和更复杂的架构使维持训练稳定性更具挑战。
• 数据质量： 更高分辨率与更长内容需要更高质量的数据。

生成式 AI 领域有哪些新兴趋势与研究方向？

GenAI 领域正以极快速度演进与重塑，包含：

• 多模态模型：整合文本、音频、图像等多种数据形式。
• 小型语言模型（SLM）： 与大型语言模型不同，SLM 因高效与易用而受到关注。它们所需算力更少，适合在能力受限的环境中部署——更多内容参见关于边缘 AI的博客。
• 伦理 AI：制定框架，以确保生成式模型的对齐表现。
• 面向视频的生成模型：在通过 GenAI 生成超逼真且一致的视频方面的进展。最新示例包括Sora AI、Meta Movie Gen 和 Runway Act-One。

您将如何设计一个系统，利用生成式 AI 在特定行业（如医疗）中创建个性化内容？

为特定行业用例设计生成式 AI 系统需要系统化的方法。这些通用指南也可跨行业调整与适配。

1. 了解行业需求： 行业领域知识对系统设计决策影响重大。第一步是获得该行业的通用与实践性知识、基础、概念、目标与要求。
2. 数据收集与管理： 确定可能的数据提供方。在医疗领域，这意味着从医疗服务提供者处收集治疗细节、患者信息、医学指南等。必须识别并遵守行业特定的数据隐私与安全护栏。确保数据高质量、准确、最新，且能代表多元群体。
3. 模型选择： 决定是对预训练模型进行微调，还是从零设计架构。根据项目类型，最优生成式 AI 模型会不同。像 GPT-4o 这类模型可能是不错的即插即用选择。有些领域出于隐私考虑需要本地托管模型，此时开源模型更合适。考虑用先前收集的行业数据对这些模型进行微调。
4. 输出验证： 实施严格的评估流程，让专家在生成内容投入使用前进行验证。
5. 可扩展性： 设计可扩展的云端基础设施，在不牺牲性能的情况下应对所需负载。
6. 法律与伦理考量： 制定明确的 AI 使用伦理准则，并透明沟通模型可能的局限。尊重知识产权并处理相关问题。
7. 持续改进： 定期回顾系统表现与专家对生成内容的评估，收集更多洞见与数据，以便优化模型。

解释 LLM 语境下的“上下文内学习”（in-context learning）。

上下文内学习指 LLM 能基于提供的上下文改变其风格与输出，而无需额外微调。

它也可被称为小样本学习或提示工程。可通过给出一个或多个期望响应的示例，或清晰描述模型应如何行为来实现。

上下文内学习也有局限：它是短期且任务特定的，模型并不会在其他会话中保留这些知识。

此外，若所需输出较复杂，模型可能需要大量示例；若示例不够清晰或任务超出模型能力边界，模型有时会生成错误或不连贯的输出。

如何策略性地设计提示以引导模型产生期望行为或输出？有效提示工程的最佳实践有哪些？

提示对引导 LLM 完成特定任务至关重要。通过小样本学习、任务分解与提示模板等技术，有效提示甚至可减少对模型微调的需要。

以下是最佳实践以提升提示工程效果：

1. 清晰且简明：提供具体指令，让模型确切知晓要执行的任务。直截了当、切中要点。
2. 使用示例：在上下文内学习中，展示若干输入-输出对，帮助模型按您的期望理解任务。
3. 拆解复杂任务：若任务复杂，将其分解为更小步骤有助于提升响应质量。
4. 设定约束或格式：若需要特定的输出风格、格式或长度，请在提示中明确说明这些要求。

更多内容请阅读这篇博客：提示优化技术。

优化生成式 AI 模型推理速度的技术有哪些？

• 模型剪枝： 移除不必要的权重/层以缩小模型体积。
• 量化： 将模型权重精度降至 fp16/int8。
• 知识蒸馏： 训练更小的模型去模仿更大的模型。
• GPU 加速： 使用专用硬件。

请解释“条件生成”的概念，以及它在条件 GAN（cGAN）等模型中的应用。

条件生成是指模型在特定条件或上下文的约束下生成输出，从而对生成内容实现更强的控制。在条件 GAN（cGAN）中，生成器和判别器均基于附加信息（如类别标签）进行条件化。其工作方式如下：

• 生成器： 同时接收噪声与条件信息（如类别标签），生成与条件相符的数据。
• 判别器： 在评估生成数据真伪时同时考虑条件信息。

请解释专家混合（MoE）架构。为何它在大模型中更受青睐？

专家混合（MoE）用许多专门的“专家”子网络取代单个稠密神经网络。对于任一给定 token，路由器仅选择最相关的专家来处理数据，这意味着模型可能拥有 1000 亿参数，但推理时只使用 100 亿。

这种架构使模型在保持极高总参数量与“聪明”的同时，仍能以较低的活跃参数量实现快速、低成本的运行。

面向 AI 工程师的生成式 AI 面试题

若您应聘以生成式 AI 为重点的 AI 工程岗位，预计将被问到评估您在设计、实现与部署生成式模型方面能力的问题。

“代理式”（agentic）工作流与标准聊天机器人有何区别？

标准聊天机器人是被动的：它接收查询，并基于其训练输出文本答案。

代理式工作流为 LLM 提供工具访问（如浏览器、代码解释器或 API）及自主规划多步骤流程来解决目标的能力。代理可能会先规划上网搜索、用 Python 代码分析数据，然后撰写报告，并循环迭代直至任务完成。

如何通过 Guardrails 确保 LLM 部署的安全性与稳健性？

确保 LLM 的安全与稳健面临多重挑战。首要挑战包括生成有害或带偏见的输出的可能性，因为这些模型在海量甚至未过滤的数据源上训练，可能产生有毒或误导性内容。

LLM 生成内容的另一大问题是“幻觉”风险，即模型生成听起来笃定但实为错误的信息。另一个挑战是针对对抗性提示的安全性，这些提示可能绕过模型的安全措施，产生有害或不道德的回应，这在多种模型上均已屡次被证实。

引入安全过滤与审核层可帮助识别并移除已生成的有害内容。持续的人类在环监督可进一步提升模型安全性。

此外，工程师必须实现显式的Guardrails（如 NeMo Guardrails 或 Llama Guard），置于用户与模型之间。这些系统在输入侧扫描以阻止提示注入企图或 PII（个人可识别信息）泄露，并在输出侧扫描以拦截有毒或幻觉式回应，防止其触达用户。这样便构建了独立于模型概率性本质之外的确定性安全层。

请描述一个您曾经处理过的，涉及生成式 AI 的挑战性项目。关键挑战是什么，您如何克服？

该问题的回答高度取决于您的项目与经验。但您可在作答时注意以下要点：

• 选取一个具体项目，其中包含明确的 AI 挑战，如偏见、模型准确率或幻觉。
• 明确挑战，解释技术或运营上的困难。
• 展示您的方法，提及您采用的关键策略，如数据增强、模型调优或与专家协作。
• 突出成果并量化影响——如准确率提升、用户参与度提高，或解决业务问题。

请谈谈您在生产环境中实现与部署生成式 AI 模型的经验。

与上题类似，此题需结合您的经验作答，同时注意：

• 聚焦部署：提及基础设施（云服务、MLOps 工具）与关键部署任务（扩展、低延迟优化）。无需展开细节，体现您具备前沿实践即可。
• 提及挑战：点出一两项常见的避坑点，彰显专业性。
• 覆盖部署后阶段：包括监控与运维策略，以确保性能稳定。
• 关注安全：说明在发布期间为应对偏见或安全问题所采取的措施。

如何处理长文本窗口中的“中间遗失”（lost in the middle）现象？

即便上下文窗口巨大（如 100 万 token），LLM 仍常难以检索提示中部的信息，往往更优先关注开头与结尾。

工程师通常采用智能重排序算法，将最关键的检索片段移动到上下文窗口的开头或结尾。另一种策略是“map-reduce”算法，让模型先分别总结长文档的各段，再综合得到最终答案。

您将如何构建一个端到端的 RAG 系统？

构建 RAG 系统需要系统化流程。其管道可如下所示：

• 有效切分：使用语义或递归策略将文档拆分为有意义的片段（而非任意字符数），以确保上下文得以保留。
• 向量存储：使用高性能的嵌入模型对这些片段进行嵌入，并存入向量数据库，附加丰富的元数据（如日期或作者）以便预过滤。
• 混合检索：实现结合关键词检索（BM25）的精确匹配与向量检索（语义相似度）的检索层，以同时覆盖具体术语与更广泛的概念。
• 重排序：应用交叉编码器模型对检索到的前若干结果重新打分，积极过滤无关“噪声”片段，防止其进入 LLM。
• 引用与生成：要求 LLM 严格基于所提供的上下文生成答案，并引用具体来源文档，以防止幻觉。

在生成式 AI 领域，您认为哪些开放研究问题或方向最令人兴奋？

此处答案同样取决于您的个人兴趣，但您可以提及以下主题：

• 提升模型可解释性： 让生成式模型更透明、可解释。
• 伦理框架： 制定负责任 AI 的指南。
• 跨模态生成： 在多种数据类型（图像、文本等）间生成内容。
• 对抗鲁棒性： 提升模型抵御对抗性攻击的能力。
• 推理能力： 增强 LLM 的推理能力。

结语

随着生成式 AI 影响我们生活与职业的方方面面，保持对关键主题的好奇与关注至关重要。尽管面试中可能涉及的 GenAI 问题取决于具体岗位与公司，但我尝试精选了 30 道问答，帮助您开启面试准备之旅。

如需探索更多面试题，推荐阅读以下博客：

• 2026 年最全 30 道 LLM 面试题与答案
• 2026 年最全 30 道 RAG 面试题与答案
• 适用于各技能水平的 30 道 AI 面试题与答案