当我刚开始探索检索增强生成（RAG）系统时，很快就意识到，一个常被忽视却至关重要的性能影响因素就是切片。
从本质上说，切片是将大型信息（如文档、转录或技术手册）划分为更小、更易管理的段落的过程。随后，AI 系统可以处理、嵌入并检索这些片段。
在与现代语言模型及其上下文限制打交道的过程中，我发现理解并应用有效的切片策略，对于构建 RAG 流水线、语义搜索系统或文档处理应用的人来说至关重要。
在本指南中，我将带您理解切片的概念，解释其在 AI 应用中的重要性，介绍其在 RAG 流水线中的角色，并讨论不同策略如何影响检索准确性。我还将涵盖实用的实施注意事项、评估方法、特定领域用例，以及有助于您为项目选择合适方法的最佳实践。
如果您是 RAG 和 AI 应用的新手，建议学习我们的课程，例如使用 LangChain 的检索增强生成（RAG）、AI 基础认证或 人工智能（AI）战略。
为何切片对 AI 与 RAG 应用重要
切片的重要性远不止于简单的数据组织；它从根本上塑造了 AI 系统理解和检索信息的方式。
由于上下文窗口和计算约束的固有限制，大型语言模型和 RAG 流水线需要切片。
当我在缺乏恰当切片的情况下处理大型文档时，系统往往会丢失重要的上下文关系，并在检索时难以识别相关信息。有效的切片通过创建与查询模式和用户意图一致的语义连贯片段，直接提升检索精度。
我的经验是，良好的切片策略能显著提升语义搜索能力：既保持信息的逻辑流，又确保每个片段包含足够上下文以便生成有意义的嵌入。这种方法使嵌入模型能够捕捉细微关系，并在检索过程中实现更准确的相似度匹配。
相反，糟糕的切片策略会在 AI 流水线中引发连锁负面影响。随意的切分可能割裂关键概念之间的关系，导致回答不完整或具有误导性。切片过大时，检索系统难以定位具体相关段落；切片过小时，往往缺乏足够上下文来准确理解。这些问题最终会降低用户满意度，削弱系统可靠性。
切片在 RAG 流水线中的位置
切片在 RAG 流水线中处于关键位置，它是原始文档摄取与有意义的知识检索之间的桥梁。在端到端的 RAG 流水线中，切片通常发生在文档预处理之后、生成嵌入之前。切片过程直接输入嵌入步骤，其中每个片段被转换为捕捉语义含义的向量表示。
RAG 流水线
切片、嵌入与检索之间的关系形成了一个紧密耦合的系统，各组件的有效性彼此相互依赖。
当我创建结构良好的片段时，嵌入模型能够生成更丰富的向量表示，从而在用户发出查询时实现更准确的检索结果。这种协同意味着，切片的改进往往会转化为整个流水线可量化的性能提升。
话虽如此，一些新方法对这一传统顺序提出了挑战。例如，后置切片是先对整篇文档进行嵌入，只在查询时进行切片，并对结果进行缓存以便后续更快访问。该方法避免了对可能从未被查询的文档进行预处理，并支持面向查询的切片，但会在首次访问时引入延迟，并需要额外的基础设施。
类似地，延迟切片（late chunking）将细粒度分割推迟到检索阶段。系统不为许多小片段预计算嵌入，而是存储较粗粒度表示（如整篇文档或章节），并在查询到达时动态切分。这样既保留更广泛的上下文、又减少前期处理，但会引入首次查询延迟，并需要额外基础设施。
无论采用何种方法，切片策略都必须适配所用语言模型的上下文窗口——即模型一次能处理并考虑的文本最大量。
文档切片基础
现在您已经了解切片是什么以及它在流水线中的位置，是时候看看指导有效切片策略的核心原则了。理解这些基础将为在广泛的 AI 与 RAG 应用中应用切片奠定基础。
由于语言模型的上下文窗口有限，切片是必要的。主要目标是在模型上下文窗口内，创建独立有意义、同时又能共同保留文档整体结构与意图的片段。
然而，上下文窗口并非唯一考量。设计切片策略时，我关注三条核心原则：
- 语义连贯性：每个片段应将相关概念归组，并保持信息的逻辑流。
- 上下文保留：片段应包含足够的周边信息，以便在脱离原文档时仍能保持意义。
- 计算优化：切片大小应在语义丰富与效率之间取得平衡，确保系统在不超出内存或 token 限制的情况下快速处理片段。
这些原则协同作用，使片段既对模型有用，又利于检索流水线的效率。在此基础上，我将介绍实践中最常见的切片策略。
切片策略概览
切片策略领域提供了多样化的方法，以适配不同的内容类型、应用场景和性能需求。如下图所示，您可以看到主要切片方法的概览，我将在接下来的章节中深入讲解。
切片策略概览
这一全面概览展示了从简单的基于规则方法到复杂的 AI 驱动技术的演进，每种方法都能针对特定应用与性能要求提供独特优势。
深入解析：常见切片方法
让我们更深入地了解最广泛使用的切片策略。每种方法都有自身的优势、局限和最佳适用场景。理解这些差异后，我可以为特定项目选择合适的方法，而不是套用一刀切的方案。我们先从最直接的方式——固定大小切片——开始。
固定大小切片
固定大小切片是最简单的方法。它根据字符、词或 token 的数量来切分文本——而不考虑其含义或结构。
- 基于字符：在固定字符数后切分文本。适用于轻量处理，但容易在不合适的位置截断句子或词语。
- 基于词语：在固定词数后切分文本。比基于字符更自然，但仍可能割裂句子。
- 基于 token：使用与目标模型相同的分词方案（例如 OpenAI 的 tokenizer）。这可确保与模型上下文限制兼容，但 token 边界并不总与语义边界一致。
固定大小切片的主要优势是计算效率——快速、可预测、易于实现。其缺点是常常忽略语义结构，从而降低检索准确性。我通常在重视简洁与速度、且文档结构不重要时采用此法。为改进表现，我常在片段之间加入重叠，以在边界处保留上下文。
基于句子的切片
一种弥补上述不足的方式是基于句子的切片，它尊重自然语言边界，通常通过检测句号或问号等标点实现。
这种方法保留可读性，确保每个片段相对独立。与固定大小切片相比，它产生的段落更易于人类和模型解读。不过，由于句子长度存在差异，片段大小可能不均衡，也未必总能捕捉更深层的语义关系。
我发现，基于句子的切片最适合依赖自然语言流的应用，如机器翻译、情感分析或摘要任务。但当文档具有比简单句子更强的结构时，递归切片提供了更灵活的替代方案。
递归切片
递归切片比前述方法更高级。它逐步应用切分规则，直到每个片段符合预设的大小限制。例如，我可能先按章节标题切分，再按段落，最后按句子。该过程持续进行，直至每部分可控并在预定义大小内。
递归切片
这种方法的主要优势是灵活性。通过自上而下的方式，递归切片既能保留文档结构，又能确保与模型的上下文窗口兼容。然而，递归切片实现更为复杂，且结果质量取决于源文档结构的良好程度。
在处理技术手册或其他结构清晰的文档时，我经常采用递归切片。
语义切片
递归方法依赖结构，而语义切片则将重点转向“意义”，根据概念边界切分文本。语义切片是一种“知意”的技术，它使用嵌入或语义相似度，在主题发生变化处进行切分。片段由意义而非任意边界所定义。
一种做法是将文本拆成句子，测量它们之间的语义相似度（如对嵌入做余弦相似度），当连贯性下降时标记新片段。更高级的实现采用聚类方法或有监督的边界检测模型，以更好地捕捉复杂文档中的主题转移。
语义切片
该方法保持语义连贯，确保每个片段覆盖单一观点或主题。技术手段可能包括嵌入相似度、聚类或其他语义距离计算，以检测自然断点。
最大优势在于精确性——语义切片能生成与用户意图高度一致的片段，从而提升检索准确性。主要缺点是计算成本较高，因为需要在预处理阶段对文本进行嵌入。当准确性比速度更重要时（如法律或医疗等特定领域的 RAG 系统），我会采用语义切片。
滑动窗口切片
与强调语义连贯性的语义切片相对，滑动窗口切片通过重叠片段、在文本上移动一个窗口来强调连续性。例如，若我使用 500 个 token 的片段大小（窗口）和 250 的步幅，每个片段都会与前一个片段重叠一半。
这种重叠能在片段边界处保留上下文，降低丢失边缘重要信息的风险。它也能提升检索准确性，因为多个重叠片段可能会在响应某个查询时共同浮现。代价是冗余——重叠会增加存储和处理成本。滑动窗口尤其适用于聊天记录或播客转录等非结构化文本。
滑动窗口切片
实施该策略时，我通常在片段之间设置 20–50% 的重叠，以跨越边界保留上下文，尤其在技术性或对话性文本中。像 LangChain 等框架的常见默认片段大小为 200–400 个 token，但可根据模型上下文限制和文档类型进行调优。我建议在对上下文保留要求高、且对存储效率不太敏感的应用中采用此法。
分层与情境化切片
当连续性不足以满足需求、且必须保留文档结构时，就需要采用分层与情境化切片。
分层切片保留文档从章节到句子的完整结构。它不是产生一个扁平的片段列表，而是构建一棵反映原始层级的树。每个片段与其上下级之间存在父子关系。例如，一个章节包含多个段落（父 → 子），每个段落可能包含多句句子。
在检索过程中，这种结构支持灵活的导航。如果查询匹配到句子级片段，系统可以向上展开，提供来自其父段落甚至整节的额外上下文。反之，若宽泛的查询匹配到章节级片段，系统可向下钻取到最相关的子段落或句子。这种多层级检索同时提升精确率与召回率，因为模型可以调整返回内容的范围。
分层切片
情境化切片更进一步，通过为片段补充标题、时间戳或来源引用等元数据来丰富其语境。这些额外信息提供重要信号，帮助检索系统消歧。例如，两份文档可能包含几乎相同的句子，但它们的章节标题或时间戳可以决定哪一条更符合查询。元数据也使答案溯源更容易，这在受监管或合规驱动领域尤为重要。
情境化切片
分层与情境化切片的主要好处是准确性与灵活性。代价是在预处理和检索逻辑上增加复杂度，因为系统必须管理片段之间的关系，而不是将其视为相互独立的单元。我建议在法律合同、财务报告或技术规范等领域采用这些方法，在这些场景中保留结构与可追溯性至关重要。
基于主题与特定模态的切片
并非所有文档都遵循严格的层级结构，因此基于主题或特定模态的切片提供了更灵活的方式来聚类相关内容。
基于主题的切片通过主题建模算法（如 LDA）或基于嵌入的聚类方法来识别语义边界，将文本按主题单元进行分组。
不同于固定大小或结构标记，其目标是将与同一主题相关的内容汇聚在一起。该方法适用于在不同主题之间切换的长篇内容，如研究报告或文章。由于每个片段聚焦单一主题，检索结果更契合用户意图，也更不易夹杂无关材料。
特定模态的切片将策略适配不同内容类型，确保以尊重各媒介结构的方式进行分段。例如：
- 文本：基于句子或语义的切片保持段落连贯且与查询相关。
- 表格：按行或逻辑组切分以保留数据关系的含义。
- 图像：按区域划分或嵌入标题说明，为检索提供局部化上下文。
基于主题与特定模态的切片
元数据在特定模态的切片中尤为重要。例如，将列标题附加到表格行、将标题说明关联到图像区域，或为转录添加说话人标签和时间戳，都有助于检索系统定位正确片段并正确解读。这种增强既提升精度，也提升用户信任，因为结果附带解释其相关性的语境信号。
在处理多模态流水线或不符合传统文本策略的非传统文档时，我建议采用特定模态的切片。它确保每种内容类型都以最大化检索质量与可用性的方式呈现。
Agentic 与 AI 驱动的动态切片
超越以上基于规则与语义的方法，前沿做法如 AI 驱动的动态切片与 agentic 切片将边界进一步推进。
AI 驱动的动态切片由大型语言模型直接确定片段边界，而非依赖预定义规则。LLM 扫描文档、识别自然断点，并自适应调整片段大小。
密集内容会被切分得更小，较为轻量的部分则可合并。这会产生语义连贯且涵盖完整概念的片段，从而提升检索准确性。当处理高价值、复杂文档（如法律合同、合规手册或研究论文）且更看重检索精度而非吞吐或成本时，该方法尤其适用。
另一方面，agentic 切片在此思路上更进一步，引入更高层次的推理。AI 代理并非仅让 LLM 去切分文本，而是会评估文档与用户意图，并据此决定如何切片。
代理可能为不同章节选择不同策略。例如，将医疗报告按病史、实验结果与医师记录拆分，同时对叙述性描述应用语义分割。它也可能为某些片段添加时间戳、诊断代码或临床医师标识等元数据。
通过这种方式，agentic 切片充当编排层：代理会动态选择或组合切片方法，而不是在整篇文档上应用单一方法。结果是更量身定制、情境感知更强的切片，但代价是更高的复杂度与计算需求。
Agentic 与 AI 驱动的动态切片
这两种方法都很前沿且强大，但解决的问题不同。AI 驱动的动态切片聚焦在摄取阶段产出语义对齐的边界；而 agentic 切片聚焦于为每份独特文档智能选择与组合切片策略。它们与延迟切片相关（本文开头提及），该方法通过先对整篇文档进行嵌入再在嵌入层面进行切片来支持长上下文模型。
这些方法能提供高度自适应、语义感知的片段。但权衡也很明显：AI 驱动切片成本高且可能更慢，而 agentic 切片则增加了另一层复杂性与基础设施需求。AI 驱动的动态切片适用于需要即时有意义分段的场景；而当文档差异巨大且需要策略层面的推理时，agentic 切片更具优势。
实施考量
一旦选定切片策略，下一步就是考虑实施细节。诸如片段大小、重叠管理与 token 计数等实际因素会直接影响系统表现。若片段过大，可能超出上下文限制；过小，则会丢失意义。
兼容性是另一个关键点。不同模型与嵌入方案具有各自的分词方式与上下文窗口，因此我会确保切片流程考虑到这些差异。
在基础设施方面，内存管理与计算效率不可忽视；重叠会增加冗余，递归或语义方法会带来处理开销。后处理步骤（如片段扩展或元数据增强）有助于找回上下文，但也会引入额外复杂性。
在打好这些基础之后，评估切片策略在实践中的效果尤为重要。
性能评估与优化
切片的有效性不仅是理论问题——必须通过清晰的指标来衡量。
例如，上下文精确率（Context precision）衡量检索到的片段中有多少实际与查询相关；而上下文召回率（context recall）衡量从知识库中成功检索到的相关片段占比。
二者结合可揭示某一切片策略是否有助于检索器找到正确信息。
密切相关的还有上下文相关性（context relevancy），它关注检索片段与用户意图的契合度，特别适合在调优 top-K 等检索参数时使用。
其他针对片段的指标，如片段利用率（chunk utilization），衡量模型在生成回答时实际使用了片段内容的多少；若利用率低，片段可能过于宽泛或噪声过大。
另一方面，片段归因（chunk attribution）评估系统是否正确识别出哪些片段对最终答案有贡献。这些片段级评估有助于确认片段不仅被检索到，而且得到了有意义的应用。
优化同样关键，且往往意味着在速度与准确性之间权衡。通过试验片段大小、重叠比例与检索参数，以同时提升计算效率与语义丰富度至关重要。此外，A/B 测试能够提供具体反馈，而迭代调整则确保策略不断改进而非停滞不前。
尽管性能调优能改善通用系统，但特定领域应用也有其独特挑战。
特定领域的切片应用
不同行业对切片策略的要求各不相同。在金融领域，年报或监管文件等文档内容密集且技术性强，因此必须选择能保留数值表格、页眉及脚注的切片策略。法律与技术文档也有类似挑战——对准确性与结构的要求不可妥协，这使得分层或情境增强的方法尤为有价值。
医疗与多模态文档带来了新的需求。病历可能结合临床笔记、实验结果与影像数据，而多模态文档还可能整合文本、图表或音频转录。在这里，特定模态的切片确保每种数据类型以既能保留意义、又能在多模态间保持对齐的方式进行分段。
不论在哪个领域，遵循一套最佳实践都能让切片策略更可靠、更易维护。
最佳实践与指南
选择合适的切片策略取决于多个因素：内容类型、查询复杂度、可用资源，以及模型的上下文窗口大小。我很少在所有场景中只依赖单一方法——而是根据系统需求调整方案。
迭代优化是长期成功的核心。必须持续测试切片效果，用真实查询验证结果，并基于反馈进行调整。交叉验证有助于确保改进并非一次性成功，而能在不同用例中站得住脚。
最后，我建议将切片视为一个不断演进的系统。良好的文档记录、定期测试与持续维护有助于防止漂移，并确保随着数据与模型的变化，流水线仍然稳健可靠。
结语
切片看似预处理细节，但正如您在本指南中所见，它从根本上影响检索增强生成系统的表现。从固定大小与基于句子的方法，到更先进的语义、agentic 与 AI 驱动策略，每种方法都在简洁性、准确性、效率与适应性之间进行权衡。
没有单一方法适用于所有场景。合适的切片策略取决于内容类型、语言模型能力以及应用目标。只要关注语义连贯、上下文保留与计算效率等原则，您就能设计出既提升检索精度、又优化性能并确保输出更可信的片段。
展望未来，切片策略将变得更具动态性、自适应性与模型感知。随着长上下文模型的发展与评估工具的成熟，我预计切片将从静态预处理步骤，演进为一种智能、对语境敏感并能持续从使用中学习的过程。
对于任何构建 RAG 系统的人来说，掌握切片是打造准确、高效且面向未来的检索流水线的关键。
若想继续学习，欢迎查看以下资源：
当我刚开始探索检索增强生成（RAG）系统时，很快就意识到，一个常被忽视却至关重要的性能影响因素就是切片。
从本质上说，切片是将大型信息（如文档、转录或技术手册）划分为更小、更易管理的段落的过程。随后，AI 系统可以处理、嵌入并检索这些片段。
在与现代语言模型及其上下文限制打交道的过程中，我发现理解并应用有效的切片策略，对于构建 RAG 流水线、语义搜索系统或文档处理应用的人来说至关重要。
在本指南中，我将带您理解切片的概念，解释其在 AI 应用中的重要性，介绍其在 RAG 流水线中的角色，并讨论不同策略如何影响检索准确性。我还将涵盖实用的实施注意事项、评估方法、特定领域用例，以及有助于您为项目选择合适方法的最佳实践。
如果您是 RAG 和 AI 应用的新手，建议学习我们的课程，例如使用 LangChain 的检索增强生成（RAG）、AI 基础认证或 人工智能（AI）战略。
为何切片对 AI 与 RAG 应用重要
切片的重要性远不止于简单的数据组织；它从根本上塑造了 AI 系统理解和检索信息的方式。
由于上下文窗口和计算约束的固有限制，大型语言模型和 RAG 流水线需要切片。
当我在缺乏恰当切片的情况下处理大型文档时，系统往往会丢失重要的上下文关系，并在检索时难以识别相关信息。有效的切片通过创建与查询模式和用户意图一致的语义连贯片段，直接提升检索精度。
我的经验是，良好的切片策略能显著提升语义搜索能力：既保持信息的逻辑流，又确保每个片段包含足够上下文以便生成有意义的嵌入。这种方法使嵌入模型能够捕捉细微关系，并在检索过程中实现更准确的相似度匹配。
相反，糟糕的切片策略会在 AI 流水线中引发连锁负面影响。随意的切分可能割裂关键概念之间的关系，导致回答不完整或具有误导性。切片过大时，检索系统难以定位具体相关段落；切片过小时，往往缺乏足够上下文来准确理解。这些问题最终会降低用户满意度，削弱系统可靠性。
切片在 RAG 流水线中的位置
切片在 RAG 流水线中处于关键位置，它是原始文档摄取与有意义的知识检索之间的桥梁。在端到端的 RAG 流水线中，切片通常发生在文档预处理之后、生成嵌入之前。切片过程直接输入嵌入步骤，其中每个片段被转换为捕捉语义含义的向量表示。
RAG 流水线
切片、嵌入与检索之间的关系形成了一个紧密耦合的系统，各组件的有效性彼此相互依赖。
当我创建结构良好的片段时，嵌入模型能够生成更丰富的向量表示，从而在用户发出查询时实现更准确的检索结果。这种协同意味着，切片的改进往往会转化为整个流水线可量化的性能提升。
话虽如此，一些新方法对这一传统顺序提出了挑战。例如，后置切片是先对整篇文档进行嵌入，只在查询时进行切片，并对结果进行缓存以便后续更快访问。该方法避免了对可能从未被查询的文档进行预处理，并支持面向查询的切片，但会在首次访问时引入延迟，并需要额外的基础设施。
类似地，延迟切片（late chunking）将细粒度分割推迟到检索阶段。系统不为许多小片段预计算嵌入，而是存储较粗粒度表示（如整篇文档或章节），并在查询到达时动态切分。这样既保留更广泛的上下文、又减少前期处理，但会引入首次查询延迟，并需要额外基础设施。
无论采用何种方法，切片策略都必须适配所用语言模型的上下文窗口——即模型一次能处理并考虑的文本最大量。
文档切片基础
现在您已经了解切片是什么以及它在流水线中的位置，是时候看看指导有效切片策略的核心原则了。理解这些基础将为在广泛的 AI 与 RAG 应用中应用切片奠定基础。
由于语言模型的上下文窗口有限，切片是必要的。主要目标是在模型上下文窗口内，创建独立有意义、同时又能共同保留文档整体结构与意图的片段。
然而，上下文窗口并非唯一考量。设计切片策略时，我关注三条核心原则：
这些原则协同作用，使片段既对模型有用，又利于检索流水线的效率。在此基础上，我将介绍实践中最常见的切片策略。
切片策略概览
切片策略领域提供了多样化的方法，以适配不同的内容类型、应用场景和性能需求。如下图所示，您可以看到主要切片方法的概览，我将在接下来的章节中深入讲解。
切片策略概览
这一全面概览展示了从简单的基于规则方法到复杂的 AI 驱动技术的演进，每种方法都能针对特定应用与性能要求提供独特优势。
深入解析：常见切片方法
让我们更深入地了解最广泛使用的切片策略。每种方法都有自身的优势、局限和最佳适用场景。理解这些差异后，我可以为特定项目选择合适的方法，而不是套用一刀切的方案。我们先从最直接的方式——固定大小切片——开始。
固定大小切片
固定大小切片是最简单的方法。它根据字符、词或 token 的数量来切分文本——而不考虑其含义或结构。
固定大小切片的主要优势是计算效率——快速、可预测、易于实现。其缺点是常常忽略语义结构，从而降低检索准确性。我通常在重视简洁与速度、且文档结构不重要时采用此法。为改进表现，我常在片段之间加入重叠，以在边界处保留上下文。
基于句子的切片
一种弥补上述不足的方式是基于句子的切片，它尊重自然语言边界，通常通过检测句号或问号等标点实现。
这种方法保留可读性，确保每个片段相对独立。与固定大小切片相比，它产生的段落更易于人类和模型解读。不过，由于句子长度存在差异，片段大小可能不均衡，也未必总能捕捉更深层的语义关系。
我发现，基于句子的切片最适合依赖自然语言流的应用，如机器翻译、情感分析或摘要任务。但当文档具有比简单句子更强的结构时，递归切片提供了更灵活的替代方案。
递归切片
递归切片比前述方法更高级。它逐步应用切分规则，直到每个片段符合预设的大小限制。例如，我可能先按章节标题切分，再按段落，最后按句子。该过程持续进行，直至每部分可控并在预定义大小内。
递归切片
这种方法的主要优势是灵活性。通过自上而下的方式，递归切片既能保留文档结构，又能确保与模型的上下文窗口兼容。然而，递归切片实现更为复杂，且结果质量取决于源文档结构的良好程度。
在处理技术手册或其他结构清晰的文档时，我经常采用递归切片。
语义切片
递归方法依赖结构，而语义切片则将重点转向“意义”，根据概念边界切分文本。语义切片是一种“知意”的技术，它使用嵌入或语义相似度，在主题发生变化处进行切分。片段由意义而非任意边界所定义。
一种做法是将文本拆成句子，测量它们之间的语义相似度（如对嵌入做余弦相似度），当连贯性下降时标记新片段。更高级的实现采用聚类方法或有监督的边界检测模型，以更好地捕捉复杂文档中的主题转移。
语义切片
该方法保持语义连贯，确保每个片段覆盖单一观点或主题。技术手段可能包括嵌入相似度、聚类或其他语义距离计算，以检测自然断点。
最大优势在于精确性——语义切片能生成与用户意图高度一致的片段，从而提升检索准确性。主要缺点是计算成本较高，因为需要在预处理阶段对文本进行嵌入。当准确性比速度更重要时（如法律或医疗等特定领域的 RAG 系统），我会采用语义切片。
滑动窗口切片
与强调语义连贯性的语义切片相对，滑动窗口切片通过重叠片段、在文本上移动一个窗口来强调连续性。例如，若我使用 500 个 token 的片段大小（窗口）和 250 的步幅，每个片段都会与前一个片段重叠一半。
这种重叠能在片段边界处保留上下文，降低丢失边缘重要信息的风险。它也能提升检索准确性，因为多个重叠片段可能会在响应某个查询时共同浮现。代价是冗余——重叠会增加存储和处理成本。滑动窗口尤其适用于聊天记录或播客转录等非结构化文本。
滑动窗口切片
实施该策略时，我通常在片段之间设置 20–50% 的重叠，以跨越边界保留上下文，尤其在技术性或对话性文本中。像 LangChain 等框架的常见默认片段大小为 200–400 个 token，但可根据模型上下文限制和文档类型进行调优。我建议在对上下文保留要求高、且对存储效率不太敏感的应用中采用此法。
分层与情境化切片
当连续性不足以满足需求、且必须保留文档结构时，就需要采用分层与情境化切片。
分层切片保留文档从章节到句子的完整结构。它不是产生一个扁平的片段列表，而是构建一棵反映原始层级的树。每个片段与其上下级之间存在父子关系。例如，一个章节包含多个段落（父 → 子），每个段落可能包含多句句子。
在检索过程中，这种结构支持灵活的导航。如果查询匹配到句子级片段，系统可以向上展开，提供来自其父段落甚至整节的额外上下文。反之，若宽泛的查询匹配到章节级片段，系统可向下钻取到最相关的子段落或句子。这种多层级检索同时提升精确率与召回率，因为模型可以调整返回内容的范围。
分层切片
情境化切片更进一步，通过为片段补充标题、时间戳或来源引用等元数据来丰富其语境。这些额外信息提供重要信号，帮助检索系统消歧。例如，两份文档可能包含几乎相同的句子，但它们的章节标题或时间戳可以决定哪一条更符合查询。元数据也使答案溯源更容易，这在受监管或合规驱动领域尤为重要。
情境化切片
分层与情境化切片的主要好处是准确性与灵活性。代价是在预处理和检索逻辑上增加复杂度，因为系统必须管理片段之间的关系，而不是将其视为相互独立的单元。我建议在法律合同、财务报告或技术规范等领域采用这些方法，在这些场景中保留结构与可追溯性至关重要。
基于主题与特定模态的切片
并非所有文档都遵循严格的层级结构，因此基于主题或特定模态的切片提供了更灵活的方式来聚类相关内容。
基于主题的切片通过主题建模算法（如 LDA）或基于嵌入的聚类方法来识别语义边界，将文本按主题单元进行分组。
不同于固定大小或结构标记，其目标是将与同一主题相关的内容汇聚在一起。该方法适用于在不同主题之间切换的长篇内容，如研究报告或文章。由于每个片段聚焦单一主题，检索结果更契合用户意图，也更不易夹杂无关材料。
特定模态的切片将策略适配不同内容类型，确保以尊重各媒介结构的方式进行分段。例如：
基于主题与特定模态的切片
元数据在特定模态的切片中尤为重要。例如，将列标题附加到表格行、将标题说明关联到图像区域，或为转录添加说话人标签和时间戳，都有助于检索系统定位正确片段并正确解读。这种增强既提升精度，也提升用户信任，因为结果附带解释其相关性的语境信号。
在处理多模态流水线或不符合传统文本策略的非传统文档时，我建议采用特定模态的切片。它确保每种内容类型都以最大化检索质量与可用性的方式呈现。
Agentic 与 AI 驱动的动态切片
超越以上基于规则与语义的方法，前沿做法如 AI 驱动的动态切片与 agentic 切片将边界进一步推进。
AI 驱动的动态切片由大型语言模型直接确定片段边界，而非依赖预定义规则。LLM 扫描文档、识别自然断点，并自适应调整片段大小。
密集内容会被切分得更小，较为轻量的部分则可合并。这会产生语义连贯且涵盖完整概念的片段，从而提升检索准确性。当处理高价值、复杂文档（如法律合同、合规手册或研究论文）且更看重检索精度而非吞吐或成本时，该方法尤其适用。
另一方面，agentic 切片在此思路上更进一步，引入更高层次的推理。AI 代理并非仅让 LLM 去切分文本，而是会评估文档与用户意图，并据此决定如何切片。
代理可能为不同章节选择不同策略。例如，将医疗报告按病史、实验结果与医师记录拆分，同时对叙述性描述应用语义分割。它也可能为某些片段添加时间戳、诊断代码或临床医师标识等元数据。
通过这种方式，agentic 切片充当编排层：代理会动态选择或组合切片方法，而不是在整篇文档上应用单一方法。结果是更量身定制、情境感知更强的切片，但代价是更高的复杂度与计算需求。
Agentic 与 AI 驱动的动态切片
这两种方法都很前沿且强大，但解决的问题不同。AI 驱动的动态切片聚焦在摄取阶段产出语义对齐的边界；而 agentic 切片聚焦于为每份独特文档智能选择与组合切片策略。它们与延迟切片相关（本文开头提及），该方法通过先对整篇文档进行嵌入再在嵌入层面进行切片来支持长上下文模型。
这些方法能提供高度自适应、语义感知的片段。但权衡也很明显：AI 驱动切片成本高且可能更慢，而 agentic 切片则增加了另一层复杂性与基础设施需求。AI 驱动的动态切片适用于需要即时有意义分段的场景；而当文档差异巨大且需要策略层面的推理时，agentic 切片更具优势。
实施考量
一旦选定切片策略，下一步就是考虑实施细节。诸如片段大小、重叠管理与 token 计数等实际因素会直接影响系统表现。若片段过大，可能超出上下文限制；过小，则会丢失意义。
兼容性是另一个关键点。不同模型与嵌入方案具有各自的分词方式与上下文窗口，因此我会确保切片流程考虑到这些差异。
在基础设施方面，内存管理与计算效率不可忽视；重叠会增加冗余，递归或语义方法会带来处理开销。后处理步骤（如片段扩展或元数据增强）有助于找回上下文，但也会引入额外复杂性。
在打好这些基础之后，评估切片策略在实践中的效果尤为重要。
性能评估与优化
切片的有效性不仅是理论问题——必须通过清晰的指标来衡量。
例如，上下文精确率（Context precision）衡量检索到的片段中有多少实际与查询相关；而上下文召回率（context recall）衡量从知识库中成功检索到的相关片段占比。
二者结合可揭示某一切片策略是否有助于检索器找到正确信息。
密切相关的还有上下文相关性（context relevancy），它关注检索片段与用户意图的契合度，特别适合在调优 top-K 等检索参数时使用。
其他针对片段的指标，如片段利用率（chunk utilization），衡量模型在生成回答时实际使用了片段内容的多少；若利用率低，片段可能过于宽泛或噪声过大。
另一方面，片段归因（chunk attribution）评估系统是否正确识别出哪些片段对最终答案有贡献。这些片段级评估有助于确认片段不仅被检索到，而且得到了有意义的应用。
优化同样关键，且往往意味着在速度与准确性之间权衡。通过试验片段大小、重叠比例与检索参数，以同时提升计算效率与语义丰富度至关重要。此外，A/B 测试能够提供具体反馈，而迭代调整则确保策略不断改进而非停滞不前。
尽管性能调优能改善通用系统，但特定领域应用也有其独特挑战。
特定领域的切片应用
不同行业对切片策略的要求各不相同。在金融领域，年报或监管文件等文档内容密集且技术性强，因此必须选择能保留数值表格、页眉及脚注的切片策略。法律与技术文档也有类似挑战——对准确性与结构的要求不可妥协，这使得分层或情境增强的方法尤为有价值。
医疗与多模态文档带来了新的需求。病历可能结合临床笔记、实验结果与影像数据，而多模态文档还可能整合文本、图表或音频转录。在这里，特定模态的切片确保每种数据类型以既能保留意义、又能在多模态间保持对齐的方式进行分段。
不论在哪个领域，遵循一套最佳实践都能让切片策略更可靠、更易维护。
最佳实践与指南
选择合适的切片策略取决于多个因素：内容类型、查询复杂度、可用资源，以及模型的上下文窗口大小。我很少在所有场景中只依赖单一方法——而是根据系统需求调整方案。
迭代优化是长期成功的核心。必须持续测试切片效果，用真实查询验证结果，并基于反馈进行调整。交叉验证有助于确保改进并非一次性成功，而能在不同用例中站得住脚。
最后，我建议将切片视为一个不断演进的系统。良好的文档记录、定期测试与持续维护有助于防止漂移，并确保随着数据与模型的变化，流水线仍然稳健可靠。
结语
切片看似预处理细节，但正如您在本指南中所见，它从根本上影响检索增强生成系统的表现。从固定大小与基于句子的方法，到更先进的语义、agentic 与 AI 驱动策略，每种方法都在简洁性、准确性、效率与适应性之间进行权衡。
没有单一方法适用于所有场景。合适的切片策略取决于内容类型、语言模型能力以及应用目标。只要关注语义连贯、上下文保留与计算效率等原则，您就能设计出既提升检索精度、又优化性能并确保输出更可信的片段。
展望未来，切片策略将变得更具动态性、自适应性与模型感知。随着长上下文模型的发展与评估工具的成熟，我预计切片将从静态预处理步骤，演进为一种智能、对语境敏感并能持续从使用中学习的过程。
对于任何构建 RAG 系统的人来说，掌握切片是打造准确、高效且面向未来的检索流水线的关键。
若想继续学习，欢迎查看以下资源：