想象一下，您有一位异常擅长解决复杂难题的聪明朋友。但每次您提出新问题时，Ta 都得从零开始，之前学到的一切统统被遗忘。
这是不是挺让人沮丧？在处理复杂推理任务时，我们在大语言模型（LLM）上遇到的挑战正是如此。LLM 擅长生成文本，但由于无法保留以往交互中的知识，常常在复杂推理上显得吃力。
但如果给这些 LLM 一个“心智笔记本”，用来存储并复用有价值的洞见——这就是Buffer of Thoughts（BoT）框架的精髓。
本教程将带您了解 Buffer of Thoughts（BoT）——一个正在改变 LLM 解决复杂问题方式的新框架。我将先解释 BoT 的基本理念，包括元缓冲区与缓冲区管理器。接着，我们会按步骤看 BoT 如何工作：从理解问题，到检索并使用合适的思维模板，您将看到 BoT 如何让 LLM 更加准确、高效、可靠。
我还会分享这篇论文中的一些令人印象深刻的实验结果，展示 BoT 在不同任务上的表现。读完本教程，您将理解为什么 BoT 目前备受关注，以及它如何应用于真实场景。
什么是 Buffer of Thoughts（BoT）？
Buffer of Thoughts（BoT）是一个用于提升 LLM 推理能力的新框架。
BoT 结合两个核心要素，引导 LLM 处理复杂推理任务：
- 一个元缓冲区（meta-buffer），即高层次问题求解策略的集合。
- 一个缓冲区管理器（buffer manager），用于智能地组织与更新这些策略。
下面更详细地看看这两个组件。
元缓冲区
这个元缓冲区就像一座通用问题求解策略的图书馆。它存放“思维模板”，也就是解决问题的高层方法。这些模板来自 LLM 遭遇过的不同任务。
把它想象成一个工具箱，里面的多功能工具可被灵活应用于各类工作。
缓冲区管理器
这个缓冲区管理器是 BoT 系统的动态组织者。它的职责包括：随着更多任务被解决，向元缓冲区补充新的思维模板；为每个新问题选择最相关的模板；并根据表现对现有模板进行改进。
这就像有位私人助理，不断整理您的笔记，标注最有用的信息，并帮您将其应用到新的挑战中。
思维增强型推理
真正的魔法发生在思维增强型推理过程中。面对新问题时，BoT 框架会：
1. 分析问题，理解其关键要素。
2. 从元缓冲区检索相关的思维模板。
3. 调整这些模板，为该问题构建专属的推理结构。
4. 依据该结构引导 LLM 完成求解过程。
设想您是一名厨师。元缓冲区就是您的私房菜谱。这本菜谱不只收录具体食谱，还包含各种烹饪技法。例如，如何正确煸炒蔬菜、如何熬制完美的收汁、或如何平衡风味。这些高层策略可广泛应用于不同菜品。
再想象您还有一位非常有条理、知识渊博的副厨。这位副厨就是您的缓冲区管理器。Ta 会帮您从菜谱中挑选最适合您当前菜品的技法。烹饪过程中，副厨会记录哪些方法有效、哪些不奏效，并相应更新您的技法与策略。
当有新订单进来时，您不会从零开始。相反，您会查阅菜谱（元缓冲区）寻找最佳技法，并依赖副厨（缓冲区管理器）高效地引导流程。副厨会记得过去在相似菜品上最有效的方法，帮助您调整做法，确保菜品出品迅速且品质上乘。
在您的厨房中，这个流程可能是这样的：
- 分析订单： 您（主厨）分析新订单的关键要素——菜品类型、所需食材以及顾客的特殊要求。
- 检索相关技法： 您的副厨（缓冲区管理器）从菜谱（元缓冲区）检索相关烹饪技法（思维模板）。例如，针对主食材的特定处理方法，以及配套酱汁的制作方式。
- 调整技法： 您们共同调整这些技法，为新菜品制定具体方案。这可能涉及微调酱汁以匹配主食材，或根据分量调整烹饪时间。
- 引导烹饪流程： 按照这份量身定制的方案，您在结构化方法的指引下完成烹饪。
Buffer of Thoughts（BoT）如何工作
既然我们已了解 BoT 及其关键组件，接下来看看它的幕后机制。我们将其分为四个要素：
- 问题蒸馏器（Problem distiller）
- 元缓冲区与思维检索
- 实例化推理
- 缓冲区管理器
问题蒸馏器
问题蒸馏器的作用类似一位熟练的“翻译”，把复杂问题转换成 BoT 易于理解与处理的语言。
可以把它想成一位细致的“阅读者”，从输入问题中提取关键信息与约束条件，就像在课文中标注重点。
当问题蒸馏器识别出这些关键要素后，会将其组织成高层概念与结构。这类似为长文撰写精要摘要，聚焦主旨，剔除冗余细节。
例如，若给出一个关于列车时刻的复杂问题，问题蒸馏器会细致提取“列车速度”“发车时间”“站间距离”等关键元素，并将这些要素组织成便于 BoT 处理和理解的结构化格式。
元缓冲区与思维检索
元缓冲区是 BoT 的知识库，负责存储与组织思维模板，便于快速访问。它包含模板及其描述，并进行分类以高效检索。
它好比一座井然有序的图书馆，每本“书”（思维模板）都有详尽描述，并被放在正确的分区。
当 BoT 需要检索模板时，会将蒸馏后的问题与模板描述进行比对，找到最相关的一个。这就像图书管理员根据您的需求描述快速找到最合适的书。
BoT 也能识别全新的任务，判断需要创建新的思维模板。这类似在个人书库中新增一个全新类别。
延续列车时刻的例子，BoT 的元缓冲区会包含多种思维模板，并配有详细描述。例如，有的与时间管理相关，有的与空间推理相关，还有的与优化策略相关。
当 BoT 遇到列车时刻问题时，会将“列车速度”“发车时间”“站间距离”等蒸馏要素与元缓冲区中的模板描述比对，检索最相关的模板。例如，它可能选择一个擅长排程与时间优化的模板来高效应对该问题。
如果 BoT 发现该问题包含以往未见的独特要素，如异常的约束类型或全新的优化目标，它会识别该任务为全新场景，需要创建新的思维模板。
比如，若问题涉及跨多种交通方式（火车、公交、航班）的排程协调，BoT 可能会新建并存储一个面向多模态排程的模板，为今后遇到类似问题做好准备。
通过这种方式，元缓冲区让 BoT 能高效存储、检索与创造新的解题策略，增强处理复杂任务的能力。
实例化推理
在这一步，BoT 将选定的思维模板应用于眼前的具体问题。
对于已有模板，检索到的思维模板会被调整以适配当前问题。这有点像照着食谱做菜，但会根据就餐人数调整配料和分量。BoT 会微调模板以匹配问题细节，从而实现更贴合、更有效的解决方案。
遇到没有现成模板的新任务时，BoT 会使用预定义的通用模板。就像在从未做过的新菜上先用基本烹饪技法。依靠基本原理，BoT 能在陌生领域中探索并按需发展新策略。
针对列车时刻问题，BoT 会检索聚焦时间优化与排程的模板，并为当前问题进行调整。比如，若原模板只包含优化单列车时刻的方法，BoT 会把它扩展为可同时处理多列车、不同速度与不同发车时间。这样的定制化方案能确保所有列车高效准点，并兼顾当前问题的独特约束。
再比如，若 BoT 需要把列车时刻与公交、航班时刻整合，打造无缝的多模态交通系统，而这方面没有现成模板，BoT 会启用通用模板，应用排程与优化的基本原则，如拆解问题、分别分析各交通方式、再整合解法。通过该过程，BoT 能发展出新策略与新模板，强化其解决类似多模态排程问题的能力。
缓冲区管理器
缓冲区管理器是系统的学习与优化组件，持续改进 BoT 的知识库。
在模板蒸馏过程中，缓冲区管理器会将求解过程总结为高层思维。这类似在项目完成后撰写“经验教训”文档，提炼有效做法及其原因。
在动态更新方面，缓冲区管理器会用新模板更新元缓冲区。它通过相似度阈值来决定是新增模板还是更新现有模板，从而保持元缓冲区的轻量与高效。这就像厨师不断打磨菜谱，既加入新技法、改进旧方法，又让菜谱保持简洁实用。
设想 BoT 刚解决了一个涉及多列车、不同速度与不同发车时间的复杂时刻问题。任务完成后，缓冲区管理器会将求解过程总结为高层思维，记录行之有效的关键策略，例如优化重叠时段或应对高峰出行的具体方法。
随后，若 BoT 在未来遇到类似但略有差异的排程问题，缓冲区管理器会根据新经验更新元缓冲区。例如，当问题涉及列车与公交的时刻整合时，管理器可能会在现有列车排程模板中纳入多模态整合技法。
Buffer of Thoughts（BoT）的优势
BoT 框架在发展 LLM 推理方面具有多项显著优势，如提升准确性、提高推理效率以及增强模型稳健性。
准确性提升
BoT 通过全新的方法显著提升 LLM 的推理准确性：
- 共享思维模板
- LLM 在每项任务上都能有一个扎实的起点。
- 这是通过复用一套行之有效的解题策略库来实现的。
- 自适应实例化
- BoT 并非生搬硬套模板。
- 而是会根据具体问题进行调整。
- 一致性方法
- BoT 降低随机性错误的概率。
- 通过对相似问题采用相似策略来实现。
推理效率
BoT 显著提升 LLM 推理效率，节省时间与算力资源：
- 复用历史结构：不再每次从零开始，而是复用并调整成熟的推理模式。
- 流程更精简：避免其他方法中常见的复杂多次查询流程。
- 降低计算负担：通过复用思维模板，BoT 完成每项任务所需的算力显著减少。
模型稳健性
BoT 提升 LLM 的稳健性，使其在各类任务中更可靠一致：
- 一致的问题求解方式： 借助结构化、类人思维流程，BoT 确保相似问题用相似方式处理。
- 适应新场景： 识别新任务并应用通用模板的能力，使其在陌生情境下依然稳健。
- 降低对输入表述变化的敏感性： BoT 关注高层思维结构，因此不易受问题表述细微变化影响。
实验结果
Buffer of Thoughts（BoT）框架已在多种任务上进行了测试，并取得了令人瞩目的结果。更多详细信息请参见论文与GitHub 仓库，本节所述结果在其中有更详尽的呈现。
BoT 在 10 项具有挑战性的重度推理任务上进行了评估，展现出通用性与有效性。这些任务包括：
- Game of 24（24 点游戏）
- Geometric Shapes（几何图形）
- Checkmate-in-One（一步将死）
- Word Sorting（单词排序）
这些任务覆盖多种复杂推理场景，从数学解题，到策略博弈，再到语言处理。
BoT 相较以往的最新方法取得了显著提升：
- 在 24 点游戏上提升 11%
- 在几何图形任务上提升 20%
- 在一步将死上提升 51%
更令人称道的是，BoT 在仅需多次查询提示方法约 12% 的计算成本下，就达到了上述表现！
研究还发现，采用较小的语言模型（如Llama3-8B）实现 BoT，有潜力超越更大模型（如Llama3-70）的表现。这表明 BoT 能显著增强更紧凑高效的语言模型的能力。
这些结果显示，BoT 能在提升准确性的同时保持效率与稳健性，且适用于不同的推理任务。其一致的表现突显了 BoT 可靠的性能改进。不过，仍需进一步的独立验证，并在更丰富的任务上进行测试，以全面了解 BoT 的能力与边界。
结论
我们今天覆盖了很多内容，最后用几个要点收尾，并展望 BoT 的发展方向。
以上就是我们对 Buffer of Thoughts 的介绍。希望本教程能帮助您清晰理解其关键概念、工作原理、优势，以及对 AI 推理的潜在影响。
感谢您的阅读，下次再见！
如果您想进一步学习提示工程，我推荐以下博文：
想象一下，您有一位异常擅长解决复杂难题的聪明朋友。但每次您提出新问题时，Ta 都得从零开始，之前学到的一切统统被遗忘。
这是不是挺让人沮丧？在处理复杂推理任务时，我们在大语言模型（LLM）上遇到的挑战正是如此。LLM 擅长生成文本，但由于无法保留以往交互中的知识，常常在复杂推理上显得吃力。
但如果给这些 LLM 一个“心智笔记本”，用来存储并复用有价值的洞见——这就是Buffer of Thoughts（BoT）框架的精髓。
本教程将带您了解 Buffer of Thoughts（BoT）——一个正在改变 LLM 解决复杂问题方式的新框架。我将先解释 BoT 的基本理念，包括元缓冲区与缓冲区管理器。接着，我们会按步骤看 BoT 如何工作：从理解问题，到检索并使用合适的思维模板，您将看到 BoT 如何让 LLM 更加准确、高效、可靠。
我还会分享这篇论文中的一些令人印象深刻的实验结果，展示 BoT 在不同任务上的表现。读完本教程，您将理解为什么 BoT 目前备受关注，以及它如何应用于真实场景。
什么是 Buffer of Thoughts（BoT）？
Buffer of Thoughts（BoT）是一个用于提升 LLM 推理能力的新框架。
BoT 结合两个核心要素，引导 LLM 处理复杂推理任务：
下面更详细地看看这两个组件。
元缓冲区
这个元缓冲区就像一座通用问题求解策略的图书馆。它存放“思维模板”，也就是解决问题的高层方法。这些模板来自 LLM 遭遇过的不同任务。
把它想象成一个工具箱，里面的多功能工具可被灵活应用于各类工作。
缓冲区管理器
这个缓冲区管理器是 BoT 系统的动态组织者。它的职责包括：随着更多任务被解决，向元缓冲区补充新的思维模板；为每个新问题选择最相关的模板；并根据表现对现有模板进行改进。
这就像有位私人助理，不断整理您的笔记，标注最有用的信息，并帮您将其应用到新的挑战中。
思维增强型推理
真正的魔法发生在思维增强型推理过程中。面对新问题时，BoT 框架会：
1. 分析问题，理解其关键要素。
2. 从元缓冲区检索相关的思维模板。
3. 调整这些模板，为该问题构建专属的推理结构。
4. 依据该结构引导 LLM 完成求解过程。
设想您是一名厨师。元缓冲区就是您的私房菜谱。这本菜谱不只收录具体食谱，还包含各种烹饪技法。例如，如何正确煸炒蔬菜、如何熬制完美的收汁、或如何平衡风味。这些高层策略可广泛应用于不同菜品。
再想象您还有一位非常有条理、知识渊博的副厨。这位副厨就是您的缓冲区管理器。Ta 会帮您从菜谱中挑选最适合您当前菜品的技法。烹饪过程中，副厨会记录哪些方法有效、哪些不奏效，并相应更新您的技法与策略。
当有新订单进来时，您不会从零开始。相反，您会查阅菜谱（元缓冲区）寻找最佳技法，并依赖副厨（缓冲区管理器）高效地引导流程。副厨会记得过去在相似菜品上最有效的方法，帮助您调整做法，确保菜品出品迅速且品质上乘。
在您的厨房中，这个流程可能是这样的：
Buffer of Thoughts（BoT）如何工作
既然我们已了解 BoT 及其关键组件，接下来看看它的幕后机制。我们将其分为四个要素：
问题蒸馏器
问题蒸馏器的作用类似一位熟练的“翻译”，把复杂问题转换成 BoT 易于理解与处理的语言。
可以把它想成一位细致的“阅读者”，从输入问题中提取关键信息与约束条件，就像在课文中标注重点。
当问题蒸馏器识别出这些关键要素后，会将其组织成高层概念与结构。这类似为长文撰写精要摘要，聚焦主旨，剔除冗余细节。
例如，若给出一个关于列车时刻的复杂问题，问题蒸馏器会细致提取“列车速度”“发车时间”“站间距离”等关键元素，并将这些要素组织成便于 BoT 处理和理解的结构化格式。
元缓冲区与思维检索
元缓冲区是 BoT 的知识库，负责存储与组织思维模板，便于快速访问。它包含模板及其描述，并进行分类以高效检索。
它好比一座井然有序的图书馆，每本“书”（思维模板）都有详尽描述，并被放在正确的分区。
当 BoT 需要检索模板时，会将蒸馏后的问题与模板描述进行比对，找到最相关的一个。这就像图书管理员根据您的需求描述快速找到最合适的书。
BoT 也能识别全新的任务，判断需要创建新的思维模板。这类似在个人书库中新增一个全新类别。
延续列车时刻的例子，BoT 的元缓冲区会包含多种思维模板，并配有详细描述。例如，有的与时间管理相关，有的与空间推理相关，还有的与优化策略相关。
当 BoT 遇到列车时刻问题时，会将“列车速度”“发车时间”“站间距离”等蒸馏要素与元缓冲区中的模板描述比对，检索最相关的模板。例如，它可能选择一个擅长排程与时间优化的模板来高效应对该问题。
如果 BoT 发现该问题包含以往未见的独特要素，如异常的约束类型或全新的优化目标，它会识别该任务为全新场景，需要创建新的思维模板。
比如，若问题涉及跨多种交通方式（火车、公交、航班）的排程协调，BoT 可能会新建并存储一个面向多模态排程的模板，为今后遇到类似问题做好准备。
通过这种方式，元缓冲区让 BoT 能高效存储、检索与创造新的解题策略，增强处理复杂任务的能力。
实例化推理
在这一步，BoT 将选定的思维模板应用于眼前的具体问题。
对于已有模板，检索到的思维模板会被调整以适配当前问题。这有点像照着食谱做菜，但会根据就餐人数调整配料和分量。BoT 会微调模板以匹配问题细节，从而实现更贴合、更有效的解决方案。
遇到没有现成模板的新任务时，BoT 会使用预定义的通用模板。就像在从未做过的新菜上先用基本烹饪技法。依靠基本原理，BoT 能在陌生领域中探索并按需发展新策略。
针对列车时刻问题，BoT 会检索聚焦时间优化与排程的模板，并为当前问题进行调整。比如，若原模板只包含优化单列车时刻的方法，BoT 会把它扩展为可同时处理多列车、不同速度与不同发车时间。这样的定制化方案能确保所有列车高效准点，并兼顾当前问题的独特约束。
再比如，若 BoT 需要把列车时刻与公交、航班时刻整合，打造无缝的多模态交通系统，而这方面没有现成模板，BoT 会启用通用模板，应用排程与优化的基本原则，如拆解问题、分别分析各交通方式、再整合解法。通过该过程，BoT 能发展出新策略与新模板，强化其解决类似多模态排程问题的能力。
缓冲区管理器
缓冲区管理器是系统的学习与优化组件，持续改进 BoT 的知识库。
在模板蒸馏过程中，缓冲区管理器会将求解过程总结为高层思维。这类似在项目完成后撰写“经验教训”文档，提炼有效做法及其原因。
在动态更新方面，缓冲区管理器会用新模板更新元缓冲区。它通过相似度阈值来决定是新增模板还是更新现有模板，从而保持元缓冲区的轻量与高效。这就像厨师不断打磨菜谱，既加入新技法、改进旧方法，又让菜谱保持简洁实用。
设想 BoT 刚解决了一个涉及多列车、不同速度与不同发车时间的复杂时刻问题。任务完成后，缓冲区管理器会将求解过程总结为高层思维，记录行之有效的关键策略，例如优化重叠时段或应对高峰出行的具体方法。
随后，若 BoT 在未来遇到类似但略有差异的排程问题，缓冲区管理器会根据新经验更新元缓冲区。例如，当问题涉及列车与公交的时刻整合时，管理器可能会在现有列车排程模板中纳入多模态整合技法。
Buffer of Thoughts（BoT）的优势
BoT 框架在发展 LLM 推理方面具有多项显著优势，如提升准确性、提高推理效率以及增强模型稳健性。
准确性提升
BoT 通过全新的方法显著提升 LLM 的推理准确性：
推理效率
BoT 显著提升 LLM 推理效率，节省时间与算力资源：
模型稳健性
BoT 提升 LLM 的稳健性，使其在各类任务中更可靠一致：
实验结果
Buffer of Thoughts（BoT）框架已在多种任务上进行了测试，并取得了令人瞩目的结果。更多详细信息请参见论文与GitHub 仓库，本节所述结果在其中有更详尽的呈现。
BoT 在 10 项具有挑战性的重度推理任务上进行了评估，展现出通用性与有效性。这些任务包括：
这些任务覆盖多种复杂推理场景，从数学解题，到策略博弈，再到语言处理。
BoT 相较以往的最新方法取得了显著提升：
更令人称道的是，BoT 在仅需多次查询提示方法约 12% 的计算成本下，就达到了上述表现！
研究还发现，采用较小的语言模型（如Llama3-8B）实现 BoT，有潜力超越更大模型（如Llama3-70）的表现。这表明 BoT 能显著增强更紧凑高效的语言模型的能力。
这些结果显示，BoT 能在提升准确性的同时保持效率与稳健性，且适用于不同的推理任务。其一致的表现突显了 BoT 可靠的性能改进。不过，仍需进一步的独立验证，并在更丰富的任务上进行测试，以全面了解 BoT 的能力与边界。
结论
我们今天覆盖了很多内容，最后用几个要点收尾，并展望 BoT 的发展方向。
以上就是我们对 Buffer of Thoughts 的介绍。希望本教程能帮助您清晰理解其关键概念、工作原理、优势，以及对 AI 推理的潜在影响。
感谢您的阅读，下次再见！
如果您想进一步学习提示工程，我推荐以下博文：