该视频演示了 SAM 2 在视频分割中的应用，展示了其在多帧间精确跟踪与分割对象的能力。即便在遮挡或快速运动等具有挑战性的场景中，SAM 2 也能保持分割的一致性。
让我们来看看 SAM 2 如何拓展计算机视觉的可能性，并为可达成的效果设立新标杆。
什么是 SAM 2？
SAM 2（Segment Anything Model 2）是 Meta AI 在 计算机视觉技术上的最新进展。它在原版 SAM 的基础上，进一步提升了图像与视频分割能力。
本质上，SAM 2 能生成精确的分割掩码，用于识别并分离图像或视频中的对象。
设想您有一张包含多个对象的复杂图像，需要选中其中某个对象进行后续编辑。传统方法通常需要沿着对象边缘逐像素描摹，既耗时又繁琐。SAM 2 可在杂乱场景中自动生成精确的分割掩码，大幅简化这一流程。
如果您要编辑一个角色在画面中走动的视频，并希望在整个场景中始终保持其聚焦，借助 SAM 2，您可以轻松跟踪角色的移动，即使其在短暂消失或形变的情况下也不例外。
另一个示例展示了 SAM 2 在复杂视频编辑场景中的稳健性：即使角色短暂消失或形变，模型依然能保持聚焦并准确跟踪其运动。
SAM 2 与 SAM 的比较
尽管原版 SAM 已相当出色，SAM 2 仍通过多项关键改进将能力提升到新水平。
|
特性 |
SAM |
SAM2 |
|
分割能力 |
仅图像 |
图像与视频 |
|
视频分割 |
不支持 |
具备记忆的实时视频分割 |
|
准确度与速度 |
基线水平 |
准确度提升，图像分割速度快 6 倍 |
|
架构 |
不同任务使用独立模型 |
图像与视频分割采用统一模型 |
|
开源 |
是 |
是 |
视频分割
SAM 2 引入了在视频中分割对象的能力，这是对前代的一项重要提升。
该能力通过“会话级记忆模块”实现，它在帧间持续跟踪目标对象。记忆存储于所谓的“记忆库（memory bank）”中，保留对象的空间特征图与语义信息。
模型的注意力机制——具体而言，自注意力与交叉注意力——将当前帧的特征与过往帧进行比对。
性能提升
SAM 2 可实时处理视频帧，速度约为每秒 44 帧，适用于直播视频应用与交互式编辑。其速度与准确度均显著提升，使之能够高精度处理复杂任务。
更精细的提示
SAM 2 支持更高级的提示技术，包括将掩码作为输入提示。这一扩展功能可更精准地限定关注区域，提升模型在多重重叠对象复杂场景下的处理能力。
交互式分割
在 SAM 2 中，您可以在任意帧通过提供提示实时调整分割结果。这种交互性支持迭代细化，尤其适用于后期视频编辑等对精度要求极高的流程。
SAM 2 的应用
SAM 2 不仅适用于基础的照片或视频编辑——其强大功能可广泛应用于数字艺术、医疗健康以及自动驾驶等多个领域。
创意产业
SAM 2 能通过简化对象移除、背景替换与高级合成等任务，革新图像与视频编辑流程。
例如，借助 SAM 2，将来自不同来源的元素组合成超现实的风景变得轻而易举，让复杂编辑几乎不费吹灰之力。
除了传统编辑，SAM 2 在生成式 AI中也表现出色，能对生成图像与视频中的元素进行精细控制。这一能力激发内容创作新灵感，更易产出独特且个性化的成果。
此外，SAM 2 若集成至 Instagram 等社交平台，还可推动新滤镜或特效的开发，使其能实时适配不同对象与场景，提升用户参与度与创意表达。
科学与研究
在医学影像中，SAM 2 有助于精确识别与分离扫描中的不同身体部位。
科学家还可用 SAM 2 在新药测试时密切监测肿瘤体积变化，获得更准确的结果，更好评估治疗效果。
SAM 2 的作用并不限于医学。在环境研究等其他科学领域，它也能大显身手。例如，SAM 2 可精确分析卫星图像，用于追踪森林砍伐、冰川融化或城市化变化等。对于需要高精度视觉数据的研究者而言，这是一款极具价值的工具。
自主系统
汽车行业将从 SAM 2 的实时、精准对象分割中受益良多。通过提升自动驾驶车辆的感知系统，SAM 2 有助于精确识别与跟踪行人、其他车辆及障碍物，这对在复杂驾驶环境中的安全导航至关重要。
设想一辆自动驾驶汽车穿行于繁忙都市。SAM 2 的高级分割确保车辆能够准确识别并应对潜在风险，大幅提升道路安全。这不仅增强了自动驾驶系统的可靠性，也有助于推动自动驾驶技术更广泛地落地应用。
增强现实
SAM 2 在增强现实（AR）方面同样潜力巨大。凭借其实时精确跟踪对象的能力，虚拟元素能与现实世界无缝融合，打造更沉浸的 AR 体验。这项技术将显著增强游戏、教育乃至远程办公中的 AR 应用，为用户提供更具互动性与响应性的工具。
数据标注与训练 AI 模型
SAM 2 的另一大用途是构建带标注的数据集（由图像与视频组成）。SAM 2 能在大型数据集上自动完成分割，显著减少人工工作量与时间成本。由此加快 AI 开发进程并提升训练数据质量，进而得到更强大、更精准的模型。
SAM2：其工作原理
下面简要了解一下 SAM 2 的幕后机制。
SAM 2 基于由三大核心组件构成的精巧架构：图像编码器、灵活的提示编码器与快速掩码解码器。它们协同工作，高效处理图像与视频。
- 图像编码器：采用分层架构，可从视频帧中捕获多尺度特征，同时识别宏观模式与细节。
- 提示编码器：结合自注意力与交叉注意力机制，根据用户输入（如点击或掩码）细化分割。
- 掩码解码器：高速处理来自编码器的信息，即时输出高质量分割掩码，即便面对复杂场景亦然。
记忆注意力与时空理解
SAM 2 的一大亮点是其记忆注意力模块，这对视频分割至关重要。该模块使模型能够记住并利用过往帧的信息，从而在整个视频中持续稳定地跟踪对象。
为更好理解这一点，我们先看原版 SAM 的架构：
SAM 2 将 SAM 的架构从图像扩展至视频，使其能够在视频帧间进行对象分割。它使用多种提示（如点击或框选）来界定对象在某一帧中的范围。轻量级掩码解码器将这些提示与图像嵌入进行处理，生成分割掩码，随后在所有视频帧间传播，形成“masklet（小掩码序列）”。
系统包含记忆机制（记忆编码器、记忆库与注意力模块），可存储并利用有关对象和用户交互的信息，以改进后续帧的掩码预测。
记忆编码器会在每一帧预测出掩码后更新记忆库，随着更多帧被处理，SAM 2 能持续细化其预测。该架构专为高效处理实时流式视频而设计，适用于机器人学与数据集标注等应用。
SAM 2 也可用于图像任务，它将图像视为单帧视频。在此模式下，记忆机制被禁用。处理图像时，SAM 2 在不使用记忆组件的情况下生成分割掩码，将其视为仅考虑当前帧（图像）的简化场景。
实时性能
凭借优化的架构与高效的处理技巧，SAM 2 可在约每秒 44 帧的速度下运行。这一实时能力让其适用于广泛场景，从实时视频编辑到交互式 AI 系统。
训练数据
SAM 2 基于大量且多样化的数据集进行训练，其中包括新引入的 SA-V 数据集，覆盖 5.1 万个视频、超过 60 万条 masklet 标注。如此规模与多样性的训练数据，使 SAM 2 能在从日常物体到高度专业化领域的各类场景中具备良好泛化能力。
SAM 2 的局限
尽管 SAM 2 十分先进，但并非毫无局限。
在具挑战性的情境下，SAM 2 在图像与短视频的对象分割方面依然可能遇到困难。例如，剧烈视角变化、长时间遮挡、拥挤场景或超长视频中的对象跟踪会变得棘手。为此，模型支持通过交互式提示进行人工修正。
在拥挤场景中，若仅在单帧中指定目标对象，SAM 2 可能会混淆外观相似的对象。不过，在后续帧提供更多提示可帮助纠正。
当需要同时分割多个对象时，模型效率会下降，因为它对每个对象分别处理，缺乏对象间的信息交互。此外，SAM 2 可能错过快速运动对象的细节，且由于未强制实施时间平滑，跨帧预测可能不够稳定。
尽管 SAM 2 的自动 masklet 生成已相当先进，但在核验掩码质量、识别需修正的帧等任务上，仍离不开人工标注。未来仍需进一步自动化与改进，开发者也鼓励 AI 社区在 SAM 2 基础上持续研究并打造新应用。
SAM2：在哪里下载或访问 SAM 2？
如需下载模型权重与代码，请访问 Meta AI 网站。SAM 2 以 Apache 2.0 许可发布，开源且便于开发者与研究人员使用。您可在此处下载模型与代码。
如果您想直接体验 SAM2，可在这里试用交互式演示。
我用 SAM 2 处理了去年在威尼斯度假的一段视频。您也可以用自己的素材来轻松选择并在全片中跟踪对象。
SAM 2：更多资源
若想深入了解模型的架构、训练流程与应用，可参阅官方研究论文。论文详解了 SAM 2 背后的创新点。
如果您想更进一步了解 SAM 2，可在Meta AI 官网找到官方文档、教程等资源，包含从模型架构细节到分步实现指南的一切信息。
社区也在积极参与开源项目以改进 SAM 2。持续关注最新进展并参与社区讨论，有助于共同塑造 SAM 2 的未来，并及时受益于新功能。
为紧跟更新，建议关注Meta AI 博客并定期查看其GitHub 代码库。这些平台会发布新功能、真实应用案例，甚至是未来规划的预览。保持信息更新不仅能帮助您充分利用 SAM 2，也为您参与其演进提供机会。
SAM 2：伦理考量
与任何强大技术一样，我们需要谨慎思考如何使用 SAM 2。由于其依赖大规模数据集，其预测存在偏差风险，在安防监控与自动驾驶等敏感领域尤需警惕。
同时还需关注隐私问题，尤其是 SAM 2 可能被用于监控或跟踪人员的情境。为确保负责任地使用 SAM 2，开展公开讨论并制定清晰的伦理准则至关重要，这将有助于确保技术以有益且公平的方式服务于所有人。
同时也要铭记，像 SAM 2 这样的 AI 模型其效果取决于其训练数据。因此，使用多样且均衡的数据集训练 SAM 2 至关重要，以降低不公平结果的风险。
持续评估并保持使用透明度同样关键，这有助于维护公众信任，并确保该技术的应用尊重个人权利、提升社会福祉。
结语
Segment Anything Model 2（SAM 2）正在深刻影响计算机视觉领域，为图像与视频提供先进的分割能力。
其实时跟踪对象的能力，结合更高的准确度与更友好的提示方式，使其在众多行业中都具备重要价值。
随着 SAM 2 持续演进，它将在创意设计、科学研究等领域开启更多新机遇。Meta AI 提供交互演示，并开放模型与大规模训练数据集，鼓励 AI 社区的创新与协作，为未来在视觉理解与交互式应用方面的突破奠定基础。
常见问答
在多个对象边界相似、分割存在歧义时，SAM 2 如何处理？
当遇到歧义（如对象与其他对象共享边界）时，SAM 2 会在每一步预测多个掩码。若额外的提示仍未能消除歧义，模型将选择预测的 IoU（交并比）最高的掩码用于在视频中传播，从而尽可能保持分割的准确性。
SAM 2 在视频分割中使用了哪些具体的注意力机制来提升准确性？
SAM 2 在其记忆注意力模块中同时采用自注意力与交叉注意力机制。这些机制使模型能够聚焦于存储在记忆库中的相关过往帧，从而在对象发生形变或被遮挡时，提升跨复杂视频序列的分割准确性。
SAM 2 的记忆库如何在时间上下文与计算效率之间取得平衡？
SAM 2 的记忆库采用 FIFO（先进先出）队列来管理至多 N 个最近帧的记忆存储。此做法在保留近期帧的时间上下文与维持计算效率之间取得平衡，避免模型被过量数据所累。
SAM 2 使用何种位置编码来保持视频分割的空间准确性？
SAM 2 在其记忆注意力层中使用二维旋转位置编码（2D RoPE）。这种编码方式有助于在跨帧过程中维持空间准确性，确保对象与环境之间的位置关系在对象移动或形变时仍被一致地表示。
SAM 2 如何确保在不同人群的视频分割任务中保持公平性？
SAM 2 使用包含自报人口统计信息的 Ego-Exo4D 数据集来评估在不同群体间的公平性。当使用 3 次点击提示或真实掩码时，模型在性别与年龄群体之间的性能差异极小，从而确保其在不同人群上的表现较为均衡。
Ana Rojo Echeburúa 是一位人工智能与数据专家，拥有应用数学博士学位。她热衷于将数据转化为可执行的洞见，并在带领技术团队方面拥有丰富经验。Ana 喜欢与客户密切合作，解决其业务难题并打造创新的 AI 解决方案。她以出色的问题解决能力和清晰的沟通著称，对人工智能，尤其是生成式 AI 充满热情。Ana 致力于持续学习与负责任的 AI 开发，同时专注于简化复杂问题，并以通俗易懂的方式解释技术。
Meta 近日发布了一项令人振奋的 AI 新进展： Segment Anything Model 2（SAM 2）。
这款工具让图像和视频编辑中的对象选择不再繁琐，点一点或画几笔就能完成。SAM 2 能够轻松地以极高精度分离并跟踪对象。
但 SAM 2 不仅仅是设计师的工具。由 Meta AI 开发的这一先进模型有望影响多个行业，从重塑医学影像到提升自动驾驶能力。
本文将介绍什么是 SAM 2、它与前代模型（原版 Segment Anything Model，SAM）的差异，以及使其脱颖而出的关键特性。我们还将讨论它在不同领域的潜在应用，并提供上手建议。