字节跳动 OmniHuman：示例详解指南

什么是 OmniHuman？

OmniHuman 是一种图像到视频的生成模型，可基于单张图像生成逼真的视频或动画。严格来说，它的全名是 OmniHuman-1，这意味着它属于一个长期项目，后续版本正在开发中。为行文方便，本文均简称为 OmniHuman。

从 OmniHuman 研究团队给出的示例来看，该模型擅长以自然的方式为主体赋予动作、手势，甚至让其演唱或演奏乐器。

OmniHuman 可生成不同输入尺寸与身形比例的视频，支持多种景别，如特写、半身或全身镜头。它还可以与音频进行口型同步。

请注意，本文大多数视频示例所用的输入图像，正是各自视频的第一帧（外加音频）。牢记这一点，有助于更直观地理解使用 OmniHuman 生成这些视频的便捷程度。

OmniHuman 功能

支持广泛的主体类型

OmniHuman 能处理远不止于人类形象的多样输入，包括卡通、人工物体、动物，甚至是对传统视频创作工具而言较为棘手的高难度姿态。

OmniHuman 还支持多种纵横比，而这有时是视频生成模型的限制。上面的视频采用竖屏（9:16）纵横比，下面的则是方形（1:1）。

说话与演唱

在下方示例中，我们看到一个逼真的 AI 生成 “TED 演讲”。让我惊讶的是，这竟然由一张图片生成。肢体动作与演讲内容相当契合，也颇具说服力。

第二个示例展示的是演唱场景。这个例子说服力较弱，因为吉他手的手部动作与音乐不匹配。

口型同步

接下来的示例清楚地显示了 OmniHuman 在口型同步方面的优势。与吉他手部动作不同，这段视频的表现非常逼真：人物看起来确实在演唱，甚至在音高上也保持了一致。

这一点在正常说话场景中同样成立，而不仅限于演唱（见下例）。不过，下方视频的主要不足在于：当孩子移动时，头发周围出现了一些伪影；此外，嘴唇颜色与牙齿的白度也很不自然，与人物不匹配。

全身、半身与特写

接下来的两个示例展示了 OmniHuman 生成半身镜头与特写镜头的能力。先看半身示例：

接下来，我们再看一个特写生成的视频：

手部动作生成

视频与图像生成模型常常在“手”上栽跟头。出于某些原因，手对 AI 来说格外棘手，容易出现多余手指与破图等问题。从其示例来看，OmniHuman 似乎能较好地处理这些情况。

它似乎也能应对手持物体的情形：

视频驱动

我们已经看到 OmniHuman 支持音频驱动，即用音频引导生成与之匹配的视频。不过，OmniHuman 也支持以视频作为输入进行视频驱动，从而模拟特定视频中的动作。

OmniHuman 之所以能够同时支持音频驱动（让视频与给定音频一致）与视频驱动，关键在于其训练方式。我们接下来会进行介绍。

如何获取 OmniHuman？

在本文发布时，尚无关于访问 OmniHuman 的详细信息。请关注字节跳动的官方渠道（如新闻稿或公司官网）以获取发布与访问细节的最新动态。此外，鉴于字节跳动拥有 TikTok，相关更新也可能出现在与该公司关联的平台上。

OmniHuman 的工作原理

OmniHuman 之名源于其与现有模型截然不同的训练策略：在训练阶段整合多种条件信号，他们称之为“全条件（omni-conditions）训练”。简单说，这些条件信号是用来引导生成人物视频的不同类型信息。

当前模型往往依赖单一条件信号，如音频或姿态。比如，音频条件模型侧重面部表情与口型同步；姿态条件模型则强调全身姿态。

然而，并非所有数据都能与这些特定信号完美对齐。结果是，大量潜在有用的数据在过滤过程中被丢弃，因为其中包含的元素（例如音频驱动模型中与说话无关的肢体动作）不符合狭窄的条件范围。

想象您要为一个人物制作动画，就像在电子游戏或卡通片中一样。为了让动画更逼真，您需要的不仅是一张静态图像的外观信息，还需要他们如何移动、在说什么，甚至可能摆出的姿势等细节。

OmniHuman 结合三类条件来学习生成视频：

• 文本： 即使用文字或描述来引导动画。例如，文本写着“此人正在挥手”，动画便据此让人物挥手。
• 音频： 指声音，如说话声或背景音乐。若动画中的人物在说话，模型会利用音频确保嘴唇动作与语音一致。
• 姿态： 指人物身体的位置与运动。例如，要生成舞蹈动作，姿态信息会指导手臂与腿部如何运动。

通过融合多种信号，模型能够生成更为逼真的视频。

全条件训练的另一优势，是相较其他模型可减少数据浪费。其他模型之所以无法充分利用训练数据，主要原因在于：

• 条件信号的单一性： 现有模型往往依赖单一条件信号，如音频或姿态。例如，音频条件模型关注面部表情和口型同步，而姿态条件模型强调全身姿态。然而，并非所有数据都能与这些特定信号完美对齐。结果是，大量潜在有用的数据在过滤过程中被丢弃，因为它们包含（例如音频驱动模型中与说话无关的肢体动作等）不符合狭窄条件范围的元素。
• 数据过滤与清洗： 为提升训练效率与准确性，现有方法会进行严格的数据过滤与清洗。例如，音频条件模型会按口型同步精度过滤数据；姿态条件模型则按姿态可见性与稳定性筛选。这些流程会删除本可能包含有用运动模式与多样场景的数据，而这些恰是拓展模型能力所需。
• 适用性受限： 由于高度依赖经过精心整理的数据集，这些模型通常只适用于有限场景——如正面、静态背景等。这限制了模型在更为多样、真实世界场景中的泛化能力。

通过采用全条件训练，OmniHuman 能有效利用更大、更丰富的数据集，从而在更广泛的条件与风格下，实现更逼真且更灵活的人物视频生成。

OmniHuman 的训练数据

为训练 OmniHuman 精心整理的数据集，约包含 18.7K 小时与人物相关的数据，筛选标准涵盖视频生成所需的关键要素，如美学质量、图像质量与动作幅度。

在这海量数据中，有 13% 根据严格的口型精度与姿态可见性条件，用于音频与姿态模态的训练。这样的双层筛选确保只有最相关的数据用于构建模型对人物动画的理解，使其能在多种场景下有效表现。

传统模型通常在小得多的数据集上训练，往往仅数百小时甚至更少，并在严格的场景约束下，狭隘聚焦于特定身体部位或动画类型（如面部动画或全身姿态）。这限制了其在不同任务间的泛化与适用性。通过避免过度过滤，并接纳较弱的条件任务及其对应数据，OmniHuman 缓解了高度过滤数据集所带来的限制。

此外，与典型的端到端单条件模型不同，OmniHuman 采用全条件训练策略进行混合数据训练，从而克服了其他领先工作中固有的挑战——那些方法往往使用高度专门化的视频来训练模型生成特定类型视频，难以展现 OmniHuman 所具备的通用性。

OmniHuman 的应用场景

我们来探讨一些 OmniHuman 可能的应用场景。与任何技术一样，它既有积极的一面，也有消极的一面。

正面用例

以下是 OmniHuman 的一些正面用例示例：

• 内容创作与用户参与： 这类技术对 TikTok 及其他社交平台价值巨大。我几乎可以预见 OmniHuman 将作为 TikTok 的一项功能被集成。
• 市场营销与广告： 打造个性化、沉浸式的拟真人物广告。
• 影视创作的普惠化： AI 大幅降低视频创作门槛，使缺乏技术、人力或设备的创作者也能将想法变为现实。
• 娱乐与媒体： 好莱坞可用此类技术在新片中“重现”已故演员。
• 让历史人物“复活”： 他们的一个示例是爱因斯坦发表关于艺术的演讲。即便我知道这不是真的，但看到爱因斯坦“复活”仍让我有所触动。我能想象在讲授相对论时，这样的内容会非常吸引人。博物馆也可以为其他历史人物加入类似的体验。

负面用例

尽管有诸多积极面，OmniHuman 也可能成为危险工具，带来许多问题：

• 虚假信息与政治操纵： 伪造政治领导人的视频，以引发政府动荡或选举混乱。
• 金融欺诈： 伪造成名人“代言”以推广骗局或欺诈性投资。最近就有一位法国女性的案例，她因深度伪造的名人骗局损失了约 85 万美元。
• 侵犯隐私： 未经授权使用个人照片生成视频。
• 身份盗用与社会工程： 冒充他人以实施恶意活动或诈骗。
• 名誉受损与诽谤： 制作虚假视频以损害个人声誉或职业生涯。
• 不道德的内容使用： 未经同意将他人肖像置于成人内容或其他令人反感的素材中。
• 企业间谍与市场操纵： 制作商业领袖的视频，用于内幕交易等不道德行为。

OmniHuman 的风险与伦理担忧

我们已提到 OmniHuman 的一些负面用例。我认为最大的担忧在于：它可能让制作看似真实、实则完全伪造的深度伪造视频变得过于容易。

正如前文所述，这在政治领域尤为危险：伪造视频可用于散布关于政客的不实信息，或在选举期间影响公众舆论。比如，一个深度伪造视频可能让某位政客“说出”其从未说过的话，从而使选民产生困惑与不信任。

不过，这并非 OmniHuman 独有的问题，因为类似现象已经存在。但我担心，一旦任何人都能“按下按钮就生成”深度伪造，问题会急剧恶化。

Jumeo 的一项调查（一家身份验证公司）发现，过去一年中有 60% 的人遇到过深度伪造内容，表明此类内容愈发普遍。

同一调查还显示，72% 的受访者担心在日常生活中被深度伪造内容所欺骗。这表明公众对被 AI 生成内容误导的担忧相当强烈。

德勤的一份报告显示，2023 年与 AI 生成内容相关的欺诈损失超过 120 亿美元，预计到 2027 年仅在美国就可能达到 400 亿美元。这突显了深度伪造技术用于诈骗所带来的金融风险。

这些风险要求建立健全的监管框架与有效的检测工具，以减轻潜在滥用。随着 OmniHuman 等技术不断演进，如何在创新与责任之间取得平衡，确保强大工具被审慎使用，显得愈发关键。

结语

如果 OmniHuman 研究团队提供的示例并非“精挑细选”，那么这一视频生成工具有潜力改变多行业的数字内容创作。通过整合文本、音频、姿态等多种条件信号，OmniHuman 能生成高度逼真且富有动感的视频，在真实性与多样性方面树立了新标杆。

然而，尽管 OmniHuman 的能力令人印象深刻，它也带来了重大的伦理与社会问题。该技术能够轻易生成逼真的深度伪造，这无疑会加剧已存在的虚假信息、欺诈与隐私侵害等问题。