视频中的水面反射非常出色。我也觉得树懒脸上的阴影很有意思。这些细节处理到位时，常常不被察觉；但如果做得不好，就会显得突兀，破坏真实感。
Movie Gen Audio 模型
Movie Gen Audio 是一个拥有 130 亿参数的模型，能够为视频生成与其内容相匹配的配乐，也可以根据文本提示生成音频。
它可以生成高质量的 48kHz 音频，并与不同长度的视频同步，甚至可达数分钟。该模型还能产生环境音（匹配视频中未直接出现的声源）、与动作同步的音效，以及契合氛围的背景音乐。
下面是其中一个视频在以下提示下生成的音乐和音效示例：
“沙沙的树叶声与折断树枝声，配以管弦乐配乐。”
请注意，提示中并未说明配乐的情绪，但模型能够从视频内容中捕捉到这种情绪。
Personalized Movie Gen Video 模型
Movie Gen Video 模型可以基于文本描述和某个人的一张照片生成该人的视频。生成的视频在遵循文本提示的同时保持人物身份特征不变。
下面的示例是将一张自拍照与以下提示结合生成的：
“一位女 DJ 在洛杉矶的屋顶上打碟。她穿着粉色夹克，戴着巨大的耳机。她旁边有一只猎豹。背景是城市天际线。”
在我看来，这个模型堪称他们的“皇冠上的明珠”，因为如果能整合进 Instagram 等产品，将具有巨大的潜力。想象一下，用户只需一张照片加一个文本提示，就能创作出各种场景中的“自己”视频，这可能会催生海量富有创意且极具吸引力的内容。
Movie Gen Edit 模型
Movie Gen Edit 模型让我们仅用文本指令，就能对真实与虚构视频进行细致而富有创意的编辑。
该模型有望重塑各行业的视频编辑流程。它对文本编辑指令的准确理解与执行，能显著提升编辑效率，使流程更快、更高效，并让更广泛的用户可用。这项技术将惠及电影制作人、内容创作者、教育工作者以及所有与视频内容打交道的人。
Movie Gen Video 的工作原理
Movie Gen Video 模型的训练包含几个关键环节：数据收集与准备、主体训练流程、用于提升质量的微调，以及实现高分辨率输出的上采样技术。
数据与预处理
Movie Gen Video 在海量数据集上训练，包含数亿对视频-文本配对以及超过十亿对图像-文本配对。
数据集中每段视频都经过严格的筛选流程，依据视觉质量、运动特征和内容相关性进行过滤。过滤旨在选择具有非平凡运动、单镜头机位，以及涵盖多样概念（其中相当一部分包含人物）的视频。
高质量字幕对于有效训练模型至关重要。Movie Gen Video 使用 LLaMa3-Video 模型生成细致字幕，准确描述视频内容。这些字幕不仅标注物体，还包括对动作、镜头运动、甚至光照信息的描述。这些丰富的文本信息有助于模型学习更细腻的视觉叙事理解。
训练流程
为提升效率与可扩展性，Movie Gen Video 的训练被划分为若干阶段。
模型首先在较低分辨率图像上的文生图任务上进行训练。这个“热身”阶段让模型先掌握基础视觉概念，再攻克更复杂的生成视频任务。
随后模型在文生图与文生视频任务上进行联合训练，并逐步提高输入数据的分辨率。联合训练有助于模型利用图文数据集的规模与多样性，同时学习视频生成的复杂性。
为应对视频数据的计算需求，Movie Gen Video 使用一种时间自编码器（Temporal Autoencoder，TAE）对视频进行时间维度上的压缩与解压。这类似于计算机上对文件进行压缩与解压，使模型能够以更易处理的表示来操作视频数据。
Movie Gen Video 使用一种名为流匹配（Flow Matching）的训练目标。模型并非直接生成最终视频，而是通过流匹配引导其逐步将一段随机噪声样本一步步转化为期望的视频输出。
流匹配是在潜空间中预测样本的“速度”，而非直接预测样本本身。与传统扩散方法相比，这种方式更高效、性能更佳。
微调
为提升生成视频的质量与美感，模型会在一小部分人工精选、带有高质量字幕的视频上进行有监督的微调。这就像艺术家在专家指导下精进技法，从而得到更具观感与真实感的输出。
最终的 Movie Gen Video 模型由多个在不同数据集、超参数与预训练检查点上训练得到的模型平均融合而成。该技术有助于汇集不同模型的优势，从而实现更稳健可靠的表现。
上采样
模型首先生成 768 像素分辨率的视频，再通过上采样将分辨率提升至全高清 1080p，以获得更锐利、更具观感的画面。这种做法很常见，因为它具备计算效率优势：基础模型可处理更少的 token，同时仍能产出高分辨率结果。
空间上采样器（Spatial Upsampler）作为一个视频到视频的生成模型工作。它以低分辨率视频为输入，先用双线性插值提升到目标分辨率，再用逐帧的变分自编码器（VAE）将其编码到潜空间。
随后，潜空间模型在低分辨率视频的编码潜变量的条件约束下，生成高清视频的潜变量。最后由 VAE 解码器将这些高清潜变量还原到像素空间，得到最终的高分辨率输出。
对 Movie Gen 模型的评估
相较于文生图，评估文生视频模型更具挑战，因为多了时间维度。Meta 团队采用三项主要指标评估模型：
- 与提示的对齐度
- 质量与一致性
- 真实感与美学
这些指标由人工对视频进行打分。
与提示的对齐度
对齐度衡量生成视频与输入文本提示的匹配程度，包括主体、运动、背景及其他细节的描述。进一步细分为：
- 主体匹配：关注主体外观、背景、光照与风格的一致性。
- 运动匹配：评估对运动相关描述的匹配程度。
质量与一致性
生成视频的质量与一致性独立于文本提示进行评估。该指标细分为：
- 帧间一致性：检查跨帧的物体外观、光照、背景是否存在不一致或伪影。
- 运动完整性：评估视频是否包含足够的运动，尤其针对不常见主体或活动。
- 运动自然度：判断运动的真实与自然程度，包括四肢动作、面部表情以及对物理规律的遵循。
- 整体质量：综合前述三个子维度，给出视频整体优劣的判断。
真实感与美学
评估者会对模型生成照片级真实与审美愉悦的视频能力进行评分。此项进一步分为：
- 真实感：衡量视频与真实视频的接近程度；对于幻想类提示，评估其对真实艺术风格的模拟程度。
- 美学：依据内容、光照、色彩与镜头效果等因素判断画面的视觉吸引力。
评测基准
该基准数据旨在对视频生成进行全面评测。它包含 1,000 条提示，覆盖人类活动、动物、自然、物理现象以及不寻常主体或活动等多方面测试。
该基准规模是以往研究的三倍以上。每条提示都标注了运动等级（高/中/低），以评估不同运动强度下的生成质量。
评估会使用全部提示集，并检验特定测试指标，尤其关注模型在非常见主体与运动方面的表现，以考察其泛化能力。
下图展示了评估中提示的构成。左侧是提示概念的分布，右侧展示了提示中常见的名词与动词（词越大出现频率越高）：
下表展示了不同模型在多项评估标准下的人工评测结果。数值代表净胜率，计算方式为（胜率% - 败率%）。范围从 -100（全败）到 100（全胜），0 表示打平。
Meta Movie Gen vs. Sora vs. Runway Gen 3
根据其实验，Movie Gen Video 在文生视频方面表现强劲，基于 MovieGen Video Bench 的人工评估，超越了包括 Runway Gen3、LumaLabs 在内的多款现有（含商用）模型。具体而言，Movie Gen Video 在以下方面具有显著优势：
- 整体质量： 评估者持续认为 Movie Gen 的输出具有更高的整体质量，尤其是在视觉保真度、运动自然度以及与文本提示的对齐方面。
- 运动自然度与一致性： Movie Gen 在生成自然且一致的运动方面具备显著优势，在这些维度上优于 Runway Gen3 和 OpenAI 的 Sora。这一强项可能得益于其采用流匹配训练目标，以及训练中大量使用视频数据，使模型能够学习并模拟真实世界物理规律。
- 真实感与美学： 相比 Runway Gen3、LumaLabs 和 Kling1.5，Movie Gen 在生成更具真实感和更高审美吸引力的视频方面也表现出色。
尽管 MovieGen 整体上优于其他模型，Kling1.5 有时能生成运动幅度更大的视频，但往往以失真与不一致为代价。这凸显了运动完整性与视觉质量之间的权衡：Movie Gen Video 更优先生成真实且一致的运动，而非单纯追求运动幅度的最大化。
以下是 Meta Connect 2024 演示中的部分截图，展示了若干视频生成提示的对比示例：
以下是一些视频个性化的对比示例，即使用一张照片来生成个性化视频：
最后，下面的截图展示了视频编辑的对比示例：
总体来看，Meta Movie Gen 提升了行业门槛，并为文生视频模型树立了新标准。论文中强调的评估流程看起来较为公允，但当然，只有在这些模型公开可用、并由第三方中立机构比较之后，我们才能更有把握地下结论。
模型局限
尽管 Meta Movie Gen 在媒体生成方面表现亮眼，仍有改进空间。
模型在包含复杂几何、物体操作以及真实物理模拟的复杂场景中有时会遇到困难。例如，让物体之间的交互更具说服力、准确表现状态变化（如融化或破碎）、以及逼真模拟重力或碰撞等物理效应，仍可能对模型构成挑战。
在某些情境下，音频同步也可能出现问题。尤其当涉及到视觉上幅度很小、被遮挡，或需要较高层次视觉理解才能生成相应声音的动作时，模型可能难以实现完美同步。例如，精准同步行走的脚步声、为部分被遮挡的物体生成合适的声音、或识别吉他上细微的手部动作以产生正确音符，都会存在挑战。
此外，按照当前设计，Movie Gen Audio 模型并不支持语音生成。
安全考量与模型发布
逼真的 AI 生成视频带来重大的风险与伦理挑战。这些风险包括通过深度伪造操纵信任、传播错误信息，可能损害名誉、误导公众并伤害企业。
一方面，它可以成为 Instagram 的一项功能，让我用自己的形象生成酷炫视频与朋友分享；但另一方面，同样的功能也使我能生成他人的假视频。随着这些技术不断进步，想要分辨真假或许将变得不可能。
AI 生成内容也带来隐私威胁，可能引发勒索、敲诈或网络欺凌。
此外，这些 AI 工具还可能通过模仿独特艺术风格而不予署名，进而削弱艺术与版权。解决方案包括提升媒介素养的认知与教育、投入检测技术、建立法律与伦理框架，并采用水印进行认证。
尽管 AI 视频生成潜力巨大，但其应用需谨慎，以维护信任与真实性。
Meta 一直以开源的方式推进其 AI 研发，例如开源了Llama 模型。不过，出于安全原因，Meta Movie Gen 模型尚不会发布。根据其文章介绍，在部署之前仍需进行多项改进并落实安全考量。
结语
在本文中，我们介绍了 Meta 的 Movie Gen 模型套件——一组可通过文本提示生成与编辑视频的 AI 模型。
我们探讨了四个不同模型、它们的能力与工作机制，并通过对比分析展示了 Meta Movie Gen 与其他 AI 视频生成工具的差异。
尽管 Meta Movie Gen 为该领域树立了新基准，但其潜在的滥用风险也引发重大担忧。Meta 已意识到这些风险，并在发布这些模型上采取谨慎态度。
如欲进一步了解 Meta AI 生态，推荐阅读以下博文：
常见问题
Meta Movie Gen 何时发布？
Meta 尚未公布 Movie Gen 的具体发布日期。目前他们专注于研发，致力于在更广泛发布前提升模型能力并解决潜在问题。虽然暂无官方时间表，但我认为 Meta 可能会先将 Movie Gen 的功能集成到 Instagram 或 Facebook 等现有平台中，而非直接发布完整模型。
Meta Movie Gen 最长能生成多长视频？
目前，Meta Movie Gen 最长可生成 16 秒的视频。该限制可能源于生成更长且高质量视频的计算开销。未来的改进有望延长最长视频时长。
Meta Movie Gen 会开源吗？
Meta 尚未确认是否会开源 Movie Gen。然而，他们有开源部分 AI 模型（如 Llama）的历史。Meta 可能会选择开源 Movie Gen 的部分组件，或以特定许可形式发布，以鼓励更广泛的 AI 社区开展研究与开发。
Meta Movie Gen 的视频质量如何？
Meta Movie Gen 能生成 1080p 高清分辨率的视频，输出质量较高，适用于多种应用场景。
Meta 近期发布了 Meta Movie Gen，这在文本生成视频领域既是一个重要、又有些出人意料的事件——在视频生成方面，我认为 Meta 并不在很多人的关注范围内。
在竞争激烈的环境下，已有多家高知名度公司如 OpenAI 已在研发强大的模型，如 Sora，因此 Meta 的发布值得关注。
该模型在多项任务上表现出色，在质量上超越或媲美 Runway Gen3、LumaLabs，尤其是 OpenAI 的 Sora 等老牌玩家的产品。
本文将介绍 Meta Movie Gen 是什么、如何工作、具备哪些能力与局限，以及其使用中的安全考量。
如果您想快速了解视频生成领域，推荐阅读这篇关于顶尖 AI 视频生成器的文章。
什么是 Meta Movie Gen？
Meta Movie Gen 是一组用于生成多种媒介的基础模型，涵盖文生视频、文生音频和文生图像。它包括四个模型：
Movie Gen Video 模型
Movie Gen Video 是一个拥有 300 亿参数的模型，旨在根据文本描述生成图像和视频。该模型可生成与给定文本提示相匹配的高质量视频，最长可达 16 秒，并可产出不同尺寸、分辨率和时长的内容。
以下是使用该提示生成的视频示例：
“一只戴着粉色太阳镜的树懒躺在泳池的甜甜圈浮圈上。树懒手里拿着一杯热带风味饮料。环境是热带世界。阳光投下了阴影。”