什么是 OpenAI 的 Sora？工作原理、示例与功能

Sora 是什么？

Sora 是 OpenAI 的文本生成视频（text-to-video）生成式 AI 模型。也就是说，您编写文本提示，它就会生成与提示描述相匹配的视频。以下是来自 OpenAI 网站的一个示例：

提示：一位时尚女性走在充满温暖霓虹光和动画城市标牌的东京街头。她身穿黑色皮夹克、长款红色连衣裙和黑色靴子，手拎黑色手提包。她戴着太阳镜和红色口红，步伐自信而从容。街面湿润且具有反光效果，映出五彩缤纷的灯光。许多行人来来往往。

Sora 的功能

Sora 提供了多项功能，帮助我们对视频生成过程进行更细致的控制。下面逐一介绍。

Remix

Remix 功能允许用户在不丢失原视频精髓的情况下，改变其组成要素来重新构想现有视频。无论是更换色彩、替换背景，还是微调视觉元素，Remix 都为探索视频外观提供了灵活途径。

此功能非常适合希望焕新旧内容、为特定主题定制视频，或为品牌化目的探索不同变体的创作者。

例如，看看下面这两个视频：

1. 原始视频：“推开大门进入图书馆”
2. Remix 视频： “把图书馆变成一艘太空飞船”

Re-cut

Re-cut 功能允许创作者精准定位并分离视频中最具冲击力的画面，并向前或向后延展，构建完整场景。该工具非常适合强化关键时刻、突出特定视觉元素，或确保场景间更顺畅的衔接。通过聚焦最出色的画面，Re-cut 有助于打磨叙事过程，同时让创作者对节奏与重点拥有更强掌控力。

Loop

Loop 功能可轻松创建视频片段的无缝循环。该工具非常适合用于背景视觉、音乐视频或具有催眠效果的动画，能够确保循环间的过渡平滑自然。它允许创作者延长精彩片段的时长，或为需要连续播放的视频维持一致的节奏。

如下所示，一朵花以无缝循环的方式不断绽放与闭合，过渡中看不到明显的剪切痕迹：

Storyboard

Storyboard 功能使创作者能够在时间线上指定的帧点生成特定镜头，从而对视觉叙事进行精确控制。比如，使用 OpenAI 的演示，您可以为以下镜头顺序制作分镜：

1. 帧 0–114：“一片广袤的红色地貌，远处停泊着一艘太空飞船。”
2. 帧 114–324：“从飞船内部向外望去，一位太空牛仔站在画面中央。”
3. 帧 324–440：“宇航员双眼的细节特写，周围是针织面罩的边缘。”

Blend

Blend 功能允许您将不同的视频或风格元素融合，创造新的合成效果。通过混合素材、色彩或艺术风格，它支持打造独特而新颖的视觉呈现。该方法适用于实验性项目、混剪作品，或探索非传统创意的叙事。

下面展示了一个融合两个视频的视频：

1. 雪花飘落的视频
2. 花瓣飘落的视频

风格预设

Style preset 提供一组预定义的美学模板，可应用于视频。这些预设让您更容易实现特定风格，无论是电影感、鲜明活泼，还是专业稳重。

例如，下面展示了“黑色电影（Film Noir）”预设的效果：

Sora 如何工作？

与 DALL·E 3、StableDiffusion 和 Midjourney 等文本生成图像模型类似，Sora 是一种扩散模型。这意味着它从每一帧都由静态噪声构成开始，利用机器学习逐步将图像转化为与提示描述相符的内容。

解决时间一致性

Sora 的一项创新在于它会同时考虑多个视频帧，从而解决物体在进出视野时保持一致性的问题。在下方视频中，注意袋鼠的手多次移出画面，当它回到画面时，手看起来与之前相同。

提示：一只卡通袋鼠跳迪斯科舞。

结合扩散模型与 Transformer 模型

Sora 将扩散模型与 Transformer 架构（GPT 采用的架构）结合使用。

在结合这两类模型时，Jack Qiao 指出，“扩散模型擅长生成低层次的纹理，但不善于全局构图，而 Transformer 则相反。”也就是说，您需要一个类似 GPT 的 Transformer 模型来决定视频帧的高层布局，再由扩散模型生成细节。

在 一篇关于 Sora 实现的技术文章中，OpenAI 对这种组合的工作方式做了高层描述。在扩散模型中，图像会被分解为较小的矩形“块”（patch）。对于视频而言，这些块是三维的，因为它们随时间延续。可以将这些块视作大型语言模型中“token”的类比：它们不是句子的组成部分，而是一组图像的组成部分。模型中的 Transformer 部分负责组织这些块，扩散部分负责为每个块生成内容。

这种混合架构的另一个特点是，为了使视频生成在计算上可行，块的创建过程会使用一次降维步骤，从而避免对每一帧的每个像素都进行计算。

通过再描述提升视频保真度

为更忠实地捕捉用户提示的要点，Sora 使用了一种在 DALL·E 3 中也可用的再描述（recaptioning）技术。这意味着在生成任何视频之前，GPT 会重写用户提示，加入更多细节。本质上，这是一种自动化的提示工程。

OpenAI Sora 有多强？

从目前给出的示例来看，Sora 令人印象深刻，而我们只是触及了其可能性的冰山一角。比如，看看下面这段视频，它展示了与电影人和艺术家合作时可能实现的效果：

这部短片看起来就像一支真正的电影预告片，呈现了多种不同镜头、角度和概念，整体上相当连贯。

不过，OpenAI 团队成员展示的其他示例说服力略逊一筹（尽管依然出色）。看看下面这段海滩上的情侣视频（该视频使用的是之前的 Sora 模型生成的，我们计划在获得新版 Sora 访问权限后重新生成）：

提示：一段写实风格的视频，拍摄人们在海滩上放松，视频过半时一条鲨鱼突然跃出水面，惊呆所有人。

虽然它明显抓住了提示的主要要点，但场景并不十分逼真，落入了“恐怖谷”。男子的“三只手”、由多个部分拼凑且比例不合理的鲨鱼、女子类似《大法师》般的怪异扭头与尖叫——总体上有些惊悚。

很可能就像生成图像一样，需要对提示进行一定的打磨与取舍——它不可能每次都生成完美的作品。

话虽如此，不妨将上面的视频与使用完全相同提示、借助 Runway 的 Gen-2 模型生成的示例对比：

如您所见，它对提示的语境把握并不到位，鲨鱼的位置很奇怪，人物也比较畸形、模糊。相比之下，OpenAI 的 Sora 在还原场景方面明显优于 Runway Gen-2。

另一个令人印象深刻的 Sora 用例来自近期一位导演，他用 Sora 制作了一支音乐视频：

这或许是目前 Sora 实战中最完整的案例之一，展示了其作为未来工具的巨大潜力。它有趣（也有点迷幻），并在全片中保持了非常一致的独特氛围。

不过，这个作品也有一些前提条件：

• 导演为一支 4 分钟的视频生成了 6 小时的片段（在一块 H100 GPU 上渲染耗时 46 小时）
• 示例提示约 1,400 字，细节非常丰富且具体
• 导演仍需使用后期特效并清理部分转场（某些地方仍显得不够自然）

因此，这款工具距离大众消费级应用可能仍有一段距离。但考虑到 Sora 向艺术家和创作者开放试用的时间极短，目前的进展已经相当惊人。

Sora 的局限性是什么？

本节概述的是 Sora 先前版本的一些局限性。值得关注新版是否已解决这些问题。一旦我们获得新版访问权限，将立即更新本节内容。

Sora 并不具备对物理规律的内在理解，因此未必总能遵循“现实世界”的物理规则。其中一个例子是模型不理解因果关系。比如，下面这段篮球框爆炸的视频中，篮框爆炸后，篮网似乎又恢复了。

提示：篮球穿过篮筐后，篮筐爆炸。

同样，物体的空间位置可能出现不自然的变化。下面这段关于狼崽的视频中，动物会突然出现，且狼群的位置有时会重叠。

提示：五只灰色狼崽在一条偏远的砂石路上嬉戏追逐，四周是草地。小狼相互追逐、奔跑和跳跃，轻咬打闹，尽情玩耍。

Sora 的用例

Sora 可以从零开始创建视频，也可以扩展现有视频以延长时长，还能为视频补齐缺失帧。

就像文本生成图像工具大幅降低了无需图像编辑技术即可创作图像的门槛一样，Sora 有望降低无图像编辑经验即可制作视频的难度。以下是一些关键用例。

社交媒体

Sora 可用于为 TikTok、Instagram Reels 和 YouTube Shorts 等社交媒体平台创作短视频。难以或几乎不可能拍摄的内容尤其适合。例如，2056 年的拉各斯街景对社交媒体而言在技术上很难拍摄，但使用 Sora 则相对容易实现。

提示：一段自制的唯美视频，展示 2056 年尼日利亚拉各斯的人们。用手机摄像头拍摄。

广告与营销

制作广告、宣传片和产品演示传统上成本较高。像 Sora 这样的文本生成视频 AI 工具有望大幅降低这一成本。在下面的示例中，想要推广加州大苏尔地区的旅游局，可以租用无人机拍摄当地航拍，也可以使用 AI，从而节省时间和资金。

提示：无人机视角拍摄海浪拍击大苏尔 Garay Point 海滩的崎岖悬崖。湛蓝浪花翻涌成白色浪尖，落日的金色光辉照亮岩石海岸。远处一座小岛上矗立着一座灯塔，绿色灌木丛覆盖着悬崖边缘。从公路垂直落差到海滩的地形极为壮观，悬崖边缘向海面突出。这一景致展现了海岸的原始之美以及太平洋海岸公路的崎岖地貌。

原型设计与概念可视化

即便 AI 视频并不用于最终成片，它也能帮助快速演示创意。电影人可以在拍摄前用 AI 做场景模型，设计师也能在产品落地前制作产品视频。下面的例子中，一家玩具公司可以在量产前，生成一艘新海盗船玩具的 AI 样片。

提示：以照片级真实感拍摄的近景视频：两艘海盗船在一杯咖啡里一边航行一边交战。

合成数据生成

在出于隐私或可行性问题无法使用真实数据的情况下，常会使用合成数据。对于数值数据，常见用例如金融数据和可识别个人身份的信息。对这些数据集的访问必须严格控制，但可以创建具有相似属性的合成数据向公众开放。

合成视频数据的一个用途是训练计算机视觉系统。正如我在 2022 年所写，美国空军使用合成数据来提升其无人机计算机视觉系统在夜间和恶劣天气中对建筑与车辆的检测能力。像 Sora 这样的工具，让这一过程的成本更低、也更易为更广泛的群体所用。

Sora 的风险

该产品尚新，风险尚未完全界定，但很可能与文本生成图像模型的风险类似。

有害内容的生成

若缺乏防护措施，Sora 可能生成不雅或不当内容，包括含有暴力、血腥、露骨性内容、对群体的贬损描绘与其他仇恨影像，以及对非法活动的宣传或美化等视频。

何为不当内容在很大程度上取决于用户（想象儿童与成人分别使用 Sora）及视频生成的语境（例如，关于烟花危险性的警示视频可能会以教育方式呈现血腥内容）。

错误信息与虚假信息

从 OpenAI 分享的示例视频来看，Sora 的一大优势在于其能创造现实中不存在的奇幻场景。这一优势也使得创造“深度伪造”视频成为可能，即将真实人物或情境改造为不真实的内容。

当这类内容以真实面目呈现，无论是无意（错误信息）还是蓄意（虚假信息），都可能引发问题。

正如 DigiDiplomacy 的首席 AI 治理与伦理官 Eske Montoya Martinez van Egerschot 所写，“AI 正在重塑竞选策略、选民互动，以及选举诚信的基本结构。”

有关政治人物或其对手的、逼真却虚假的 AI 视频，可能“以策略性方式传播虚假叙事，并对合法信息源发起骚扰，意在削弱公众对公共机构的信任，并加剧对各国与各群体的敌意”。

在这一年里，从台湾到印度再到美国都有重要选举，这将产生广泛影响。

偏见与刻板印象

生成式 AI 模型的输出高度依赖其训练数据。这意味着训练数据中的文化偏见或刻板印象可能在生成视频中再现。正如 Joy Buolamwini 在 DataFramed 的《为算法正义而战》一集中所讨论，图像中的偏见会在招聘与治安执法中带来严重后果。

我如何访问 Sora？

要访问 Sora，请前往 sora.com。在撰写本文时，Sora 在除欧洲大部分地区和英国以外的多数地区可用。

访问 Sora 需要订阅 ChatGPT Plus 或 ChatGPT Pro。两个层级都允许用户探索 Sora 的高级视频生成工具，但在功能和限额方面存在关键差异：

Sora 的替代方案有哪些？

有多款高知名度的 Sora 替代品，允许用户从文本创建视频内容，包括：

• Runway-Gen-3。 与 OpenAI Sora 最具代表性的替代方案是 Runway Gen-3。与 Sora 一样，它也是文本生成视频的生成式 AI，目前可在网页和移动端使用。
• Lumiere。 谷歌近期发布了 Lumiere，目前可作为 PyTorch 深度学习 Python 框架的扩展使用。
• Make-a-Video。 Meta 在 2022 年发布了 Make-a-Video；同样可通过 PyTorch 的扩展获取。

此外还有一些体量较小的竞争者：

• Pictory 简化了文本到视频的转换，面向内容营销人员和教育工作者提供视频生成工具。
• Kapwing 提供在线平台将文本制作成视频，强调对社媒营销人员与普通创作者的易用性。
• Synthesia 专注于从文本创建 AI 驱动的视频演示，提供可自定义的虚拟形象（avatar）主导的视频，适用于商业与教育场景。
• HeyGen 旨在简化产品与内容营销、销售外联及教育领域的视频制作。
• Steve AI 提供从提示到视频、脚本到视频、音频到视频的 AI 视频与动画生成平台。
• Elai 专注于电子学习与企业培训，提供将教学内容轻松转化为信息型视频的解决方案

OpenAI Sora 对未来意味着什么？

毫无疑问，Sora 具有开创性。同时，这一生成式模型的潜力也显而易见。Sora 对 AI 行业与世界的影响是什么？我们当然只能基于经验做出判断。不过，以下是 Sora 可能带来的若干改变，无论利弊。

OpenAI Sora 的短期影响

首先看看 Sora 向公众（很可能是分阶段）发布后，我们可能在短期内看到的直接影响。

“速赢”将迎来一波热潮

在上文中，我们已经探讨了 Sora 的一些潜在用例。若 Sora 面向公众发布，许多用例很可能会迅速被采纳。这可能包括：

• 短视频在社交媒体与广告中的激增。 预计 X（原 Twitter）、TikTok、LinkedIn 等平台的创作者将通过 Sora 提升内容质量。
• Sora 用于原型设计的普及。 无论是演示新产品，还是展示拟建的建筑项目，Sora 都可能成为创意提案中的常见工具。
• 更佳的数据叙事。 文本生成视频的生成式 AI 或将带来更生动的数据可视化、更出色的模型模拟，以及更具互动性的探索与呈现方式。不过，还需观察 Sora 在此类提示上的表现。
• 更优的学习资源。 借助 Sora 等工具，学习材料有望大幅提升。复杂概念可被生动呈现，而偏好视觉化的学习者也将拥有更好的学习辅助。

风险雷区

当然，正如我们之前强调的，此类技术也伴随着潜在负面影响，必须谨慎应对。以下是需要警惕的一些风险：

• 错误信息与虚假信息的传播。 我们需要更具辨识力地消费内容，并需要更好的工具来识别被制造或篡改的内容。选举年里尤为重要。
• 版权侵权。 我们需要警惕图像与肖像权的使用方式。可能需要立法与管控，防止个人数据在未经同意的情形下被使用。此议题很可能会先在粉丝基于喜爱影视作品创作视频的场景中引发讨论——不过，个人层面的风险同样巨大。
• 监管与伦理挑战。 生成式 AI 的进展已经让监管者难以追赶，Sora 可能进一步加剧这一问题。我们必须在不影响个人自由、且不扼杀创新的前提下，探索 Sora 的适当与公平使用方式。
• 对技术的依赖。 对许多人来说，像 Sora 这样的工具可能被视为捷径而非助手。人们或许将其视为创造力的替代，这可能影响诸多行业及从业者。

生成式视频成为下一片竞争前沿

我们已经提到过几款 Sora 的替代品，但可以预见，在 2024 年及以后，这个名单还会显著扩大。正如我们在 ChatGPT 上看到的，替代品层出不穷，许多项目也在不断迭代市场上的开源大语言模型。

Sora 很可能成为推动生成式 AI 领域创新与竞争的工具。无论是面向特定用例的微调模型，还是直接竞争的专有技术，业内众多大玩家很可能都会布局文本生成视频赛道。

OpenAI Sora 的长期影响

在 OpenAI 的 Sora 面向公众发布尘埃落定之后，我们将开始看到更长期的走向。随着各行各业的专业人士上手该工具，势必会出现一些改变游戏规则的用法。我们不妨推测其中的一部分：

高价值用例有望被解锁

Sora（或类似工具）有可能在多个行业中成为常备工具：

• 高级内容创作。 我们或将看到 Sora 加速 VR/AR、电子游戏，甚至传统的影视娱乐制作流程。即便不直接用于生成最终内容，它也可用于原型设计与分镜制作。
• 个性化娱乐。 当然，也可能出现 Sora 针对用户个体进行内容创作与策展的场景。面向个人口味与偏好的交互式、响应式媒体或将涌现。
• 个性化教育。 同样，这种高度个性化的内容也可能在教育领域落地，帮助学生以最适合自身的方式学习。
• 实时视频编辑。 视频内容可根据不同受众进行实时编辑或再生成，按照观众偏好或反馈调整语气、复杂度，甚至叙事。

物理世界与数字世界的边界开始模糊

我们已提到虚拟现实（VR）与增强现实（AR），而 Sora 与这些媒介结合，具有重塑我们与数字内容交互方式的潜力。若未来版本的 Sora 能在数秒内生成可供沉浸的高质量虚拟世界，并借助生成式文本与音频填充看似真实的虚拟角色，这将对我们未来如何在数字世界中“行动”提出严肃问题。

结语

OpenAI 的 Sora 模型有望在生成式视频质量上实现飞跃。公众发布期待已久，其在多个领域的潜在应用也备受关注。若您渴望踏入生成式 AI 的世界，我们的 AI 基础技能路径将帮助您快速掌握机器学习、深度学习、NLP、生成式模型等关键知识。

想要了解更多 AI 前沿资源，欢迎查看下列内容：

• 订阅 DataFramed 播客
• 成为 AI 开发者代码实战系列
• 浏览我们的 AI 教程