跳至主要内容

Genesis 物理引擎:指南与示例

了解什么是 Genesis、为什么它是 AI 物理仿真的重大进步,以及它与 Sora 或 Veo 2 的比较。
Dr Ana Rojo-Echeburúa
Dr Ana Rojo-Echeburúa

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

今年 12 月的 AI 视频生成新品似乎层出不穷——在 Sora 与 Veo 2 之后,聚光灯现在转向了 Genesis。

Genesis 是一款能够生成高度逼真仿真的 AI 物理引擎。它速度惊人,并能生成交互式 4D 世界。核心应用场景包括机器人技术与物理实验。

在这篇博客中,我将概述 Genesis,展示一些示例,并将其与 Sora 等其他视频生成工具进行比较。若要了解如何配置 Genesis,请阅读这篇Genesis 安装分步指南。

什么是 Genesis?

Genesis 是一款面向广泛用途的物理平台,包括机器人技术、与真实世界交互的 AI,以及处理物理对象的 AI。Genesis 是 20 多家研究实验室历时两年大型协作的成果。

Genesis 开发的核心贡献者

核心贡献者。图片来源: Genesis

与常规视频生成器不同,Genesis 从一开始就是为物理引擎而设计。它将不同的物理工具(如刚体、流体和软材料)整合为一个系统,从而能够处理多样化的真实世界仿真。我们可以将 Genesis 用作:

  1. 物理引擎: 从零重写的超先进物理模拟器,能够处理各种材料与物理事件。
  2. 机器人模拟器: 轻量、超快、易于与 Python 搭配使用,非常适合机器人仿真。
  3. 渲染系统: 以极高速度与质量生成逼真画面。
  4. 数据生成器: 能将自然语言描述转化为多种类型的数据。

与较早的仿真平台相比,Genesis 的一些关键特性如下:

  1. 惊人的速度: Genesis 极其快速,在 RTX 4090 上可为机械臂模拟超过 4300 万帧每秒(FPS),即实时的 43 万倍!Genesis 是全球最快的物理引擎,较 Isaac Gym 或 Mujoco 等模拟器可快至 80 倍,且不牺牲精度。
  2. 广泛兼容: 可在 Linux、macOS 和 Windows 上运行,并支持包括 CPU、Nvidia GPU、AMD GPU 和 Apple Metal 在内的不同硬件。
  3. 一体化物理系统: Genesis 将多种物理工具整合为一个系统,可模拟刚体、液体、气体、可变形体等,能够处理多种材料及其相互作用。
  4. 支持各类机器人: 机械臂、无人机、软体机器人、腿足机器……应有尽有。Genesis 可适配广泛对象,并支持 .xml、.obj、.stl 等常见文件类型。
  5. Python 驱动: Genesis 完全基于 Python 构建,易于使用与自定义。

Genesis 视频示例

Genesis 能以极高精度模拟物体运动、角色动作与交互。下面看看 Genesis 团队分享的几个示例。

创建 4D 动态世界

Genesis 通过其先进的物理引擎与 AI 工具来构建细致、逼真的虚拟世界,涵盖四维中的运动与交互。这些世界可用于生成精确的视频、动画和其他仿真数据。它甚至能生成自然一致的镜头运动与物体行为。

角色动作

Genesis 可以为角色创建细腻的动画。例如:

一尊小悟空模型在桌面上疾奔,跃入空中,在镜头环绕时于半空中停顿,然后落地。

机器人策略生成

Genesis 帮助机器人在多种场景中自动学习技能并执行任务。示例如下:

机械臂在微波炉中加热食物

交互式 3D 场景生成

Genesis 能创建细致的 3D 空间,例如:

包含客厅、厨房、书房和卧室的家居内景

开放世界对象创建

Genesis 生成具有活动部件的逼真对象(关节化对象),超越典型的预制素材。

https://fast.wistia.net/embed/iframe/ky8a97xikq

软体机器人仿真

Genesis 可模拟软体机器人或混合体(软质外壳与刚性骨架),例如:

具有肌肉样特性的蠕虫运动。

语音、动画与情绪

Genesis 能生成与语音配对的面部动画,呈现中性、愤怒、快乐等情绪之间的转换。

Genesis 入门

我正在编写 Genesis 的详细编码教程,近期将发布,因此本节仅涵盖基础内容。

要安装 Genesis,请在终端中运行 pip install genesis-world。

您需要确保使用 Python 3.9 或更高版本,并安装 PyTorch。有关设置方法,请参阅 PyTorch 官网。

Genesis 的文档是一份非常有用的资源,介绍如何使用这款物理仿真工具的各项功能。它首先解释 Genesis 是什么、为何创建以及如何配置;随后带您了解基础功能,如创建视觉效果、控制机器人以及并行运行多项仿真。

您还会发现针对机器人运动规划、软体机器人以及使用强化学习教会机器人运动等任务的工具。对于高级用户,指南还包含碰撞处理、基于仿真的调参以及无人机应用等主题。

Genesis vs. Sora vs. Veo 2

下面比较 Genesis、Sora 与 Veo 2,看看它们之间有何不同:

定位与侧重

  • Genesis: 面向机器人与 AI 应用的物理仿真工具。
  • Sora: 从文本提示生成视频的模型,侧重于想象力或逼真的视觉效果。
  • Veo 2: 结合高质量画面与逼真物理的先进视频生成器。

关键特性

  • 分辨率与时长:
    • Genesis 不生成视频,而是专注于物理仿真。
    • Sora 最高生成 1080p、时长 20 秒的视频。
    • Veo 2 支持最高 4K 分辨率与 2 分钟以上的视频。
  • 物理仿真:
    • Genesis 擅长高速且准确的物理仿真。
    • Sora 对物理的理解有限。
    • Veo 2 建模流体与对象交互等物理现象。
  • 视觉效果:
    • Genesis 更重视物理准确性而非外观。
    • Sora 生成超写实或富有想象力的画面。
    • Veo 2 提供高度逼真的视频,较 Sora 错误更少。
  • 用户控制:
    • Genesis 允许对物理仿真进行细粒度控制。
    • Sora 通过文本提示生成视频。
    • Veo 2 提供精确的镜头控制与电影化效果。

优势

  • Genesis: 超高速物理仿真、整合多种物理工具、基于 Python,便于使用。
  • Sora: 适合创意与想象力驱动的叙事。
  • Veo 2: 最适合逼真视频,场景控制力强,并且更好地处理人类动作。

应用场景

  • Genesis: 用于机器人、游戏与需要精确物理的 AI 研究。
  • Sora: 非常适合视频制作与娱乐等创意行业。
  • Veo 2: 适用于电影制作、内容创作与高细节科学视频。

功能

Genesis

Sora

Veo 2

定位

用于机器人、具身智能与物理 AI 的物理仿真

文本生成视频

结合物理仿真的高质量视频生成

分辨率与时长

不适用(专注仿真而非视频生成)

最高 1080p,20 秒片段

最高 4K 分辨率,2 分钟以上片段

物理仿真

准确且高速的物理仿真

物理理解有限

高级物理建模,包括流体与对象交互

画质

侧重物理准确性而非视觉美感

超写实或富有想象力的视觉效果

高逼真度,伪影更少

用户控制

高度可定制的物理仿真

文本到视频生成

精确的镜头控制与电影化效果

独特优势

超高速仿真(4300 万 FPS)、统一物理框架、基于 Python

擅长创意叙事

更强的提示遵循、增强的电影语言、更佳的人体动作处理

应用

机器人训练、游戏物理、需要精确物理建模的 AI 研究

创意产业、视频制作

电影制作、科学可视化、内容创作

最佳适用

精确仿真与 AI 研究

创意叙事

逼真、高质量的视频生成

Genesis 接下来会怎样?

Genesis 团队正在开发一些令人期待的新功能,即将推出。其中包括基于物理的触觉传感模块、改进的刚体仿真以及用于提升性能的分块渲染。他们还在添加用于创建角色与镜头运动、交互式场景、面部动画以及行走、抓取等机器人动作的工具。大型虚拟环境也将通过新的仿真特性获得更真实的效果。

仍未启动开发的功能包括 Windows 渲染支持、用户友好界面、更多材料类型的仿真,以及新的传感器选项。

结语

毫无疑问,Genesis 代表了物理仿真与生成式 AI 的重大进步。其速度、精度与跨场景的适应性给我留下了深刻印象。

尽管部分功能仍在开发中,这款开源工具的潜力不容置疑。我相信,Genesis 以用户为本并持续改进的道路,将使高级物理仿真为更广泛的受众所用。

Dr Ana Rojo-Echeburúa

作者

Dr Ana Rojo-Echeburúa

Ana Rojo Echeburúa 是一位人工智能与数据专家,拥有应用数学博士学位。她热衷于将数据转化为可执行的洞见,并在带领技术团队方面拥有丰富经验。Ana 喜欢与客户密切合作,解决其业务难题并打造创新的 AI 解决方案。她以出色的问题解决能力和清晰的沟通著称,对人工智能,尤其是生成式 AI 充满热情。Ana 致力于持续学习与负责任的 AI 开发,同时专注于简化复杂问题,并以通俗易懂的方式解释技术。

主题