与较早的仿真平台相比,Genesis 的一些关键特性如下:
- 惊人的速度: Genesis 极其快速,在 RTX 4090 上可为机械臂模拟超过 4300 万帧每秒(FPS),即实时的 43 万倍!Genesis 是全球最快的物理引擎,较 Isaac Gym 或 Mujoco 等模拟器可快至 80 倍,且不牺牲精度。
- 广泛兼容: 可在 Linux、macOS 和 Windows 上运行,并支持包括 CPU、Nvidia GPU、AMD GPU 和 Apple Metal 在内的不同硬件。
- 一体化物理系统: Genesis 将多种物理工具整合为一个系统,可模拟刚体、液体、气体、可变形体等,能够处理多种材料及其相互作用。
- 支持各类机器人: 机械臂、无人机、软体机器人、腿足机器……应有尽有。Genesis 可适配广泛对象,并支持 .xml、.obj、.stl 等常见文件类型。
- Python 驱动: Genesis 完全基于 Python 构建,易于使用与自定义。
Genesis 视频示例
Genesis 能以极高精度模拟物体运动、角色动作与交互。下面看看 Genesis 团队分享的几个示例。
创建 4D 动态世界
Genesis 通过其先进的物理引擎与 AI 工具来构建细致、逼真的虚拟世界,涵盖四维中的运动与交互。这些世界可用于生成精确的视频、动画和其他仿真数据。它甚至能生成自然一致的镜头运动与物体行为。
角色动作
Genesis 可以为角色创建细腻的动画。例如:
一尊小悟空模型在桌面上疾奔,跃入空中,在镜头环绕时于半空中停顿,然后落地。
机器人策略生成
Genesis 帮助机器人在多种场景中自动学习技能并执行任务。示例如下:
机械臂在微波炉中加热食物
交互式 3D 场景生成
Genesis 能创建细致的 3D 空间,例如:
包含客厅、厨房、书房和卧室的家居内景
开放世界对象创建
Genesis 生成具有活动部件的逼真对象(关节化对象),超越典型的预制素材。
软体机器人仿真
Genesis 可模拟软体机器人或混合体(软质外壳与刚性骨架),例如:
具有肌肉样特性的蠕虫运动。
语音、动画与情绪
Genesis 能生成与语音配对的面部动画,呈现中性、愤怒、快乐等情绪之间的转换。
Genesis 入门
我正在编写 Genesis 的详细编码教程,近期将发布,因此本节仅涵盖基础内容。
要安装 Genesis,请在终端中运行 pip install genesis-world。
您需要确保使用 Python 3.9 或更高版本,并安装 PyTorch。有关设置方法,请参阅 PyTorch 官网。
Genesis 的文档是一份非常有用的资源,介绍如何使用这款物理仿真工具的各项功能。它首先解释 Genesis 是什么、为何创建以及如何配置;随后带您了解基础功能,如创建视觉效果、控制机器人以及并行运行多项仿真。
您还会发现针对机器人运动规划、软体机器人以及使用强化学习教会机器人运动等任务的工具。对于高级用户,指南还包含碰撞处理、基于仿真的调参以及无人机应用等主题。
Genesis vs. Sora vs. Veo 2
下面比较 Genesis、Sora 与 Veo 2,看看它们之间有何不同:
定位与侧重
- Genesis: 面向机器人与 AI 应用的物理仿真工具。
- Sora: 从文本提示生成视频的模型,侧重于想象力或逼真的视觉效果。
- Veo 2: 结合高质量画面与逼真物理的先进视频生成器。
关键特性
- 分辨率与时长:
- Genesis 不生成视频,而是专注于物理仿真。
- Sora 最高生成 1080p、时长 20 秒的视频。
- Veo 2 支持最高 4K 分辨率与 2 分钟以上的视频。
- 物理仿真:
- Genesis 擅长高速且准确的物理仿真。
- Sora 对物理的理解有限。
- Veo 2 建模流体与对象交互等物理现象。
- 视觉效果:
- Genesis 更重视物理准确性而非外观。
- Sora 生成超写实或富有想象力的画面。
- Veo 2 提供高度逼真的视频,较 Sora 错误更少。
- 用户控制:
- Genesis 允许对物理仿真进行细粒度控制。
- Sora 通过文本提示生成视频。
- Veo 2 提供精确的镜头控制与电影化效果。
优势
- Genesis: 超高速物理仿真、整合多种物理工具、基于 Python,便于使用。
- Sora: 适合创意与想象力驱动的叙事。
- Veo 2: 最适合逼真视频,场景控制力强,并且更好地处理人类动作。
应用场景
- Genesis: 用于机器人、游戏与需要精确物理的 AI 研究。
- Sora: 非常适合视频制作与娱乐等创意行业。
- Veo 2: 适用于电影制作、内容创作与高细节科学视频。
|
功能 |
Genesis |
Sora |
Veo 2 |
|
定位 |
用于机器人、具身智能与物理 AI 的物理仿真 |
文本生成视频 |
结合物理仿真的高质量视频生成 |
|
分辨率与时长 |
不适用(专注仿真而非视频生成) |
最高 1080p,20 秒片段 |
最高 4K 分辨率,2 分钟以上片段 |
|
物理仿真 |
准确且高速的物理仿真 |
物理理解有限 |
高级物理建模,包括流体与对象交互 |
|
画质 |
侧重物理准确性而非视觉美感 |
超写实或富有想象力的视觉效果 |
高逼真度,伪影更少 |
|
用户控制 |
高度可定制的物理仿真 |
文本到视频生成 |
精确的镜头控制与电影化效果 |
|
独特优势 |
超高速仿真(4300 万 FPS)、统一物理框架、基于 Python |
擅长创意叙事 |
更强的提示遵循、增强的电影语言、更佳的人体动作处理 |
|
应用 |
机器人训练、游戏物理、需要精确物理建模的 AI 研究 |
创意产业、视频制作 |
电影制作、科学可视化、内容创作 |
|
最佳适用 |
精确仿真与 AI 研究 |
创意叙事 |
逼真、高质量的视频生成 |
Genesis 接下来会怎样?
Genesis 团队正在开发一些令人期待的新功能,即将推出。其中包括基于物理的触觉传感模块、改进的刚体仿真以及用于提升性能的分块渲染。他们还在添加用于创建角色与镜头运动、交互式场景、面部动画以及行走、抓取等机器人动作的工具。大型虚拟环境也将通过新的仿真特性获得更真实的效果。
仍未启动开发的功能包括 Windows 渲染支持、用户友好界面、更多材料类型的仿真,以及新的传感器选项。
结语
毫无疑问,Genesis 代表了物理仿真与生成式 AI 的重大进步。其速度、精度与跨场景的适应性给我留下了深刻印象。
尽管部分功能仍在开发中,这款开源工具的潜力不容置疑。我相信,Genesis 以用户为本并持续改进的道路,将使高级物理仿真为更广泛的受众所用。
Ana Rojo Echeburúa 是一位人工智能与数据专家,拥有应用数学博士学位。她热衷于将数据转化为可执行的洞见,并在带领技术团队方面拥有丰富经验。Ana 喜欢与客户密切合作,解决其业务难题并打造创新的 AI 解决方案。她以出色的问题解决能力和清晰的沟通著称,对人工智能,尤其是生成式 AI 充满热情。Ana 致力于持续学习与负责任的 AI 开发,同时专注于简化复杂问题,并以通俗易懂的方式解释技术。

今年 12 月的 AI 视频生成新品似乎层出不穷——在 Sora 与 Veo 2 之后,聚光灯现在转向了 Genesis。
Genesis 是一款能够生成高度逼真仿真的 AI 物理引擎。它速度惊人,并能生成交互式 4D 世界。核心应用场景包括机器人技术与物理实验。
在这篇博客中,我将概述 Genesis,展示一些示例,并将其与 Sora 等其他视频生成工具进行比较。若要了解如何配置 Genesis,请阅读这篇Genesis 安装分步指南。
什么是 Genesis?
Genesis 是一款面向广泛用途的物理平台,包括机器人技术、与真实世界交互的 AI,以及处理物理对象的 AI。Genesis 是 20 多家研究实验室历时两年大型协作的成果。
核心贡献者。图片来源: Genesis
与常规视频生成器不同,Genesis 从一开始就是为物理引擎而设计。它将不同的物理工具(如刚体、流体和软材料)整合为一个系统,从而能够处理多样化的真实世界仿真。我们可以将 Genesis 用作: