Google Project Genie 指南：详解 Google 的基础世界模型

Project Genie 的关键特性

下面我们来看看 Project Genie 的一些关键功能。

• 交互式世界生成： 与视频不同，您才是“驾驶员”。您控制相机或角色，模型会根据您的具体动作实时生成下一帧。
• 世界构想（World sketching）： 您可以用简单的文本提示（如“一个霓虹闪烁的赛博朋克城市”）或上传图片来“播种”一个世界。随后，AI 会基于该静态输入生成可游玩的 3D 版本。
• 世界混搭（World remixing）： 允许您在既有世界的基础上进行改造。您可以更换艺术风格、添加新元素或调整氛围，同时保持核心布局不变。
• 动作可控性： 模型经过训练，可识别跳跃、飞行或行走等输入。它将这些指令映射为合乎逻辑的视觉变化，让您在模拟中拥有操控感。

Project Genie 上手体验

让我们从一些基础用例入手，把想法变成现实。

世界构想

创建一个世界从“世界构想”阶段开始。您输入提示或上传照片，系统会利用Nano Banana Pro（Google 最新的高保真图像引擎）来优化初始视觉效果。

这种集成确保起始帧具备复杂 3D 环境所需的结构深度与纹理。

您甚至可以在模拟开始前，通过定义角色在空间中的移动方式来“勾勒”世界的运行逻辑。

下面，您将看到我撰写的示例环境与角色描述。模型据此生成其将要启动的初始世界。

世界混搭

“世界混搭”功能在创意流程中尤为亮眼。比如，您可以拿一张本地公园的写实照片，并提示模型“把它混搭为吉卜力工作室的卡通风格”。

生成的可游玩世界会保留公园的物理布局（树木、小径），同时叠加全新的艺术美学。总体过渡较为平滑，不过在处理复杂纹理时，转换过程中偶尔会出现轻微“融化”。

例如，我让模型把湖水变成粉色，它也会作出相应反应。整体艺术风格与物理布局保持不变，同时更新湖面。

3D 探索

一旦世界生成，您将进入 3D 探索模式。您可以以第一人称或第三人称在世界中导航。

使用 WASD 键在世界中移动角色，同时用方向键环顾四周。您甚至可以使用空格键跳跃并越过障碍物。

每个会话为您提供 60 秒的探索时间。

就我的体验而言，整体环境相当出色。随着您的移动，AI 会生成与既定风格相匹配的新地形。处理复杂纹理时确实有一些限制，且能感觉到模型是在实时“构思”，因此帧率并非总是最流畅。

然而，想到我用不到一分钟写下一个简单提示，就能在几分钟内生成一个可探索的世界，仍然令人叹为观止。

我如何访问 Project Genie？

截至 2026 年初，Project Genie 仍是一项实验性的研究原型，尚未向公众开放。

目前，仅限位于美国的 Google AI Ultra 订阅用户访问。

如果您拥有有效订阅，可在 Google Labs FX 门户中找到该工具。

请注意，参与该研究项目的用户必须年满 18 岁。

Project Genie 表现如何？

在一个实时生成的世界中导航，与玩一款预渲染画面的电子游戏有很大不同。

当然，我们也无法像评测标准 LLM 那样评判它，因为我们不能通过提问来测试一个“世界”。我们只能从视觉与交互体验进行评估。

先说技术细节。视频上限为 720p，帧率约 24 fps。相较于 Sora，其“清晰度”略逊一筹，因为平滑视频生成与交互式世界生成的侧重点不同。

实时生成一个世界的计算强度要大得多。

从视觉上看，体验相当不错。同样地，我也遇到过由于较低帧率导致的轻微卡顿。但总体而言，世界的一致性不错。

不过，我在一些运行中注意到，生成的对象有时会在您走过并回头观看时消失或发生变化。这种情况更常见于独特对象（如角色），而非树木等静态对象。

与世界的交互大多数时候都很顺畅。当您按键移动或环顾时，摄像机会相应平移和移动。

在这一点上，世界的交互性相当好。我确实在跳跃上遇到过一些延迟，我认为这通常发生在平坦表面上，模型并不“预期”您会跳跃。

当地面上有障碍、且您“理应”跳过去时，效果会更稳定。

总体而言，除了风格化的艺术风格外，它确实很像现实世界。大多数情况下，对象的距离与尺寸合理。诸如运动视差等现象在整个体验中也保持一致。

我也发现，当我要求它同时执行多个动作（如一边游泳一边行走）时，总能把模型“整崩”。我认为要得到理想结果，提示词的措辞需要相当精准。

总的来说，这是一段令人惊艳的体验，也很难相信生成简单交互式世界竟如此容易。

Project Genie 的应用场景

我能想到很多不同人群使用 Project Genie 的方式。

1. 快速游戏原型制作： 设计师无需耗费数月进行环境建模，即可即时测试关卡的“手感”。向其提供关于游戏物理、艺术风格的精确信息，并附上关卡草图，看看可能的玩法表现。
2. 训练 AI 智能体： 世界模型可为机器人提供安全、无限的“健身房”，让其在部署到物理世界之前先学习导航与物体操作。
3. 教育： 学生可以生成一个历史场景，如古罗马，亲自走在街头，理解其尺度与建筑——这是课本难以提供的。

这里是对伦敦环球剧院的一个小小探访。虽然还不够完美，但通过进一步打磨提示词，我们可以逐步构建更为精确的世界复刻。

以下是我使用的提示：

World Prompt:
A hyper realistic 360-degree immersive recreation of London's Southbank. Focus on the Globe Theater, a massive three-story open-air polygonal wooden structure with a thatched roof. The exterior is white lim-wash with dark oak timber framing. Nearby, include the Rose Theatre. 

The streets are narrow, unpaved, and muddy. Include the River Thames and the distance silhouette of Old London Bridge. 

Character: A person that wears a doublet of velvet and stained leather breeches. He has ink stains and a small jagged scar across his eyebrow.技术支持

总结

Project Genie 标志着从“生成式媒体”向“生成式模拟”的转变起点。我们正迈出超越仅仅“观看 AI 生成内容”的时代，进入一个可以“身处其中”的时代。我们开始看到大型动作模型的兴起，它们理解您作为人的目标，并为这些目标提供环境与动作支持。与此同时，我们也在见证诸如字节跳动 Seedance 2.0等工具带来的新一代视频创作，我们在另一篇指南中有详细介绍。

若想更深入了解构建这些模型所需的要素，我推荐以下资源：

• Sora 2 API：完整指南与示例
• Python 强化学习
• Python 深度强化学习