也许我是有点挑剔,但还是有些失望。后面帧中陶罐的角度相对于前面帧不对。角度发生了变化,看起来像一架使用了另一种推进方式的飞机。
测试运动与风格迁移
现在,我想把上一次测试的结果改得完全不同。我做了这样一件事:我截取了那个视频的帧(也就是上传了一张图像),然后要求生成一种新风格的视频。
Take the trebuchet clip and re-render the entire scene in the visual style of the Bayeux Tapestry from this reference image — flat embroidered figures, period-accurate threading colors (faded reds, ochres, blues, greens against undyed linen), narrow decorative borders top and bottom with stitched Latin captions, characteristic medieval proportions where soldiers and the trebuchet are roughly the same scale. Keep the original motion choreography intact: the counterweight falls, the sling whips around, the pot arcs through the air and shatters against the castle wall, all in the same timing and trajectory. The shatter moment should read as the embroidery itself unraveling — threads splaying outward on impact. Replace the original sound design with a single dulcimer or hurdy-gurdy underscore. No live-action foley.
这段视频的生成时间更长。但等待是值得的。突然之间,之前的物理小故障完全不重要了,因为挂毯风格允许一些不完美,效果反而很有趣。这次投石机确实是“倒着”发射了。
Gemini Omni 的基准测试现状
需要先说明:谷歌在发布 Omni 时并未同步公布数值化基准。DeepMind 的公告以能力主张为先,比如物理理解、世界知识和对话式编辑,但未提供在标准化评测中的正面对比得分。
独立的第三方基准至少还需要几周时间。
对竞争格局的含义是:截至目前,人工分析 Video Arena(视频生成领域最接近行业标准的榜单)上的公众领先者是字节跳动的 Seedance 2.0,其文本转视频 Elo 为 1,269,图像转视频 Elo 为 1,351。
话虽如此,一旦这些评测上线,以下基准值得重点关注:
- VBench 2.0:从 18 个维度评估物理、常识推理、人类逼真度与可控性。
- Artificial Analysis Video Arena:采用 Elo 体系的人类偏好正面对比排行。
- VABench:音视频联合评测。尤其重要,因为 Omni 原生生成同步音频。
如何使用 Gemini Omni:价格与方案
目前的使用入口位于谷歌在美国的消费者 AI 套餐内:
- AI Plus:每月 $7.99
- AI Pro:每月 $19.99,以及
- AI Ultra:每月 $249.99
各档位的额度随之提升:Plus 每月 200 个 AI 点数,Pro 为 1,000 个。
API 访问“将在接下来几周内推出”。我们拿到后会撰文进行更详细的介绍。
结语
迄今为止,生成式媒体的流程更像接力赛。文本进一个模型,输出交给图像模型,再把静帧交给视频模型,最后把画面交给音频模型。每一次交接都有可能损失连贯性或质量。Omni 的重要主张是:它能在同一次前向推理中,跨文本、图像、视频与音频进行统一的推理。
一款全功能的 Omni 模型(我们猜测面向企业)显然已在筹备中。

作者
Josef Waples
我是数据科学编辑,曾为科学期刊发表的研究论文撰稿。我的兴趣领域包括线性代数、统计学、R 等相关主题。
Gemini Omni 常见问题
什么是 Gemini Omni?它如何工作?
Gemini Omni 是 Google DeepMind 的 AI 视频模型,可通过自然对话从文本、图像、音频或视频输入来创建和编辑视频。
使用 Gemini Omni 能做什么?
您可以编辑视频风格、用参考图像替换角色、改变机位角度、将文字和声音与动作同步、把草图变成镜头,并将多种输入合成同一场景。
如何使用 Gemini Omni?
它可在 Gemini 应用、Google Flow 和 YouTube Shorts 中使用。需要订阅 Google AI,具体功能因档位与地区而异。
能否通过后续提示继续编辑 Gemini Omni 生成的视频?
可以。Omni 支持多轮编辑,您可以逐步细化细节、环境与机位,同时保持场景一致性。
如何判断视频是否由 Gemini Omni 生成?
每个输出都包含不可见的 SynthID 水印和 C2PA 内容凭证,可在 Gemini 应用中验证(Chrome 和搜索将很快支持)。
备受关注的 Google I/O 活动并未让人失望。在简短铺垫之后,与 Gemini 3.5 Flash 和 Gemini Spark 一同亮相的真正焦点是:Gemini Omni —— 一个原生多模态、"任意到任意" 的全新 AI 模型家族。这意味着它可以同时处理您能想到的一切:文本、图像、音频和视频。换句话说,Nano Banana 的视频版。(这正是谷歌自己的说法。)
首发模型是 Omni Flash。它引入了对话式视频编辑,将分散的素材组合成连贯的媒体。因此,您可以通过对话来编辑和混剪视频,而无需使用传统剪辑软件。
什么是 Gemini Omni?
让我们更详细地了解 Omni 的核心。
Gemini Omni 是 Google DeepMind 的首个原生多模态生成媒体模型。该家族的首个变体是 Gemini Omni Flash,现已上线于
Omni 接受文本、图像、音频和视频的任意组合作为输入,并输出一个视频。关键在于,这并非由不同系统接力完成;而是由同一个模型一体化完成。
在此之前,谷歌采用的是分离的技术栈:视频用 Veo,图像用 Imagen,音频则是独立系统。Omni 将这些能力融合为一个模型(名字由此而来),能够跨模态进行推理。实际效果就是编辑更连贯、流水线伪影更少。
在我兴奋过度之前,先从关键功能来梳理。
Gemini Omni 的关键功能
让我印象最深的是流程本身。对话式编辑和以草图为蓝本的用法,我们已在图像生成工具(如 Nano Banana 2 或 OpenAI 的 ChatGPT Images 2.0)中见过,而 Omni 将这些能力带到了视频生成。
对话式视频编辑
最引人注目的能力是对话式视频编辑。您给 Omni 一个片段(无论是生成的还是您用手机拍的),然后通过与它对话来修改它。“把灯光调暗。”“把机位改成越肩视角。”“让小提琴隐形。”每条指令都会在多轮对话中持续生效。场景是在演进,而不是重置。
真实物理与世界知识
发布会上,谷歌特意强调了这一点。Omni 对重力、动能和流体力学有直观把握。我的初测里,生成的视频并不完全像真实世界的物理效果——但话说回来,这只是 Flash 版本,我们也预期 Omni Pro 很快会推出,并与诸如 Seedance 2.0 这类工具更具竞争力。
从草图和绘画到视频
您可以把涂鸦变成逼真的镜头,把草图仅用作运动引导,而非最终画面参考。这在前期制作中会很实用。孩子们也会喜欢把他们的画变成动画。
SynthID 水印与 C2PA 内容凭证
每个 Omni 输出都带有两层来源标记。
需要强调的是:SynthID 是谷歌特有的。只有谷歌自家的模型会嵌入它,所以“没有水印”并不等于“人为制作”——它只意味着“不是来自谷歌模型”。鉴于 Omni 能轻松混剪真实素材,为每个输出提供可持续追溯的来源标记,已不再是可有可无,而更像是基本要求。
Gemini Omni Flash 测试
我从两类角度测试了 Omni Flash 的视频生成能力:真实物理效果,以及风格迁移。
测试物理与世界知识
我的提示如下:
提示说明写着需要几分钟,但实际上只花了大约十秒。