Chuyển đến nội dung chính

Gemini Omni: Một mô hình cho Văn bản, Hình ảnh, Âm thanh và Video

Cái nhìn đầu tiên về mô hình any-to-any của Google DeepMind — nó làm được gì, có gì mới và cách truy cập.
Josef Waples
Josef Waples

Tạo tài khoản miễn phí của bạn

Luyện tập và Lộ trình tiến trình của bạn.

Tiếp tục với GoogleBằng cách tiếp tục, bạn chấp nhận Điều khoản sử dụng, Chính sách quyền riêng tư và việc dữ liệu của bạn được lưu trữ tại Hoa Kỳ.

Sự kiện Google I/O được kỳ vọng rất nhiều đã không làm người xem thất vọng. Sau phần dẫn nhập và cùng với Gemini 3.5 Flash và Gemini Spark, điểm nhấn thực sự là: Gemini Omni, một họ mô hình AI đa phương thức gốc "any-to-any", nghĩa là chúng xử lý mọi thứ bạn kể tên — văn bản, hình ảnh, âm thanh và video đồng thời. Nói cách khác, Nano Banana, nhưng dành cho video. (Chính Google cũng mô tả như vậy.)

Mô hình ban đầu là Omni Flash. Nó giới thiệu chỉnh sửa video bằng hội thoại để tạo nội dung mạch lạc từ các tài sản riêng lẻ. Tức là bạn có thể chỉnh sửa và phối lại video thông qua trò chuyện thay vì dùng phần mềm dựng phim.

Gemini Omni là gì?

Hãy tìm hiểu kỹ hơn Omni là gì.

Gemini Omni là mô hình tạo nội dung đa phương thức gốc đầu tiên của Google DeepMind. Biến thể đầu tiên trong họ là Gemini Omni Flash, hiện đã có mặt

  • Trong ứng dụng Gemini,
  • Google Flow, và
  • YouTube Shorts

Omni nhận bất kỳ kết hợp nào của văn bản, hình ảnh, âm thanh và video làm đầu vào và tạo ra một video. Điểm mấu chốt là không có sự chuyển tiếp qua các hệ thống khác nhau; tất cả nằm trong một mô hình.

Trước đây, Google vận hành một ngăn xếp tách rời: Veo cho video, Imagen cho hình ảnh, và các hệ thống riêng cho âm thanh. Omni gộp tất cả vào một mô hình (đúng như tên gọi!) có thể suy luận xuyên suốt các phương thức. Trên thực tế, điều này mang lại các chỉnh sửa mạch lạc hơn và ít lỗi đường ống hơn.

Trước khi đi quá xa, hãy đóng khung theo các tính năng chính.

Các tính năng chính của Gemini Omni

Điều nổi bật với tôi là quy trình. Cả chỉnh sửa bằng hội thoại và dùng phác thảo làm bản vẽ mẫu đều là các tính năng quen thuộc từ công cụ tạo ảnh như Nano Banana 2 hoặc ChatGPT Images 2.0 của OpenAI, nhưng Omni mang chúng vào cả tạo video.

Chỉnh sửa video bằng hội thoại

Khả năng nổi bật là chỉnh sửa video qua hội thoại. Bạn đưa cho Omni một đoạn clip (do bạn tạo hoặc quay trên điện thoại), rồi thay đổi nó bằng cách nói chuyện với nó. "Hãy làm ánh sáng dịu lại." "Đổi góc máy sang qua vai cô ấy." "Làm cây vĩ cầm trở nên vô hình." Mỗi chỉ dẫn được giữ lại qua nhiều lượt. Cảnh tiếp tục phát triển; không bị đặt lại.

Hiểu biết về vật lý đời thực và tri thức thế giới

Google nhấn mạnh điều này khi ra mắt. Omni có trực giác về trọng lực, động năng và động lực học chất lỏng. Trong thử nghiệm ban đầu của tôi, video tạo ra chưa thực sự giống vật lý đời thực – nhưng cũng cần nói thêm, đây là phiên bản Flash, và chúng ta kỳ vọng một mẫu Omni Pro sắp ra mắt sẽ cạnh tranh hơn với các công cụ như Seedance 2.0.

Từ phác thảo và bản vẽ thành video

Bạn có thể biến nét vẽ nguệch ngoạc thành cảnh quay chân thực, dùng phác thảo chỉ như hướng dẫn chuyển động chứ không phải làm tham chiếu hình ảnh cuối cùng. Điều này sẽ hữu ích ở giai đoạn tiền kỳ. Trẻ em cũng sẽ thích điều này cho những bức vẽ của mình.

Đánh dấu SynthID và thông tin xác thực nội dung C2PA

Mỗi đầu ra từ Omni đều có hai lớp nguồn gốc.

  • SynthID là hình mờ vô hình được nhúng trực tiếp vào từng điểm ảnh tại thời điểm tạo. Người xem không thể nhận thấy. Và nó được thiết kế để tồn tại sau cắt xén, bộ lọc và mã hóa lại.
  • Thông tin xác thực nội dung C2PA đi kèm như một bản kê khai mật mã có chữ ký được đính kèm vào tệp. Dù tước bỏ siêu dữ liệu, tín hiệu ở cấp điểm ảnh vẫn giữ được.

Cần lưu ý: SynthID là đặc thù của Google. Chỉ các mô hình của Google mới nhúng nó, vì vậy "không có hình mờ" không đồng nghĩa với "do con người tạo" — mà chỉ có nghĩa là "không đến từ mô hình của Google." Khi Omni có thể phối lại cảnh quay thật dễ dàng như vậy, việc ghi nguồn gốc bền vững trên mọi đầu ra dần trở thành yêu cầu tối thiểu chứ không chỉ là tùy chọn hay.

Thử nghiệm Gemini Omni Flash

Tôi đã thử khả năng tạo video của Omni Flash ở hai hạng mục: vật lý đời thực và chuyển kiểu.

Kiểm tra vật lý và tri thức thế giới

Đây là lời nhắc của tôi: 

A medieval trebuchet launching a fired clay pot at a stone castle wall, shot in slow motion. The counterweight falls, the sling whips around, the pot arcs through the air and shatters against the stone, shards and embers scattering across the courtyard. Continuous handheld camera move, golden hour light, period-accurate construction and dress. Realistic sound design — wood creaking under tension, rope strain, the whoosh of the sling, the sharp crack of impact. No music.

Ghi chú cho biết sẽ mất vài phút, nhưng thực tế chỉ khoảng mười giây. 

Có thể tôi hơi khắt khe, nhưng tôi hơi thất vọng. Góc bay của chiếc bình đất sét ở khung sau sai so với khung trước. Nó đổi góc, trông như một chiếc máy bay với kiểu lực đẩy khác. 

Kiểm tra chuyển động và chuyển kiểu

Giờ tôi sẽ lấy kết quả bài thử trước và xem có thể biến nó thành hoàn toàn khác không. Tôi đã làm gì: tôi chụp ảnh màn hình khung cuối của video trước (tức là tải lên một hình ảnh) rồi yêu cầu một video theo phong cách mới. 

Take the trebuchet clip and re-render the entire scene in the visual style of the Bayeux Tapestry from this reference image — flat embroidered figures, period-accurate threading colors (faded reds, ochres, blues, greens against undyed linen), narrow decorative borders top and bottom with stitched Latin captions, characteristic medieval proportions where soldiers and the trebuchet are roughly the same scale. Keep the original motion choreography intact: the counterweight falls, the sling whips around, the pot arcs through the air and shatters against the castle wall, all in the same timing and trajectory. The shatter moment should read as the embroidery itself unraveling — threads splaying outward on impact. Replace the original sound design with a single dulcimer or hurdy-gurdy underscore. No live-action foley.

Video này mất nhiều thời gian tạo hơn. Nhưng đáng để chờ. Bỗng nhiên, lỗi vật lý không còn quan trọng vì phong cách thảm thêu cho phép có khiếm khuyết, và kết quả trông khá hài hước. Lần này máy bắn đá lại phóng ngược.

Vị thế của Gemini Omni trên các bảng chuẩn

Cần nói rõ trước: Google không công bố các chỉ số định lượng kèm theo lần ra mắt Omni. Thông báo của DeepMind mở đầu bằng các tuyên bố về năng lực như hiểu vật lý, tri thức thế giới, chỉnh sửa qua hội thoại, nhưng không đưa ra điểm số đối đầu trên các bài đánh giá chuẩn hóa.

Các bảng chuẩn độc lập từ bên thứ ba sẽ chưa xuất hiện ít nhất trong vài tuần.

Điều đó có nghĩa gì cho bức tranh cạnh tranh: thời điểm hiện tại, dẫn đầu công khai trên Artificial Analysis Video Arena (thứ gần nhất với một bảng xếp hạng chuẩn ngành cho tạo video) là Seedance 2.0 của ByteDance, với Elo 1.269 cho văn bản-thành-video và 1.351 cho ảnh-thành-video. 

Dù vậy, đây là các bảng chuẩn đáng theo dõi khi có kết quả:

  • VBench 2.0: đánh giá vật lý, suy luận thường thức, độ trung thực với con người và khả năng điều khiển trên 18 chiều.
  • Artificial Analysis Video Arena: xếp hạng ưu tiên của con người theo kiểu Elo đối đầu trực tiếp. 
  • VABench: đánh giá kết hợp âm thanh-video. Quan trọng vì Omni tạo âm thanh đồng bộ một cách gốc.

Cách truy cập Gemini Omni: Giá và gói

Hiện có thể truy cập trong các tầng AI cho người dùng của Google tại Mỹ:

  • AI Plus với 7,99 USD/tháng
  • AI Pro với 19,99 USD/tháng, và
  • AI Ultra với 249,99 USD/tháng

Hạn mức credit tăng theo tầng: Plus được 200 credit AI mỗi tháng, Pro được 1.000.

Truy cập API sẽ "ra mắt trong vài tuần tới." Chúng tôi sẽ viết chi tiết hơn khi có thể trực tiếp trải nghiệm.

Kết luận

Cho đến nay, ngăn xếp tạo nội dung đa phương tiện giống như một cuộc chạy tiếp sức. Văn bản đi vào một mô hình, đầu ra được chuyển cho mô hình ảnh, mô hình ảnh chuyển khung tĩnh cho mô hình video, rồi mô hình video chuyển khung hình cho mô hình âm thanh. Mỗi lần bàn giao đều có thể làm rò rỉ tính mạch lạc hoặc chất lượng. Tuyên bố lớn của Omni là nó suy luận xuyên suốt văn bản, hình ảnh, video và âm thanh trong cùng một lượt xử lý. 

Một mô hình Omni đủ năng lực, mà chúng tôi đoán hướng tới doanh nghiệp, chắc chắn đang được phát triển. 

Josef Waples

Tác giả

Josef Waples

Tôi là một cây bút và biên tập viên về khoa học dữ liệu, đã có bài đóng góp cho các nghiên cứu đăng trên tạp chí khoa học. Tôi đặc biệt quan tâm đến đại số tuyến tính, thống kê, R và các chủ đề tương tự. Tôi cũng chơi cờ vua khá thường xuyên! 

Câu hỏi thường gặp về Gemini Omni

Gemini Omni là gì và hoạt động như thế nào?

Gemini Omni là mô hình AI video của Google DeepMind, tạo và chỉnh sửa video từ đầu vào là văn bản, hình ảnh, âm thanh hoặc video thông qua hội thoại tự nhiên.

Bạn có thể làm gì với Gemini Omni?

Chỉnh sửa phong cách video, thay nhân vật bằng ảnh tham chiếu, đổi góc máy, đồng bộ văn bản và âm thanh với hành động, biến phác thảo thành cảnh quay và kết hợp nhiều đầu vào vào một cảnh.

Làm thế nào để truy cập Gemini Omni?

Nó có sẵn trong ứng dụng Gemini, Google Flow và YouTube Shorts. Cần đăng ký Google AI, với tính năng khác nhau theo tầng và khu vực.

Bạn có thể chỉnh sửa video Gemini Omni bằng các lời nhắc tiếp theo không?

Có. Omni hỗ trợ chỉnh sửa nhiều lượt, vì vậy bạn có thể tinh chỉnh chi tiết, môi trường và góc máy theo từng bước trong khi vẫn giữ cảnh nhất quán.

Làm sao biết một video được tạo bằng Gemini Omni?

Mỗi đầu ra đều có hình mờ vô hình SynthID và Thông tin xác thực Nội dung C2PA, có thể xác minh trong ứng dụng Gemini (hỗ trợ Chrome và Tìm kiếm sẽ sớm ra mắt).

Chủ đề

Liên quan