OmniHuman của ByteDance: Hướng dẫn kèm ví dụ

OmniHuman là gì?

OmniHuman là mô hình tạo video từ ảnh, có thể tạo ra các video hoặc hoạt hình chân thực dựa trên một hình ảnh. Về mặt kỹ thuật, tên đầy đủ của nó là OmniHuman-1, cho thấy đây là một phần của dự án dài hạn với các phiên bản tiếp theo đang được phát triển. Để tiện, trong suốt bài viết này tôi sẽ gọi tắt là OmniHuman.

Dựa vào các ví dụ do nhóm nghiên cứu đứng sau OmniHuman cung cấp, mô hình này nổi trội ở khả năng hoạt hình hóa chủ thể theo cách trông tự nhiên, thực hiện cử chỉ và thậm chí hát hoặc chơi nhạc cụ.

OmniHuman có thể tạo video với nhiều kích thước đầu vào và tỷ lệ cơ thể khác nhau, hỗ trợ nhiều loại khuôn hình như cận cảnh, nửa người hoặc toàn thân. Nó cũng có thể đồng bộ khẩu hình theo âm thanh.

Lưu ý rằng các ảnh đầu vào cho hầu hết ví dụ video trong bài này chính là khung hình đầu tiên của mỗi video (cộng với phần âm thanh). Điều này quan trọng để bạn hình dung rõ hơn mức độ dễ dàng khi tạo các video này bằng OmniHuman.

Các tính năng của OmniHuman

Hỗ trợ nhiều loại chủ thể

OmniHuman có thể xử lý đa dạng đầu vào vượt xa hình người. Bao gồm hoạt hình, vật thể nhân tạo, động vật, và cả các tư thế khó mà các công cụ tạo video truyền thống thường gặp thách thức.

OmniHuman cũng hỗ trợ nhiều tỷ lệ khung hình, điều đôi khi là hạn chế của các mô hình tạo video. Video phía trên có tỷ lệ dọc (9:16), trong khi video phía dưới có tỷ lệ vuông (1:1).

Nói và hát

Trong ví dụ dưới đây, chúng ta thấy một bài Ted Talk do AI tạo trông rất chân thực. Với tôi, thật khó tin khi điều này được tạo chỉ từ một bức ảnh. Các cử động cơ thể khá thuyết phục và nhất quán với lời nói.

Trong ví dụ thứ hai này, chủ thể đang hát. Ví dụ này kém thuyết phục hơn vì chuyển động tay chơi guitar không khớp với bản nhạc guitar.

Đồng bộ khẩu hình

Ví dụ tiếp theo thực sự cho thấy sức mạnh của OmniHuman về đồng bộ khẩu hình. Không giống chuyển động tay chơi guitar, video này mang đến màn trình diễn rất đáng tin vì người đó thực sự trông như đang hát, thậm chí còn nhất quán với cao độ.

Điều này cũng đúng với lời nói thông thường, không chỉ khi hát (xem ví dụ bên dưới). Hạn chế chính của video dưới đây là tôi thấy một số hiện tượng giả lập quanh tóc khi đứa trẻ di chuyển. Ngoài ra, màu môi và độ trắng của răng rất không tự nhiên và không hợp với chủ thể.

Toàn thân, nửa người và cận cảnh

Hai ví dụ tiếp theo cho thấy khả năng của OmniHuman trong việc tạo video nửa người cũng như cận cảnh. Hãy bắt đầu với ví dụ nửa người:

Và bây giờ, hãy xem một video được tạo cho cảnh cận mặt:

Hoạt hình hóa bàn tay

Một trong những điểm mà các mô hình tạo video và hình ảnh thường gặp khó khăn là bàn tay. Vì một lý do nào đó, bàn tay thường là thách thức lớn với AI, dẫn đến thừa ngón và lỗi hình ảnh. Qua các ví dụ, OmniHuman có vẻ xử lý khá tốt những vấn đề này.

Có vẻ như nó cũng có thể xử lý các trường hợp cầm nắm vật thể:

Điều khiển bằng video

Chúng ta đã thấy OmniHuman hỗ trợ điều khiển bằng âm thanh, nơi âm thanh được dùng để dẫn hướng việc tạo video cho khớp. Tuy nhiên, OmniHuman cũng hỗ trợ đầu vào video để điều khiển bằng video. Theo cách này, nó có thể bắt chước các hành động cụ thể trong video.

Lý do khiến OmniHuman có thể hỗ trợ cả điều khiển bằng âm thanh (khiến video nhất quán với một âm thanh cho sẵn) lẫn điều khiển bằng video nằm ở cách nó được huấn luyện, mà chúng ta sẽ tìm hiểu tiếp theo.

Cách truy cập OmniHuman?

Tại thời điểm xuất bản bài viết này, chưa có thông tin chi tiết về cách truy cập Omnihuman. Để cập nhật chính thức hoặc thông báo về phát hành và cách truy cập, hãy theo dõi các kênh chính thức của ByteDance, như thông cáo báo chí hoặc trang web doanh nghiệp của họ. Ngoài ra, vì ByteDance sở hữu TikTok, các cập nhật cũng có thể xuất hiện trên các nền tảng liên quan đến công ty.

OmniHuman hoạt động như thế nào?

Tên gọi OmniHuman bắt nguồn từ việc, trái ngược với các mô hình hiện tại, nó tích hợp nhiều tín hiệu điều kiện trong giai đoạn huấn luyện, mà họ gọi là huấn luyện omni-điều kiện. Nói đơn giản, các tín hiệu điều kiện này là những loại thông tin khác nhau được dùng để dẫn hướng việc tạo video về con người.

Các mô hình hiện nay thường dựa trên một tín hiệu điều kiện đơn lẻ, như âm thanh hoặc tư thế. Ví dụ, mô hình điều kiện âm thanh tập trung vào biểu cảm khuôn mặt và đồng bộ khẩu hình, trong khi mô hình điều kiện tư thế nhấn mạnh tư thế toàn thân.

Tuy nhiên, không phải mọi dữ liệu đều khớp hoàn hảo với các tín hiệu cụ thể này. Do đó, lượng lớn dữ liệu tiềm năng hữu ích bị loại bỏ trong quá trình lọc vì chúng chứa những yếu tố (ví dụ: chuyển động cơ thể không liên quan đến lời nói trong các mô hình điều khiển bằng âm thanh) không phù hợp với phạm vi hẹp của tín hiệu điều kiện.

Hãy tưởng tượng bạn đang cố tạo hoạt hình cho một người, giống như trong trò chơi điện tử hoặc phim hoạt hình. Để hoạt hình trông chân thực, bạn cần nhiều hơn là chỉ biết người đó trông thế nào trong một bức ảnh. Bạn cũng cần chi tiết về cách họ di chuyển, họ nói gì, và thậm chí các tư thế họ có thể thực hiện.

OmniHuman kết hợp ba loại điều kiện để học cách tạo video:

• Văn bản: Tức là sử dụng từ ngữ hoặc mô tả để dẫn hướng hoạt hình. Ví dụ, nếu văn bản ghi "Người đó đang vẫy tay", hoạt hình sẽ dùng thông tin này để khiến người đó vẫy tay.
• Âm thanh: Đây là âm thanh, như giọng nói của ai đó hoặc nhạc nền. Nếu người trong hoạt hình đang nói điều gì, mô hình sẽ dùng âm thanh để đảm bảo môi chuyển động khớp với lời.
• Tư thế: Chỉ vị trí và chuyển động cơ thể của người. Chẳng hạn, nếu bạn muốn hoạt hình hóa ai đó đang nhảy, các tư thế sẽ cung cấp hướng dẫn cách tay chân nên di chuyển.

Ý tưởng là bằng cách kết hợp các tín hiệu khác nhau này, mô hình có thể tạo video trông rất chân thực.

Một lợi thế khác của huấn luyện omni-điều kiện là mô hình có thể giảm lãng phí dữ liệu so với các mô hình khác. Các mô hình khác không thể tận dụng tối đa dữ liệu dùng để huấn luyện vì các lý do sau:

• Tính đặc thù của tín hiệu điều kiện: Các mô hình hiện tại thường dựa trên một tín hiệu điều kiện đơn lẻ, như âm thanh hoặc tư thế. Ví dụ, mô hình điều kiện âm thanh tập trung vào biểu cảm khuôn mặt và đồng bộ khẩu hình, trong khi mô hình điều kiện tư thế nhấn mạnh tư thế toàn thân. Tuy nhiên, không phải mọi dữ liệu đều khớp hoàn hảo với các tín hiệu cụ thể này. Do đó, lượng lớn dữ liệu tiềm năng hữu ích bị loại bỏ trong quá trình lọc vì chúng chứa những yếu tố (ví dụ: chuyển động cơ thể không liên quan đến lời nói trong các mô hình điều khiển bằng âm thanh) không phù hợp với phạm vi hẹp của tín hiệu điều kiện.
• Lọc và làm sạch dữ liệu: Để nâng cao hiệu quả huấn luyện và độ chính xác của mô hình, các phương pháp hiện có áp dụng quy trình lọc và làm sạch dữ liệu nghiêm ngặt. Ví dụ, mô hình điều kiện âm thanh lọc dữ liệu dựa trên độ chính xác đồng bộ khẩu hình, còn mô hình điều kiện tư thế lọc theo độ nhìn thấy và ổn định của tư thế. Những quy trình này loại bỏ dữ liệu có thể chứa các mẫu chuyển động hữu ích và bối cảnh đa dạng cần thiết để mở rộng năng lực mô hình.
• Khả năng áp dụng hạn chế: Do phụ thuộc vào các bộ dữ liệu được tuyển chọn kỹ lưỡng, các mô hình này chỉ áp dụng cho phạm vi hẹp các kịch bản—chẳng hạn như quay chính diện, phông nền tĩnh. Điều này hạn chế khả năng khái quát hóa của mô hình trong các bối cảnh đa dạng và thực tế hơn.

Bằng cách sử dụng huấn luyện omni-điều kiện, mô hình OmniHuman có thể tận dụng hiệu quả các bộ dữ liệu lớn và đa dạng hơn, tạo ra video nhân vật chân thực và linh hoạt trong nhiều điều kiện và phong cách.

Dữ liệu huấn luyện cho OmniHuman

Bộ dữ liệu dùng để huấn luyện OmniHuman bao gồm khoảng 18,7 nghìn giờ dữ liệu liên quan đến con người, được chọn theo các tiêu chí thiết yếu cho tạo video như thẩm mỹ, chất lượng hình ảnh và biên độ chuyển động.

Trong khối dữ liệu khổng lồ này, 13% được dành cho huấn luyện với hai phương thức âm thanh và tư thế, dựa trên các điều kiện nghiêm ngặt về độ chính xác đồng bộ khẩu hình và khả năng nhìn thấy tư thế. Cách tiếp cận hai tầng này đảm bảo chỉ những dữ liệu liên quan nhất mới góp phần hình thành hiểu biết của mô hình về hoạt hình con người, cho phép nó hoạt động hiệu quả trong nhiều kịch bản.

Các mô hình truyền thống thường được huấn luyện trên các bộ dữ liệu nhỏ hơn nhiều, thường chỉ vài trăm giờ hoặc ít hơn, tập trung hẹp vào các bộ phận cơ thể hoặc loại hoạt hình cụ thể (ví dụ: hoạt hình khuôn mặt hoặc tư thế toàn thân) dưới các ràng buộc cảnh nghiêm ngặt. Điều này hạn chế khả năng khái quát và áp dụng của các mô hình đó cho các tác vụ khác nhau. Bằng cách tránh lọc quá mức và chấp nhận các tác vụ điều kiện yếu hơn cùng dữ liệu tương ứng, OmniHuman giảm bớt những hạn chế do phụ thuộc độc quyền vào các bộ dữ liệu được lọc quá kỹ.

Hơn nữa, khác với các mô hình đầu-cuối, đơn điều kiện điển hình, OmniHuman áp dụng chiến lược huấn luyện omni-điều kiện để tận dụng huấn luyện dữ liệu hỗn hợp, nhờ đó vượt qua những thách thức cố hữu thấy ở các công trình hàng đầu khác vốn tập trung dùng video chuyên biệt để huấn luyện mô hình tạo các loại video cụ thể. Những mô hình đó không thể hiện được tính đa năng như OmniHuman.

Trường hợp sử dụng của OmniHuman

Hãy khám phá một vài trường hợp sử dụng mà OmniHuman có thể mang lại. Như mọi thứ, luôn có mặt tốt và xấu.

Trường hợp sử dụng tích cực

Dưới đây là một vài ví dụ về các trường hợp sử dụng tích cực cho OmniHuman:

• Sáng tạo nội dung và tăng tương tác: Công nghệ này có giá trị to lớn với TikTok và các nền tảng mạng xã hội khác. Tôi có thể hình dung OmniHuman sẽ được tích hợp như một tính năng trên TikTok.
• Tiếp thị và quảng cáo: Tạo quảng cáo cá nhân hóa và sống động với nhân vật chân thực.
• Dân chủ hóa việc làm phim: AI khiến việc tạo video dễ dàng hơn nhiều. Điều này sẽ giúp những người sáng tạo thiếu kỹ năng kỹ thuật, ngân sách hoặc thiết bị có thể hiện thực hóa ý tưởng.
• Giải trí và truyền thông: Hollywood có thể dùng công nghệ này để tái hiện các diễn viên đã qua đời cho những vai diễn mới.
• Đưa các nhân vật lịch sử trở lại “sống”: Một ví dụ của họ cho thấy video Einstein đọc diễn văn về nghệ thuật. Dù biết là không thật, tôi vẫn thấy xúc động khi thấy Einstein như sống lại. Điều này có thể rất cuốn hút nếu dùng trong một bài giảng về Thuyết Tương đối. Ta cũng có thể tưởng tượng các bảo tàng bổ sung trải nghiệm kiểu này với những nhân vật lịch sử khác.

Trường hợp sử dụng tiêu cực

Bên cạnh mặt tích cực, OmniHuman cũng có thể là công cụ nguy hiểm và dẫn đến nhiều vấn đề:

• Thông tin sai lệch và thao túng chính trị: Dựng video về các lãnh đạo chính trị để kích động rối loạn chính phủ hoặc hỗn loạn bầu cử.
• Gian lận tài chính: Tạo các lời chứng thực giả mạo của người nổi tiếng để quảng bá lừa đảo hoặc đầu tư gian lận. Gần đây đã có một trường hợp ở Pháp nơi một phụ nữ mất khoảng 850.000 USD vì lừa đảo deepfake người nổi tiếng.
• Xâm phạm quyền riêng tư: Sử dụng trái phép hình ảnh cá nhân để tạo video mà không có sự đồng ý.
• Đánh cắp danh tính và lừa đảo xã hội: Mạo danh cá nhân để thực hiện hành vi độc hại hoặc lừa đảo.
• Tổn hại danh tiếng và phỉ báng: Sản xuất video giả nhằm hủy hoại danh tiếng hoặc sự nghiệp của cá nhân.
• Sử dụng nội dung phi đạo đức: Dùng công nghệ để đưa hình ảnh cá nhân vào nội dung người lớn hoặc tài liệu phản cảm khác mà không được đồng ý.
• Gián điệp doanh nghiệp và thao túng thị trường: Tạo video về các lãnh đạo doanh nghiệp để phục vụ các hành vi phi đạo đức như giao dịch nội gián.

Rủi ro và lo ngại đạo đức của OmniHuman

Chúng tôi đã gợi ý một số trường hợp sử dụng tiêu cực mà OmniHuman có thể có. Tôi tin rằng mối lo lớn nhất với OmniHuman là khả năng tầm thường hóa việc sản xuất video deepfake trông thật nhưng hoàn toàn bịa đặt. 

Như đã đề cập, điều này là mối đe dọa, chẳng hạn trong chính trị, nơi video giả có thể được dùng để lan truyền thông tin sai về các chính trị gia hoặc ảnh hưởng dư luận trong mùa bầu cử. Ví dụ, một deepfake có thể cho thấy chính trị gia nói điều họ chưa từng nói, dẫn tới hoang mang và mất lòng tin nơi cử tri.

Tuy nhiên, đây không phải vấn đề riêng của OmniHuman, vì chúng đã xảy ra rồi. Nhưng tôi lo ngại mọi thứ sẽ tệ hơn đến mức nào nếu bất kỳ ai cũng có thể tạo deepfake chỉ với một cú nhấp chuột.

Một khảo sát của Jumeo, một công ty xác minh danh tính, cho thấy 60% người được hỏi đã gặp deepfake trong năm qua, cho thấy loại nội dung này đang trở nên phổ biến hơn.

Cùng khảo sát đó tiết lộ 72% người tham gia lo lắng về việc bị deepfake lừa dối hằng ngày. Điều này cho thấy mức độ quan ngại đáng kể của công chúng về việc bị nội dung do AI tạo đánh lừa.

Báo cáo này từ Deloitte cho thấy nội dung do AI tạo có liên quan đến hơn 12 tỷ USD thiệt hại do gian lận trong năm 2023, với dự báo có thể đạt 40 tỷ USD tại Mỹ vào năm 2027. Điều này nhấn mạnh rủi ro tài chính gắn với công nghệ deepfake khi bị dùng trong các vụ lừa đảo.

Những rủi ro này đòi hỏi khung pháp lý vững chắc và các công cụ phát hiện hiệu quả để giảm thiểu khả năng lạm dụng. Khi OmniHuman và các công nghệ tương tự phát triển, việc cân bằng giữa đổi mới và trách nhiệm ngày càng trở nên quan trọng, đảm bảo những công cụ mạnh mẽ như vậy được sử dụng một cách có ý thức.

Kết luận

Giả sử các ví dụ do nhóm nghiên cứu OmniHuman cung cấp không phải là chọn lọc có lợi, công cụ tạo video này có tiềm năng chuyển đổi việc sáng tạo nội dung số trong nhiều ngành. Bằng cách tích hợp nhiều tín hiệu điều kiện—như văn bản, âm thanh và tư thế—OmniHuman tạo ra các video cực kỳ chân thực và sinh động, thiết lập một chuẩn mực mới về tính xác thực và đa dụng.

Tuy vậy, dù năng lực của OmniHuman rất ấn tượng, chúng cũng làm dấy lên những lo ngại đạo đức và xã hội đáng kể. Sự dễ dàng để tạo deepfake chân thực bằng công nghệ này càng tiếp thêm dầu cho các vấn đề vốn đã tồn tại quanh thông tin sai lệch, gian lận và xâm phạm quyền riêng tư.