ByteDance का OmniHuman: उदाहरणों के साथ एक मार्गदर्शिका

OmniHuman क्या है?

OmniHuman एक इमेज-टू-वीडियो जनरेशन मॉडल है जो किसी छवि के आधार पर यथार्थपूर्ण वीडियो या ऐनिमेशन बना सकता है। तकनीकी रूप से, इसका पूरा नाम OmniHuman-1 है, जो संकेत देता है कि यह एक दीर्घकालिक परियोजना का हिस्सा है जिसकी आगे की संस्करणों पर काम चल रहा है। सुविधा के लिए, मैं इस ब्लॉग में इसे OmniHuman ही कहूंगा।

OmniHuman के शोध दल द्वारा दिए गए उदाहरणों से लगता है कि यह मॉडल विषय को ऐसे ढंग से एनिमेट करने में माहिर है जो स्वाभाविक लगे—हावभाव करे, और यहां तक कि गाए या वाद्य यंत्र बजाए।

OmniHuman अलग-अलग इनपुट आकारों और शारीरिक अनुपातों के साथ वीडियो बना सकता है, और क्लोज-अप, हाफ-बॉडी या फुल-बॉडी जैसे विभिन्न प्रकार के शॉट्स का समर्थन करता है। यह ऑडियो के साथ लिप सिंक भी कर सकता है।

ध्यान दें कि इस लेख में अधिकांश वीडियो उदाहरणों के लिए इनपुट छवियां प्रत्येक वीडियो का पहला फ्रेम (साथ में ऑडियो) हैं। OmniHuman की मदद से ऐसे वीडियो बनाना कितना आसान है, इसका सही अंदाजा लगाने के लिए यह बात याद रखना महत्वपूर्ण है।

OmniHuman की विशेषताएं

विषयों की व्यापक रेंज का समर्थन

OmniHuman केवल मानवीय आकृतियों तक सीमित नहीं है; यह विविध प्रकार के इनपुट संभाल सकता है। इसमें कार्टून, कृत्रिम वस्तुएं, जानवर और वे जटिल पोज़ भी शामिल हैं जो पारंपरिक वीडियो निर्माण टूल्स के लिए चुनौतीपूर्ण हो सकते हैं।

OmniHuman कई आस्पेक्ट रेशियो का भी समर्थन करता है, जो कभी-कभी वीडियो जनरेशन मॉडलों की सीमा होती है। ऊपर वाला वीडियो पोर्ट्रेट (9:16) आस्पेक्ट रेशियो में है, जबकि नीचे वाला स्क्वेयर (1:1) आस्पेक्ट रेशियो में।

बात करना और गाना

नीचे दिए गए उदाहरण में, हमें एक यथार्थवादी AI-जनित Ted Talk दिखाई देता है। मेरे लिए यह अविश्वसनीय है कि यह केवल एक छवि से बनाया गया था। शरीर की गतियां काफ़ी विश्वसनीय हैं और भाषण के अनुरूप भी।

दूसरे उदाहरण में विषय गा रहा है। यह उदाहरण कम विश्वसनीय लगता है क्योंकि गिटार बजाने वाले हाथ की गति, बजते हुए गिटार से मेल नहीं खाती।

लिप सिंक

अगला उदाहरण दिखाता है कि लिप सिंक के मामले में OmniHuman कितना मजबूत है। गिटार हाथ की गति के विपरीत, यह वीडियो बिल्कुल विश्वसनीय प्रदर्शन देता है—ऐसा लगता है मानो व्यक्ति सचमुच गा रहा हो, और पिच के साथ भी संगति बनी रहती है।

यह सामान्य भाषण पर भी लागू होता है, केवल गायन पर नहीं (नीचे उदाहरण देखें)। नीचे वाले वीडियो की मुख्य कमी यह है कि जब बच्चा हिलता है तो बालों के आसपास कुछ आर्टिफैक्ट दिखते हैं। साथ ही, होंठों का रंग और दांतों की सफेदी बहुत अप्राकृतिक है और विषय से मेल नहीं खाती।

फुल बॉडी, हाफ बॉडी और क्लोज़-अप

अगले दो उदाहरण OmniHuman की हाफ-बॉडी और क्लोज़-अप वीडियो बनाने की क्षमता दिखाते हैं। पहले हाफ-बॉडी उदाहरण से शुरू करते हैं:

और अब, क्लोज़-अप के लिए जनरेट किया गया वीडियो देखें:

हाथों का एनीमेशन

वीडियो और इमेज जनरेशन मॉडल अक्सर हाथों के साथ जूझते हैं। किसी वजह से, हाथ AI के लिए बड़ा चुनौतीपूर्ण विषय रहते हैं—नतीजतन, अतिरिक्त उंगलियां और गड़बड़ियां दिख जाती हैं। उनके उदाहरणों से लगता है कि OmniHuman इन समस्याओं को काफ़ी अच्छी तरह संभालता है।

ऐसा लगता है कि यह हाथ में वस्तु पकड़े होने की स्थितियों को भी संभाल सकता है:

वीडियो ड्राइविंग

हमने देखा है कि OmniHuman ऑडियो ड्राइविंग का समर्थन करता है, जहां ऑडियो का उपयोग वीडियो निर्माण को उसके अनुरूप निर्देशित करने के लिए किया जाता है। हालांकि, OmniHuman वीडियो ड्राइविंग के लिए वीडियो इनपुट का भी समर्थन करता है। इस तरह, यह किसी विशेष वीडियो की क्रियाओं की नकल कर सकता है।

OmniHuman ऑडियो ड्राइविंग (किसी दिए गए ऑडियो के साथ वीडियो को सुसंगत बनाना) और वीडियो ड्राइविंग—दोनों का समर्थन इसलिए कर पाता है क्योंकि इसे जिस तरीके से प्रशिक्षित किया गया है, उसे हम अगले भाग में समझेंगे।

OmniHuman तक पहुँच कैसे पाएं?

इस लेख के प्रकाशित होने के समय, Omnihuman तक पहुँच के बारे में विस्तृत जानकारी उपलब्ध नहीं है। आधिकारिक अपडेट या घोषणा के लिए ByteDance के आधिकारिक चैनलों—जैसे प्रेस विज्ञप्तियां या उनकी कॉर्पोरेट वेबसाइट—पर नज़र रखें। इसके अलावा, चूंकि ByteDance TikTok की मालिक है, इसलिए कंपनी से जुड़े प्लेटफ़ॉर्मों पर भी अपडेट दिखाई दे सकते हैं।

OmniHuman कैसे काम करता है?

OmniHuman को उसका नाम इसलिए मिला है क्योंकि मौजूदा मॉडलों के विपरीत, यह प्रशिक्षण चरण के दौरान कई प्रकार के कंडीशन सिग्नल्स को एकीकृत करता है, जिसे वे omni-conditions training कहते हैं। सरल शब्दों में, ये कंडीशन सिग्नल्स अलग-अलग प्रकार की सूचनाएं हैं जिनका उपयोग किसी मानव का वीडियो बनाने में मार्गदर्शन के लिए किया जाता है।

वर्तमान मॉडल अक्सर एकल कंडीशनिंग सिग्नल, जैसे ऑडियो या पोज़, पर निर्भर होते हैं। उदाहरण के लिए, ऑडियो-कंडीशंड मॉडल चेहरे के भाव और लिप सिंक पर ध्यान केंद्रित करते हैं, जबकि पोज़-कंडीशंड मॉडल फुल-बॉडी पोज़ पर जोर देते हैं।

हालांकि, सभी डेटा इन विशिष्ट सिग्नल्स के साथ पूरी तरह संरेखित नहीं होते। नतीजतन, बड़ी मात्रा में संभावित रूप से उपयोगी डेटा फ़िल्टरिंग प्रक्रिया के दौरान त्याग दिया जाता है क्योंकि उसमें ऐसे तत्व होते हैं (जैसे ऑडियो-ड्रिवन मॉडलों में भाषण से असंबंधित शरीर की गतिविधियां) जो कंडीशनिंग सिग्नल के संकीर्ण दायरे में फिट नहीं बैठते।

कल्पना करें कि आप किसी व्यक्ति का ऐनिमेशन बनाना चाहते हैं—जैसे वीडियो गेम या कार्टून में। ताकि ऐनिमेशन वास्तविक लगे, आपको केवल एक तस्वीर में व्यक्ति का रूप ही नहीं, बल्कि यह भी जानना होगा कि वह कैसे चलता है, क्या कह रहा है, और वह किन पोज़ में आ सकता है।

OmniHuman वीडियो जनरेट करना सीखने के लिए तीन प्रकार की कंडीशंस को जोड़ता है:

• टेक्स्ट: यानी लिखे हुए शब्द या वर्णन, जो ऐनिमेशन का मार्गदर्शन करते हैं। उदाहरण के लिए, यदि टेक्स्ट में लिखा है, "व्यक्ति हाथ हिला रहा है," तो ऐनिमेशन इस सूचना के आधार पर हाथ हिलाता है।
• ऑडियो: यानी ध्वनि—जैसे किसी की आवाज़ या बैकग्राउंड म्यूज़िक। यदि ऐनिमेशन में व्यक्ति कुछ कह रहा है, तो मॉडल ऑडियो का उपयोग करके होंठों की हरकतें शब्दों के अनुरूप सुनिश्चित करता है।
• पोज़: यानी शरीर की स्थिति और गति। उदाहरण के लिए, यदि आप किसी को नाचते हुए एनिमेट करना चाहते हैं, तो पोज़ यह मार्गदर्शन देता है कि हाथ-पैर कैसे चलें।

विचार यह है कि इन विभिन्न सिग्नल्स को मिलाकर मॉडल बहुत यथार्थपूर्ण वीडियो बना सके।

ओम्नी-कंडीशंस ट्रेनिंग का एक और लाभ यह है कि मॉडल अन्य मॉडलों की तुलना में डेटा की बर्बादी कम कर सकता है। अन्य मॉडल निम्न कारणों से अपने प्रशिक्षण में उपयोग किए गए डेटा का पूरा लाभ नहीं उठा पाते:

• कंडीशनिंग सिग्नल्स की विशिष्टता: वर्तमान मॉडल अक्सर एकल कंडीशनिंग सिग्नल, जैसे ऑडियो या पोज़, पर निर्भर होते हैं। उदाहरण के लिए, ऑडियो-कंडीशंड मॉडल चेहरे के भाव और लिप सिंक पर ध्यान देते हैं, जबकि पोज़-कंडीशंड मॉडल फुल-बॉडी पोज़ पर जोर देते हैं। लेकिन सभी डेटा इन विशिष्ट सिग्नल्स के साथ पूरी तरह संरेखित नहीं होते। इसलिए संभावित रूप से उपयोगी बड़ी मात्रा का डेटा फ़िल्टरिंग के दौरान हटा दिया जाता है क्योंकि उसमें ऐसे तत्व होते हैं (उदा., ऑडियो-ड्रिवन मॉडलों में भाषण से असंबंधित शरीर की गतियां) जो कंडीशनिंग सिग्नल के संकीर्ण दायरे में नहीं आते।
• डेटा फ़िल्टरिंग और क्लीनिंग: प्रशिक्षण दक्षता और मॉडल की सटीकता बढ़ाने के लिए मौजूदा विधियां कड़े डेटा फ़िल्टरिंग और सफाई प्रक्रियाओं का उपयोग करती हैं। उदाहरण के लिए, ऑडियो-कंडीशंड मॉडल लिप-सिंक सटीकता के आधार पर डेटा फ़िल्टर करते हैं, जबकि पोज़-कंडीशंड मॉडल पोज़ की दृश्यता और स्थिरता के लिए फ़िल्टर करते हैं। ये प्रक्रियाएं ऐसे डेटा को हटा देती हैं जिनमें मॉडल की क्षमताएं बढ़ाने के लिए आवश्यक उपयोगी गति पैटर्न और विविध परिदृश्य हो सकते हैं।
• सीमित प्रयोज्यता: अत्यधिक क्यूरेटेड डेटासेट पर निर्भरता के कारण, ये मॉडल केवल संकीर्ण परिदृश्यों—जैसे फ्रंट-फेसिंग, स्थिर बैकग्राउंड—तक लागू होते हैं। इससे वास्तविक, विविध परिदृश्यों में मॉडलों की सामान्यीकरण क्षमता सीमित हो जाती है।

ओम्नी-कंडीशंस ट्रेनिंग का उपयोग करके, OmniHuman बड़े और अधिक विविध डेटासेट का प्रभावी उपयोग कर सकता है, जिसके परिणामस्वरूप विभिन्न परिस्थितियों और शैलियों में अधिक यथार्थपूर्ण और लचीली मानव वीडियो जनरेशन संभव होती है।

OmniHuman के लिए प्रशिक्षण डेटा

OmniHuman को प्रशिक्षित करने के लिए क्यूरेट किया गया डेटासेट लगभग 18.7K घंटे के मानव-संबंधित डेटा से बना है, जिसे सौंदर्यशास्त्र, छवि गुणवत्ता और गति आयाम जैसी वीडियो जनरेशन के लिए आवश्यक कसौटियों के आधार पर चुना गया है।

इस विशाल डेटासेट में से 13% को सख्त लिप-सिंक सटीकता और पोज़ दृश्यता की शर्तों पर ऑडियो और पोज़ मोडैलिटी के साथ प्रशिक्षण के लिए आरक्षित किया गया। यह दो-स्तरीय दृष्टिकोण सुनिश्चित करता है कि केवल सबसे प्रासंगिक डेटा ही मॉडल की मानव ऐनिमेशन समझ को सूचित करे, जिससे यह विविध परिदृश्यों में प्रभावी ढंग से प्रदर्शन कर सके।

पारंपरिक मॉडल प्रायः बहुत छोटे डेटासेट पर प्रशिक्षित हुए हैं—आमतौर पर कुछ सैकड़ों घंटों या उससे भी कम—और वे कड़े दृश्य प्रतिबंधों के तहत विशिष्ट शरीर के हिस्सों या ऐनिमेशन प्रकारों (जैसे चेहरे के ऐनिमेशन या फुल-बॉडी पोज़) पर संकीर्ण रूप से केंद्रित रहे हैं। इससे अलग-अलग कार्यों में उनकी सामान्यीकरण और प्रयोज्यता सीमित रही। अत्यधिक फ़िल्टरिंग से बचते हुए और कमजोर कंडीशनिंग टास्क्स तथा उनसे जुड़े डेटा को अपनाकर, OmniHuman अत्यधिक फ़िल्टर किए गए डेटासेट पर विशेष निर्भरता से उत्पन्न सीमाओं को कम करता है।

इसके अलावा, सामान्य एंड-टू-एंड, सिंगल-कंडीशन मॉडलों के विपरीत, OmniHuman अपनी ओम्नी-कंडीशंस ट्रेनिंग रणनीति का उपयोग मिलेजुले डेटा प्रशिक्षण के लिए करता है, जिससे उन अंतर्निहित चुनौतियों पर काबू पाया जा सके जो अन्य अग्रणी कार्यों में देखी गईं—जहां मॉडल को विशिष्ट प्रकार के वीडियो जनरेट करने के लिए अत्यधिक विशिष्ट वीडियोज़ से प्रशिक्षित किया गया था। ऐसे मॉडल OmniHuman जैसी बहुमुखी प्रतिभा प्रदर्शित नहीं करते।

OmniHuman के उपयोग के मामले

आइए कुछ संभावित उपयोग मामलों का अन्वेषण करें। हर चीज़ की तरह, इसके भी अच्छे और बुरे—दोनों पहलू हैं।

सकारात्मक उपयोग के मामले

OmniHuman के कुछ सकारात्मक उपयोग मामलों के उदाहरण निम्नलिखित हैं:

• कंटेंट निर्माण और एंगेजमेंट: इस तरह की तकनीक TikTok और अन्य सोशल मीडिया प्लेटफ़ॉर्म के लिए अत्यधिक मूल्यवान है। मैं पहले से ही TikTok में OmniHuman को एक फ़ीचर के रूप में लागू होते हुए देख सकता हूं।
• मार्केटिंग और विज्ञापन: जीवंत पात्रों के साथ निजीकरणयुक्त और इमर्सिव विज्ञापन बनाना।
• फ़िल्म निर्माण का लोकतंत्रीकरण: AI वीडियो निर्माण को बहुत आसान बनाता है। इससे वे रचनात्मक लोग सक्षम होंगे जिनके पास तकनीकी कौशल, बजट या उपकरण नहीं हैं, कि वे अपने विचारों को जीवन दे सकें।
• मनोरंजन और मीडिया: हॉलीवुड इस तरह की तकनीक का उपयोग दिवंगत अभिनेताओं को नई भूमिकाओं में जीवित करने के लिए कर सकता है।
• ऐतिहासिक व्यक्तित्वों को जीवन्त बनाना: उनके एक उदाहरण में आइंस्टीन का कला पर भाषण देता हुआ वीडियो दिखाया गया है। हालांकि मुझे पता था कि वह वास्तविक नहीं था, फिर भी आइंस्टीन को जीवित होते देखना भावुक लगा। सिद्धांत-ए-सापेक्षता पर किसी व्याख्यान में इसका उपयोग बहुत आकर्षक हो सकता है। हम यह भी कल्पना कर सकते हैं कि म्यूज़ियम में अन्य ऐतिहासिक व्यक्तित्वों के साथ इस तरह का अनुभव जोड़ा जाए।

नकारात्मक उपयोग के मामले

सकारात्मकताओं के बावजूद, OmniHuman खतरनाक औजार भी बन सकता है और कई समस्याओं को जन्म दे सकता है:

• भ्रमित करने वाली जानकारी और राजनीतिक हेरफेर: राजनीतिक नेताओं के फर्जी वीडियो बनाकर सरकारी अस्थिरता या चुनावी अराजकता फैलाना।
• वित्तीय धोखाधड़ी: सेलिब्रिटीज़ के फर्जी समर्थन बनाकर घोटालों या धोखाधड़ीपूर्ण निवेशों को बढ़ावा देना। हाल ही में एक फ्रांसीसी महिला का मामला सामने आया, जिसने डीपफेक सेलिब्रिटी घोटाले के कारण लगभग $850,000 गंवाए।
• निजता का हनन: बिना सहमति व्यक्तिगत छवियों का उपयोग करके वीडियो बनाना।
• पहचान की चोरी और सोशल इंजीनियरिंग: लोगों का प्रतिरूपण करके दुर्भावनापूर्ण गतिविधियां या ठगी करना।
• प्रतिष्ठा को नुकसान और मानहानि: ऐसे फर्जी वीडियो बनाना जो व्यक्तियों की प्रतिष्ठा या करियर को नुकसान पहुंचाने के लिए डिज़ाइन किए गए हों।
• अनैतिक सामग्री उपयोग: बिना सहमति व्यक्तियों की छवियों का उपयोग वयस्क सामग्री या अन्य आपत्तिजनक सामग्री में करना।
• कॉरपोरेट जासूसी और बाज़ार में हेरफेर: बिजनेस नेताओं के वीडियो बनाकर अंदरूनी सौदेबाज़ी जैसी अनैतिक प्रथाओं के लिए उनका दुरुपयोग करना।

OmniHuman के जोखिम और नैतिक चिंताएं

हमने OmniHuman के कुछ नकारात्मक उपयोग मामलों का सुझाव दिया। मेरे विचार में OmniHuman के साथ सबसे बड़ी चिंता यह है कि इससे ऐसे डीपफेक वीडियो बनाना बहुत आसान हो सकता है जो वास्तविक लगते हैं लेकिन पूरी तरह से मनगढ़ंत होते हैं। 

जैसा कि हमने उल्लेख किया, यह राजनीति जैसे क्षेत्रों में खतरा पैदा करता है—जहाँ फर्जी वीडियो का उपयोग राजनेताओं के बारे में गलत सूचना फैलाने या चुनावों के दौरान जनमत को प्रभावित करने के लिए किया जा सकता है। उदाहरण के लिए, कोई डीपफेक किसी राजनेता को ऐसी बात कहते हुए दिखा सकता है जो उन्होंने कभी कही ही नहीं, जिससे मतदाताओं में भ्रम और अविश्वास पैदा हो सकता है।

हालांकि, यह समस्या केवल OmniHuman तक सीमित नहीं है—ऐसी घटनाएं पहले से हो रही हैं। लेकिन मुझे चिंता है कि यदि कोई भी इसे एक क्लिक में डीपफेक बनाने के लिए इस्तेमाल कर सके, तो स्थिति कितनी बदतर हो सकती है।

Jumeo के एक सर्वे—जो एक आईडी वेरिफिकेशन फर्म है—में पाया गया कि पिछले वर्ष 60% लोगों का सामना किसी न किसी डीपफेक से हुआ, जो संकेत देता है कि ऐसी सामग्री अधिक व्यापक हो रही है।

उसी सर्वे में यह भी सामने आया कि 72% उत्तरदाता रोज़मर्रा में डीपफेक से धोखा खा जाने को लेकर चिंतित हैं। यह बताता है कि AI-जनित सामग्री द्वारा ठगे जाने के बारे में जनता में काफी चिंता है।

Deloitte की इस रिपोर्ट से पता चलता है कि 2023 में AI-जनित सामग्री का संबंध $12 बिलियन से अधिक के धोखाधड़ी नुकसान से रहा, और अनुमान है कि 2027 तक केवल अमेरिका में यह $40 बिलियन तक पहुंच सकता है। यह दर्शाता है कि डीपफेक तकनीक के घोटालों में उपयोग से जुड़े वित्तीय जोखिम कितने बड़े हैं।

इन जोखिमों से निपटने के लिए मजबूत नियामक ढांचे और प्रभावी डिटेक्शन टूल्स की आवश्यकता है। जैसे-जैसे OmniHuman और समान तकनीकें विकसित होती हैं, नवाचार और जिम्मेदारी के बीच संतुलन बनाना और यह सुनिश्चित करना और भी महत्वपूर्ण हो जाता है कि इतने शक्तिशाली औजारों का विवेकपूर्ण उपयोग हो।

निष्कर्ष

मान लेते हैं कि OmniHuman शोध दल द्वारा दिए गए उदाहरण चयनित नहीं थे, तो यह वीडियो जनरेशन टूल विभिन्न उद्योगों में डिजिटल कंटेंट निर्माण को बदल देने की क्षमता रखता है। टेक्स्ट, ऑडियो और पोज़ जैसे कई कंडीशनिंग सिग्नल्स को जोड़कर OmniHuman अत्यंत यथार्थपूर्ण और गतिशील वीडियो बनाता है, और प्रामाणिकता तथा बहुमुखी प्रतिभा का नया मानक स्थापित करता है।

हालांकि OmniHuman की क्षमताएं प्रभावशाली हैं, वे महत्वपूर्ण नैतिक और सामाजिक चिंताएं भी उठाती हैं। यह तकनीक जितनी आसानी से यथार्थवादी डीपफेक बना सकती है, वह पहले से मौजूद समस्याओं—जैसे भ्रामक सूचना, धोखाधड़ी और निजता के हनन—को और बढ़ावा देती है।