Runway Aleph: डेमो प्रोजेक्ट के साथ एक गाइड

Runway Aleph क्या है?

Runway Aleph एक बहुमुखी वीडियो AI जनरेशन मॉडल है, जो टेक्स्ट प्रॉम्प्ट की मदद से वीडियो इनपुट लेकर उसे एडिट करने की सुविधा देकर वीडियो क्रिएशन को एक कदम आगे ले जाता है।

मुख्य फीचर्स में शामिल हैं:

• सीन के भीतर वस्तुओं को बारीकी से जोड़ने, हटाने और बदलने की क्षमता।
• वीडियो के अलग-अलग दृष्टिकोण या एंगल जनरेट करना।
• किसी भी मनचाही सौंदर्यात्मक शैली से मेल खाने के लिए ओवरऑल स्टाइल और लाइटिंग समायोजित करना।
• अगला सीन जनरेट करके वीडियो को आगे बढ़ाना।

आप Runway की आधिकारिक घोषणा में कई उदाहरण देख सकते हैं।

Runway Aleph तक कैसे पहुँचें?

Runway Aleph उनकी स्टैंडर्ड योजना से उपलब्ध है, जिसकी कीमत $15 प्रति माह है। मासिक योजना होने के बावजूद, यह अनलिमिटेड उपयोग की अनुमति नहीं देती।

स्टैंडर्ड योजना में 625 क्रेडिट मिलते हैं, और Aleph का प्रति सेकंड 15 क्रेडिट खर्च होता है, यानी प्रत्येक महीने लगभग 41 सेकंड का वीडियो एडिट किया जा सकता है।

एक अनलिमिटेड योजना भी है जिसमें 2250 क्रेडिट शामिल हैं और एक्सप्लोर मोड में अनलिमिटेड उपयोग मिलता है, यानी वीडियो कतार में लगते हैं और अपनी बारी आने पर जनरेट होते हैं, इसलिए उन्हें बनने में अधिक समय लगता है।

मैंने यहाँ जो भी वीडियो जनरेट किए, लगभग सभी एक्सप्लोर मोड में ही किए थे, और मैंने पाया कि प्रतीक्षा समय दिन के समय के अनुसार काफी बदलता है। अधिकतर समय, बिल्कुल प्रतीक्षा नहीं करनी पड़ी।

Runway Aleph का उपयोग कैसे करें?

Runway Aleph का उपयोग करने के लिए हमें इनपुट के रूप में एक वीडियो चाहिए। एक बार वीडियो चुन लेने के बाद, हम उसे एडिट या ट्रांसफॉर्म करने के लिए टेक्स्ट प्रॉम्प्ट दे सकते हैं।

उदाहरण के लिए, हम Aleph से कह सकते हैं कि इसे रात बना दो:

ध्यान दें कि यदि वीडियो 5 सेकंड से लंबा है, तो इसके बजाय वीडियो का 5-सेकंड का हिस्सा उपयोग किया जाएगा। यह हिस्सा वीडियो इनपुट के नीचे बनी विंडो को खींचकर चुना जा सकता है।

वीडियो की योजना बनाना

जब मुझे Runway Aleph तक पहुँच मिली, तब मुझसे अभी-अभी अपने दोस्त को जन्मदिन की शुभकामनाएँ देने के लिए एक वीडियो रिकॉर्ड करने को कहा गया था। तो मैंने सोचा कि देखूँ क्या Aleph का उपयोग करके शुरू से अंत तक एक वीडियो बनाया जा सकता है। इस प्रक्रिया ने मुझे इसकी क्षमताओं और खासकर इसकी सीमाओं के बारे में बहुत कुछ सिखाया।

यह प्रयोग न केवल Aleph की वीडियो एडिटिंग क्षमताओं का, बल्कि Runway के Gen-4 वीडियो जनरेशन क्षमताओं का भी उपयोग करेगा।

आवाज़ों के लिए, मैंने Pixabay से मुफ्त साउंड इफेक्ट्स लिए, जबकि वॉइस OpenAI के टेक्स्ट-टू-स्पीच मॉडलों से जनरेट की गईं।

मेरा विचार John Wick—उसकी पसंदीदा फिल्मों में से एक—के संदर्भों के साथ कुछ करने का था। चूँकि मेरे पास कोई फुटेज नहीं था, मुझे हमारी फोटो और इंटरनेट पर उपलब्ध फ्री वीडियो के आधार पर सब कुछ बनाना पड़ा।

मैं इसे सरल रखना चाहता/चाहती था, इसलिए मैंने एक नैरेटर के साथ ट्रेलर-जैसा वीडियो चुना। पात्रों के संवाद न होना AI-जनरेटेड वीडियो के साथ काम करते समय काफी सरल होता है।

मेरा स्क्रिप्ट कुछ इस प्रकार था:

• ताइपे (जहाँ हम रहते हैं) में दृश्य सेट करें
• दोनों पात्रों का परिचय दें
• दोनों पात्र "The Continental" होटल में मिलते हैं (फिल्म का संदर्भ)
• मैं उसे एक बॉक्स गिफ्ट करता/करती हूँ जिसमें एक मार्कर है (एक और फिल्म संदर्भ)

पात्र बनाना

अपना पात्र जनरेट करने के लिए, मैंने सेल्फ़ी ली और Runway के चैट मोड का उपयोग करके मेरा सूट पहने और लकड़ी का बॉक्स पकड़े हुए एक संस्करण जनरेट किया।

अपने दोस्त के लिए, मैं Runway से मनचाही चीज़ जनरेट नहीं करवा सका/सकी, इसलिए मैंने Photoshop Firefly का उपयोग करके इसे अर्ध-हस्तचालित तरीके से किया।

इन्हें जनरेट करते समय, मुझे कई बार Runway द्वारा इमेज जनरेट करने से इनकार करने की समस्या भी आई। मेरा मानना है कि सामान्य रूप से AI इमेज जनरेशन में सुरक्षा कारणों से विशिष्ट लोगों की छवियाँ बनाना कठिन है। यदि आप विशिष्ट लोगों को पात्र के रूप में बनाना चाहते हैं तो यह ध्यान में रखने योग्य बात है।

सीन 1: ताइपे 101 और चाँद

चाँद के टाइमलैप्स वाला ओपनिंग सीन AI-जनरेटेड नहीं है। यह Timo Volz का फ्री-टू-यूज़ वीडियो है, जो मुझे Pexels.com पर यहाँ मिला।

मैंने इसे Runway Aleph से संशोधित करने की कोशिश की, लेकिन यह विफल रहा। मैंने सोचा था कि इसे ड्रोन शॉट में बदलना, जिसमें ड्रोन बिल्डिंग के ऊपर से उड़ रहा हो, एक अच्छा एडिट हो सकता है, लेकिन इसके बजाय Aleph ने मुझे यह दिया:

Make this video into a drone shot overflying the building.

सीन 2: मेरे दोस्त का क्लोज़-अप

दूसरे सीन के लिए, मैंने Photoshop से जनरेट की गई फोटो दी और पात्र का परिचय देने के लिए एक क्लोज़-अप शॉट माँगा।

मुझे परिणाम पसंद आया, लेकिन मैं चरित्र का खुलासा करने से पहले थोड़ा रहस्य जोड़ना चाहता/चाहती था। इसलिए मैंने इस प्रॉम्प्ट के साथ एक और शॉट जनरेट करने को कहा: "Close-up shot to introduce the character. Make it start facing back and then slowly turn to the camera.".

यह रहे परिणाम:

दूसरे उदाहरण में, Runway Aleph ने प्रॉम्प्ट का पालन नहीं किया। हालाँकि, वही शॉट मैंने अंततः इस्तेमाल किया। मैंने वीडियो एडिटिंग सॉफ्टवेयर में पहली आधी हिस्से को काट दिया ताकि पात्र का चेहरा हैट से ढका हुआ शुरू हो और फिर बाद में प्रकट हो।

सीन 3: अँधेरी गली में चलते हुए

यह सीन इस प्रकार जनरेट किया गया:

1. पात्र की फोटो के आधार पर, अँधेरी गली में कैमरे से पीठ किए खड़े पात्र की एक इमेज जनरेट करें।

2. उस इमेज का उपयोग करते हुए यह टेक्स्ट प्रॉम्प्ट दें: "The man with the hat walks down the alley, away from the camera until he disappears in the distance. Add mist to make the scene more mysterious."

सीन 4: मैं बॉक्स के साथ चलता/चलती हुआ/हुई

इस सीन के लिए, मैंने ऊपर बनाई गई अपनी इमेज का उपयोग किया। Aleph से मेरा चलता हुआ वीडियो जनरेट करवाने में मुझे काफी जोर लगाना पड़ा। प्रॉम्प्ट सरल था: "The person walks to the building in the background."

चारों वीडियोज़ में से किसी ने भी वैसा नहीं किया जैसा मैंने कहा था। अंत में मैंने चौथे वाले का उपयोग किया क्योंकि वह अकेला उपयोग करने लायक था।

मैं वीडियो में कुछ धुंध जोड़ना चाहता/चाहती था ताकि यह और रहस्यमय दिखे, इसलिए मैंने Aleph की वीडियो एडिटिंग क्षमताओं का उपयोग करके इसे मिस्टि बना दिया। यह, दूसरी ओर, काफी अच्छे से काम कर गया।

दूसरे हिस्से में, बॉक्स के क्लोज़-अप शॉट के लिए, मैंने पहले Aleph से यह प्रॉम्प्ट देकर वीडियो एडिट करने की कोशिश की: "Make a close-up shot focusing on the hand holding the box." लेकिन यह बिल्कुल काम नहीं किया।

मैंने वह फ्रेम जिसका मुझे एनीमेशन चाहिए था, उसका स्क्रीनशॉट लिया और उसे प्रॉम्प्ट के साथ उपयोग करके ठीक करवाया।

आखिर में, मेरे दूर जाते हुए शॉट के लिए, Runway ने मूल रूप से नीयन लाइट्स वाली एक गली जनरेट की, जो पिछले सीन में दिखी गली जैसी लग रही थी। इसे अलग दिखाने के लिए, मैंने Aleph से वीडियो एडिट करके नीयन लाइट्स हटाने को कहा, जो बहुत अच्छे से हो गया।

सीन 5: कार चलाना

यह सीन भी तीसरे सीन की तरह ही जनरेट किया गया—पहले एक स्टिल इमेज जनरेट की गई और फिर उसे वीडियो में बदला गया।

हालाँकि, वीडियो वैसा नहीं बना जैसा मैं चाहता/चाहती था:

Runway Aleph का उपयोग करते समय मुझे लगता है कि अक्सर वीडियो में सिर्फ़ कुछ ही सेकंड उपयोगी होते हैं, उसके बाद चीज़ें अजीब होने लगती हैं। फिर भी, मैंने इसे इस तरह उपयोग करने लायक बना लिया:

1. वीडियो को रिवर्स कर दिया।
2. केवल वह हिस्सा रखा जिसमें ड्राइवर पर फोकस है।

सीन 6: ट्रैफ़िक टाइमलैप्स

यह सीन Timo Volz का फ्री-टू-यूज़ वीडियो है जो Pexels से लिया गया है। मैंने इसकी शैली बदलने की कोशिश की, लेकिन बहुत कम सफलता मिली।

यहाँ वह प्रॉम्प्ट है जिसका मैंने उपयोग किया:

"Change the style of this video to a neo-noir action aesthetic inspired by John Wick—cinematic, high-contrast lighting, rain-soaked neon city streets in deep blues, purples, and reds; elegant yet dangerous atmosphere; sleek modern interiors; refined but gritty mood."

हालाँकि, परिणाम उपयोग करने योग्य नहीं था:

मैंने अन्य वीडियोज़ पर अन्य स्टाइलिंग प्रयोग भी किए, और कोई भी कामयाब नहीं हुआ।

एंडिंग सीन्स

अंतिम तीन सीन भी इमेज को वीडियो में बदलकर जनरेट किए गए।

• यह इमेज ताइपे की एक असली बिल्डिंग की है, और मैंने Photoshop से नीयन साइन जोड़ा।
• बॉक्स के साथ मेरे गलियारे से चलते हुए की इमेज Runway का उपयोग करके जनरेट की गई—मैंने उससे कहा था कि मुझे एक फैंसी होटल में रखें, जहाँ कारपेट पर "C" हो। इमेज बहुत अच्छी नहीं बनी क्योंकि बॉक्स सूटकेस जैसा लग रहा है, और मैं इसे ठीक नहीं कर पाया/पाई।
• अंतिम इमेज John Wick गिफ्ट बॉक्स से ली गई थी, और नोट Photoshop से जोड़ा गया।

एंडिंग टेक्स्ट

एंडिंग टेक्स्ट पूरी तरह Runway का उपयोग करके जनरेट किया गया। मैंने चैट मोड में "Chapter 50" को John Wick की शैली में किसी मूवी के टाइटल के रूप में जनरेट करने को कहा। इसने यह इमेज जनरेट की:

फिर, चैट मोड में, इसने पूछा कि क्या मैं टेक्स्ट को एनीमेट करना चाहता/चाहती हूँ, और मैंने हाँ कहा। यह रहा परिणाम:

मैं चाहता/चाहती था कि अक्षर भी एनीमेटेड हों, इसलिए मैंने Aleph से वीडियो एडिट कराया। परिणाम वैसा नहीं था जैसा मैंने माँगा था, लेकिन फिर भी मुझे पसंद आया और मैं इसे उपयोग कर पाया/पाई।

मैंने यह माँगा था: "The camera flies through the zero in the '50' text, fading into a black screen."

यह रहा अंतिम परिणाम:

Runway Aleph के साथ और प्रयोग

अगला सीन जनरेशन

मैंने कुछ सीन्स के लिए Aleph का उपयोग करके अगला सीन जनरेट कराते हुए वीडियो के हिस्सों को बढ़ाने की कोशिश की। पहले, मैंने यह नहीं बताया कि मुझे अगला सीन क्या चाहिए; बस उससे अगला सीन जनरेट करने को कहा।

एक्शन के लिहाज़ से जनरेटेड सीन पिछले सीन के अनुरूप है, लेकिन पात्र की निरंतरता में काफी कमी है। यह वही व्यक्ति नहीं लगता।

इसे और जाँचने के लिए, मैंने यह निर्दिष्ट करने की कोशिश की कि मुझे अगले सीन में पात्र को मोटरसाइकिल पर चढ़ना चाहिए। फिर मैंने परिणाम लिया और उससे एक और सीन माँगा जिसमें पात्र मोटरसाइकिल पर दूर जाता हुआ दिखे।

यह रहा परिणाम:

Aleph को इस बात से दिक्कत हुई कि पात्र एक बॉक्स लिए हुए था। हम वीडियो में कुछ अजीब कलाकृतियाँ (आर्टिफैक्ट्स) भी देख सकते हैं।

वीडियो में बदलाव करना

वीडियो बनाने के लिए, मैंने Aleph की वीडियो एडिटिंग क्षमताओं का सफलतापूर्वक उपयोग करके सड़क के नीयन साइन हटाए और एक सीन में धुंध जोड़ी। हालाँकि, जब मैंने किसी एक वीडियो की एस्थेटिक बदलने की कोशिश की, तो यह असफल रहा।

जिज्ञासा से, मैंने एक सीन में बारिश करवाने की कोशिश की, यह देखने के लिए कि यह कैसे संभालेगा—और यह पहली ही कोशिश में काफ़ी अच्छा काम कर गया।

अगले उदाहरण में, मैंने मोटरसाइकिल के पिछले पहिए में आग जोड़ने को कहा। इसने सफलतापूर्वक आग जोड़ी, लेकिन जहाँ चाहिए थी वहाँ नहीं:

यह अंतिम उदाहरण है जहाँ मैंने मौजूदा वीडियो में एक विशाल लहर जोड़ने को कहा:

निष्कर्ष

Runway Aleph के साथ वीडियो बनाना निश्चित रूप से संभव है, लेकिन यह समझना ज़रूरी है कि प्रक्रिया उतनी सरल नहीं है जितनी कि केवल एक टेक्स्ट प्रॉम्प्ट टाइप करना और एक सहज वीडियो आउटपुट पा लेना। यह सफर रचनात्मकता और धैर्य का मेल मांगता है, क्योंकि तकनीक नवाचारी होने के बावजूद, आपकी कल्पना को साकार करने के लिए अभी भी मार्गदर्शन और समायोजन की ज़रूरत होती है।

अधिकांश समय, मुझे अपने शुरुआती विचारों को Runway Aleph द्वारा दिए गए परिणामों के अनुसार ढालना पड़ा। केवल प्रॉम्प्ट्स के जरिए हर सीन निर्देशित करने के बजाय, यह एक सहयोगी प्रक्रिया बन गई, जहाँ टूल की अनूठी व्याख्याएँ अक्सर उस दिशा को प्रभावित करती थीं जिसे मैंने अंततः अपनाया।

Runway Aleph की घोषणा में दिखाए गए उदाहरण संभवतः इसके सर्वश्रेष्ठ परिणामों का प्रतिनिधित्व करते हैं। जबकि मॉडल निश्चित रूप से प्रभावशाली परिणाम दे सकता है, वांछित प्रभाव पाने के लिए अक्सर कई प्रयासों और आउटपुट को परिष्कृत व दोहराने की इच्छा की आवश्यकता होती है।

कुल मिलाकर, Runway Aleph शौकिया क्रिएटर्स के लिए एक रोमांचक और आनंददायक टूल के रूप में उभरता है, जो ऐसे वीडियो निर्माण संभव बनाता है जो अन्यथा केवल एक अवधारणा रह जाते। जन्मदिन का वीडियो बनाते समय मुझे इसकी प्रक्रिया पसंद आई। हालाँकि, इस तरह की कल्पना को साकार करना यह भी दर्शाता है कि हर आइडिया को बेहतरीन दृश्यों में बेदाग़ ढंग से बदलने से पहले अभी और सफर तय करना बाकी है।