Amazon Kinesis क्या है? उपयोग-क्षेत्र, प्राइसिंग और लागत अनुकूलन टिप्स

डेटा स्ट्रीमिंग डेटा का निरंतर और सतत प्रवाह है, जो अक्सर बड़े वॉल्यूम में होता है। डेटा स्ट्रीम की एक महत्वपूर्ण विशेषता यह है कि यह समय-संवेदी होती है। इसलिए, एक निश्चित समय के बाद, डेटा स्ट्रीम की सामग्री कम प्रासंगिक हो सकती है।

इसका अर्थ है कि कंपनियाँ अपनी डेटा स्ट्रीम से रियल-टाइम एनालिटिक्स और इनसाइट्स से अपार मूल्य प्राप्त कर सकती हैं। यहीं पर विशेषीकृत डेटा स्ट्रीमिंग आर्किटेक्चर काम आता है। डेटा स्ट्रीमिंग के लिए सबसे लोकप्रिय और शक्तिशाली विकल्पों में से एक है AWS Kinesis।

इस लेख में, हम AWS Kinesis का परिचय देंगे और Kinesis के अंतर्गत आने वाली दो मुख्य सेवाओं का अवलोकन करेंगे: Kinesis Data Streams और Kinesis Video Streams। लेख के अंत में, हम दो डेटा स्ट्रीमिंग सेवाओं—AWS Kinesis और Apache Kafka (और Amazon MSK)—के बीच प्रमुख अंतर की भी तुलना करेंगे।

यदि आप AWS में नए हैं, तो हमारे प्रारंभिक AWS कोर्स को देखें, जो आपको आज के अग्रणी क्लाउड प्रदाता के मूलभूत सिद्धांतों से परिचित कराएगा।

AWS Kinesis क्या है?

Amazon Kinesis को 2013 में रियल-टाइम डेटा इनजेशन और विश्लेषण की ओर बाजार में आए बदलाव के जवाब में लॉन्च किया गया था।

हालाँकि, AWS ने इसे एक कदम आगे बढ़ाया क्योंकि Amazon Kinesis बड़े डेटा स्ट्रीम्स को पूरी तरह से मैनेज्ड, स्केलेबल और क्लाउड-आधारित सेवा में प्रोसेस कर सकता है।

रिलीज़ के बाद के वर्षों में, AWS ने Amazon Kinesis के अंतर्गत दी जाने वाली सेवाओं का विस्तार किया। यह अक्टूबर 2015 में Amazon Kinesis Data Firehose की रिलीज़ से शुरू हुआ और बाद में अगस्त 2016 में Amazon Kinesis Data Analytics जारी किया गया।

शुरुआत में, AWS केवल Kinesis Data Streams सेवा प्रदान करता था, जो रियल-टाइम में बड़े पैमाने पर डेटा प्रोसेस और विश्लेषण करने के लिए थी। 2017 में ही AWS ने वीडियो स्ट्रीम को कैप्चर, प्रोसेस और स्टोर करने के लिए Kinesis Video Streams पेश किया।

फिर भी, समय के साथ Amazon Kinesis विकसित और परिवर्तित होता रहा। आज की तारीख में केवल दो मुख्य सेवाएँ शेष हैं: Kinesis Data Streams और Kinesis Video Streams। हम इस अनुभाग में आगे इन बदलावों पर विस्तार से चर्चा करेंगे।

स्रोत: AWS

Amazon Kinesis का उपयोग किस लिए किया जाता है?

Amazon Kinesis को रियल-टाइम डेटा स्ट्रीमिंग के लिए डिज़ाइन किया गया है।

अर्थात, कोई भी संगठन जो रियल-टाइम (या लगभग रियल-टाइम) डेटा के बड़े वॉल्यूम का लाभ उठाना चाहता है, वह Amazon Kinesis से अत्यधिक लाभान्वित होगा।

यहाँ कुछ उपयोग-क्षेत्र हैं जिनके लिए Amazon Kinesis सबसे उपयुक्त है:

• एक या अधिक स्रोतों से लॉग और इवेंट डेटा स्ट्रीम करना। एप्लिकेशंस, सर्वर और डिवाइसेज़ से डेटा को रियल-टाइम में इनजेस्ट किया जा सकता है।
• कैमरा-सक्षम डिवाइसेज़ से वीडियो स्ट्रीम एकत्र करना। जैसे घरेलू और व्यावसायिक निगरानी प्रणालियाँ, ट्रैफिक लाइट कैमरे, आदि।
• स्ट्रीमिंग डेटा का रियल-टाइम विश्लेषण। उदाहरण के लिए, फ्रॉड डिटेक्शन जैसे उपयोग-क्षेत्र अत्यधिक समय-संवेदी होते हैं और ठोस डेटा स्ट्रीमिंग आर्किटेक्चर पर निर्भर करते हैं।

Amazon Kinesis Video Streams का उदाहरण उपयोग-क्षेत्र (स्रोत: AWS)

Amazon Kinesis सेवाओं में हाल के बदलाव

यूज़र फीडबैक के जवाब में, AWS ने हाल ही में अपनी सेवाओं में कुछ बदलाव किए हैं।

Amazon Kinesis Data Analytics > Amazon Managed Service for Apache Flink

Amazon Kinesis Data Analytics का नाम बदलकर Amazon Managed Service for Apache Flink (MSF) 30 अगस्त, 2023 को कर दिया गया।

सिर्फ इतना ही नहीं, SQL एप्लिकेशंस के लिए Amazon Kinesis Data Analytics का सपोर्ट भविष्य में बंद कर दिया जाएगा। ग्राहकों को अपनी SQL-आधारित एप्लिकेशंस को MSF पर माइग्रेट करना होगा।

MSF एक पूर्ण-प्रबंधित और सर्वरलेस सेवा है जो Apache Flink का उपयोग करके रियल-टाइम स्ट्रीमिंग एप्लिकेशंस बनाने और चलाने देती है। MSF में SQL के साथ-साथ Java और Scala जैसी अन्य प्रोग्रामिंग भाषाओं का भी समर्थन शामिल है।

Amazon Kinesis Data Firehose > Amazon Data Firehose

9 फरवरी, 2024 को, AWS ने घोषणा की कि वह Amazon Kinesis Data Firehose का नाम बदलकर सिर्फ Amazon Data Firehose रखेगा।

AWS ने यह बदलाव Amazon Data Firehose के भीतर अपने डेटा स्रोतों और कनेक्टर्स में हुई वृद्धि को दर्शाने के लिए किया। Amazon Kinesis Data Streams के अलावा, Amazon MSK और 40 से अधिक अन्य AWS स्रोत और डेस्टिनेशन कनेक्टर्स के लिए इंटीग्रेशन सपोर्ट जोड़ा गया।

AWS Kinesis Data Streams

AWS Kinesis Data Streams, Amazon Kinesis छाते के अंतर्गत Amazon की प्रमुख सेवा है।

इस अनुभाग में, हम इस सेवा और इसके लिए सबसे उपयुक्त उपयोग-क्षेत्रों की पड़ताल करेंगे।

Kinesis Data Streams क्या है?

Kinesis Data Streams रियल-टाइम एनालिटिक्स उपयोग-क्षेत्रों को सक्षम करने के लिए बड़े पैमाने पर डेटा (प्रति सेकंड गीगाबाइट की गति से) लगातार इनजेस्ट कर सकता है।

अन्य AWS सेवाओं के साथ पूर्ण एकीकरण के अलावा, Kinesis Data Streams की कुछ प्रमुख विशेषताएँ निम्नलिखित हैं:

• यह सर्वरलेस है, इसलिए पहले से सर्वर प्राविजन या प्रबंधित करने की आवश्यकता नहीं है, जिससे डेटा स्ट्रीमिंग शुरू करने की अग्रिम लागत कम हो जाती है।
• Kinesis में डेटा संग्रहण डेटा प्रोसेसिंग से अलग होता है। यह विभाजन एप्लिकेशंस को सूचना में तेजी से होने वाले बदलावों के अनुरूप ढलने में मदद करता है।
• Kinesis Data Streams मिलीसेकंड्स में बड़े वॉल्यूम का डेटा कैप्चर कर सकता है, जो इसे एक अद्भुत लो-लेटेंसी समाधान बनाता है।
• आप अपनी डेटा स्ट्रीमिंग आवश्यकताओं के अनुसार ऑन-डिमांड और प्रोविज़न्ड कैपेसिटी मोड्स में से चुन सकते हैं।
• Kinesis Data Streams सुरक्षित और अनुरूप दोनों हैं। आपका डेटा एट-रेस्ट एन्क्रिप्ट और सुरक्षित किया जा सकता है ताकि अधिकतम सुरक्षा सुनिश्चित हो।

Amazon Kinesis Data Streams तीन प्रमुख घटकों से मिलकर बना है: शार्ड्स, प्रोड्यूसर्स और कन्ज़्यूमर्स। आइए एक ईकॉमर्स वेबसाइट के लिए स्ट्रीमिंग एनालिटिक्स सिस्टम के वास्तविक उदाहरण से इन्हें समझते हैं।

Shards

शार्ड Kinesis के भीतर एक यूनिट है जो यह निर्धारित करता है कि एक समय में कितना डेटा प्रोसेस किया जा सकता है।

उदाहरण के लिए, यदि ईकॉमर्स वेबसाइट प्रति सेकंड 100 ट्रांज़ैक्शंस प्रोसेस करती है, तो आने वाले डेटा को सुचारू रूप से संभालने के लिए उसे कई शार्ड्स की आवश्यकता हो सकती है। प्रत्येक शार्ड प्रति सेकंड अधिकतम 1 MB इनकमिंग डेटा संभाल सकता है, इसलिए यदि ट्रैफिक बढ़ता है, तो अधिक शार्ड जोड़ना सुनिश्चित करेगा कि डेटा कुशलतापूर्वक प्रोसेस हो।

Producers 

प्रोड्यूसर कोई भी सिस्टम होता है जो Kinesis स्ट्रीम को डेटा भेजता है।

उदाहरण के लिए, ई-कॉमर्स साइट हर बार जब कोई उपयोगकर्ता अपनी कार्ट में कोई आइटम जोड़ता है, ख़रीद पूरी करता है या समीक्षा देता है, तो रियल-टाइम लॉग जनरेट करती है। इनमें से प्रत्येक इवेंट Kinesis में एक डेटा रिकॉर्ड के रूप में भेजा जाता है।

Consumers

कन्ज़्यूमर कोई भी एप्लिकेशन या सिस्टम होता है जो Kinesis स्ट्रीम से डेटा पढ़ता है और उसे प्रोसेस करता है। उदाहरण के लिए: 

• फ्रॉड डिटेक्शन सिस्टम जो रियल-टाइम में आने वाले ट्रांज़ैक्शंस का विश्लेषण कर संदिग्ध गतिविधि को फ़्लैग करता है।
• डैशबोर्ड जो स्टोर मैनेजर्स के लिए लाइव सेल्स मेट्रिक्स अपडेट करता है।
• रिकमेंडेशन इंजन जो हाल की गतिविधि के आधार पर उपयोगकर्ताओं को प्रोडक्ट सुझाता है।

आइए देखें कि ये सभी एक उदाहरण में कैसे इंटरैक्ट करते हैं: 

1. एक ग्राहक अपनी कार्ट में प्रोडक्ट जोड़ता है → इवेंट भेजा जाता है Kinesis (Producer)
2. इवेंट एक शार्ड में प्रवेश करता है (ट्रैफिक लोड पर निर्भर)
3. एक कन्ज़्यूमर एप्लिकेशन इवेंट पढ़ता है → इन्वेंटरी सिस्टम अपडेट करता है, AI रिकमेंडेशन मॉडल ट्रिगर करता है, या फ्रॉड रिस्क फ़्लैग करता है

Kinesis Data Streams का उपयोग किस लिए होता है?

Kinesis Data Streams उन एप्लिकेशंस के लिए सबसे उपयुक्त हैं जिन्हें रियल-टाइम में तेज़ डेटा प्रोसेसिंग की आवश्यकता होती है।

उदाहरण के लिए, मान लीजिए आपके पास कोई एप्लिकेशन या डिवाइस है जो लॉग्स या डेटा फीड्स जनरेट करता है। आप इस डेटा स्ट्रीम को इनजेस्ट करने और उस पर कुछ प्रोसेसिंग या ट्रांसफॉर्मेशन लागू करने के लिए Kinesis Data Streams का उपयोग करेंगे, जैसे रियल-टाइम मेट्रिक्स या एनालिटिक्स की गणना करना। इसके बाद आप इस प्रोसेस्ड डेटा को बाद में उपयोग के लिए किसी डेटा स्टोर में पुश कर सकते हैं।

यह Kinesis Data Streams की उपयोगिता का केवल एक सामान्य उदाहरण है।

AWS Kinesis Video Streams

AWS Video Streams, Amazon Kinesis की एक अपेक्षाकृत नई सेवा है, जिसके विभिन्न प्रकार के मीडिया डेटा के लिए शक्तिशाली अनुप्रयोग हैं।

इस अनुभाग में, हम इस सेवा की पड़ताल करेंगे और किन अनुप्रयोगों के लिए यह सबसे उपयुक्त है, उस पर चर्चा करेंगे।

Kinesis Video Streams क्या है?

Kinesis Video Streams आपको कनेक्टेड डिवाइसेज़ से समय-एन्कोडेड मीडिया डेटा के बड़े वॉल्यूम को इनजेस्ट करने देता है।

सरल शब्दों में, समय-एन्कोडेड डेटा वह मीडिया डेटा है जिसमें रिकॉर्ड्स समय-श्रृंखला में एक-दूसरे से संबंधित होते हैं। वीडियो और ऑडियो दोनों समय-एन्कोडेड डेटा के उदाहरण हैं क्योंकि इस डेटा में प्रत्येक फ़्रेम या अनुक्रम पिछले और अगले फ़्रेम से संबंधित होता है।

Amazon Kinesis Video Streaming (स्रोत: AWS)

यह ध्यान रखना महत्वपूर्ण है कि Kinesis Video Streams केवल मीडिया डेटा के इनजेशन और स्टोरेज को संभालता है। प्रोसेसिंग और विश्लेषण किसी अन्य सेवा के भीतर होना चाहिए। अन्य सेवाओं के उदाहरण हैं: मशीन लर्निंग अनुप्रयोगों के लिए Amazon Rekognition Video या Amazon SageMaker।

AWS में मशीन लर्निंग एप्लिकेशंस बनाना शुरू करने के लिए हमारा Amazon SageMaker पर पूरा ट्यूटोरियल देखें।

Kinesis Video Streams का उपयोग किस लिए होता है?

Kinesis Video Streams का उपयोग करके AWS से कनेक्ट होना और मीडिया स्ट्रीम करना बहुत आसान (और सुरक्षित) है। Amazon Kinesis के लिए विशेष रूप से बनाए गए SDKs और रियल-टाइम APIs मौजूद हैं।

इसका मतलब है कि आप अपनी मीडिया स्ट्रीमिंग एप्लिकेशंस के लिए Amazon Kinesis Video Streams के साथ तेज़ी और आसानी से काम शुरू कर सकते हैं।

वीडियो स्ट्रीम्स का एक लोकप्रिय उपयोग रियल-टाइम कंप्यूटर विज़न सक्षम मशीन लर्निंग एप्लिकेशंस बनाना है। इनका उपयोग सुरक्षा और निगरानी, स्मार्ट होम्स, सिटी इमरजेंसी रिस्पॉन्स आदि जैसे विविध क्षेत्रों में किया जा सकता है।

AWS Kinesis प्राइसिंग

AWS की सबसे अच्छी बातों में से एक है इसका पे-एज़-यू-गो प्राइसिंग मॉडल। अधिकांश, यदि सभी नहीं, AWS सेवाएँ इसी मॉडल का पालन करती हैं, और AWS Kinesis भी इससे अलग नहीं है।

कोई अग्रिम लागत या न्यूनतम शुल्क नहीं है। आप केवल उन संसाधनों के लिए भुगतान करते हैं जिनका आप उपयोग करते हैं।

आइए देखें कि AWS Kinesis के लिए प्राइसिंग कैसे काम करती है और लागत को अनुकूलित करने के लिए आप कुछ सर्वोत्तम प्रथाएँ कैसे लागू कर सकते हैं।

प्राइसिंग का अवलोकन

AWS Kinesis के अंतर्गत दो मुख्य सेवाएँ—Kinesis Data Streams और Kinesis Video Streams—की लागत और बिलिंग विकल्प इस बात पर निर्भर करते हैं कि आप सेवाओं को कैसे सेटअप करते हैं।

Kinesis Data Streams में दो कैपेसिटी मोड्स होते हैं, जिनकी लागतें अलग-अलग होती हैं। यहाँ संक्षिप्त सारांश है:

• ऑन-डिमांड: आप इनजेस्ट और रिट्रीव किए गए डेटा के वॉल्यूम के आधार पर चार्ज किए जाते हैं, साथ ही अपने AWS अकाउंट में सेटअप प्रत्येक डेटा स्ट्रीम के लिए प्रति घंटा दर ली जाती है।
• प्रोविज़न्ड: प्रोविज़न्ड कैपेसिटी मोड का उपयोग करते समय, आपको अपने एप्लिकेशन के लिए आवश्यक शार्ड्स की संख्या निर्दिष्ट करनी होती है और प्रत्येक शार्ड के लिए आपको प्रति घंटा दर से चार्ज किया जाएगा।

ऑन-डिमांड कैपेसिटी मोड अधिक लचीला और सरल दृष्टिकोण है, जो Kinesis Data Streams के साथ शुरुआत करते समय अच्छा रहता है।

हालाँकि, एक बार जब आपका एप्लिकेशन उस बिंदु पर पहुँच जाता है जहाँ आपका ट्रैफिक अधिक पूर्वानुमेय और पूर्वानुमान लगाना आसान हो जाता है, तो प्रोविज़न्ड कैपेसिटी मोड अधिक किफ़ायती विकल्प हो सकता है।

Kinesis Video Streams एक लचीला, ऑन-डिमांड प्राइसिंग विकल्प प्रदान करता है जो तीन कारकों पर आधारित है:

• वह डेटा वॉल्यूम जिसे आप इनजेस्ट करते हैं (गीगाबाइट्स में)।
• वह डेटा वॉल्यूम जिसे आप कन्ज़्यूम करते हैं (गीगाबाइट्स में)।
• वह डेटा वॉल्यूम जिसे आप स्टोर करते हैं (मासिक गीगाबाइट्स में)।

लागत अनुकूलन टिप्स और सर्वोत्तम प्रथाएँ

Kinesis Data Streams और Kinesis Video Streams दोनों AWS Free Tier में उपलब्ध नहीं हैं। इसका अर्थ है कि जैसे ही आप AWS में इनमें से किसी स्ट्रीम को सेटअप करते हैं, आपको चार्ज किया जाएगा।

हालाँकि, कई सर्वोत्तम प्रथाएँ और कुछ टिप्स हैं जिन्हें आप अपनी एप्लिकेशंस के लिए AWS Kinesis सेट करते समय लागत कम रखने के लिए अपना सकते हैं।

लागत को अनुकूलित करने के लिए, ये तीन शीर्ष टिप्स अपनाएँ:

• जैसे ही आपका ट्रैफिक पूर्वानुमेय हो, प्रोविज़न्ड कैपेसिटी मोड पर स्विच करें। ऑन-डिमांड मोड शार्ड्स की मॉनिटरिंग और मैनेजमेंट की झंझट हटाता है, लेकिन यह काफी महंगा हो सकता है।
• आप ट्रैफिक पैटर्न के आधार पर आसानी से ऑन-डिमांड और प्रोविज़न्ड कैपेसिटी मोड्स के बीच स्विच कर सकते हैं। उदाहरण के लिए, यदि आपको दिन के कुछ घंटों के दौरान स्पाइक्स की उम्मीद है, तो आप ऑन-डिमांड पर स्विच कर सकते हैं और जब ट्रैफिक अधिक स्थिर हो, तो वापस प्रोविज़न्ड मोड पर आ सकते हैं। ध्यान रखें, आप यह स्विच 24 घंटे की अवधि में केवल दो बार कर सकते हैं।
• अपनी डेटा रिटेंशन नीतियाँ शुरू में ही सेट करें। Kinesis Data Streams दीर्घकालिक डेटा स्टोरेज के लिए डिज़ाइन नहीं है। 24 घंटे से अधिक समय तक संग्रहीत डेटा के लिए आपसे शुल्क लिया जाएगा (पहले 24 घंटों में स्टोरेज निःशुल्क है)।

AWS Kinesis बनाम Kafka

Amazon Managed Streaming for Apache Kafka (Amazon MSK) AWS द्वारा दी जाने वाली एक अन्य लोकप्रिय डेटा स्ट्रीमिंग सेवा है।

आप हमारे Amazon MSK पर व्यापक शुरुआती गाइड और हमारे Kafka गाइड अलग लेखों में पा सकते हैं।

Amazon MSK की Kinesis से तुलना करते समय, काफी ओवरलैप है। दोनों सेवाएँ डेटा स्ट्रीमिंग एप्लिकेशंस के लिए स्केलेबल, सुरक्षित और अत्यधिक उपलब्ध समाधान प्रदान करती हैं।

कौन सी सेवा उपयोग करनी है, इसका वास्तविक अंतर आपकी अपनी प्राथमिकताओं, आवश्यकताओं और मौजूदा अवसंरचना पर निर्भर करता है।

यदि आप पहले से Apache Kafka का उपयोग कर रहे हैं, तो Amazon MSK जैसी पूर्ण-प्रबंधित क्लाउड सेवा पर माइग्रेट करने से आपको लाभ मिल सकता है। इसी प्रकार, यदि आपकी टीम Apache Kafka के साथ सहज है, तो Amazon Kinesis के बजाय Amazon MSK बेहतर विकल्प होगा।

दूसरी ओर, यदि आपके पास कोई मौजूदा डेटा स्ट्रीमिंग अवसंरचना नहीं है, तो आपको Amazon Kinesis अधिक शुरुआती-अनुकूल और शुरू करने में आसान लग सकता है।

निष्कर्ष

रियल-टाइम डेटा एनालिटिक्स कई उद्योगों और व्यवसायों के लिए तेजी से लोकप्रिय और महत्वपूर्ण होता जा रहा है। इसे हासिल करने के लिए, ऐसा अच्छा डेटा स्ट्रीमिंग सिस्टम स्थापित करना आवश्यक है जो बड़े पैमाने पर डेटा को बिना किसी लैग या डाउनटाइम के संभाल सके।

AWS ने 2013 में इस बढ़ती आवश्यकता को पहचाना और अपनी सर्वश्रेष्ठ डेटा स्ट्रीमिंग समाधानों में से एक—Amazon Kinesis—को विकसित और परिष्कृत करना जारी रखा। आज, Amazon Kinesis असाधारण गति से डेटा स्ट्रीम्स को इनजेस्ट और प्रोसेस करने के लिए सर्वश्रेष्ठ-इन-क्लास समाधान है।

यदि आप AWS में नए हैं, तो हमारे शुरुआती-अनुकूल AWS कोर्स से शुरू करें ताकि AWS और इसकी सेवाओं के बारे में अधिक जान सकें। यदि आप AWS जैसी क्लाउड-आधारित सेवाओं का उपयोग करके करियर शुरू करने के लिए तैयार हैं, तो हमारे AWS प्रमाणपत्रों पर लेख और अपने लक्ष्यों के लिए सर्वश्रेष्ठ कैसे चुनें, उसे देखें। फिर, इंटरव्यू की तैयारी करें और शीर्ष AWS इंटरव्यू प्रश्नों का अभ्यास करें।