Qu'est-ce qu'Amazon Kinesis ? Cas d'utilisation, conseils sur la tarification et l'optimisation des coûts

Le flux de données est un flux constant et continu de données, souvent en grande quantité. L'un des aspects les plus importants d'un flux de données est qu'il est sensible au temps. Ainsi, après un certain temps, le contenu d'un flux de données peut perdre de sa pertinence.

Cela signifie que les entreprises peuvent tirer une valeur immense des analyses en temps réel et de la connaissance de leurs flux de données. C'est là qu'intervient une architecture spécialisée dans la transmission de données en continu. L'une des options les plus populaires et les plus puissantes en matière de flux de données est AWS Kinesis.

Dans cet article, nous présentons AWS Kinesis et explorons les deux principaux services proposés dans le cadre de Kinesis : Kinesis Data Streams et Kinesis Video Streams. À la fin de l'article, nous comparons également les principales différences entre deux services de streaming de données : AWS Kinesis et Apache Kafka (et Amazon MSK).

Si vous ne connaissez pas encore AWS, consultez notre cours d'introduction à AWS qui vous fera découvrir les concepts de base du principal fournisseur de cloud d'aujourd'hui.

Qu'est-ce que AWS Kinesis ?

Amazon Kinesis a été lancé en 2013 en réponse à une évolution du marché vers l'ingestion et l'analyse de données en temps réel.

Cependant, AWS a franchi une étape supplémentaire puisque Amazon Kinesis est capable de traiter des flux de données importants dans le cadre d'un service entièrement géré, évolutif et basé sur le cloud.

Dans les années qui ont suivi la publication, AWS a élargi les services offerts par Amazon Kinesis. Cela a commencé avec le lancement d'Amazon Kinesis Data Firehose en octobre 2015, puis d'Amazon Kinesis Data Analytics en août 2016.

Au départ, AWS ne proposait que son service Kinesis Data Streams pour le traitement et l'analyse de grandes quantités de données en temps réel. Ce n'est qu'en 2017 qu'AWS a introduit Kinesis Video Streams pour la capture, le traitement et le stockage des flux vidéo.

Cependant, Amazon Kinesis a continué à évoluer et à changer au fil des ans. Aujourd'hui, seuls les deux services de base subsistent : Les flux de données Kinesis et les flux vidéo Kinesis. Nous reviendrons plus en détail sur ces changements dans la suite de cette section.

Source : AWS

À quoi sert Amazon Kinesis ?

Amazon Kinesis est conçu pour la diffusion de données en temps réel.

Cela signifie que toute organisation souhaitant exploiter de grands volumes de données en temps réel (ou presque) bénéficierait grandement de l'offre Amazon Kinesis.

Voici quelques cas d'utilisation pour lesquels Amazon Kinesis est le mieux adapté :

• Flux de données de journaux et d'événements provenant d'une ou de plusieurs sources. Les données provenant des applications, des serveurs et des appareils peuvent être intégrées en temps réel.
• Collecte de flux vidéo à partir d'appareils dotés d'une caméra. Pensez aux systèmes de surveillance des maisons et des entreprises, aux caméras de surveillance des feux de circulation, etc.
• Analyse en temps réel de données en continu. Les cas d'utilisation impliquant la détection des fraudes, par exemple, sont très sensibles au temps et reposent sur une solide architecture de flux de données.

Exemple de cas d'utilisation d'Amazon Kinesis Video Streams (Source : AWS)

Modifications récentes des services Amazon Kinesis

En réponse aux commentaires des utilisateurs, AWS a récemment apporté quelques modifications à ses services.

Amazon Kinesis Data Analytics > Amazon Managed Service pour Apache Flink

Le service Amazon Kinesis Data Analytics a été rebaptisé Amazon Managed Service for Apache Flink (MSF) le 30 août 2023.

De plus, la prise en charge des applications SQL d'Amazon Kinesis Data Analytics sera interrompue à l'avenir. Amazon Kinesis Data Analytics pour les applications SQL ne sera plus prise en charge à l'avenir.. Les clients devront migrer leurs applications vers MSF pour leurs applications basées sur SQL.

MSF est un service entièrement géré et sans serveur qui permet de construire et d'exécuter des applications de streaming en temps réel à l'aide d'Apache Flink. MSF prend en charge SQL ainsi que d'autres langages de programmation, tels que Java et Scala.

Amazon Kinesis Data Firehose > Amazon Data Firehose

Le 9 février 2024, AWS a annoncé qu'elle allait renommer Amazon Kinesis Data Firehose en Amazon Data Firehose..

AWS a apporté cette modification pour tenir compte de la croissance des sources de données et des connecteurs au sein d'Amazon Data Firehose. Outre Amazon Kinesis Data Streams, la prise en charge de l'intégration a été ajoutée pour Amazon MSK et plus de 40 autres connecteurs de source et de destination AWS.

AWS Kinesis Data Streams

AWS Kinesis Data Streams est le service phare d'Amazon dans le cadre d'Amazon Kinesis.

Dans cette section, nous explorons ce service et les cas d'utilisation pour lesquels il est le mieux adapté.

Qu'est-ce que Kinesis Data Streams ?

Kinesis Data Streams peut ingérer en continu de grands volumes de données (à la vitesse de plusieurs gigaoctets par seconde) pour faciliter les cas d'utilisation analytiques en temps réel.

En plus d'être entièrement intégré à d'autres services AWS, voici quelques caractéristiques remarquables de Kinesis Data Streams :

• Il est sans serveur, il n'est donc pas nécessaire d'approvisionner ou de gérer des serveurs à l'avance, ce qui réduit les coûts initiaux liés à la mise en œuvre du streaming de données.
• Avec Kinesis, la collecte des données est séparée du traitement des données. Cette séparation permet aux applications de s'adapter facilement aux changements rapides de l'information.
• Kinesis Data Streams peut capturer de grands volumes de données en quelques millisecondes. solution à faible latence.
• Vous avez le choix entre le mode de capacité à la demande et le mode de capacité provisionnée pour répondre à vos besoins en matière de flux de données.
• Les flux de données Kinesis sont à la fois sécurisés et conformes. Vos données peuvent être cryptées et sécurisées au repos pour garantir une sécurité maximale.

Amazon Kinesis Data Streams se compose de trois éléments clés : les nuages, les producteurs et les consommateurs. Décortiquons-les à l'aide d'un exemple concret de système d'analyse en continu pour un site de commerce électronique.

Éclats

Un shard est une unité au sein de Kinesis qui détermine la quantité de données pouvant être traitées à la fois.

Par exemple, si le site web de commerce électronique traite 100 transactions par seconde, il peut avoir besoin de plusieurs ensembles de données pour traiter les données entrantes en douceur. Chaque unité de stockage peut traiter jusqu'à 1 Mo de données entrantes par seconde. En cas de pic de trafic, l'ajout d'unités de stockage supplémentaires garantira un traitement efficace des données.

Producteurs 

Un producteur est un système qui envoie des données au flux Kinesis.

Par exemple, le site de commerce électronique génère des journaux en temps réel chaque fois qu'un utilisateur ajoute un article à son panier, effectue un achat ou laisse un avis. Chacun de ces événements est envoyé à Kinesis sous la forme d'un enregistrement de données.

Consommateurs

Un consommateur est une application ou un système qui lit les données du flux Kinesis et les traite. Par exemple : 

• Un système de détection des fraudes qui analyse les transactions entrantes en temps réel pour repérer les activités suspectes.
• Un tableau de bord qui met à jour les indicateurs de vente en temps réel pour les directeurs de magasin.
• Un moteur de recommandation qui suggère des produits aux utilisateurs en fonction de leur activité récente.

Voyons comment ces éléments interagissent à l'aide d'un exemple : 

1. Un client ajoute un produit à son panier → L'événement est envoyé à Kinesis (Producteur)
2. L'événement entre dans un tesson (en fonction de la charge de trafic)
3. A application consommateur lit l'événement → met à jour le système d'inventaire, déclenche un modèle de recommandation d'IA ou signale un risque de fraude.

À quoi servent les flux de données Kinesis ?

Les flux de données Kinesis sont les mieux adaptés aux applications qui nécessitent un traitement rapide des données en temps réel.

Supposons par exemple que vous disposiez d'une application ou d'un appareil qui génère des journaux ou des flux de données. Vous utiliserez Kinesis Data Streams pour ingérer ce flux de données et lui appliquer un traitement ou une transformation, par exemple pour calculer des mesures ou des analyses en temps réel. Vous pouvez ensuite transférer ces données traitées dans un magasin de données en vue d'une utilisation ultérieure.

Ce n'est qu'un exemple parmi d'autres de l'utilité de Kinesis Data Streams.

Flux vidéo AWS Kinesis

AWS Video Streams est un service Amazon Kinesis plus récent qui propose des applications puissantes pour différents types de données multimédias.

Dans cette section, nous explorons ce service et examinons les applications pour lesquelles il est le mieux adapté.

Qu'est-ce que Kinesis Video Streams ?

Les flux vidéo de Kinesis vous permettent d'ingérer de grands volumes de données multimédias codées dans le temps à partir d'appareils connectés.

Plus concrètement, les données codées dans le temps sont un type de données médiatiques où les enregistrements sont liés les uns aux autres dans une série temporelle. La vidéo et l'audio sont tous deux des exemples de données codées dans le temps, puisque chaque image ou séquence de ces données est liée à l'image précédente et à l'image suivante.

Amazon Kinesis Video Streaming (Source : AWS)

Il est important de noter que Kinesis Video Streams ne gère que l'ingestion et le stockage des données multimédias. Le traitement et l'analyse doivent avoir lieu au sein d'un autre service. Parmi les autres services, citons Amazon Rekognition Video ou Amazon SageMaker pour les applications d'apprentissage automatique.

Consultez notre tutoriel complet sur Amazon SageMaker pour commencer à créer des applications d'apprentissage automatique sur AWS.

À quoi servent les flux vidéo de Kinesis ?

Il est très facile (et sécurisé) de se connecter à AWS et d'y diffuser des médias en continu à l'aide de Kinesis Video Streams. Il existe des SDK et des API en temps réel spécialement conçus pour Amazon Kinesis.

Cela signifie que vous pouvez rapidement et facilement utiliser Amazon Kinesis Video Streams pour vos applications de diffusion de médias.

L'une des utilisations les plus populaires des flux vidéo est la création d'applications d'apprentissage automatique en temps réel basées sur la vision par ordinateur. Ils peuvent être utilisés dans un large éventail de domaines, tels que la sécurité et la surveillance, les maisons intelligentes, les interventions d'urgence dans les villes, etc.

Prix de AWS Kinesis

L'un des avantages d'AWS est son modèle de tarification "pay-as-you-go". La plupart des services AWS, si ce n'est tous, suivent ce modèle, et AWS Kinesis n'est pas différent.

Il n'y a pas de frais initiaux ni de frais minimums. Vous ne payez que pour les ressources que vous utilisez.

Voyons comment fonctionne la tarification pour AWS Kinesis et comment vous pouvez appliquer certaines bonnes pratiques pour optimiser vos coûts.

Aperçu de la tarification

Les deux services principaux d'AWS Kinesis, Kinesis Data Streams et Kinesis Video Streams, ont des coûts et des options de facturation différents en fonction de la façon dont vous configurez les services.

Kinesis Data Streams dispose de deux modes de capacité, chacun avec des coûts différents. En voici un bref résumé :

• Sur demande: Vous êtes facturé pour le volume de données que vous ingérez et récupérez, ainsi que pour un taux horaire pour chaque flux de données que vous configurez dans votre compte AWS.
• Provisionné: En utilisant le mode de fourniture de capacité, vous devez spécifier le nombre d'unités requises pour votre application et vous serez facturé pour chaque unité à un taux horaire.

Le mode de capacité à la demande est une approche plus souple et plus simpliste qui convient parfaitement lorsque vous commencez à utiliser Kinesis Data Streams.

Cependant, lorsque votre application atteint le point où votre trafic est plus prévisible et plus facile à prévoir, le mode de capacité provisionnée peut être une option plus rentable.

Kinesis Video Streams offre une option de tarification flexible et à la demande basée sur trois facteurs :

• Le volume de données que vous ingérez (en gigaoctets).
• Le volume de données que vous consommez (en gigaoctets).
• Le volume de données que vous stockez en un mois (en gigaoctets).

Conseils et bonnes pratiques en matière d'optimisation des coûts

Kinesis Data Streams et Kinesis Video Streams ne sont pas disponibles dans AWS Free Tier. Cela signifie que vous serez facturé à partir du moment où vous mettez en place l'un de ces flux dans AWS.

Cependant, il existe un certain nombre de bonnes pratiques et de conseils que vous pouvez suivre lors de la mise en place d'AWS Kinesis pour vos applications afin de maintenir les coûts à un niveau bas.

Pour optimiser les coûts, voici trois conseils à suivre :

• Passez en mode capacité de provision dès que votre trafic devient prévisible. Bien que le mode à la demande élimine le casse-tête de la surveillance et de la gestion des unités de stockage, il peut s'avérer beaucoup plus coûteux.
• Vous pouvez facilement basculer entre les modes de capacité à la demande et provisionnée en fonction des schémas de trafic. Par exemple, si vous vous attendez à des pics à certaines heures de la journée, vous pouvez passer en mode à la demande, puis repasser en mode provisionné lorsque vous savez que le trafic est plus régulier. Attention cependant, vous ne pouvez effectuer ce changement que deux fois par période de 24 heures. deux fois par période de 24 heures.
• Définissez dès le départ vos politiques de conservation des données. Kinesis Data Streams n'est pas conçu pour le stockage à long terme des données. Les données stockées pendant plus de 24 heures vous seront facturées (le stockage est gratuit pendant les premières 24 heures).

AWS Kinesis vs Kafka

Amazon Managed Streaming for Apache Kafka (Amazon MSK) est un autre service de streaming de données populaire proposé par AWS.

Vous pouvez consulter notre guide complet du débutant sur Amazon MSK dans un article séparé, ainsi que notre guide sur Kafka.

Lorsque l'on compare Amazon MSK à Kinesis, on constate de nombreux chevauchements. Ces deux services offrent des solutions évolutives, sécurisées et hautement disponibles pour les applications de flux de données.

La seule différence réelle dans le choix du service dépend de vos préférences, de vos besoins et de votre infrastructure actuelle.

Si vous utilisez déjà Apache Kafka, vous avez peut-être intérêt à migrer vers une solution cloud entièrement gérée comme Amazon MSK. De même, si votre équipe est à l'aise avec Apache Kafka, Amazon MSK sera préférable à Amazon Kinesis.

En revanche, si vous ne disposez pas d'une infrastructure de flux de données, vous trouverez peut-être Amazon Kinesis plus convivial et plus facile à mettre en œuvre.

Conclusion

L'analyse des données en temps réel devient de plus en plus populaire et importante pour de nombreuses industries et entreprises. Pour y parvenir, il est nécessaire de mettre en place un bon système de flux de données capable de traiter de grandes quantités de données sans décalage ni temps d'arrêt.

AWS a reconnu ce besoin croissant dès 2013 et a continué à développer et à affiner l'une de ses meilleures solutions de streaming de données : Amazon Kinesis. Aujourd'hui, Amazon Kinesis est la meilleure solution pour ingérer et traiter des flux de données à des vitesses incroyables.

Si vous ne connaissez pas AWS, commencez par suivre notre cours AWS pour débutants afin d'en savoir plus sur AWS et ses services. Si vous êtes prêt à démarrer une carrière en utilisant des services basés sur le cloud comme AWS, consultez notre article sur les certifications AWS et comment choisir celle qui correspond le mieux à vos objectifs. Ensuite, passez à l'étape suivante en vous préparant à un entretien et en en vous entraînant à répondre aux principales questions d'entretien d'AWS.