¿Qué es Amazon Kinesis? Casos prácticos, consejos sobre precios y optimización de costes

El flujo de datos es un flujo constante y continuo de datos, a menudo en grandes volúmenes. Uno de los aspectos más importantes de un flujo de datos es que es sensible al tiempo. Así, al cabo de cierto tiempo, el contenido de un flujo de datos puede perder relevancia.

Esto significa que las empresas pueden obtener un inmenso valor de los análisis en tiempo real y de las percepciones de sus flujos de datos. Aquí es donde entra en juego la arquitectura especializada en el flujo de datos. Una de las opciones más populares y potentes para el streaming de datos es AWS Kinesis.

En este artículo, presentamos AWS Kinesis y exploramos los dos servicios principales que se ofrecen bajo el paraguas de Kinesis: Kinesis Data Streams y Kinesis Video Streams. Al final del artículo, también comparamos las principales diferencias entre dos servicios de transmisión de datos: AWS Kinesis y Apache Kafka (y Amazon MSK).

Si eres nuevo en AWS, echa un vistazo a nuestro curso de introducción a AWS, que te llevará a través de los conceptos básicos del proveedor de la nube líder en la actualidad.

¿Qué es AWS Kinesis?

Amazon Kinesis se lanzó en 2013 en respuesta a un cambio en el mercado hacia la ingesta y el análisis de datos en tiempo real.

Sin embargo, AWS dio un paso más, ya que Amazon Kinesis es capaz de procesar grandes flujos de datos en un servicio totalmente gestionado, escalable y basado en la nube.

En los años que siguieron al lanzamiento, AWS amplió sus servicios ofrecidos bajo Amazon Kinesis. Esto comenzó con el lanzamiento de Amazon Kinesis Data Firehose en octubre de 2015 y más tarde lanzó Amazon Kinesis Data Analytics en agosto de 2016.

Inicialmente, AWS sólo ofrecía su servicio Kinesis Data Streams para procesar y analizar grandes cantidades de datos en tiempo real. No fue hasta 2017 cuando AWS introdujo Kinesis Video Streams para capturar, procesar y almacenar flujos de vídeo.

Sin embargo, Amazon Kinesis siguió evolucionando y cambiando a lo largo de los años. Si avanzamos hasta hoy, sólo quedan los dos servicios básicos: Flujos de Datos Kinesis y Flujos de Vídeo Kinesis. Hablaremos de estos cambios con más detalle más adelante en esta sección.

Fuente: AWS

¿Para qué sirve Amazon Kinesis?

Amazon Kinesis está diseñado para la transmisión de datos en tiempo real.

Esto significa que cualquier organización que desee aprovechar grandes volúmenes de datos en tiempo real (o casi) se beneficiaría enormemente de la oferta de Amazon Kinesis.

He aquí algunos casos de uso para los que Amazon Kinesis es más adecuado:

• Transmisión de datos de registro y eventos de una o varias fuentes. Los datos de aplicaciones, servidores y dispositivos pueden ser ingeridos en tiempo real.
• Recoger secuencias de vídeo de dispositivos con cámara. Piensa en sistemas de vigilancia doméstica y empresarial, cámaras de semáforos, etc.
• Análisis en tiempo real de datos en flujo. Los casos de uso relacionados con la detección del fraude, por ejemplo, son muy sensibles al tiempo y dependen de una sólida arquitectura de flujo de datos.

Ejemplo de uso de Amazon Kinesis Video Streams (Fuente: AWS)

Cambios recientes en los servicios de Amazon Kinesis

En respuesta a los comentarios de los usuarios, AWS ha introducido recientemente un par de cambios en sus servicios.

Análisis de datos de Amazon Kinesis > Servicio administrado de Amazon para Apache Flink

El servicio Amazon Kinesis Data Analytics pasó a llamarse Amazon Managed Service for Apache Flink (MSF) el 30 de agosto de 2023.

No sólo eso, sino que el soporte para Amazon Kinesis Data Analytics para aplicaciones SQL se interrumpirá en el futuro. Los clientes tendrán que migrar sus aplicaciones a MSF para sus aplicaciones basadas en SQL.

MSF es un servicio totalmente gestionado y sin servidor para construir y ejecutar aplicaciones de streaming en tiempo real utilizando Apache Flink. MSF incluye soporte para SQL junto con otros lenguajes de programación, como Java y Scala.

Manguera de datos de Amazon Kinesis > Manguera de datos de Amazon

El 9 de febrero de 2024, AWS anunció que iba a cambiar el nombre de Amazon Kinesis Data Firehose a simplemente Amazon Data Firehose.

AWS hizo este cambio para reflejar el crecimiento de sus fuentes de datos y conectores dentro de Amazon Data Firehose. Además de Amazon Kinesis Data Streams, se ha añadido soporte de integración para Amazon MSK y más de otros 40 conectores de origen y destino de AWS.

AWS Kinesis Data Streams

AWS Kinesis Data Streams es el servicio estrella de Amazon bajo el paraguas de Amazon Kinesis.

En esta sección, exploramos este servicio y los casos de uso para los que es más adecuado.

¿Qué es Kinesis Data Streams?

Kinesis Data Streams puede ingerir continuamente grandes volúmenes de datos (a la velocidad de gigabytes por segundo) para facilitar los casos de uso analítico en tiempo real.

Además de estar totalmente integrado con otros servicios de AWS, aquí tienes algunas características destacadas de Kinesis Data Streams:

• Es sin servidor, por lo que no hay necesidad de aprovisionar o gestionar servidores de antemano, reduciendo los costes iniciales de empezar con el streaming de datos.
• Con Kinesis , la recogida de datos está separada del procesamiento de datos. Esta separación facilita que las aplicaciones se adapten a los rápidos cambios de información.
• Kinesis Data Streams puede capturar grandes volúmenes de datos en milisegundos, lo que la convierte en una increíble solución de baja latencia.
• Puedes elegir entre modos de capacidad bajo demanda y aprovisionada para adaptarlo a tus necesidades de flujo de datos.
• Los flujos de datos Kinesis son a la vez seguros y conformes. Tus datos pueden encriptarse y protegerse en reposo para garantizar la máxima seguridad.

Amazon Kinesis Data Streams consta de tres componentes clave: fragmentos, productores y consumidores. Vamos a desglosarlas utilizando un ejemplo real de un sistema de análisis de streaming para un sitio web de comercio electrónico.

Fragmentos

Un fragmento es una unidad dentro de Kinesis que determina cuántos datos pueden procesarse a la vez.

Por ejemplo, si el sitio web de comercio electrónico procesa 100 transacciones por segundo, podría necesitar varios fragmentos para gestionar los datos entrantes sin problemas. Cada fragmento puede manejar hasta 1 MB de datos entrantes por segundo, por lo que si el tráfico aumenta, añadir más fragmentos garantizará que los datos se procesen con eficacia.

Productores 

Un productor es cualquier sistema que envía datos al flujo Kinesis.

Por ejemplo, el sitio de comercio electrónico genera registros en tiempo real cada vez que un usuario añade un artículo a su cesta, completa una compra o deja una opinión. Cada uno de estos eventos se envía como un registro de datos a Kinesis.

Consumidores

Un consumidor es cualquier aplicación o sistema que lee datos del flujo Kinesis y los procesa. Por ejemplo: 

• Un sistema de detección de fraudes que analiza las transacciones entrantes en tiempo real para señalar las actividades sospechosas.
• Un panel de control que actualiza en tiempo real las métricas de ventas para los responsables de tienda.
• Un motor de recomendación que sugiere productos a los usuarios basándose en su actividad reciente.

Veamos cómo interactúan todas ellas con un ejemplo: 

1. Un cliente añade un producto a su cesta → El evento se envía a Kinesis (Productor)
2. El suceso entra en un fragmento (dependiendo de la carga de tráfico)
3. A aplicación del consumidor lee el suceso → Actualiza el sistema de inventario, activa un modelo de recomendación de IA o señala un riesgo de fraude

¿Para qué se utilizan los flujos de datos Kinesis?

Los flujos de datos Kinesis son los más adecuados para aplicaciones que requieren un rápido procesamiento de datos en tiempo real.

Por ejemplo, supongamos que tienes una aplicación o dispositivo que genera registros o flujos de datos. Utilizarías Kinesis Data Streams para ingerir este flujo de datos y aplicarle algún tipo de procesamiento o transformación, como calcular algunas métricas o análisis en tiempo real. A continuación, puedes enviar estos datos procesados a un almacén de datos para su uso posterior.

Éste es sólo un ejemplo común de la utilidad de Kinesis Data Streams.

Secuencias de vídeo de AWS Kinesis

AWS Video Streams es un servicio más reciente de Amazon Kinesis con potentes aplicaciones para varios tipos de datos multimedia.

En esta sección, exploramos este servicio y repasamos para qué aplicaciones es más adecuado.

¿Qué es Kinesis Video Streams?

Kinesis Video Streams te permite ingerir grandes volúmenes de datos multimedia codificados en el tiempo desde dispositivos conectados.

Más concretamente, los datos codificados en el tiempo son un tipo de datos multimedia en los que los registros están relacionados entre sí en una serie temporal. Tanto el vídeo como el audio son ejemplos de datos codificados en el tiempo, ya que cada fotograma o secuencia de estos datos está relacionado con el fotograma anterior y el siguiente.

Amazon Kinesis Video Streaming (Fuente: AWS)

Es importante tener en cuenta que Kinesis Video Streams sólo gestiona la ingestión y el almacenamiento de datos multimedia. El procesamiento y el análisis deben tener lugar en un servicio diferente. Ejemplos de otros servicios son Amazon Rekognition Video o Amazon SageMaker para aplicaciones de aprendizaje automático.

Consulta nuestro tutorial completo sobre Amazon SageMaker para empezar a crear aplicaciones de aprendizaje automático en AWS.

¿Para qué se utilizan los flujos de vídeo Kinesis?

Es muy fácil (y seguro) conectarse y transmitir medios a AWS utilizando Kinesis Video Streams. Existen SDK y API en tiempo real creados específicamente para Amazon Kinesis.

Esto significa que puedes ponerte en marcha rápida y fácilmente con Amazon Kinesis Video Streams para tus aplicaciones de streaming multimedia.

Uno de los usos más populares de los flujos de vídeo es crear aplicaciones de aprendizaje automático basadas en visión por ordenador en tiempo real. Pueden utilizarse en una amplia gama de ámbitos, como la seguridad y la vigilancia, los hogares inteligentes, la respuesta a emergencias urbanas, etc.

Precios de AWS Kinesis

Una de las mejores cosas de AWS es su modelo de precios de pago por uso. La mayoría de los servicios de AWS, si no todos, siguen este modelo, y AWS Kinesis no es diferente.

No hay costes iniciales ni cuotas mínimas. Sólo pagas por los recursos que utilizas.

Repasemos cómo funciona la fijación de precios para AWS Kinesis y cómo puedes aplicar algunas buenas prácticas para optimizar tu cálculo de costes.

Visión general de los precios

Los dos servicios principales de AWS Kinesis, Kinesis Data Streams y Kinesis Video Streams, tienen diferentes costes y opciones de facturación en función de cómo configures los servicios.

Flujos de datos Kinesis tiene dos modos de capacidad, cada uno con costes diferentes. He aquí un breve resumen:

• A petición: Se te cobra por el volumen de datos que ingieres y recuperas, así como una tarifa horaria por cada flujo de datos que configures en tu cuenta de AWS.
• Provisto: Utilizando el modo de capacidad de aprovisionamiento, debes especificar el número de fragmentos necesarios para tu aplicación y se te cobrará por cada fragmento una tarifa por hora.

El modo de capacidad bajo demanda es un enfoque más flexible y simplista que resulta adecuado cuando acabas de empezar a utilizar Kinesis Data Streams.

Sin embargo, una vez que tu aplicación llegue al punto en que tu tráfico sea más predecible y fácil de prever, el modo de capacidad provisionada puede ser una opción más rentable.

Kinesis Video Streams ofrece una opción de precios flexible y a la carta basada en tres factores:

• El volumen de datos que ingieres (en gigabytes).
• El volumen de datos que consumes (en gigabytes).
• El volumen de datos que almacenas en en un mes (en gigabytes).

Consejos y mejores prácticas para optimizar los costes

Tanto Kinesis Data Streams como Kinesis Video Streams no están disponibles en la capa gratuita de AWS. Esto significa que se te cobrará desde el momento en que configures uno de estos flujos en AWS.

Sin embargo, hay una serie de buenas prácticas y algunos consejos que puedes seguir al configurar AWS Kinesis para tus aplicaciones, con el fin de mantener los costes bajos.

Para optimizar los costes, aquí tienes tres consejos que debes seguir:

• Cambia al modo de capacidad de provisión en cuanto tu tráfico sea previsible. Aunque el modo bajo demanda elimina el quebradero de cabeza de supervisar y gestionar los fragmentos, puede ser mucho más caro.
• Puedes cambiarfácilmente entre los modos de capacidad bajo demanda y aprovisionada en función de los patrones de tráfico. Por ejemplo, si esperas picos durante ciertas horas del día, puedes cambiar al modo bajo demanda y luego volver al modo aprovisionado cuando sepas que el tráfico es más constante. Sin embargo, ten cuidado con esto, sólo puedes hacer este cambio dos veces en un periodo de 24 horas.
• Establece tus políticas de conservación de datos desde el principio. Kinesis Data Streams no está diseñado para almacenar datos a largo plazo. Se te cobrará por los datos almacenados más de 24 horas (el almacenamiento es gratuito en esas primeras 24 horas).

AWS Kinesis vs Kafka

Amazon Managed Streaming para Apache Kafka (Amazon MSK) es otro popular servicio de streaming de datos ofrecido por AWS.

Puedes encontrar nuestra guía completa para principiantes sobre Amazon MSK en otro artículo, así como nuestra guía sobre Kafka.

Al comparar Amazon MSK con Kinesis, hay muchas coincidencias. Ambos servicios ofrecen soluciones escalables, seguras y de alta disponibilidad para aplicaciones de flujo de datos.

La única diferencia real a la hora de decidir qué servicio utilizar se reduce a tus propias preferencias, requisitos e infraestructura actual.

Si ya utilizas Apache Kafka, puede que te convenga migrar a una solución en la nube totalmente gestionada, como Amazon MSK. Del mismo modo, si tienes un equipo que se siente cómodo con Apache Kafka, entonces Amazon MSK sería preferible a Amazon Kinesis.

Por otro lado, si no tienes ninguna infraestructura de streaming de datos, puede que Amazon Kinesis te resulte más fácil de usar para principiantes.

Conclusión

El análisis de datos en tiempo real es cada vez más popular e importante para muchas industrias y empresas. Para conseguirlo, es necesario establecer un buen sistema de flujo de datos que pueda manejar grandes cantidades de datos sin retrasos ni tiempos de inactividad.

AWS reconoció esta creciente necesidad ya en 2013 y ha seguido desarrollando y perfeccionando una de sus mejores soluciones de streaming de datos: Amazon Kinesis. En la actualidad, Amazon Kinesis es la mejor solución de su clase para ingerir y procesar flujos de datos a velocidades increíbles.

Si eres nuevo en AWS, comienza con nuestro curso de AWS para principiantes para aprender más sobre AWS y sus servicios. Si estás preparado para iniciar una carrera profesional utilizando servicios basados en la nube como AWS, consulta nuestro artículo sobre certificaciones AWS y cómo elegir la mejor para tus objetivos. A continuación, da el siguiente paso preparándote para una entrevista y practicando las principales preguntas de la entrevista de AWS.