O que é o Amazon Kinesis? Casos de uso, preços e dicas de otimização de custos

O streaming de dados é um fluxo constante e contínuo de dados, geralmente em grandes volumes. Um dos aspectos mais importantes de um fluxo de dados é que ele é sensível ao tempo. Portanto, após um certo período de tempo, o conteúdo de um fluxo de dados pode se tornar menos relevante.

Isso significa que as empresas podem obter um valor imenso com a análise em tempo real e os insights de seus fluxos de dados. É nesse ponto que entra a arquitetura especializada de streaming de dados. Uma das opções mais populares e avançadas para streaming de dados é o AWS Kinesis.

Neste artigo, apresentaremos o AWS Kinesis e exploraremos os dois principais serviços oferecidos sob o guarda-chuva do Kinesis: Kinesis Data Streams e Kinesis Video Streams. No final do artigo, também comparamos as principais diferenças entre dois serviços de streaming de dados: AWS Kinesis e Apache Kafka (e Amazon MSK).

Se você não conhece a AWS, confira nosso curso introdutório sobre a AWS, que o levará a conhecer os conceitos básicos do principal provedor de nuvem da atualidade.

O que é o AWS Kinesis?

O Amazon Kinesis foi lançado em 2013 em resposta a uma mudança no mercado para a ingestão e análise de dados em tempo real.

No entanto, a AWS deu um passo adiante, pois o Amazon Kinesis é capaz de processar grandes fluxos de dados em um serviço totalmente gerenciado, dimensionável e baseado em nuvem.

Nos anos que se seguiram ao lançamento, a AWS expandiu seus serviços oferecidos pelo Amazon Kinesis. Isso começou com o lançamento do Amazon Kinesis Data Firehose em outubro de 2015 e, posteriormente, com o lançamento do Amazon Kinesis Data Analytics em agosto de 2016.

Inicialmente, a AWS oferecia apenas o serviço Kinesis Data Streams para processar e analisar grandes quantidades de dados em tempo real. Foi somente em 2017 que a AWS introduziu o Kinesis Video Streams para capturar, processar e armazenar fluxos de vídeo.

No entanto, o Amazon Kinesis continuou a evoluir e mudar ao longo dos anos. Hoje em dia, apenas os dois serviços principais permanecem: Fluxos de dados do Kinesis e fluxos de vídeo do Kinesis. Discutiremos essas alterações em mais detalhes posteriormente nesta seção.

Fonte: AWS

Para que é usado o Amazon Kinesis?

O Amazon Kinesis foi projetado para streaming de dados em tempo real.

Isso significa que qualquer organização que queira aproveitar grandes volumes de dados em tempo real (ou quase em tempo real) se beneficiaria imensamente com a oferta do Amazon Kinesis.

Aqui estão alguns casos de uso para os quais o Amazon Kinesis é mais adequado:

• Transmissão de dados de log e eventos de uma ou mais fontes. Os dados de aplicativos, servidores e dispositivos podem ser ingeridos em tempo real.
• Coleta de fluxos de vídeo de dispositivos habilitados para câmera. Pense em sistemas de vigilância residencial e comercial, câmeras de semáforo e assim por diante.
• Análise em tempo real de dados de fluxo contínuo. Os casos de uso que envolvem detecção de fraudes, por exemplo, são altamente sensíveis ao tempo e dependem de uma sólida arquitetura de fluxo de dados.

Exemplo de caso de uso de fluxos de vídeo do Amazon Kinesis (Fonte: AWS)

Mudanças recentes nos serviços do Amazon Kinesis

Em resposta ao feedback dos usuários, a AWS recentemente fez algumas alterações em seus serviços.

Análise de dados do Amazon Kinesis > Serviço gerenciado da Amazon para o Apache Flink

O Amazon Kinesis Data Analytics foi renomeado para Amazon Managed Service for Apache Flink (MSF) em 30 de agosto de 2023.

Além disso, o suporte para aplicativos Amazon Kinesis Data Analytics para aplicativos SQL será descontinuado no futuro. Os clientes precisarão migrar seus aplicativos para o MSF para seus aplicativos baseados em SQL.

O MSF é um serviço totalmente gerenciado e sem servidor para criar e executar aplicativos de streaming em tempo real usando o Apache Flink. O MSF inclui suporte para SQL junto com outras linguagens de programação, como Java e Scala.

Amazon Kinesis Data Firehose > Amazon Data Firehose

Em 9 de fevereiro de 2024, a AWS anunciou que estaria renomeando o Amazon Kinesis Data Firehose para apenas Amazon Data Firehose.

A AWS fez essa alteração para refletir o crescimento de suas fontes de dados e conectores no Amazon Data Firehose. Além do Amazon Kinesis Data Streams, foi adicionado o suporte de integração para o Amazon MSK e mais de 40 outros conectores de origem e destino do AWS.

Fluxos de dados do AWS Kinesis

O AWS Kinesis Data Streams é o principal serviço da Amazon sob o guarda-chuva do Amazon Kinesis.

Nesta seção, exploramos esse serviço e os casos de uso para os quais ele é mais adequado.

O que é o Kinesis Data Streams?

O Kinesis Data Streams pode ingerir continuamente grandes volumes de dados (na velocidade de gigabytes por segundo) para facilitar os casos de uso de análise em tempo real.

Além de ser totalmente integrado a outros serviços do AWS, aqui estão alguns recursos de destaque do Kinesis Data Streams:

• Ele é sem servidor, portanto, não há necessidade de provisionar ou gerenciar servidores antecipadamente, o que reduz os custos iniciais para você começar a usar o streaming de dados.
• Com o Kinesis, a coleta de dados é separada do processamento de dados. Essa separação facilita a adaptação dos aplicativos às rápidas mudanças nas informações.
• O Kinesis Data Streams pode capturar grandes volumes de dados em milissegundos, o que o torna uma incrível solução de baixa latência para você. solução de baixa latência.
• Você pode escolher entre modos de capacidade sob demanda e provisionada para atender às suas necessidades de streaming de dados.
• Os fluxos de dados do Kinesis são seguros e compatíveis. Seus dados podem ser criptografados e protegidos em repouso para garantir a máxima segurança.

O Amazon Kinesis Data Streams consiste em três componentes principais: shards, produtores e consumidores. Vamos detalhá-los usando um exemplo do mundo real de um sistema de análise de streaming para um site de comércio eletrônico.

Fragmentos

Um fragmento é uma unidade do Kinesis que determina a quantidade de dados que pode ser processada por vez.

Por exemplo, se o site de comércio eletrônico processar 100 transações por segundo, talvez sejam necessários vários shards para lidar com os dados recebidos sem problemas. Cada shard pode processar até 1 MB de dados recebidos por segundo, portanto, se o tráfego aumentar, a adição de mais shards garantirá que os dados sejam processados com eficiência.

Produtores 

Um produtor é qualquer sistema que envia dados para o fluxo do Kinesis.

Por exemplo, o site de comércio eletrônico gera logs em tempo real sempre que um usuário adiciona um item ao carrinho, conclui uma compra ou deixa uma avaliação. Cada um desses eventos é enviado como um registro de dados para o Kinesis.

Consumidores

Um consumidor é qualquer aplicativo ou sistema que lê dados do fluxo do Kinesis e os processa. Por exemplo: 

• Um sistema de detecção de fraudes que analisa as transações recebidas em tempo real para sinalizar atividades suspeitas.
• Um painel que atualiza as métricas de vendas em tempo real para os gerentes de loja.
• Um mecanismo de recomendação que sugere produtos aos usuários com base em suas atividades recentes.

Vamos ver como todos eles interagem com um exemplo: 

1. Um cliente adiciona um produto ao carrinho → O evento é enviado para Kinesis (Produtor)
2. O evento entra em um fragmento (dependendo da carga de tráfego)
3. A aplicativo do consumidor lê o evento → atualiza o sistema de inventário, aciona um modelo de recomendação de IA ou sinaliza um risco de fraude

Para que são usados os fluxos de dados do Kinesis?

Os fluxos de dados do Kinesis são mais adequados para aplicativos que exigem processamento rápido de dados em tempo real.

Por exemplo, suponha que você tenha um aplicativo ou dispositivo que gera logs ou feeds de dados. Você usaria o Kinesis Data Streams para ingerir esse fluxo de dados e aplicar algum processamento ou transformação a ele, como o cálculo de algumas métricas ou análises em tempo real. Você pode então enviar esses dados processados para um armazenamento de dados para uso posterior.

Esse é apenas um exemplo comum da utilidade do Kinesis Data Streams.

Fluxos de vídeo do AWS Kinesis

O AWS Video Streams é um serviço mais recente do Amazon Kinesis com aplicativos avançados para vários tipos de dados de mídia.

Nesta seção, exploraremos esse serviço e veremos para quais aplicativos ele é mais adequado.

O que é o Kinesis Video Streams?

O Kinesis Video Streams permite que você ingira grandes volumes de dados de mídia com codificação de tempo de dispositivos conectados.

Em termos mais concretos, os dados codificados por tempo são um tipo de dados de mídia em que os registros estão relacionados entre si em uma série temporal. Vídeo e áudio são exemplos de dados codificados por tempo, pois cada quadro ou sequência desses dados está relacionado ao quadro anterior e ao seguinte.

Streaming de vídeo do Amazon Kinesis (Fonte: AWS)

É importante observar que o Kinesis Video Streams lida apenas com a ingestão e o armazenamento de dados de mídia. O processamento e a análise devem ocorrer em um serviço diferente. Exemplos de outros serviços são o Amazon Rekognition Video ou o Amazon SageMaker para aplicativos de aprendizado de máquina.

Confira nosso tutorial completo sobre o Amazon SageMaker para você começar a criar aplicativos de aprendizado de máquina no AWS.

Para que são usados os fluxos de vídeo do Kinesis?

É muito fácil (e seguro) conectar-se e transmitir mídia para o AWS usando o Kinesis Video Streams. Existem SDKs e APIs em tempo real criados especificamente para o Amazon Kinesis.

Isso significa que você pode começar a trabalhar de forma rápida e fácil com o Amazon Kinesis Video Streams para seus aplicativos de streaming de mídia.

Um dos usos mais populares dos fluxos de vídeo é a criação de aplicativos de aprendizado de máquina habilitados para visão computacional em tempo real. Eles podem ser usados em uma ampla gama de áreas, como segurança e vigilância, casas inteligentes, resposta a emergências urbanas e assim por diante.

Preços do AWS Kinesis

Um dos melhores aspectos da AWS é seu modelo de preços de pagamento conforme o uso. A maioria dos serviços da AWS, se não todos, segue esse modelo, e o AWS Kinesis não é diferente.

Não há custos iniciais ou taxas mínimas. Você só paga pelos recursos que usar.

Vamos ver como funcionam os preços do AWS Kinesis e como você pode aplicar algumas práticas recomendadas para otimizar seus custos.

Visão geral dos preços

Os dois principais serviços do AWS Kinesis, o Kinesis Data Streams e o Kinesis Video Streams, têm custos e opções de cobrança diferentes com base em como você configura os serviços.

Fluxos de dados do Kinesis tem dois modos de capacidade, cada um com custos diferentes. Aqui está um breve resumo:

• Sob demanda: Você é cobrado pelo volume de dados que ingere e recupera, bem como por uma taxa horária para cada fluxo de dados configurado na sua conta do AWS.
• Provisionado: Usando o modo de capacidade de provisionamento, você deve especificar o número de shards necessários para o seu aplicativo e será cobrado por cada shard a uma taxa horária.

O modo de capacidade sob demanda é uma abordagem mais flexível e simplista que é boa quando você está apenas começando a usar o Kinesis Data Streams.

No entanto, quando o aplicativo atinge o ponto em que o tráfego é mais previsível e mais fácil de prever, o modo de capacidade provisionada pode ser uma opção mais econômica.

Kinesis Video Streams oferece uma opção de preço flexível e sob demanda com base em três fatores:

• O volume de dados que você você ingere (em gigabytes).
• O volume de dados que você você consome (em gigabytes).
• O volume de dados que você você armazena em um mês (em gigabytes).

Dicas e práticas recomendadas de otimização de custos

Tanto o Kinesis Data Streams quanto o Kinesis Video Streams não estão disponíveis no AWS Free Tier. Isso significa que você será cobrado a partir do momento em que configurar um desses fluxos no AWS.

No entanto, há uma série de práticas recomendadas e algumas dicas que você pode seguir ao configurar o AWS Kinesis para seus aplicativos a fim de manter os custos baixos.

Para otimizar os custos, aqui estão três dicas principais que você deve seguir:

• Mude para o modo de capacidade de provisionamento assim que seu tráfego se tornar previsível. Embora o modo sob demanda elimine a dor de cabeça de monitorar e gerenciar os fragmentos, ele pode ser muito mais caro.
• Você pode alternarfacilmente entre os modos de capacidade sob demanda e provisionada com base nos padrões de tráfego. Por exemplo, se você espera picos durante determinadas horas do dia, pode mudar para o modo sob demanda e depois voltar para o modo provisionado quando souber que o tráfego é mais consistente. Mas tenha cuidado com isso, pois você só pode fazer essa troca duas vezes em um período de 24 horas.
• Defina suas políticas de retenção de dados desde o início. O Kinesis Data Streams não foi projetado para armazenamento de dados a longo prazo. Você será cobrado pelos dados armazenados por mais de 24 horas (o armazenamento é gratuito nas primeiras 24 horas).

AWS Kinesis vs. Kafka

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) é outro serviço popular de streaming de dados oferecido pela AWS.

Você pode encontrar nosso guia abrangente para iniciantes na Amazon MSK em um artigo separado, bem como nosso guia do Kafka.

Quando você compara o Amazon MSK com o Kinesis, há muita sobreposição. Ambos os serviços oferecem soluções dimensionáveis, seguras e altamente disponíveis para aplicativos de streaming de dados.

A única diferença real ao decidir qual serviço usar depende de suas próprias preferências, requisitos e infraestrutura atual.

Se você já estiver usando o Apache Kafka, poderá se beneficiar da migração para uma solução de nuvem totalmente gerenciada, como o Amazon MSK. Da mesma forma, se você tiver uma equipe que se sinta confortável com o Apache Kafka, o Amazon MSK será preferível ao Amazon Kinesis.

Por outro lado, se você não tiver nenhuma infraestrutura de streaming de dados, talvez o Amazon Kinesis seja mais amigável para iniciantes e mais fácil de usar.

Conclusão

A análise de dados em tempo real está se tornando cada vez mais popular e importante para muitos setores e empresas. Para isso, é necessário configurar um bom sistema de streaming de dados que possa lidar com grandes quantidades de dados sem atrasos ou tempo de inatividade.

A AWS reconheceu essa necessidade crescente em 2013 e continuou a desenvolver e ajustar uma de suas melhores soluções de streaming de dados: Amazon Kinesis. Atualmente, o Amazon Kinesis é a melhor solução da categoria para ingerir e processar fluxos de dados em velocidades incríveis.

Se você é novo na AWS, comece com nosso curso de AWS para iniciantes para saber mais sobre AWS e seus serviços. Se você está pronto para iniciar uma carreira usando serviços baseados em nuvem, como a AWS, confira nosso artigo sobre Certificações da AWS e como você pode escolher a melhor para seus objetivos. Em seguida, dê o próximo passo, preparando-se para uma entrevista e praticando as principais perguntas da AWS para entrevistas.