Curso
Introdução ao Python
4 h
7M
Parto do princípio de que você já sabe como os dados são um grande ativo para a empresa em todos os níveis — de executivos a diretores, dados têm um papel essencial. Mas ter um grande volume de dados não torna uma empresa bem-sucedida se ela não conseguir extrair informações valiosas a partir deles.
Essas informações impactam a receita direta ou indiretamente. Para extrair insights de grandes volumes de dados, é preciso uma plataforma de Analytics — e, felizmente, há diversos produtos no mercado para atender às necessidades de uma organização em relatórios descritivos, diagnósticos e preditivos.
Do ponto de vista dos dados, a maturidade faz toda a diferença — e ela pode ser avaliada pela presença dos seguintes aspectos:
- Dados consistentes com a arquitetura atual
- Uma ferramenta corporativa
- Ausência de múltiplas fontes sobrepostas
- Arquitetura em nuvem ou data warehouse on-premises
- Padrões de dados e especialistas dedicados
- Analytics preditivo e casos de uso definidos
- Tratamento de dados como ativo financeiro e sua integração com aspectos de IA
A maturidade de dados aumenta de cima para baixo conforme esses pontos são incorporados pela organização.
A maturidade caminha junto com tecnologia, arquitetura, organização e estratégia de dados.
-
Quando falo em tecnologia, é sobre como a organização utiliza a tecnologia que adquiriu.
-
Arquitetura é fazer essas tecnologias trabalharem em conjunto para que os dados circulem entre elas sem atrito.
-
Organização diz respeito às pessoas que interagem com os dados.
-
Melhorias na estratégia de dados: a “infraestrutura” de gestão de dados é vital para a alta performance de qualquer empresa. Boas práticas de gestão entregam aos analistas dados relevantes e bem estruturados, reduzindo o tempo gasto em preparação. Isso ajuda a liderança a atingir objetivos como aumento de lucratividade e maior ROI por meio de visualizações e representações fáceis de entender. Também melhora a performance dos dados e otimiza o armazenamento.
Falamos bastante de dados; agora vamos às plataformas de Analytics. Existem inúmeras plataformas no mercado e cobrir todas seria inviável. Por isso, vou focar em quatro nomes fortes e líderes de mercado:
-
Tableau é referência quando o assunto é analytics visual. Suas variantes são Tableau Desktop, Prep, Online e Server. Cada uma habilita o self-service BI em diferentes níveis. O Tableau Desktop oferece uma das melhores plataformas para analytics visual e Business Intelligence com insights self-service. O Tableau Prep acelera a preparação de dados para mais pessoas. O Tableau Online amplia o compartilhamento e a colaboração sem a necessidade de um servidor próprio. O Tableau Server compartilha dados em servidores on-premises ou na nuvem. Para saber como desenvolver dashboards no Tableau, visite aqui.
-
SAP é um nome consolidado no mercado de ferramentas corporativas, oferecendo soluções para empresas de perfis variados. A SAP lançou diversos produtos em Analytics; seu próprio sistema de Business Warehouse se integra ao ambiente corporativo de forma fluida e lida com grandes volumes de dados. Entre os lançamentos recentes estão SAP Analytics Cloud e SAP Lumira; anteriormente, a empresa adquiriu o BusinessObjects e o incorporou como sua plataforma de analytics.
-
Tibco Spotfire é um dos produtos que atendem analytics avançado e preditivo de forma bastante profissional e robusta. É muito poderoso quando comparado em recursos de analytics preditivo com outros produtos. A Tibco oferece versões on-premises e em nuvem e disponibiliza uma arquitetura escalável pré-configurada, com baixa preocupação de manutenção de TI.
-
Qlik é conhecido pela criação rápida de aplicações de analytics guiadas, que suportam exploração de dados orientada pelo usuário até os níveis mais detalhados. Possui repositório próprio e processamento in-memory. Tem duas variantes: QlikView e Qlik Sense. O QlikView é a ferramenta de construção de aplicações de BI para uso pessoal e corporativo. O Qlik Sense é um serviço de BI de ponta a ponta que pode ser integrado à nuvem.
Como você viu, todas as plataformas acima são diferentes e têm seus próprios recursos. Então, vou fazer uma análise comparativa com base em quatro parâmetros principais:
- Aquisição de dados
- Preparação de dados
- Visualizações
- Modelagem preditiva
O parâmetro de aquisição de dados envolve importação, extração, conexão e acesso aos dados. Em outras palavras, é a capacidade de obter dados de diferentes fontes ou serviços semânticos — como SQL, Big Data e serviços em nuvem.
Agora vamos comparar as ferramentas quanto à funcionalidade de aquisição de dados que cada uma oferece:
Tableau
Quando falamos de Tableau, um poderoso ferramental de BI, logo vêm à mente visualizações impressionantes criadas em instantes e explorações complexas de dados.
O Tableau não possui repositório próprio; ele adquire dados de diversas fontes e os transforma em visualizações significativas e fáceis de entender.
Para isso, precisa de conectores para diferentes fontes — e, felizmente, tem. O Tableau oferece mais de 100 conectores e ainda permite conexão ao vivo com dados transacionais.
Nesse parâmetro de aquisição, ele leva vantagem.
SAP
A SAP possui múltiplos produtos para apoiar a aquisição de dados, atuando como uma camada intermediária até as visualizações finais. Considerando o Lumira e o Analytics Cloud, hoje há suporte a mais de 60 fontes de dados — um número que tende a crescer.
Para dados dentro do seu próprio ecossistema, a SAP não encontra barreiras — é onde tudo flui com mais facilidade. Para adquirir dados de outros ecossistemas, existem ferramentas que ajudam a movimentá-los, embora isso adicione etapas e exigência de habilidades extras.
Tibco Spotfire
O Spotfire é uma ferramenta poderosa — e às vezes complexa. Em aquisição de dados, conta com mais de 40 conectores, e quase tudo funciona via JDBC e ODBC. Há suporte a Big Data e conectores de nuvem que fornecem dados com eficiência.
Os desafios de aquisição costumam surgir quando é necessário limpar os dados antes de ingestão.
Qlik
O Qlik é um dos líderes em ascensão no BI. Em aquisição de dados, oferece um grande número de conectores, organizados por grupos. Possui repositório próprio para ingestão e execução de ETL (extração, transformação e carga), o que resolve muitos problemas em cenários reais. As capacidades de manipulação de dados do Qlik tornam a apresentação das informações muito mais simples.
Após adquirir os dados, vem a etapa de prepará-los. É o trabalho pesado que ninguém quer fazer — mas é inevitável. Envolve combinar dados, limpeza e modelagem até um ponto em que seja possível criar relatórios descritivos com consultas simples.
Tableau
O Tableau conta com bons recursos de preparação de dados para transformá-los em relatórios apresentáveis. Você encontra os detalhes nas seções 2 e 3 deste tutorial.
SAP
A SAP também oferece diferentes ferramentas para preparar dados. O sistema BW é poderoso o suficiente para lidar com boa parte da preparação. Com a chegada do HANA, ganhou enorme capacidade para trabalhar com grandes volumes em mecanismos in-memory.
Mas é uma ferramenta separada, com conjunto de habilidades específico. Para ver o lado de BI da SAP, acesse aqui.
Tibco Spotfire
As capacidades de data wrangling do Spotfire são muito boas, e a automação de modelos facilita processos incrementais de preparação com pouca interferência de TI.
Por processo incremental, entenda capturar mudanças em diferentes fontes e preparar os dados com base nessas alterações. Para saber mais, visite aqui.
Qlik
O Qlik possui recursos de preparação de dados semelhantes aos do Tableau, somados ao seu mecanismo in-memory. É possível escrever scripts específicos conforme a necessidade e aplicá-los em diferentes níveis. Para ver exemplos de scripts que ajudam a transformar dados, visite aqui.
Agora chegamos à parte divertida. Depois de adquirir e preparar os dados, precisamos de visualizações para analisar tudo com mais agilidade e encontrar problemas muito mais rápido. Grande parte da exploração é feita por visualizações; o restante, com métodos estatísticos. Veja como as ferramentas se saem nesse quesito.
Tableau
O Tableau oferece um dos conjuntos mais variados de componentes de visualização: comparações, distribuições, composições, mapas etc. Ele cobre praticamente todos os tipos e é reconhecido mundialmente por sua comunidade ativa.
Também traz ideias originais e muito suporte ao aprendizado. Dá para encontrar gráficos prontos e inspirações personalizadas em sua vasta galeria. Vale a visita para conhecer ótimos gráficos e histórias.
O Tableau é uma das ferramentas certificadas pela IBCS (International Business Communication Standards) por adotar boas práticas de visualização de dados para melhorar a comunicação de negócios.
SAP
O SAP Lumira é a ferramenta mais usada para visualização no portfólio da SAP. Ele cobre todas as necessidades básicas de gráficos e conta com extensões para personalizar conforme a demanda.
O SAP Analytics Cloud foi recentemente certificado pela IBCS e tende a atender cada vez melhor os requisitos de visualização.
Tibco Spotfire
O Spotfire oferece todo o necessário em recursos de gráficos, cobrindo todos os grupos para análise visual. Seus recursos avançados permitem incluir gráficos de análises estatísticas e formatos científicos.
Qlik
O Qlik também se destaca em capacidades de gráficos, cobrindo praticamente todos os grupos. Há extensões para adaptações e novas demandas.
Seu acesso com um clique a qualquer ponto de dado é um diferencial frente a outras ferramentas.
Agora vamos à área onde todas as plataformas de analytics estão investindo: incorporar funcionalidades de machine learning às ferramentas. Algumas já têm bons resultados; outras estão dando passos iniciais promissores.
Veja como cada uma performa nesse parâmetro.
Tableau
Em analytics preditivo, o Tableau vem avançando. Recursos básicos de previsão já foram adicionados.
Além disso, é possível integrar com R e Python — os detalhes estão nas seções finais deste tutorial.
SAP
A SAP oferece uma ferramenta específica do seu portfólio para analytics preditivo. Ela cobre modelagem preditiva básica, com bons recursos de séries temporais. Para scripts customizados, a SAP priorizou o R para complementar os modelos desenvolvidos na plataforma.
Para saber mais sobre a plataforma, visite aqui.
Tibco Spotfire
No quesito analytics preditivo, o Spotfire tende a liderar. Fica evidente como ele incorpora a arquitetura de data science.
É preciso ter as habilidades e o entendimento tecnológico para tirar proveito disso. O Spotfire combina metodologias de ciência de dados e estatística para oferecer uma ferramenta capaz de executar analytics preditivo com retorno sobre o investimento.
Para saber mais, visite.
Qlik
O Qlik também vem implementando analytics preditivo em bom nível. Já incluiu alguns algoritmos básicos de modelagem, mas ainda há lacunas de habilidade para uso avançado. De todo modo, seus esforços de integração com R e Python são muito positivos. Ele permite troca de dados com ferramentas de terceiros como R e Python, e utiliza o Associative Engine para tornar a transferência rápida e eficiente.
Há também conectores analíticos open source no GitHub para integração com R e Python.
É isso do meu lado. No fim, cabe ao indivíduo ou à organização decidir quais parâmetros são mais importantes na hora de escolher a plataforma.
Se quiser aprender mais sobre Python, R ou SQL, faça os cursos introdutórios da DataCamp.
