Programa
Fundações para Snowflake
7 h
O Snowflake é uma plataforma de dados baseada em nuvem popular e poderosa, e o Streamlit é uma estrutura Python de código aberto feita pra criar aplicativos web de dados. O Streamlit em Snowflake (SiS) é uma solução integrada que permite criar e implantar aplicativos de dados diretamente no ecossistema Snowflake. Em vez de usar várias ferramentas diferentes, você pode usar Python e a infraestrutura do Snowflake para criar aplicativos interativos rapidinho.
Este tutorial vai te mostrar o que é o Streamlit no Snowflake, seus principais recursos, etapas de configuração, estratégias de implantação, segurança, dicas de desempenho e casos de uso reais. No final, você vai ter um plano claro para criar e lançar seu primeiro aplicativo de dados. Não esquece de conferir os fundamentos do Snowflake e sua interface. Também recomendo experimentar o Streamlit em Python fora do Snowflake para entender melhor como ele funciona com este tutorial do Streamlit.
O que é o Streamlit no Snowflake?
O Streamlit no Snowflake permite criar aplicativos interativos conectados diretamente aos seus dados do Snowflake sem sair da plataforma.
Visão geral do Streamlit no Snowflake
O Streamlit no Snowflake junta a simplicidade do Streamlit com a escalabilidade do Snowflake. Tradicionalmente, criar aplicativos precisava de servidores externos, APIs e integrações complicadas. O Streamlit resume a funcionalidade principal a algumas APIs orientadas a objetos e integrações Python. A implantação é então transferida para o Snowflake usando o Snowsight.
Isso elimina a necessidade de infraestrutura extra e oferece um ambiente unificado que se integra perfeitamente ao Snowpark, ao Cortex AI e aos seus dados do Snowflake. Isso quer dizer que os desenvolvedores Python e as equipes de dados estão trabalhando a partir da mesma fonte, sem precisar se preocupar com a transferência de dados ou código.
Contexto histórico
Em 2022, a Snowflake comprou a Streamlit pra deixar o desenvolvimento de apps interativos mais perto dos dados das empresas. Ele mantém a visão de código aberto da Streamlit de dar aos desenvolvedores a chance de usar Python para criar aplicativos web incríveis, enquanto se integra com uma das plataformas de dados mais poderosas que existem hoje em dia. Permite que as empresas usem o Streamlit de forma flexível, com menos preocupações de segurança, e unifica o desenvolvimento de aplicativos.
Filosofia central
A filosofia da SiS é manter o mesmo nível de segurança e governança que você espera da Snowflake, ao mesmo tempo que oferece a facilidade de usar o Streamlit para criar aplicativos web de dados. Como todos os dados ficam no Snowflake, você tem as mesmas garantias de segurança e proteção que esperaria.
A principal vantagem é o foco em garantir que a estrutura Python continue a mesma e ofereça uma experiência parecida no Snowflake com a que você teria fora do Snowflake. Isso deve tornar o SiS mais acessível para desenvolvedores que já trabalharam com o Streamlit no passado ou mesmo para aqueles que têm experiência em Python e querem usar suas habilidades para criar aplicativos web para dados do Snowflake.
Streamlit no Snowflake Principais recursos e capacidades
O Streamlit no Snowflake mantém os principais recursos de nuvem do Snowflake, como ser totalmente gerenciado e facilitar a colaboração. Ele também tem a funcionalidade do Streamlit de visualização e iteração rápida, ao mesmo tempo em que está integrado à infraestrutura.
Serviço totalmente gerenciado
Snowflake cuida de toda a infraestrutura nos bastidores, então você não precisa se preocupar com servidores, escalabilidade ou estabilidade. Os aplicativos funcionam com interatividade em tempo real, se ajustam automaticamente com base no uso e aproveitam a confiabilidade integrada do Snowflake.
Integração com a infraestrutura Snowflake
Os aplicativos Streamlit dentro do Snowflake se conectam nativamente com o Snowpark, o Cortex AI e os bancos de dados. Por exemplo, você pode integrar o Cortex AI Analyst ao seu aplicativo Streamlit, permitindo que os usuários façam perguntas em linguagem natural sobre os dados e obtenham respostas diretamente no painel.
Outros recursos do Snowflake, como o cache integrado, minimizam consultas redundantes, enquanto melhorias na interface do usuário, como o modo escuro e componentes personalizados, melhoram a experiência do usuário. A autenticação e as conexões seguras são feitas automaticamente pelos protocolos de autenticação do Snowflake. A sensibilidade dos dados pode ser gerenciada usando os controles baseados em funções do Snowflake.
Isso simplifica a tarefa de gerenciamento de dados e permite que os desenvolvedores se concentrem na criação de ferramentas.
Visualizações interativas e iteração rápida
Uma das maiores vantagens do Streamlit é a capacidade de transformar um script Python simples em um aplicativo interativo em poucos minutos. No Snowflake, você pode visualizar e iterar aplicativos diretamente, atualizando o código e vendo os resultados em tempo real, sem precisar esperar por implantações demoradas.
Compartilhamento e colaboração
Os aplicativos Streamlit podem ser compartilhados diretamente com os usuários dentro do Snowflake. Isso facilita o compartilhamento do aplicativo com diferentes equipes usando funções ou membros individuais. A colaboração faz parte do fluxo de trabalho, permitindo que vários membros da equipe trabalhem, testem e implementem aplicativos juntos.
Introdução ao Streamlit no Snowflake
Começar a usar o SiS é bem simples, e você pode criar seu primeiro aplicativo em poucos minutos. Só precisamos garantir que você tenha as permissões e os conhecimentos certos.
Pré-requisitos
Pra criar um aplicativo Streamlit no Snowflake, você precisa de uma conta ativa no Snowflake com acesso ao Snowsight, a interface web. Essa introdução ao Snowflake pode mostrar como navegar no Snowsight. Você deve ter um conhecimento básico de Python. Pode até valer a pena dar uma olhada nessa introdução ao curso de Python para refrescar seus conhecimentos.
Depois de ter acesso ao Snowflake, certifique-se de ter as seguintes permissões:
- Permissões do banco de dados:
USAGE - Permissões de esquema:
USAGE,CREATE STREAMLIT,CREATE STAGE
Configuração da conta e do ambiente
Comece fazendo login no Snowsight e escolhendo ou criando um banco de dados e um esquema onde seu aplicativo será hospedado. Comece acessando My Workspace e abrindo um novo arquivo SQL. Vamos criar uma função chamada streamlit_creator que vai ter acesso ao nosso streamlit_schema no nosso streamlit_database. Além disso, vamos criar um warehouse chamado streamlit_wh, que vai ser a principal fonte de computação para o nosso aplicativo Streamlit.
CREATE ROLE streamlit_creator;
CREATE DATABASE streamlit_db;
USE DATABASE streamlit_db;
CREATE SCHEMA streamlit_schema;
CREATE WAREHOUSE streamlit_wh WITH WAREHOUSE_SIZE = ‘XSMALL’;
GRANT USAGE ON SCHEMA streamlit_db.streamlit_schema TO ROLE streamlit_creator;
GRANT USAGE ON DATABASE streamlit_db TO ROLE streamlit_creator;
GRANT USAGE ON WAREHOUSE streamlit_wh TO ROLE streamlit_creator;
GRANT CREATE STREAMLIT ON SCHEMA streamlit_db.streamlit_schema TO ROLE streamlit_creator;
GRANT CREATE STAGE ON SCHEMA streamlit_db.streamlit_schema TO ROLE streamlit_creator;
Criando seu primeiro aplicativo Streamlit
Para tornar isso mais concreto, vamos dar uma olhada em um aplicativo simples. Depois de configurar sua conta Snowflake e as permissões, no Snowsight, vá até PROJECTS >> Streamlit. Nessa janela, clique em “ + Streamlit App ” no canto superior direito.
Escreve o nome do aplicativo com o nome que quiser. Atualize a localização do aplicativo para usar STREAMLIT_DB e STREAMLIT_SCHEMA. Depois, escolhe “Executar no warehouse” e seleciona “STREAMLIT_WH” como o nome do warehouse ( App Warehouse).
Isso abre o editor. Isso vem com um pequeno script por padrão. Ele também vai abrir o aplicativo automaticamente e mostrar uma prévia.
Vamos tentar adicionar alguns dos nossos próprios dados de interesse ao aplicativo. Vamos colocar esse pequeno trecho no final do nosso código atual:
from snowflake.snowpark.functions import sum as sf_sum
st.title("Simple Sales Dashboard")
st.write("This app displays sales by part using Snowflake data.")
# Query sample dataset
df = (
session.table("SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.LINEITEM")
.group_by("L_PARTKEY")
.agg(sf_sum("L_QUANTITY").alias("TOTAL_SALES"))
.limit(10)
.order_by("TOTAL_SALES", ascending=False)
.to_pandas()
)
# Plot chart
st.bar_chart(data=df, x="L_PARTKEY", y="TOTAL_SALES")
# Show table
st.dataframe(df)
Depois, clica no botão “Executar” no canto superior direito. A pré-visualização nesta aplicação irá atualizar e processar os dados fornecidos pela tabela de amostra. Deve mostrar uma tabela de dados e um gráfico de barras. A partir daqui, você pode personalizar as consultas, adicionar filtros ou melhorar a interface do usuário com os widgets do Streamlit.
O que você vai notar aqui é o uso do Snowpark. Se você ainda não usou, o Snowpark é a biblioteca da Snowflake que permite processar dados da Snowflake usando linguagens de programação como Python. Eu recomendo muito essa introdução ao Snowpark, porque, pra puxar dados pro Streamlit, muitas vezes é preciso usar o Snowpark pra se conectar com seus bancos de dados do Snowflake.
Estratégias e métodos de implantação
Tem várias maneiras de usar o Streamlit no Snowflake. O mais fácil é usar o Snowsight, a interface web, mas você também pode usar ferramentas de interface de linha de comando (CLI). Além disso, você pode adicionar ferramentas de fluxo de trabalho para ajudar na organização do projeto e no dimensionamento da sua implantação.
Implantação do Snowsight
Como mostramos na seção anterior, o jeito mais fácil é usar o Snowsight, a interface web do Snowflake. O bônus extra aqui é a tela dividida pra editar e ver como fica seu aplicativo em tempo real. Essa configuração é ideal para desenvolvedores que querem feedback imediato enquanto desenvolvem.
Implantação da CLI
Para cenários mais avançados, as ferramentas CLI permitem que você implante aplicativos programaticamente. Isso é super útil quando você está integrando a implantação de aplicativos em pipelines de integração contínua e entrega contínua (CI/CD). Seguindo uma abordagem de desenvolvedor mais estruturada, os aplicativos podem ser armazenados em pastas de projeto como arquivos .py, como aplicativos Streamlit normais, junto com arquivos .yml que controlam qualquer ambiente e comandos Snowflake. Isso quer dizer que a gente pode usar o GitHub pra acompanhar as mudanças, fazer verificações automáticas e implementar tudo sem complicações.
Integração com dbt e ferramentas de fluxo de trabalho
Outra opção é juntar os aplicativos Streamlit com ferramentas de fluxo de trabalho, tipo o dbt (ferramenta de construção de dados), que o Snowflake já suporta naturalmente. Por exemplo, o dbt pode gerenciar seu fluxo de trabalho ETL principal, que vai direto para o seu aplicativo Streamlit. Dentro do mesmo projeto dbt, você pode reimplantar automaticamente o Streamlit conforme necessário para se adequar ao seu fluxo de trabalho dbt. Isso permite que você organize fluxos de trabalho de dados complexos de forma organizada em projetos e dimensione sua implantação junto com seu fluxo de trabalho.
Arquitetura e implementação técnica
Vamos falar sobre como o Streamlit no Snowflake realmente funciona.
Arquitetura técnica
Os aplicativos Streamlit no Snowflake rodam num ambiente seguro, baseado em contêineres e totalmente gerenciado pelo Snowflake. Esse design garante que os aplicativos fiquem isolados, mantendo uma conexão segura com as fontes de dados e serviços do Snowflake. À medida que a complexidade do seu aplicativo aumenta ou o tamanho do banco de dados cresce, o Snowflake cuida do dimensionamento no back-end.
Gestão de armazéns
Quando você inicia um aplicativo, ele usa os recursos de computação do seu warehouse configurado. Assim como suas consultas SQL, o tamanho do warehouse afeta tanto o desempenho quanto o custo, então planejar os recursos é importante. Os desenvolvedores acham útil ter um warehouse conectado aos seus aplicativos Streamlit para facilitar o rastreamento. Além disso, o Snowflake usa etapas internas para armazenamento seguro de arquivos, o que evita que os dados vazem para fora da plataforma. Isso facilita a inserção de dados no seu aplicativo, mantendo a segurança dos seus dados.
Pacotes e ambiente Python
Os ambientes Python no SiS são gerenciados e selecionados com foco na segurança. Só tem pacotes aprovados disponíveis, e a instalação de pacotes externos é restrita. Além disso, algumas coisas como scripts, estilos, fontes e incorporação de iframe são restritas por motivos de segurança. Se você precisar de funcionalidades além das que já estão disponíveis, talvez seja preciso implementá-las por meio das UDFs do Snowpark ou usar as bibliotecas Python já existentes que o Snowflake suporta.
Modelo de segurança e permissões
Felizmente, a SiS usa boa parte da infraestrutura de segurança já existente da Snowflake, como controle de acesso baseado em funções, compartilhamento e segurança de rede.
Controle de acesso baseado em função (RBAC)
A Snowflake usa um sistema de controle de acesso baseado em função (RBAC) para os aplicativos Streamlit e seus dados. Pra acessar os dados, você precisa do privilégio USAGE pra qualquer app Streamlit e seus dados. Só as funções com privilégios de “ CREATE STREAMLIT ” podem criar aplicativos, e a propriedade dos aplicativos está ligada às permissões no nível do esquema. Isso garante um controle claro sobre quem pode desenvolver e gerenciar aplicativos.
Compartilhamento e controle de acesso
O compartilhamento de aplicativos também é controlado. Você pode dar ou restringir o acesso a aplicativos com base nas funções dos usuários. Para a execução do SQL, ele segue as mesmas permissões baseadas em funções. Ele executa SQL através do aplicativo Streamlit e não permite que os desenvolvedores executem consultas SQL em bancos de dados sem as permissões adequadas.
Segurança de rede e conteúdo
No lado da rede, o Snowflake aplica políticas de segurança de conteúdo (CSP) bem rígidas. Isso evita que os aplicativos carreguem scripts, estilos ou recursos externos não autorizados, reduzindo o risco de vazamento de dados ou integrações inseguras. Ao minimizar as bibliotecas externas importadas para o ambiente, reduz-se o risco de falhas de segurança e protege-se a privacidade dos dados e do usuário.
Otimização do desempenho do Snowflake Streamlit
À medida que seu aplicativo fica mais complexo, é importante otimizá-lo direitinho para manter tudo funcionando bem.
Otimização de consultas e armazenamento em cache
Criar aplicativos eficientes exige atenção tanto às consultas quanto aos recursos de computação. É legal testar suas consultas fora do aplicativo Streamlit (em um warehouse parecido) pra entender o esforço computacional necessário pra sua consulta. Escrever consultas SQL otimizadas é essencial para evitar gargalos.
As funções de cache integradas do Streamlit st.cache_data e st.cache_resource ajudam a reduzir cálculos repetidos e recarregamento de dados. Mas, só pra avisar, o st.cache_data e o st.cache_resource não são totalmente compatíveis. Eles só permitem o armazenamento em cache baseado em sessão, o que significa que toda vez que o usuário abrir uma nova sessão, a consulta e os dados precisarão ser recarregados. Lembre-se disso e certifique-se de otimizar suas consultas o máximo possível.
Seleção e configuração do warehouse
A escolha do warehouse é super importante pra responder rápido aos pedidos. Warehouses larger improve speed, but also increase costs. Para aplicativos com muito tráfego, warehouses dedicados podem ser a melhor opção. Por outro lado, aplicativos leves geralmente podem ser executados em warehouses menores sem problemas de desempenho.
Arquitetura de aplicativos
A arquitetura da aplicação também é importante. O carregamento progressivo de dados e o gerenciamento de estado podem tornar os aplicativos mais responsivos, principalmente quando se trabalha com grandes conjuntos de dados. Tente não carregar todo o seu aplicativo de uma vez se houver vários componentes. Carregue só o que o usuário precisa no momento. Criar aplicativos pensando nas limitações de recursos evita problemas como atingir limites de tamanho de mensagem ou de memória.
Casos de uso e exemplos de aplicações do Streamlit no Snowflake
Além de painéis simples e aplicativos de dados, o Streamlit no Snowflake pode usar algumas ferramentas poderosas para machine learning, IA, inteligência de negócios e NLP. Vamos destacar alguns casos de uso.
Inteligência empresarial e visualizações de dados
Para equipes de análise, o Streamlit no Snowflake é uma maneira de criar painéis interativos e ferramentas de relatórios. Estar conectado às suas bases de dados Snowflake permite atualizações em tempo real nos painéis para uma melhor tomada de decisões. Você pode implementar aplicativos parecidos, voltados para diferentes departamentos e equipes, de forma rápida e fácil. Exemplos incluem rastreadores de estoque, painéis de uso de computação ou resumos de desempenho executivo. Por exemplo, podemos criar análises de call center com a integração do Snowflake Cortex e do Snowpark no aplicativo Streamlit usando transcrições de dados de chamadas e gerando análises sobre as chamadas.
Machine learning e IA
Para realmente aproveitar seus dados, os aplicativos Streamlit podem ser projetados para machine learning e insights de IA. Por exemplo, as equipes de machine learning podem usar aplicativos interativos que servem modelos para previsão de demanda, segmentação de clientes ou detecção de anomalias. Com o Cortex AI, os desenvolvedores também podem criar aplicativos de geração aumentada de recuperação (RAG) ou ferramentas de IA conversacional. Uma implementação incrível adiciona modelos PyTorch que oferecem upsells direcionados para os clientes com base nos perfis individuais deles, tudo integrado em um aplicativo de inferência visual.
PNL e análise avançada
Para obter insights sobre feedback baseado em texto, como chats e e-mails, o processamento de linguagem natural é a melhor opção. Usando bibliotecas como spaCy, NLTK ou o processamento de texto interno do Snowflake Cortex AI da Snowflake, podemos pegar todas essas informações de texto e criar ferramentas para análise de sentimentos, reconhecimento de entidades nomeadas e outras soluções de NLP. Por exemplo, a gente pode usar o Snowflake Cortex pra lidar com a maior parte da análise de NLP, tipo resumos e análise de sentimentos. Isso alimenta um banco de dados que fornece análises sobre avaliações e chat de suporte usando o Streamlit no Snowflake.
Aplicativos de coleta e entrada de dados
Os aplicativos Streamlit também funcionam bem para coleta de dados e gerenciamento de qualidade, como ferramentas de anotação ou interfaces de entrada colaborativas. Embora o upload de dados seja limitado a 200 MB, podemos oferecer um lugar onde os usuários possam enviar pequenos conjuntos de dados ou documentos para processamento ou resumo em nosso aplicativo. As possibilidades são infinitas!
Integração com o ecossistema Snowflake
Ter o Streamlit no Snowflake é super útil por causa das várias integrações que você tem dentro do ecossistema, como o Snowpark e o compartilhamento de dados.
Integração com o Snowpark
O Snowpark facilita muito a realização de análises em Python com o Snowflake. Ele permite processamento avançado de dados, cálculos distribuídos e funções personalizadas. Como podemos usar DataFrames do Snowpark nativamente em nosso aplicativo Streamlit no Snowflake, podemos aproveitar isso facilmente com muito pouca sobrecarga. Usar coisas como procedimentos armazenados e UDFs no seu ambiente Snowflake fica super fácil com o objeto Snowpark's udf.
Compartilhamento de dados e automação
Compartilhar dados dentro do Snowflake é bem simples e, com a interface do Snowsight, dá pra fazer isso com só alguns cliques. Adicionando tarefas do Snowflake e recursos orientados a eventos, os desenvolvedores também podem automatizar facilmente os fluxos de trabalho. Por exemplo, você pode ativar atualizações do aplicativo quando novos dados chegarem, fazer verificações de dados para garantir que nada dê errado e manter os dados atualizados.
Quando combinado com o dbt, você pode criar fluxos de trabalho completos, nos quais as transformações de dados fluem diretamente para os aplicativos Streamlit, garantindo atualizações em tempo real para os usuários.
Considerações sobre faturamento e custos
Como em todas as plataformas em nuvem, as questões de cobrança e custo são importantes. Um aplicativo Streamlit caro tem menos chances de ser usado, então pensar nos custos com antecedência garante um processo de desenvolvimento tranquilo.
Entendendo os custos do Streamlit no Snowflake
Os custos do Streamlit no Snowflake são como qualquer outro processo no Snowflake. Se você tiver um banco de dados/esquema específico para o Streamlit, vai ter os custos normais de armazenamento associados a esses dados. Como falamos antes, você provavelmente vai querer criar um warehouse só para o seu Streamlit nos serviços Snowflake, pra poder acompanhar os custos de computação também. Warehouses maiores, simultaneidade de aplicativos (várias sessões de usuários) e volume de dados vão ser os principais fatores que vão influenciar seus custos.
Otimizando o uso de recursos
Pra controlar os gastos, é importante dimensionar corretamente os warehouses. Aplicativos pequenos com cargas de trabalho leves devem evitar usar warehouses desnecessariamente grandes. O cache do Streamlit ajuda a minimizar consultas repetidas dentro das sessões, o que reduz o uso de computação. A Snowflake também oferece ferramentas de monitoramento que acompanham o consumo para que você possa fazer ajustes de custos com base nos dados.
Limitações e considerações
Embora o Streamlit no Snowflake seja poderoso, tem algumas restrições que você precisa saber, principalmente relacionadas a pacotes externos e uploads de arquivos.
Restrições da política de segurança de conteúdo (CSP)
A plataforma segue políticas de segurança de conteúdo bem rígidas pra garantir a proteção dos dados. Coisas como scripts personalizados, estilos e outras coisas que precisam de um domínio externo têm mais chances de serem bloqueadas. Certifique-se de que os componentes que você usa não precisam de chamadas externas. Isso melhora bastante a segurança do seu aplicativo, mas limita um pouco a personalização que você pode estar acostumado se já tiver feito suas próprias implementações do Streamlit.
Limitações de transferência e armazenamento em cache de dados
Lidar com grandes conjuntos de dados pode ser um desafio por causa de algumas limitações no cache e na transferência de mensagens. A principal limitação do cache é que ele é baseado na sessão e não no usuário. Então, quem voltar aos aplicativos e começar novas sessões vai ter que recarregar os dados. Pense bem nos seus usuários e se eles vão precisar começar novas sessões várias vezes. Se for o caso, pense em como você pode minimizar a carga de dados entre as sessões.
Embora não haja um limite explícito para o tamanho das consultas ou a quantidade de dados na memória, as mensagens têm um limite de 32 MB. Isso quer dizer que mostrar grandes DataFrames e mapas super complexos pode ser um problema. Pense no que é essencial mostrar aos usuários e no que pode ser simplificado.
Restrições para upload de arquivos e armazenamento externo
O envio de arquivos funciona, mas tem um limite de tamanho de 200 MB. Você também não vai conseguir trabalhar diretamente com etapas externas e vai precisar mover os dados primeiro para o Snowflake. Então, pegar direto do Apache Iceberg não vai rolar, mas pegar de um data lake interno pra esses dados funciona.
Além disso, o tamanho dos arquivos que você pode enviar é limitado e, por enquanto, não dá pra usar etapas externas, o que restringe como os aplicativos lidam com os arquivos.
Conclusão
O Streamlit no Snowflake oferece uma maneira poderosa e integrada de criar e implantar aplicativos de dados interativos sem sair do seu ambiente Snowflake. Ele junta segurança, escalabilidade e facilidade de uso, além de oferecer suporte a integrações avançadas com Snowpark, Cortex AI e dbt.
Mesmo com algumas limitações, como restrições em recursos externos e uploads de arquivos, as vantagens de iterações rápidas, infraestrutura gerenciada e compartilhamento sem complicações fazem do SiS uma plataforma transformadora para equipes de dados. Os profissionais juniores podem começar aos poucos, experimentando painéis simples, e depois passar para aplicativos de IA e análise prontos para uso corporativo. Pra saber mais sobre o Snowflake, dá uma olhada aqui:
