Pular para o conteúdo principal

Gratuito Curso

Dimensionamento e Otimização de Pipelines de Dados com Polars

IntermediárioNível de habilidade

Atualizado 06/2026

Aprenda a otimizar, escalar e testar pipelines de dados Polars para desempenho pronto para produção.

Iniciar curso gratuito

Incluído gratuitamente

PythonData Manipulation

4 h

15 vídeos

56 Exercícios

4,800 XP

Declaração de realização

Preferido por alunos de milhares de empresas

Treinando uma equipe?

Experimente para Empresas

Descrição do curso

Leve suas habilidades em Polars para produção. Aprenda a ler planos de consulta e explorar todo o potencial do otimizador, trabalhe com eficiência com fontes Parquet, CSV e bancos de dados, e aproveite dtypes avançados como List, Struct, Categorical e Enum. Você também vai transmitir grandes consultas para o disco, processar dados em lotes e criar pipelines testáveis com asserções integradas. Ao final, você estará pronto para construir fluxos de dados de alto desempenho que lidam com conjuntos de dados de qualquer tamanho.

Pré-requisitos

Data Transformation with Polars

1

Mergulho profundo em otimização de consultas

Aprenda a manter consultas em modo lazy para máxima otimização, ler e interpretar planos de consulta e destravar fast paths com profiling e dados ordenados.

Execução eficaz de consultas

Pré-visualizando os dados de forma preguiçosa

Resumindo empréstimos digitais

Coletando dois relatórios juntos

Otimização e planos de consulta

Lendo o plano ingênuo

Lendo o plano otimizado

O que a otimização de consultas realmente faz

Usando a otimização ao máximo

Pivot lazy para formato wide

Fazendo profiling de uma consulta lazy

Filtro fast-path em dados ordenados

Iniciar capítulo

2

Entrada e saída de dados eficientes

Aprenda a ler e gravar arquivos Parquet, analisar CSVs com ruído, fazer scan de conjuntos de dados multifile e com partição estilo hive, e consultar bancos de dados a partir do Polars.

Trabalhando com arquivos Parquet

Inspecionando um schema Parquet

Resumindo dados Parquet

Gravando um snapshot em Parquet

Analisando CSVs

Analisando um CSV bagunçado

Sobrescrevendo o schema inferido

Ignorando erros de parsing

Trabalhando com conjuntos de dados multifile

Fazendo scan de vários arquivos

Inserindo colunas ausentes

Fazendo scan de um conjunto de dados particionado em Hive

Trabalhando com bancos de dados

Lendo do SQLite com uma URI

Acrescentando a uma tabela de histórico SQLite

Consultando o DuckDB no Polars

Iniciar capítulo

3

Dtypes avançados para análise ideal

Este capítulo aborda como trabalhar com colunas List e Struct, codificar strings repetidas como dtypes Categorical e Enum e reduzir o uso de memória por meio de downcasting numérico.

Manipulando dados de arrays

Extraindo o gênero principal

Contando gêneros por filme

Contando a popularidade dos gêneros

Trabalhando com colunas aninhadas

Fazendo unnest de production_country

Renomeando os campos de país

Criando um dtype Object

Usando os dtypes Categorical e Enum

Criando uma coluna Categorical

Usando uma expressão categórica

Criando uma coluna Enum

Reduzindo a pressão de memória

Inspecionando o intervalo numérico

Reduzindo a largura de colunas numéricas

Estimando o tamanho do DataFrame

Iniciar capítulo

4

Trabalhando com Polars em escala

Aprenda a usar os engines de streaming e GPU, direcionar grandes Resultados da consulta diretamente para o disco com particionamento e testar pipelines com as asserções integradas do Polars.

Trabalhando com os mecanismos de streaming e GPU

Usando o mecanismo de streaming

Processando resultados de consultas em lotes

Gravando consultas grandes em disco

Gravando um extrato limpo em Parquet

Multiplexando sinks de Parquet

Usando um coletor de lotes personalizado

Testando pipelines do Polars

Comparando DataFrames com equals

Testando esquemas

Testando DataFrames completos

Iniciar capítulo

Dimensionamento e Otimização de Pipelines de Dados com Polars

Curso
concluído

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil do LinkedIn, currículo ou CV
Compartilhe nas redes sociais e em sua avaliação de desempenhoInscreva-se agora

Faça como mais de 19 milhões de alunos e comece Dimensionamento e Otimização de Pipelines de Dados com Polars hoje mesmo!

Desenvolva suas habilidades em dados com o app do DataCamp

Continue progredindo em qualquer lugar com nossos cursos para celular e desafios diários de programação de 5 minutos.