Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
Conjuntos de dados costumam ser maiores do que a RAM disponível, o que gera problemas para quem programa em R, já que, por padrão, todas as variáveis ficam na memória. Você vai aprender ferramentas para processar, explorar e analisar dados diretamente do disco. Também vai aplicar a abordagem dividir-aplicar-combinar e aprender a escrever código escalável usando os pacotes bigmemory e iotools. Neste curso, você usará os dados da Federal Housing Finance Agency, um conjunto de dados público que registra todas as hipotecas mantidas ou securitizadas pela Federal National Mortgage Association (Fannie Mae) e pela Federal Home Loan Mortgage Corporation (Freddie Mac) de 2009 a 2015.
Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Trabalhando com conjuntos de dados cada vez maiores
Neste capítulo, abordamos por que é preciso aplicar novas técnicas quando os conjuntos de dados são maiores do que a RAM disponível. Mostramos que importar e exportar dados usando as funções base do R pode ser lento e apresentamos algumas maneiras simples de contornar isso. Por fim, introduzimos o pacote bigmemory.
- O que é Processamento de Dados em Escala?50 XP
- Por que seu código está lento?50 XP
- Como o tempo de processamento varia conforme o tamanho dos dados?100 XP
- Trabalhando com objetos "out-of-core" usando o projeto bigmemory50 XP
- Lendo um objeto big.matrix100 XP
- Anexando um objeto big.matrix100 XP
- Criando tabelas com objetos big.matrix100 XP
- Resumo de dados usando bigsummary100 XP
- Referências vs. Cópias50 XP
- Copiando matrizes e big matrices100 XP
2
Processando e analisando dados com bigmemory
Agora que você já tem alguma experiência com o bigmemory, vamos passar por algumas técnicas simples de exploração e análise de dados. Em especial, veremos como criar tabelas e implementar a abordagem dividir-aplicar-combinar.
3
Trabalhando com iotools
Vamos usar o pacote iotools, que pode processar dados numéricos e de texto, e apresentar o conceito de processamento em blocos (chunk-wise).
4
Estudo de caso: uma análise preliminar dos dados de habitação
Nos capítulos anteriores, apresentamos os dados de habitação e mostramos como calcular com dados que são tão grandes quanto, ou maiores do que, a quantidade de RAM em uma única máquina. Neste capítulo, faremos uma análise preliminar dos dados, comparando várias tendências ao longo do tempo.
R
Processamento de Dados em Escala no R
Curso
concluído
