Name: Processamento de Dados em Escala no R
Rating: 4.714285714285714 (28 reviews)

Descrição do curso

Conjuntos de dados costumam ser maiores do que a RAM disponível, o que gera problemas para quem programa em R, já que, por padrão, todas as variáveis ficam na memória. Você vai aprender ferramentas para processar, explorar e analisar dados diretamente do disco. Também vai aplicar a abordagem dividir-aplicar-combinar e aprender a escrever código escalável usando os pacotes bigmemory e iotools. Neste curso, você usará os dados da Federal Housing Finance Agency, um conjunto de dados público que registra todas as hipotecas mantidas ou securitizadas pela Federal National Mortgage Association (Fannie Mae) e pela Federal Home Loan Mortgage Corporation (Freddie Mac) de 2009 a 2015.

Pré-requisitos

Writing Efficient R Code

Programa de estudos

Descrição do curso

Trabalhando com conjuntos de dados cada vez maiores

Neste capítulo, abordamos por que é preciso aplicar novas técnicas quando os conjuntos de dados são maiores do que a RAM disponível. Mostramos que importar e exportar dados usando as funções base do R pode ser lento e apresentamos algumas maneiras simples de contornar isso. Por fim, introduzimos o pacote bigmemory.

Iniciar capítulo

Processando e analisando dados com bigmemory

Agora que você já tem alguma experiência com o bigmemory, vamos passar por algumas técnicas simples de exploração e análise de dados. Em especial, veremos como criar tabelas e implementar a abordagem dividir-aplicar-combinar.

Iniciar capítulo

Trabalhando com iotools

Vamos usar o pacote iotools, que pode processar dados numéricos e de texto, e apresentar o conceito de processamento em blocos (chunk-wise).

Iniciar capítulo

Estudo de caso: uma análise preliminar dos dados de habitação

Nos capítulos anteriores, apresentamos os dados de habitação e mostramos como calcular com dados que são tão grandes quanto, ou maiores do que, a quantidade de RAM em uma única máquina. Neste capítulo, faremos uma análise preliminar dos dados, comparando várias tendências ao longo do tempo.