Name: Procesarea scalabilă a datelor în R
Rating: 4.714285714285714 (28 reviews)

Descrierea cursului

Seturile de date sunt adesea mai mari decât memoria RAM disponibilă, ceea ce creează probleme pentru programatorii R, deoarece implicit toate variabilele sunt stocate în memorie. Vei învăța instrumente pentru procesarea, explorarea și analiza datelor direct de pe disc. Vei implementa și abordarea split-apply-combine și vei învăța cum să scrii cod scalabil folosind pachetele bigmemory și iotools. În cadrul acestui curs, vei lucra cu datele Agenției Federale pentru Finanțarea Locuințelor – un set de date public care înregistrează toate creditele ipotecare deținute sau securitizate de Federal National Mortgage Association (Fannie Mae) și Federal Home Loan Mortgage Corporation (Freddie Mac) în perioada 2009–2015.

Cerințe prealabile

Writing Efficient R Code

Programă

Planul cursului

Lucrul cu seturi de date din ce în ce mai mari

În acest capitol, vom explica de ce este nevoie de tehnici noi atunci când seturile de date depășesc memoria RAM disponibilă. Vom arăta că importul și exportul datelor cu funcțiile de bază din R pot fi lente și vom prezenta câteva soluții simple. În final, vom face cunoștință cu pachetul bigmemory.

Începe capitolul

Procesarea și analiza datelor cu bigmemory

Acum că ai dobândit experiență cu bigmemory, vom parcurge câteva tehnici simple de explorare și analiză a datelor. În special, vom vedea cum să creăm tabele și cum să implementăm abordarea split-apply-combine.

Începe capitolul

Lucrul cu iotools

Vom folosi pachetul iotools, care poate procesa atât date numerice, cât și șiruri de caractere, și vom introduce conceptul de procesare pe fragmente (chunk-wise processing).

Începe capitolul

Studiu de caz: O analiză preliminară a datelor imobiliare

În capitolele anterioare, am prezentat datele imobiliare și am arătat cum să lucrezi cu date care sunt aproximativ egale sau mai mari decât cantitatea de RAM disponibilă pe o singură mașină. În acest capitol, vom realiza o analiză preliminară a datelor, comparând diverse tendințe în timp.