After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kursbeskrivning
Big Data har diskuterats flitigt de senaste åren och har nu blivit en självklar del av många företags vardag. Men vad är egentligen Big Data? Den här kursen går igenom grunderna i Big Data via PySpark. Spark är ett ramverk för klusterdatorer som är optimerat för Big Data och erbjuder en generell plattform för databearbetning. Med Spark kan du köra program upp till 100 gånger snabbare i minnet, eller 10 gånger snabbare på disk, jämfört med Hadoop. Du använder PySpark – ett Python-paket för Spark-programmering – tillsammans med kraftfulla bibliotek på hög nivå som SparkSQL och MLlib (för maskininlärning). Du utforskar William Shakespeares verk, analyserar FIFA 2018-data och utför klustring på genomiska datamängder. När du är klar med kursen har du fått en djupgående förståelse för PySpark och hur det används för allmän Big Data-analys.
Förkunskapskrav
Kursplan
Kursöversikt
1
Introduktion till Big Data-analys med Spark
Det här kapitlet introducerar Big Data och ger en översikt över de koncept och ramverk som används för att bearbeta Big Data. Du får förstå varför Apache Spark anses vara det bästa ramverket för Big Data.
2
Programmering i PySpark RDD:er
Den centrala abstraktionen i Spark är en resilient distributed dataset (RDD), som är den grundläggande datatypen i motorn. Det här kapitlet introducerar RDD:er och visar hur de skapas och körs med hjälp av RDD-transformationer och -åtgärder.
3
PySpark SQL och DataFrames
I det här kapitlet lär du dig om Spark SQL – en Spark-modul för strukturerad databearbetning. Den erbjuder en programmeringsabstraktion som kallas DataFrames och kan även fungera som en distribuerad SQL-frågemotor. Kapitlet visar hur Spark SQL låter dig använda DataFrames i Python.
4
Maskininlärning med PySpark MLlib
PySpark MLlib är Apache Sparks skalbara maskininlärningsbibliotek i Python och innehåller vanliga inlärningsalgoritmer och hjälpverktyg. Under det här sista kapitlet lär du dig viktiga maskininlärningsalgoritmer. Du bygger en filmrekommendationsmotor och ett skräppostfilter, och arbetar med k-means-klustring.
Grunderna i Big Data med PySpark
Kurs
slutförd
