Lewati ke konten utama

Kursus

Fundamental Big Data dengan PySpark

LanjutanTingkat Keterampilan

Diperbarui 02/2025

Mulai Kursus Gratis

SparkData Engineering4 jam16 videos55 Latihan4,600 XP64,649Bukti Prestasi

Buat Akun Gratis Anda

atau

Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.

Dipercaya oleh para pelajar di ribuan perusahaan

Pelatihan untuk 2 orang atau lebih?

Coba DataCamp for Business

Deskripsi Kursus

Selama beberapa tahun terakhir, Big Data banyak diperbincangkan dan kini telah menjadi arus utama bagi banyak perusahaan. Namun, apa sebenarnya Big Data itu? Kursus ini membahas dasar-dasar Big Data melalui PySpark. Spark adalah kerangka kerja komputasi klaster yang "secepat kilat" untuk Big Data. Spark menyediakan mesin platform pemrosesan data umum dan memungkinkan Anda menjalankan program hingga 100x lebih cepat di memori, atau 10x lebih cepat di disk, dibandingkan Hadoop. Anda akan menggunakan PySpark, paket Python untuk pemrograman Spark beserta pustaka tingkat tingginya yang andal seperti SparkSQL, MLlib (untuk Machine Learning), dan lain-lain. Anda akan mengeksplorasi karya William Shakespeare, menganalisis data Fifa 2018, dan melakukan pengelompokan pada himpunan data genomik. Di akhir kursus, Anda akan memiliki pemahaman mendalam tentang PySpark dan penerapannya untuk analisis Big Data secara umum.

Persyaratan

Introduction to Python

1

Introduction to Big Data analysis with Spark

This chapter introduces the exciting world of Big Data, as well as the various concepts and different frameworks for processing Big Data. You will understand why Apache Spark is considered the best framework for BigData.

What is Big Data?

The 3 V's of Big Data

PySpark: Spark with Python

Understanding SparkContext

Interactive Use of PySpark

Loading data in PySpark shell

Review of functional programming in Python

Use of lambda() with map()

Use of lambda() with filter()

2

Programming in PySpark RDD’s

The main abstraction Spark provides is a resilient distributed dataset (RDD), which is the fundamental and backbone data type of this engine. This chapter introduces RDDs and shows how RDDs can be created and executed using RDD Transformations and Actions.

Abstracting Data with RDDs

RDDs from Parallelized collections

RDDs from External Datasets

Partitions in your data

Basic RDD Transformations and Actions

Map and Collect

Filter and Count

Pair RDDs in PySpark

ReduceBykey and Collect

SortByKey and Collect

Advanced RDD Actions

CountingBykeys

Create a base RDD and transform it

Remove stop words and reduce the dataset

Print word frequencies

3

PySpark SQL & DataFrames

In this chapter, you'll learn about Spark SQL which is a Spark module for structured data processing. It provides a programming abstraction called DataFrames and can also act as a distributed SQL query engine. This chapter shows how Spark SQL allows you to use DataFrames in Python.

Abstracting Data with DataFrames

RDD to DataFrame

Loading CSV into DataFrame

Operating on DataFrames in PySpark

Inspecting data in PySpark DataFrame

PySpark DataFrame subsetting and cleaning

Filtering your DataFrame

Interacting with DataFrames using PySpark SQL

Running SQL Queries Programmatically

SQL queries for filtering Table

Data Visualization in PySpark using DataFrames

PySpark DataFrame visualization

Part 1: Create a DataFrame from CSV file

Part 2: SQL Queries on DataFrame

Part 3: Data visualization

4

Machine Learning with PySpark MLlib

PySpark MLlib is the Apache Spark scalable machine learning library in Python consisting of common learning algorithms and utilities. Throughout this last chapter, you'll learn important Machine Learning algorithms. You will build a movie recommendation engine and a spam filter, and use k-means clustering.

Overview of PySpark MLlib

PySpark ML libraries

PySpark MLlib algorithms

Collaborative filtering

Loading Movie Lens dataset into RDDs

Model training and predictions

Model evaluation using MSE

Classification

Loading spam and non-spam data

Feature hashing and LabelPoint

Logistic Regression model training

Loading and parsing the 5000 points data

K-means training

Visualizing clusters

Congratulations!

Fundamental Big Data dengan PySpark

Kursus
Selesai

Memperoleh Surat Keterangan Prestasi

Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV Anda
Bagikan di media sosial dan dalam penilaian kinerja AndaDaftar Sekarang

Bergabung dengan 19 juta pelajar dan mulai Fundamental Big Data dengan PySpark Hari Ini!

Buat Akun Gratis Anda

atau

Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.

Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile

Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.