ข้ามไปยังเนื้อหาหลัก

บ้าน Spark

Courses

Big Data Fundamentals with PySpark

ขั้นสูงระดับทักษะ

อัปเดตแล้ว 02/2568

Learn the fundamentals of working with big data with PySpark.

เริ่มเรียนหลักสูตรฟรี

SparkData Engineering4 ชม.16 videos55 Exercises4,600 เอ็กซ์พี64,506คำแถลงแสดงความสำเร็จ

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

เป็นที่ชื่นชอบของผู้เรียนในบริษัทหลายพันแห่ง

ฝึกอบรมบุคคลตั้งแต่ 2 คนขึ้นไป?

ลองใช้ DataCamp for Business

คำอธิบายรายวิชา

There's been a lot of buzz about Big Data over the past few years, and it's finally become mainstream for many companies. But what is this Big Data? This course covers the fundamentals of Big Data via PySpark. Spark is a "lightning fast cluster computing" framework for Big Data. It provides a general data processing platform engine and lets you run programs up to 100x faster in memory, or 10x faster on disk, than Hadoop. You’ll use PySpark, a Python package for Spark programming and its powerful, higher-level libraries such as SparkSQL, MLlib (for machine learning), etc. You will explore the works of William Shakespeare, analyze Fifa 2018 data and perform clustering on genomic datasets. At the end of this course, you will have gained an in-depth understanding of PySpark and its application to general Big Data analysis.

ข้อกำหนดเบื้องต้น

Introduction to Python

1

Introduction to Big Data analysis with Spark

This chapter introduces the exciting world of Big Data, as well as the various concepts and different frameworks for processing Big Data. You will understand why Apache Spark is considered the best framework for BigData.

What is Big Data?

50 เอ็กซ์พี

The 3 V's of Big Data

50 เอ็กซ์พี

PySpark: Spark with Python

50 เอ็กซ์พี

Understanding SparkContext

100 เอ็กซ์พี

Interactive Use of PySpark

100 เอ็กซ์พี

Loading data in PySpark shell

100 เอ็กซ์พี

Review of functional programming in Python

50 เอ็กซ์พี

Use of lambda() with map()

100 เอ็กซ์พี

Use of lambda() with filter()

100 เอ็กซ์พี

เริ่มบท

2

Programming in PySpark RDD’s

The main abstraction Spark provides is a resilient distributed dataset (RDD), which is the fundamental and backbone data type of this engine. This chapter introduces RDDs and shows how RDDs can be created and executed using RDD Transformations and Actions.

Abstracting Data with RDDs

50 เอ็กซ์พี

RDDs from Parallelized collections

100 เอ็กซ์พี

RDDs from External Datasets

100 เอ็กซ์พี

Partitions in your data

100 เอ็กซ์พี

Basic RDD Transformations and Actions

50 เอ็กซ์พี

Map and Collect

100 เอ็กซ์พี

Filter and Count

100 เอ็กซ์พี

Pair RDDs in PySpark

50 เอ็กซ์พี

ReduceBykey and Collect

100 เอ็กซ์พี

SortByKey and Collect

100 เอ็กซ์พี

Advanced RDD Actions

50 เอ็กซ์พี

CountingBykeys

100 เอ็กซ์พี

Create a base RDD and transform it

100 เอ็กซ์พี

Remove stop words and reduce the dataset

100 เอ็กซ์พี

Print word frequencies

100 เอ็กซ์พี

เริ่มบท

3

PySpark SQL & DataFrames

In this chapter, you'll learn about Spark SQL which is a Spark module for structured data processing. It provides a programming abstraction called DataFrames and can also act as a distributed SQL query engine. This chapter shows how Spark SQL allows you to use DataFrames in Python.

Abstracting Data with DataFrames

50 เอ็กซ์พี

RDD to DataFrame

100 เอ็กซ์พี

Loading CSV into DataFrame

100 เอ็กซ์พี

Operating on DataFrames in PySpark

50 เอ็กซ์พี

Inspecting data in PySpark DataFrame

100 เอ็กซ์พี

PySpark DataFrame subsetting and cleaning

100 เอ็กซ์พี

Filtering your DataFrame

100 เอ็กซ์พี

Interacting with DataFrames using PySpark SQL

50 เอ็กซ์พี

Running SQL Queries Programmatically

100 เอ็กซ์พี

SQL queries for filtering Table

100 เอ็กซ์พี

Data Visualization in PySpark using DataFrames

50 เอ็กซ์พี

PySpark DataFrame visualization

100 เอ็กซ์พี

Part 1: Create a DataFrame from CSV file

100 เอ็กซ์พี

Part 2: SQL Queries on DataFrame

100 เอ็กซ์พี

Part 3: Data visualization

100 เอ็กซ์พี

เริ่มบท

4

Machine Learning with PySpark MLlib

PySpark MLlib is the Apache Spark scalable machine learning library in Python consisting of common learning algorithms and utilities. Throughout this last chapter, you'll learn important Machine Learning algorithms. You will build a movie recommendation engine and a spam filter, and use k-means clustering.

Overview of PySpark MLlib

50 เอ็กซ์พี

PySpark ML libraries

50 เอ็กซ์พี

PySpark MLlib algorithms

100 เอ็กซ์พี

Collaborative filtering

50 เอ็กซ์พี

Loading Movie Lens dataset into RDDs

100 เอ็กซ์พี

Model training and predictions

100 เอ็กซ์พี

Model evaluation using MSE

100 เอ็กซ์พี

Classification

50 เอ็กซ์พี

Loading spam and non-spam data

100 เอ็กซ์พี

Feature hashing and LabelPoint

100 เอ็กซ์พี

Logistic Regression model training

100 เอ็กซ์พี

50 เอ็กซ์พี

Loading and parsing the 5000 points data

100 เอ็กซ์พี

K-means training

100 เอ็กซ์พี

Visualizing clusters

100 เอ็กซ์พี

Congratulations!

50 เอ็กซ์พี

เริ่มบท

Big Data Fundamentals with PySpark

หลักสูตรเสร็จสมบูรณ์

ได้รับใบรับรองความสำเร็จ

เพิ่มข้อมูลรับรองนี้ลงในโปรไฟล์ LinkedIn, ประวัติย่อ หรือเรซูเม่ของคุณ
แชร์ลงในโซเชียลมีเดียและในรายงานประเมินผลการปฏิบัติงานของคุณลงทะเบียนเลย

สำหรับธุรกิจ

ฝึกอบรมบุคคลตั้งแต่ 2 คนขึ้นไป?

ให้ทีมของคุณเข้าถึงแพลตฟอร์ม DataCamp แบบเต็มรูปแบบ รวมถึงฟีเจอร์ทั้งหมด

ในแทร็กต่อไปนี้

Big Data with PySpark

instructors

Upendra Kumar Devisetty

Science Analyst at CyVerse

collaborators

Hadrien Lacroix

Chester Ismay

Courses resources

Complete Shakespearedatasets

Movie ratingsdatasets

5000 pointsdatasets

FIFA 2018datasets

Peopledatasets

Spamdatasets

Hamdatasets

เข้าร่วมกับ... 19 ล้านผู้เรียน และเริ่ม Big Data Fundamentals with PySpark วันนี้เลย!

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

พัฒนาทักษะด้านข้อมูลของคุณด้วย DataCamp for Mobile

พัฒนาทักษะได้ทุกที่ทุกเวลาด้วยคอร์สเรียนบนมือถือและแบบฝึกหัดเขียนโค้ดประจำวัน 5 นาทีของเรา