ข้ามไปยังเนื้อหาหลัก

หน้าหลัก Spark

คอร์ส

Foundations of PySpark

ระดับกลางระดับทักษะ

อัปเดตแล้ว 03/2568

Learn to implement distributed data management and machine learning in Spark using the PySpark package.

เริ่มคอร์สฟรี

SparkData Engineering

4 ชม.

45 แบบฝึกหัด

3,850 XP

150K+

ใบรับรองความสำเร็จ

สร้างบัญชีฟรีของคุณ

ดำเนินการต่อด้วย Google แสดงตัวเลือกเพิ่มเติม

หรือ

เมื่อดำเนินการต่อ คุณยอมรับ ข้อกำหนดการใช้งาน ของเรา นโยบายความเป็นส่วนตัว ของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บในสหรัฐอเมริกา

เป็นที่รักของผู้เรียนในบริษัทหลายพันแห่ง

กำลังฝึกอบรมทีม?

ลองใช้สำหรับธุรกิจ

คำอธิบายคอร์ส

In this course, you'll learn how to use Spark from Python! Spark is a tool for doing parallel computation with large datasets and it integrates well with Python. PySpark is the Python package that makes the magic happen. You'll use this package to work with data about flights from Portland and Seattle. You'll learn to wrangle this data and build a whole machine learning pipeline to predict whether or not flights will be delayed. Get ready to put some Spark in your Python code and dive into the world of high-performance machine learning!

ข้อกำหนดเบื้องต้น

Introduction to Python

1

Getting to know PySpark

In this chapter, you'll learn how Spark manages data and how can you read and write tables from Python.

What is Spark, anyway?

Using Spark in Python

Examining The SparkContext

Using DataFrames

Creating a SparkSession

Viewing tables

Are you query-ious?

Pandafy a Spark DataFrame

Put some Spark in your data

Dropping the middle man

เริ่มบท

2

Manipulating data

In this chapter, you'll learn about the pyspark.sql module, which provides optimized data queries to your Spark session.

Creating columns

SQL in a nutshell

SQL in a nutshell (2)

Filtering Data

Selecting II

Aggregating

Aggregating II

Grouping and Aggregating I

Grouping and Aggregating II

เริ่มบท

3

Getting started with machine learning pipelines

PySpark has built-in, cutting-edge machine learning routines, along with utilities to create full machine learning pipelines. You'll learn about them in this chapter.

Machine Learning Pipelines

Join the DataFrames

String to integer

Create a new column

Making a Boolean

Strings and factors

Destination

Assemble a vector

Create the pipeline

Test vs. Train

Transform the data

Split the data

เริ่มบท

4

Model tuning and selection

In this last chapter, you'll apply what you've learned to create a model that predicts which flights will be delayed.

What is logistic regression?

Create the modeler

Cross validation

Create the evaluator

Make a grid

Make the validator

Fit the model(s)

Evaluating binary classifiers

Evaluate the model

เริ่มบท

Foundations of PySpark

คอร์สเสร็จสมบูรณ์

รับใบรับรองความสำเร็จ

เพิ่มใบรับรองนี้ไปยังโปรไฟล์ LinkedIn เรซูเม่ หรือ CV ของคุณ
แชร์บน social media และในการรีวิวผลการปฏิบัติงานของคุณลงทะเบียนทันที

ร่วมกับผู้เรียนกว่า 19 ล้านคนและเริ่มต้น Foundations of PySpark วันนี้!

สร้างบัญชีฟรีของคุณ

ดำเนินการต่อด้วย Google แสดงตัวเลือกเพิ่มเติม

หรือ

เมื่อดำเนินการต่อ คุณยอมรับ ข้อกำหนดการใช้งาน ของเรา นโยบายความเป็นส่วนตัว ของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บในสหรัฐอเมริกา

พัฒนาทักษะด้านข้อมูลของคุณด้วย DataCamp for Mobile

พัฒนาทักษะได้ทุกที่ทุกเวลาด้วยคอร์สเรียนบนมือถือและแบบฝึกหัดเขียนโค้ดประจำวัน 5 นาทีของเรา