ข้ามไปยังเนื้อหาหลัก

บ้าน Spark

Courses

Machine Learning with PySpark

ขั้นสูงระดับทักษะ

อัปเดตแล้ว 11/2568

Learn how to make predictions from data with Apache Spark, using decision trees, logistic regression, linear regression, ensembles, and pipelines.

เริ่มเรียนหลักสูตรฟรี

SparkMachine Learning4 ชม.16 videos56 Exercises4,550 เอ็กซ์พี29,390คำแถลงแสดงความสำเร็จ

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

เป็นที่ชื่นชอบของผู้เรียนในบริษัทหลายพันแห่ง

ฝึกอบรมบุคคลตั้งแต่ 2 คนขึ้นไป?

ลองใช้ DataCamp for Business

คำอธิบายรายวิชา

Learn to Use Apache Spark for Machine Learning

Spark is a powerful, general purpose tool for working with Big Data. Spark transparently handles the distribution of compute tasks across a cluster. This means that operations are fast, but it also allows you to focus on the analysis rather than worry about technical details. In this course you'll learn how to get data into Spark and then delve into the three fundamental Spark Machine Learning algorithms: Linear Regression, Logistic Regression/Classifiers, and creating pipelines.

Build and Test Decision Trees

Building your own decision trees is a great way to start exploring machine learning models. You’ll use an algorithm called ‘Recursive Partitioning’ to divide data into two classes and find a predictor within your data that results in the most informative split of the two classes, and repeat this action with further nodes. You can then use your decision tree to make predictions with new data.

Master Logistic and Linear Regression in PySpark

Logistic and linear regression are essential machine learning techniques that are supported by PySpark. You’ll learn to build and evaluate logistic regression models, before moving on to creating linear regression models to help you refine your predictors to only the most relevant options.

By the end of the course, you’ll feel confident in applying your new-found machine learning knowledge, thanks to hands-on tasks and practice data sets found throughout the course.

ข้อกำหนดเบื้องต้น

Supervised Learning with scikit-learn Introduction to PySpark

1

Introduction

Spark is a framework for working with Big Data. In this chapter you'll cover some background about Spark and Machine Learning. You'll then find out how to connect to Spark using Python and load CSV data.

Machine Learning & Spark

50 เอ็กซ์พี

Characteristics of Spark

50 เอ็กซ์พี

Components in a Spark Cluster

50 เอ็กซ์พี

Connecting to Spark

50 เอ็กซ์พี

Location of Spark master

50 เอ็กซ์พี

Creating a SparkSession

100 เอ็กซ์พี

Loading Data

50 เอ็กซ์พี

Loading flights data

100 เอ็กซ์พี

Loading SMS spam data

100 เอ็กซ์พี

เริ่มบท

2

Classification

Now that you are familiar with getting data into Spark, you'll move onto building two types of classification model: Decision Trees and Logistic Regression. You'll also find out about a few approaches to data preparation.

Data Preparation

50 เอ็กซ์พี

Removing columns and rows

100 เอ็กซ์พี

Column manipulation

100 เอ็กซ์พี

Categorical columns

100 เอ็กซ์พี

Assembling columns

100 เอ็กซ์พี

Decision Tree

50 เอ็กซ์พี

Train/test split

100 เอ็กซ์พี

Build a Decision Tree

100 เอ็กซ์พี

Evaluate the Decision Tree

100 เอ็กซ์พี

Logistic Regression

50 เอ็กซ์พี

Build a Logistic Regression model

100 เอ็กซ์พี

Evaluate the Logistic Regression model

100 เอ็กซ์พี

Turning Text into Tables

50 เอ็กซ์พี

Punctuation, numbers and tokens

100 เอ็กซ์พี

Stopwords and hashing

100 เอ็กซ์พี

Training a spam classifier

100 เอ็กซ์พี

เริ่มบท

3

Regression

Next you'll learn to create Linear Regression models. You'll also find out how to augment your data by engineering new predictors as well as a robust approach to selecting only the most relevant predictors.

One-Hot Encoding

50 เอ็กซ์พี

Encoding flight origin

100 เอ็กซ์พี

Encoding shirt sizes

50 เอ็กซ์พี

50 เอ็กซ์พี

Flight duration model: Just distance

100 เอ็กซ์พี

Interpreting the coefficients

100 เอ็กซ์พี

Flight duration model: Adding origin airport

100 เอ็กซ์พี

Interpreting coefficients

100 เอ็กซ์พี

Bucketing & Engineering

50 เอ็กซ์พี

Bucketing departure time

100 เอ็กซ์พี

Flight duration model: Adding departure time

100 เอ็กซ์พี

Regularization

50 เอ็กซ์พี

Flight duration model: More features!

100 เอ็กซ์พี

Flight duration model: Regularization!

100 เอ็กซ์พี

เริ่มบท

4

Ensembles & Pipelines

Finally you'll learn how to make your models more efficient. You'll find out how to use pipelines to make your code clearer and easier to maintain. Then you'll use cross-validation to better test your models and select good model parameters. Finally you'll dabble in two types of ensemble model.

50 เอ็กซ์พี

Flight duration model: Pipeline stages

100 เอ็กซ์พี

Flight duration model: Pipeline model

100 เอ็กซ์พี

SMS spam pipeline

100 เอ็กซ์พี

Cross-Validation

50 เอ็กซ์พี

Cross validating simple flight duration model

100 เอ็กซ์พี

Cross validating flight duration model pipeline

100 เอ็กซ์พี

Grid Search

50 เอ็กซ์พี

Optimizing flights linear regression

100 เอ็กซ์พี

Dissecting the best flight duration model

100 เอ็กซ์พี

SMS spam optimised

100 เอ็กซ์พี

How many models for grid search?

50 เอ็กซ์พี

50 เอ็กซ์พี

Delayed flights with Gradient-Boosted Trees

100 เอ็กซ์พี

Delayed flights with a Random Forest

100 เอ็กซ์พี

Evaluating Random Forest

100 เอ็กซ์พี

Closing thoughts

50 เอ็กซ์พี

เริ่มบท

Machine Learning with PySpark

หลักสูตรเสร็จสมบูรณ์

ได้รับใบรับรองความสำเร็จ

เพิ่มข้อมูลรับรองนี้ลงในโปรไฟล์ LinkedIn, ประวัติย่อ หรือเรซูเม่ของคุณ
แชร์ลงในโซเชียลมีเดียและในรายงานประเมินผลการปฏิบัติงานของคุณลงทะเบียนเลย

เข้าร่วมกับ... 19 ล้านผู้เรียน และเริ่ม Machine Learning with PySpark วันนี้เลย!

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

พัฒนาทักษะด้านข้อมูลของคุณด้วย DataCamp for Mobile

พัฒนาทักษะได้ทุกที่ทุกเวลาด้วยคอร์สเรียนบนมือถือและแบบฝึกหัดเขียนโค้ดประจำวัน 5 นาทีของเรา