ข้ามไปยังเนื้อหาหลัก

บ้าน Spark

Courses

Feature Engineering with PySpark

ขั้นสูงระดับทักษะ

อัปเดตแล้ว 01/2569

Learn the gritty details that data scientists are spending 70-80% of their time on; data wrangling and feature engineering.

เริ่มเรียนหลักสูตรฟรี

SparkData Manipulation4 ชม.16 videos60 Exercises5,000 เอ็กซ์พี17,615คำแถลงแสดงความสำเร็จ

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

เป็นที่ชื่นชอบของผู้เรียนในบริษัทหลายพันแห่ง

ฝึกอบรมบุคคลตั้งแต่ 2 คนขึ้นไป?

ลองใช้ DataCamp for Business

คำอธิบายรายวิชา

The real world is messy and your job is to make sense of it. Toy datasets like MTCars and Iris are the result of careful curation and cleaning, even so the data needs to be transformed for it to be useful for powerful machine learning algorithms to extract meaning, forecast, classify or cluster. This course will cover the gritty details that data scientists are spending 70-80% of their time on; data wrangling and feature engineering. With size of datasets now becoming ever larger, let's use PySpark to cut this Big Data problem down to size!

ข้อกำหนดเบื้องต้น

Supervised Learning with scikit-learn Introduction to PySpark

1

Exploratory Data Analysis

Get to know a bit about your problem before you dive in! Then learn how to statistically and visually inspect your dataset!

Where to Begin

50 เอ็กซ์พี

Where to begin?

50 เอ็กซ์พี

Check Version

100 เอ็กซ์พี

Load in the data

100 เอ็กซ์พี

Defining A Problem

50 เอ็กซ์พี

What are we predicting?

100 เอ็กซ์พี

Verifying Data Load

100 เอ็กซ์พี

Verifying DataTypes

100 เอ็กซ์พี

Visually Inspecting Data / EDA

50 เอ็กซ์พี

Using Corr()

100 เอ็กซ์พี

Using Visualizations: distplot

100 เอ็กซ์พี

Using Visualizations: lmplot

100 เอ็กซ์พี

เริ่มบท

2

Wrangling with Spark Functions

Real data is rarely clean and ready for analysis. In this chapter learn to remove unneeded information, handle missing values and add additional data to your analysis.

Dropping data

50 เอ็กซ์พี

Dropping a list of columns

100 เอ็กซ์พี

Using text filters to remove records

100 เอ็กซ์พี

Filtering numeric fields conditionally

100 เอ็กซ์พี

Adjusting Data

50 เอ็กซ์พี

Custom Percentage Scaling

100 เอ็กซ์พี

Scaling your scalers

100 เอ็กซ์พี

Correcting Right Skew Data

100 เอ็กซ์พี

Working with Missing Data

50 เอ็กซ์พี

Visualizing Missing Data

100 เอ็กซ์พี

Imputing Missing Data

100 เอ็กซ์พี

Calculate Missing Percents

100 เอ็กซ์พี

Getting More Data

50 เอ็กซ์พี

A Dangerous Join

100 เอ็กซ์พี

Spark SQL Join

100 เอ็กซ์พี

Checking for Bad Joins

100 เอ็กซ์พี

เริ่มบท

3

Feature Engineering

In this chapter learn how to create new features for your machine learning model to learn from. We'll look at generating them by combining fields, extracting values from messy columns or encoding them for better results.

Feature Generation

50 เอ็กซ์พี

Differences

100 เอ็กซ์พี

100 เอ็กซ์พี

Deeper Features

100 เอ็กซ์พี

Time Features

50 เอ็กซ์พี

Time Components

100 เอ็กซ์พี

Joining On Time Components

100 เอ็กซ์พี

100 เอ็กซ์พี

Extracting Features

50 เอ็กซ์พี

Extracting Text to New Features

100 เอ็กซ์พี

Splitting & Exploding

100 เอ็กซ์พี

Pivot & Join

100 เอ็กซ์พี

Binarizing, Bucketing & Encoding

50 เอ็กซ์พี

Binarizing Day of Week

100 เอ็กซ์พี

100 เอ็กซ์พี

One Hot Encoding

100 เอ็กซ์พี

เริ่มบท

4

Building a Model

In this chapter we'll learn how to choose which type of model we want. Then we will learn how to apply our data to the model and evaluate it. Lastly, we'll learn how to interpret the results and save the model for later!

Choosing the Algorithm

50 เอ็กซ์พี

Which MLlib Module?

50 เอ็กซ์พี

Creating Time Splits

100 เอ็กซ์พี

Adjusting Time Features

100 เอ็กซ์พี

Feature Engineering Assumptions for RFR

50 เอ็กซ์พี

Feature Engineering For Random Forests

50 เอ็กซ์พี

Dropping Columns with Low Observations

100 เอ็กซ์พี

Naively Handling Missing and Categorical Values

100 เอ็กซ์พี

Building a Model

50 เอ็กซ์พี

Building a Regression Model

100 เอ็กซ์พี

Evaluating & Comparing Algorithms

100 เอ็กซ์พี

Understanding Metrics

50 เอ็กซ์พี

Interpreting, Saving & Loading

50 เอ็กซ์พี

Interpreting Results

100 เอ็กซ์พี

Saving & Loading Models

100 เอ็กซ์พี

Final Thoughts

50 เอ็กซ์พี

เริ่มบท

Feature Engineering with PySpark

หลักสูตรเสร็จสมบูรณ์

ได้รับใบรับรองความสำเร็จ

เพิ่มข้อมูลรับรองนี้ลงในโปรไฟล์ LinkedIn, ประวัติย่อ หรือเรซูเม่ของคุณ
แชร์ลงในโซเชียลมีเดียและในรายงานประเมินผลการปฏิบัติงานของคุณลงทะเบียนเลย

เข้าร่วมกับ... 19 ล้านผู้เรียน และเริ่ม Feature Engineering with PySpark วันนี้เลย!

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

พัฒนาทักษะด้านข้อมูลของคุณด้วย DataCamp for Mobile

พัฒนาทักษะได้ทุกที่ทุกเวลาด้วยคอร์สเรียนบนมือถือและแบบฝึกหัดเขียนโค้ดประจำวัน 5 นาทีของเรา