Przejdź do głównej treści

Strona główna Spark

Kurs

Inżynieria cech z PySpark

ZaawansowanyPoziom umiejętności

Zaktualizowano 01.2026

Poznaj szczegóły, na które data scientists poświęcają 70–80% czasu: data wrangling i feature engineering.

Zacznij kurs za darmo

SparkData Manipulation

4 godz.

16 filmów

60 Ćwiczeń

5,000 XP

17,763

Zaświadczenie o ukończeniu

Uwielbiany przez kursantów z tysięcy firm

Szkolisz zespół?

Wypróbuj dla firm

Opis kursu

Prawdziwe dane są nieuporządkowane – twoim zadaniem jest nadanie im sensu. Zestawy danych takie jak MTCars czy Iris to efekt starannej selekcji i czyszczenia, a nawet one wymagają przekształcenia, zanim algorytmy uczenia maszynowego będą mogły wyciągać z nich wnioski, prognozować, klasyfikować lub grupować. Ten kurs skupia się na tym, na co badacze danych poświęcają 70–80% swojego czasu: przetwarzaniu danych i inżynierii cech. Ponieważ zbiory danych stają się coraz większe, użyjemy PySpark, żeby okiełznać problem Big Data!

Wymagania wstępne

Supervised Learning with scikit-learn Introduction to PySpark

1

Exploratory Data Analysis

Get to know a bit about your problem before you dive in! Then learn how to statistically and visually inspect your dataset!

Where to Begin

Where to begin?

Check Version

Load in the data

Defining A Problem

What are we predicting?

Verifying Data Load

Verifying DataTypes

Visually Inspecting Data / EDA

Using Corr()

Using Visualizations: distplot

Using Visualizations: lmplot

Zacznij rozdział

2

Wrangling with Spark Functions

Real data is rarely clean and ready for analysis. In this chapter learn to remove unneeded information, handle missing values and add additional data to your analysis.

Dropping data

Dropping a list of columns

Using text filters to remove records

Filtering numeric fields conditionally

Adjusting Data

Custom Percentage Scaling

Scaling your scalers

Correcting Right Skew Data

Working with Missing Data

Visualizing Missing Data

Imputing Missing Data

Calculate Missing Percents

Getting More Data

A Dangerous Join

Spark SQL Join

Checking for Bad Joins

Zacznij rozdział

3

Feature Engineering

In this chapter learn how to create new features for your machine learning model to learn from. We'll look at generating them by combining fields, extracting values from messy columns or encoding them for better results.

Feature Generation

Differences

Deeper Features

Time Features

Time Components

Joining On Time Components

Extracting Features

Extracting Text to New Features

Splitting & Exploding

Pivot & Join

Binarizing, Bucketing & Encoding

Binarizing Day of Week

One Hot Encoding

Zacznij rozdział

4

Building a Model

In this chapter we'll learn how to choose which type of model we want. Then we will learn how to apply our data to the model and evaluate it. Lastly, we'll learn how to interpret the results and save the model for later!

Choosing the Algorithm

Which MLlib Module?

Creating Time Splits

Adjusting Time Features

Feature Engineering Assumptions for RFR

Feature Engineering For Random Forests

Dropping Columns with Low Observations

Naively Handling Missing and Categorical Values

Building a Model

Building a Regression Model

Evaluating & Comparing Algorithms

Understanding Metrics

Interpreting, Saving & Loading

Interpreting Results

Saving & Loading Models

Final Thoughts

Zacznij rozdział

Inżynieria cech z PySpark

Kurs
ukończony

Zdobądź zaświadczenie o ukończeniu

Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysu
Udostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz

Dołącz do ponad 19 milionów kursantów i zacznij Inżynieria cech z PySpark już dziś!

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.