ข้ามไปยังเนื้อหาหลัก

บ้าน Spark

Courses

Cleaning Data with PySpark

ขั้นสูงระดับทักษะ

อัปเดตแล้ว 02/2569

Learn how to clean data with Apache Spark in Python.

เริ่มเรียนหลักสูตรฟรี

SparkData Preparation4 ชม.16 videos53 Exercises4,150 เอ็กซ์พี32,829คำแถลงแสดงความสำเร็จ

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

เป็นที่ชื่นชอบของผู้เรียนในบริษัทหลายพันแห่ง

ฝึกอบรมบุคคลตั้งแต่ 2 คนขึ้นไป?

ลองใช้ DataCamp for Business

คำอธิบายรายวิชา

Working with data is tricky - working with millions or even billions of rows is worse. Did you receive some data processing code written on a laptop with fairly pristine data? Chances are you’ve probably been put in charge of moving a basic data process from prototype to production. You may have worked with real world datasets, with missing fields, bizarre formatting, and orders of magnitude more data. Even if this is all new to you, this course helps you learn what’s needed to prepare data processes using Python with Apache Spark. You’ll learn terminology, methods, and some best practices to create a performant, maintainable, and understandable data processing platform.

ข้อกำหนดเบื้องต้น

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

50 เอ็กซ์พี

Data cleaning review

50 เอ็กซ์พี

Defining a schema

100 เอ็กซ์พี

Immutability and lazy processing

50 เอ็กซ์พี

Immutability review

50 เอ็กซ์พี

Using lazy processing

100 เอ็กซ์พี

Understanding Parquet

50 เอ็กซ์พี

Saving a DataFrame in Parquet format

100 เอ็กซ์พี

SQL and Parquet

100 เอ็กซ์พี

เริ่มบท

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

50 เอ็กซ์พี

Filtering column content with Python

100 เอ็กซ์พี

Filtering Question #1

50 เอ็กซ์พี

Filtering Question #2

50 เอ็กซ์พี

Modifying DataFrame columns

100 เอ็กซ์พี

Conditional DataFrame column operations

50 เอ็กซ์พี

when() example

100 เอ็กซ์พี

When / Otherwise

100 เอ็กซ์พี

User defined functions

50 เอ็กซ์พี

Understanding user defined functions

50 เอ็กซ์พี

Using user defined functions in Spark

100 เอ็กซ์พี

Partitioning and lazy processing

50 เอ็กซ์พี

Adding an ID Field

100 เอ็กซ์พี

IDs with different partitions

100 เอ็กซ์พี

More ID tricks

100 เอ็กซ์พี

เริ่มบท

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

50 เอ็กซ์พี

Caching a DataFrame

100 เอ็กซ์พี

Removing a DataFrame from cache

100 เอ็กซ์พี

Improve import performance

50 เอ็กซ์พี

File size optimization

50 เอ็กซ์พี

File import performance

100 เอ็กซ์พี

Cluster configurations

50 เอ็กซ์พี

Reading Spark configurations

100 เอ็กซ์พี

Writing Spark configurations

100 เอ็กซ์พี

Performance improvements

50 เอ็กซ์พี

Normal joins

100 เอ็กซ์พี

Using broadcasting on Spark joins

100 เอ็กซ์พี

Comparing broadcast vs normal joins

100 เอ็กซ์พี

เริ่มบท

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

50 เอ็กซ์พี

Quick pipeline

100 เอ็กซ์พี

Pipeline data issue

50 เอ็กซ์พี

Data handling techniques

50 เอ็กซ์พี

Removing commented lines

100 เอ็กซ์พี

Removing invalid rows

100 เอ็กซ์พี

Splitting into columns

100 เอ็กซ์พี

Further parsing

100 เอ็กซ์พี

Data validation

50 เอ็กซ์พี

Validate rows via join

100 เอ็กซ์พี

Examining invalid rows

100 เอ็กซ์พี

Final analysis and delivery

50 เอ็กซ์พี

Dog parsing

100 เอ็กซ์พี

Per image count

100 เอ็กซ์พี

Percentage dog pixels

100 เอ็กซ์พี

Congratulations and next steps

50 เอ็กซ์พี

เริ่มบท

Cleaning Data with PySpark

หลักสูตรเสร็จสมบูรณ์

ได้รับใบรับรองความสำเร็จ

เพิ่มข้อมูลรับรองนี้ลงในโปรไฟล์ LinkedIn, ประวัติย่อ หรือเรซูเม่ของคุณ
แชร์ลงในโซเชียลมีเดียและในรายงานประเมินผลการปฏิบัติงานของคุณลงทะเบียนเลย

สำหรับธุรกิจ

ฝึกอบรมบุคคลตั้งแต่ 2 คนขึ้นไป?

ให้ทีมของคุณเข้าถึงแพลตฟอร์ม DataCamp แบบเต็มรูปแบบ รวมถึงฟีเจอร์ทั้งหมด

ในแทร็กต่อไปนี้

Big Data with PySpark

instructors

Mike Metzger

Data Engineer Consultant @ Flexible Creations

collaborators

Hadrien Lacroix

Hillary Green-Lerman

Courses resources

Dallas Council Votesdatasets

Dallas Council Votersdatasets

Flights - 2014datasets

Flights - 2015datasets

Flights - 2016datasets

Flights - 2017datasets

เข้าร่วมกับ... 19 ล้านผู้เรียน และเริ่ม Cleaning Data with PySpark วันนี้เลย!

สร้างบัญชีฟรีของคุณ

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

พัฒนาทักษะด้านข้อมูลของคุณด้วย DataCamp for Mobile

พัฒนาทักษะได้ทุกที่ทุกเวลาด้วยคอร์สเรียนบนมือถือและแบบฝึกหัดเขียนโค้ดประจำวัน 5 นาทีของเรา