본문으로 바로가기

강의

PySpark 기초

중급기술 수준

업데이트됨 2025. 3.

PySpark 패키지를 사용하여 Spark에서 분산 데이터 관리 및 머신 러닝을 구현하는 방법을 배우세요.

무료로 강의 시작

SparkData Engineering

4시간

45 연습 문제

3,850 XP

150K+

성취 증명서

수천 개 기업의 학습자들이 사랑하는

팀을 교육하시나요?

비즈니스용으로 체험해 보세요

강의 설명

이 강의에서는 Python에서 Spark를 사용하는 방법을 배워요! Spark는 대규모 데이터셋을 병렬로 처리하는 도구이며 Python과도 잘 통합돼요. PySpark는 이 모든 것을 가능하게 하는 Python 패키지예요. 이 패키지를 사용해 Portland와 Seattle의 항공편 데이터를 다뤄 보겠습니다. 데이터를 정리하고, 항공편 지연 여부를 예측하는 Machine Learning 파이프라인을 처음부터 끝까지 만들어 볼 거예요. 이제 Python 코드에 Spark를 더하고, 고성능 Machine Learning의 세계로 들어가 볼까요!

선수 조건

Introduction to Python

1

PySpark 익히기

이 장에서는 Spark가 데이터를 어떻게 관리하는지, 그리고 Python에서 테이블을 읽고 쓰는 방법을 배워요.

Spark가 뭐죠?

Python에서 Spark 사용하기

SparkContext 살펴보기

DataFrame 사용하기

SparkSession 만들기

테이블 살펴보기

쿼리가 궁금하신가요?

Spark DataFrame을 Pandas로 변환하기

데이터에 Spark를 더해 보세요

중간 단계를 건너뛰기

2

데이터 조작하기

이 장에서는 Spark 세션에서 최적화된 데이터 쿼리를 제공하는 pyspark.sql 모듈을 살펴봐요.

열 생성하기

SQL 한눈에 보기

한눈에 보는 SQL (2)

데이터 필터링

열 선택하기

Selecting II

집계하기

그룹화와 집계 I

그룹화와 집계 II

조인(Joining)

3

Machine Learning 파이프라인 시작하기

PySpark에는 최신 Machine Learning 기능이 내장되어 있으며, 전체 Machine Learning 파이프라인을 만들기 위한 유틸리티도 제공돼요. 이 장에서 이러한 기능을 배워요.

Machine Learning 파이프라인

DataFrame 조인하기

데이터 타입

문자열을 정수로 변환

새 열 만들기

Boolean 만들기

문자열과 범주형 변수

Destination

벡터 조합하기

파이프라인 만들기

Test vs. Train

데이터 변환하기

데이터 분할하기

4

모델 튜닝과 선택

마지막 장에서는 지금까지 배운 내용을 적용해 어떤 항공편이 지연될지 예측하는 모델을 만들어 볼 거예요.

로지스틱 회귀란 무엇인가요?

모델러 생성하기

교차 검증

평가자 만들기

그리드 만들기

검증기 만들기

모델 학습하기

이진 분류기 평가하기

모델 평가하기

PySpark 기초

강의
완료

수료증 획득

LinkedIn 프로필, 이력서 또는 CV에 이 인증서를 추가하세요
소셜 미디어와 성과 평가에서 공유하세요지금 등록

19백만 명 이상의 학습자와 함께 PySpark 기초을(를) 시작하세요!

DataCamp for Mobile을 통해 데이터 분석 능력을 향상시키세요.

모바일 강좌와 매일 5분 코딩 챌린지를 통해 이동 중에도 학습 효과를 높이세요.