After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
코스 설명
현실의 데이터는 늘 지저분합니다. 우리의 일은 그 속에서 의미를 찾아내는 것이죠. MTCars나 Iris 같은 토이 데이터셋도 꼼꼼한 선별과 정제를 거쳤지만, 여전히 강력한 Machine Learning 알고리즘이 의미를 추출하고 예측·분류·군집화에 활용하려면 적절한 변환이 필요합니다. 이 과정에서는 데이터 과학자들이 시간의 70~80%를 쏟는 데이터 정리와 Feature Engineering의 실무적인 내용을 다룹니다. 데이터셋 규모가 점점 커지는 지금, PySpark로 Big Data 문제를 효율적으로 다뤄 보세요!
사전 요구 사항
커리큘럼
코스 개요
1
탐색적 데이터 분석
바로 뛰어들기 전에 문제를 먼저 파악해 보세요! 그런 다음 통계적·시각적으로 데이터셋을 점검하는 방법을 배웁니다.
2
Spark 함수로 정리하기
현실의 데이터는 대부분 바로 분석할 수 있는 상태가 아닙니다. 이 장에서는 불필요한 정보를 제거하고, 결측값을 처리하며, 분석에 추가 데이터를 결합하는 방법을 학습합니다.
3
Feature Engineering
이 장에서는 Machine Learning 모델이 학습할 수 있도록 새로운 피처를 만드는 방법을 배웁니다. 필드를 결합해 생성하거나, 지저분한 컬럼에서 값을 추출하거나, 더 나은 성능을 위해 인코딩하는 기법을 살펴봅니다.
4
모델 구축
이 장에서는 어떤 유형의 모델을 선택할지 결정하는 법을 배우고, 준비한 데이터를 모델에 적용해 평가하는 과정을 익힙니다. 마지막으로 결과를 해석하고 모델을 저장하는 방법까지 배웁니다!
PySpark로 하는 Feature Engineering
코스
완료
