PySpark로 데이터 정제하기

데이터를 다루는 일은 어렵고, 수백만에서 수십억 행을 다루면 더 복잡해집니다. 상대적으로 깔끔한 데이터로 노트북에서 작성된 데이터 처리 코드를 받으셨나요? 프로토타입 수준의 데이터 프로세스를 운영 환경으로 이전하는 일을 맡게 될 가능성이 큽니다. 누락된 필드, 기묘한 형식, 그리고 데이터 규모가 몇 자릿수나 더 큰 실제 데이터셋을 다뤄 보셨을 수도 있어요. 이런 모든 것이 처음이라도, 이 과정을 통해 Apache Spark와 Python으로 데이터 프로세스를 준비하는 데 필요한 내용을 배울 수 있습니다. 성능이 뛰어나고 유지보수 가능하며 이해하기 쉬운 데이터 처리 플랫폼을 만들기 위한 용어, 방법, 모범 사례를 익히게 됩니다.