PySpark でデータをクレンジングする

データを扱うのは難しいものです。ましてや数百万、数十億行規模となるとさらに大変です。 きれいなデータを前提にノートPC上で書かれたデータ処理コードを受け取りましたか？ おそらく、プロトタイプのデータ処理を本番へ移行する役割を任されたことがあるのではないでしょうか。 欠損値や奇妙な書式、そして桁違いのデータ量を含む実世界のデータセットに取り組んだことがあるかもしれません。これが初めてでも、このコースでは、Apache Spark と Python を使ってデータ処理を準備するために必要なことを学べます。 用語、手法、そして高性能で保守しやすく、理解しやすいデータ処理基盤を作るためのベストプラクティスを学習します。