After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
コース説明
現実のデータは雑然としており、その意味を見いだすのがあなたの役目です。MTCars や Iris のような玩具データセットは丁寧にキュレーション・クレンジングされていますが、それでも強力な Machine Learning アルゴリズムが意味を抽出し、予測・分類・クラスタリングに活用できるようにするには、変換が必要です。このコースでは、データサイエンティストが時間の70〜80%を費やすと言われる実務、すなわちデータ整形と特徴量エンジニアリングの泥臭い部分を扱います。データセットの規模がますます大きくなる今、PySpark を使ってこのビッグデータの課題をスケーラブルに解決していきましょう！
前提条件
カリキュラム
コース概要
1
探索的データ分析
飛び込む前に、まずは問題設定を少し理解しましょう。そのうえで、データセットを統計的・視覚的に点検する方法を学びます。
2
Spark関数で行うデータ整形
実データが最初から分析に適した状態であることはほとんどありません。この章では、不要な情報の削除、欠損値の扱い、そして分析に追加のデータを取り込む方法を学びます。
3
特徴量エンジニアリング
この章では、Machine Learning モデルが学習に使える新しい特徴量を作成する方法を学びます。フィールドの組み合わせ、乱雑な列からの値の抽出、より良い結果のためのエンコーディングといったアプローチを取り上げます。
4
モデルの構築
この章では、まずどの種類のモデルを選ぶかを学びます。次に、データをモデルに適用して評価する方法を学びます。最後に、結果の解釈方法とモデルを後で使えるように保存する方法を学びます。
PySparkで学ぶ特徴量エンジニアリング
コース修了
