After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
コース説明
近年Big Dataは大きな注目を集め、多くの企業で一般的に活用されるようになりました。では、Big Dataとは何でしょうか？このコースでは、PySparkを通してBig Dataの基礎を学びます。SparkはBig Data向けの「超高速なクラスター計算」フレームワークで、汎用のデータ処理エンジンを提供し、Hadoopに比べてメモリ上で最大100倍、ディスク上で最大10倍の高速化が可能です。PythonからSparkを扱うPySparkや、SparkSQL、MLlib（Machine Learning向け）などの強力な高水準ライブラリを使います。William Shakespeareの作品の分析、Fifa 2018データの解析、ゲノムデータセットのクラスタリングにも取り組みます。コースの最後には、PySparkの深い理解と、一般的なBig Data分析への応用力が身につきます。
前提条件
カリキュラム
コース概要
1
SparkによるBig Data分析の導入
この章では、Big Dataの魅力的な世界を紹介し、Big Data処理のためのさまざまな概念とフレームワークについて学びます。なぜApache SparkがBig Dataに最適なフレームワークと考えられているのかを理解できます。
2
PySpark RDDによるプログラミング
Sparkが提供する主な抽象化はresilient distributed dataset（RDD）であり、これはこのエンジンの基盤となる基本データ型です。本章ではRDDを紹介し、RDD TransformationsやActionsを使ってRDDを作成・実行する方法を学びます。
3
PySpark SQL と DataFrame
この章では、構造化データ処理のためのSparkモジュールであるSpark SQLについて学びます。DataFrameというプログラミング抽象化を提供し、分散SQLクエリエンジンとしても動作します。本章では、Spark SQLを使ってPythonでDataFrameを扱う方法を示します。
4
PySpark MLlibで学ぶMachine Learning
PySpark MLlibは、Pythonで利用できるApache SparkのスケーラブルなMachine Learningライブラリで、一般的な学習アルゴリズムやユーティリティを含みます。最終章を通して、重要なMachine Learningアルゴリズムを学びます。映画のレコメンデーションエンジンやスパムフィルタを構築し、k-meansクラスタリングも実装します。
PySparkで学ぶBig Data入門
コース修了
