After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Trong vài năm qua, Big Data đã tạo nên nhiều bàn luận và nay đã trở thành xu hướng chính ở nhiều công ty. Vậy Big Data là gì? Khóa học này giới thiệu các nền tảng của Big Data thông qua PySpark. Spark là một khung "tính toán cụm cực nhanh" dành cho Big Data. Nó cung cấp một động cơ xử lý dữ liệu tổng quát và cho phép bạn chạy chương trình nhanh hơn tới 100 lần trong bộ nhớ, hoặc 10 lần trên đĩa, so với Hadoop. Bạn sẽ dùng PySpark, gói Python dành cho lập trình Spark, cùng các thư viện cấp cao mạnh mẽ như SparkSQL, MLlib (cho Machine Learning), v.v. Bạn sẽ khám phá tác phẩm của William Shakespeare, phân tích dữ liệu Fifa 2018 và thực hiện phân cụm trên các bộ dữ liệu bộ gen. Kết thúc khóa học, bạn sẽ nắm vững PySpark và cách ứng dụng vào phân tích Big Data tổng quát.
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Giới thiệu phân tích Big Data với Spark
Chương này giới thiệu thế giới Big Data đầy hứng khởi, cùng các khái niệm và những khung xử lý Big Data khác nhau. Bạn sẽ hiểu vì sao Apache Spark được xem là khung tốt nhất cho Big Data.
2
Lập trình với PySpark RDD
Trừu tượng chính mà Spark cung cấp là resilient distributed dataset (RDD), kiểu dữ liệu nền tảng và xương sống của động cơ này. Chương này giới thiệu về RDD và cách tạo, thực thi RDD thông qua các phép biến đổi (Transformations) và hành động (Actions) trên RDD.
3
PySpark SQL & DataFrame
Trong chương này, bạn sẽ học về Spark SQL, một mô-đun của Spark dành cho xử lý dữ liệu có cấu trúc. Nó cung cấp một lớp trừu tượng lập trình gọi là DataFrame và cũng có thể hoạt động như một engine truy vấn SQL phân tán. Chương này cho thấy cách Spark SQL cho phép bạn sử dụng DataFrame trong Python.
4
Machine Learning với PySpark MLlib
PySpark MLlib là thư viện Machine Learning có khả năng mở rộng của Apache Spark trong Python, bao gồm các thuật toán học máy phổ biến và các tiện ích kèm theo. Xuyên suốt chương cuối, bạn sẽ học các thuật toán Machine Learning quan trọng. Bạn sẽ xây dựng hệ gợi ý phim và bộ lọc thư rác, và sử dụng phân cụm k-means.
Nền tảng Big Data với PySpark
Hoàn
thành khóa học
