プロフェッショナルデータエンジニア Pythonで

最新のデータアーキテクチャを体系的に学習。IngestionからServing、Governance、Orchestrationまで主要要素を網羅します。

Unixのコマンドラインは、ユーザーが既存のプログラムを新たな方法で組み合わせたり、反復的な作業を自動化したり、クラスターやクラウド上でプログラムを実行したりするのに役立ちます。

仮想マシン（VM）、コンテナ、Docker、およびKubernetesの基礎を学びましょう。違いを理解して始めましょう！

本コースでは、データモデリング、変換、テスト、およびドキュメント作成のためのdbtについてご説明いたします。

オブジェクト指向プログラミング（OOP）の基礎を学び、独自のクラスとオブジェクトを作成しましょう。

NoSQLを習得しデータ基盤を強化。Snowflakeでビッグデータを扱い、PostgresのJSONでドキュメントを処理し、Redisでキー値データを管理。

DevOps入門で基礎を習得し、生産性を高める主要な概念・ツール・手法を学びます。

Pythonのテストを習得。手法を学び、チェックを作成し、pytestとunittestでエラーのないコードを保証します。

Sharpen your debugging skills to enhance sales data accuracy.

Dockerの概要について学び、データ専門家のツールキットにおけるその重要性についてご説明いたします。Dockerコンテナやイメージなどについて学びましょう。

PySparkを習得し、ビッグデータを容易に扱えるようになろう。大規模なデータセットを処理し、クエリを実行し、最適化して、強力な分析を実現する方法を学びましょう！

This chapter introduces the exciting world of Big Data, as well as the various concepts and different frameworks for processing Big Data. You will understand why Apache Spark is considered the best framework for BigData.

The main abstraction Spark provides is a resilient distributed dataset (RDD), which is the fundamental and backbone data type of this engine. This chapter introduces RDDs and shows how RDDs can be created and executed using RDD Transformations and Actions.

In this chapter, you'll learn about Spark SQL which is a Spark module for structured data processing. It provides a programming abstraction called DataFrames and can also act as a distributed SQL query engine. This chapter shows how Spark SQL allows you to use DataFrames in Python.

Step into a data engineer's shoes and master data cleaning with PySpark on an e-commerce orders dataset!

In this chapter, we learn how to download data files from web servers via the command line. In the process, we also learn about documentation manuals, option flags, and multi-file processing.

In the last chapter, we bridge the connection between command line and other data science languages and learn how they can work together. Using Python as a case study, we learn to execute Python on the command line, to install dependencies using the package manager pip, and to build an entire model pipeline using the command line.

バッチ処理とストリーミングの違い、ストリーミングのスケーリング方法、実運用での活用例を学びます。

Apache Kafkaを基礎からアーキテクチャまで習得。実運用のデータストリーミングに向けて、作成・管理・トラブル対応を学びます。

本コースでは、Kubernetesの基礎を学び、Manifestsとkubectlでコンテナをデプロイしオーケストレーションします。

Understand how data engineering can impact your business.