Профессиональный инженер данных на Python

Откройте ключевые компоненты современной архитектуры данных: от ingestion и serving до governance и orchestration.

Командная строка Unix помогает объединять существующие программы по-новому, автоматизировать рутинные задачи и запускать программы на кластерах и в облаках.

Изучите основы ВМ, контейнеров, Docker и Kubernetes. Поймите различия, чтобы начать!

Курс знакомит с dbt для моделирования данных, преобразований, тестирования и создания документации.

Изучите основы объектно-ориентированного программирования (OOP), создавая собственные классы и объекты!

В этом введении в DevOps вы освоите основы DevOps и изучите ключевые концепции, инструменты и методы для повышения продуктивности.

Освойте тестирование Python: Освойте методы, создавайте проверки и обеспечьте безошибочный код с pytest и unittest.

Sharpen your debugging skills to enhance sales data accuracy.

Познакомьтесь с Docker и узнайте, почему он важен в арсенале специалиста по данным. Узнайте о контейнерах Docker, образах и многом другом.

Освойте PySpark для работы с большими данными: обрабатывайте, запрашивайте и оптимизируйте огромные наборы данных для мощной аналитики!

This chapter introduces the exciting world of Big Data, as well as the various concepts and different frameworks for processing Big Data. You will understand why Apache Spark is considered the best framework for BigData.

The main abstraction Spark provides is a resilient distributed dataset (RDD), which is the fundamental and backbone data type of this engine. This chapter introduces RDDs and shows how RDDs can be created and executed using RDD Transformations and Actions.

In this chapter, you'll learn about Spark SQL which is a Spark module for structured data processing. It provides a programming abstraction called DataFrames and can also act as a distributed SQL query engine. This chapter shows how Spark SQL allows you to use DataFrames in Python.

Step into a data engineer's shoes and master data cleaning with PySpark on an e-commerce orders dataset!

In this chapter, we learn how to download data files from web servers via the command line. In the process, we also learn about documentation manuals, option flags, and multi-file processing.

In the last chapter, we bridge the connection between command line and other data science languages and learn how they can work together. Using Python as a case study, we learn to execute Python on the command line, to install dependencies using the package manager pip, and to build an entire model pipeline using the command line.

Узнайте о разнице между пакетной и потоковой обработкой, масштабировании потоковых систем и реальных сценариях применения.

В этом курсе вы изучите основы Kubernetes и научитесь разворачивать и оркестрировать контейнеры с помощью Manifests и инструкций kubectl.

Understand how data engineering can impact your business.