Build your ultimate AI agent
Описание курса
Расширение возможностей аналитики с помощью конвейеров данных
Конвейеры данных лежат в основе каждой сильной платформы данных. Создание таких конвейеров — важнейший навык для инженеров данных, которые приносят огромную пользу бизнесу, готовому шагнуть в будущее, основанное на данных. Этот вводный курс поможет вам отточить навыки создания эффективных, производительных и надежных конвейеров данных.Создание и поддержка ETL-решений
На протяжении всего этого курса вы погрузитесь в полный процесс создания конвейера данных. Вы освоите навыки работы с библиотеками Python, такими какpandas и json, чтобы извлекать данные из структурированных и неструктурированных источников до их преобразования и сохранения для последующего использования. Попутно вы освоите инструменты и техники для повышения уверенности, такие как архитектурные диаграммы, модульные тесты и мониторинг, которые помогут выделить ваши конвейеры данных среди остальных. По мере продвижения вы будете проверять свои новые навыки на практике с помощью практических упражнений.Ускорьте рабочие процессы с данными
После завершения этого курса вы будете готовы проектировать, разрабатывать и использовать конвейеры данных, чтобы вывести ваш рабочий процесс с данными на новый уровень в работе, новой карьере или личном проекте.Предварительные требования
Программа
Структура курса
1
Введение в конвейеры данных
Узнайте, как данные собираются, обрабатываются и передаются с помощью конвейеров данных. Вы изучите свойства эффективных конвейеров и подготовитесь к тому, чтобы спроектировать и построить собственный.
2
Построение ETL-конвейеров
Научитесь использовать pandas для извлечения, преобразования и загрузки данных при построении первых конвейеров данных. Вы узнаете, как сделать логику ETL повторно используемой, а также применить логирование и обработку исключений в своих конвейерах.
3
Продвинутые методы ETL
Расширьте свои возможности с помощью продвинутых методов построения конвейеров: работы с нетабличными данными и сохранения DataFrame в базы данных SQL. Вы освоите инструменты для сложных преобразований с помощью pandas и познакомитесь с лучшими практиками работы с комплексными данными.
4
Развёртывание и сопровождение конвейера данных
В этой завершающей главе вы создадите инструменты для проверки и тестирования конвейеров данных перед их запуском в рабочую среду. После тестирования вы изучите методы сквозного запуска конвейера и способы мониторинга его производительности.
ETL и ELT на Python
Курс
завершён
