Build your ultimate AI agent
Описание курса
Используйте параллельную обработку, чтобы ускорить ваш код на Python
С помощью этого 4-часового курса вы узнаете, как параллельная обработка с Dask в Python может ускорить ваши рабочие процессы.При работе с большими данными вы столкнётесь с двумя распространёнными проблемами: чрезмерным использованием памяти и длительным временем выполнения. Библиотека Dask может снизить потребление памяти, загружая фрагменты данных только тогда, когда они нужны. Это может сократить время выполнения, используя все доступные вычислительные ядра параллельно. И что самое приятное, для этого потребуется совсем немного изменений в вашем существующем коде Python.
Анализируйте большие структурированные данные с помощью Dask DataFrames
В этом курсе вы используете Dask для анализа данных о песнях Spotify, обработки изображений жестов языка жестов, расчета тенденций в данных о погоде, анализа аудиозаписей и обучения моделей машинного обучения на больших данных.Вы начнёте с изучения основ Dask, узнаете, как параллельная обработка в Python может ускорить практически любой код. Далее вы познакомитесь с Dask DataFrames и массивами и узнаете, как использовать их для анализа больших структурированных данных.
Обучайте модели машинного обучения с помощью Dask-ML
По мере прохождения 51 упражнения в этом курсе вы узнаете, как обрабатывать любые типы данных, используя Dask bags для работы с неструктурированными и структурированными данными. Наконец, вы узнаете, как использовать Dask в Python для обучения моделей машинного обучения и повышения скорости вычислений.Предварительные требования
Программа
Структура курса
1
Отложенные вычисления и параллельные вычисления
В этой главе вы освоите основы Dask и отложенных вычислений. По её завершении вы сможете ускорить практически любой код на Python с помощью параллельной обработки или многопоточности. Вы узнаете, чем эти два метода планирования задач отличаются друг от друга и в каких случаях каждый из них предпочтительнее.
- Введение в Dask50 XP
- Отложенные вычисления50 XP
- Откладываем выполнение функций100 XP
- Графы задач и методы планирования50 XP
- Какие бывают планировщики?100 XP
- Визуализация графа задач100 XP
- Построение отложенных конвейеров50 XP
- Анализ треков на Spotify100 XP
- Насколько танцевальны современные песни?100 XP
- Самые популярные песни100 XP
2
Параллельная обработка больших структурированных данных
Здесь вы научитесь анализировать большие структурированные данные с помощью массивов Dask и DataFrames Dask. Вы увидите, как все знания о NumPy и pandas легко применяются к данным, которые слишком велики, чтобы целиком поместиться в памяти.
3
Dask Bags для неструктурированных данных
Работайте с данными любого типа. Вы узнаете, как Dask bags позволяют эффективно обрабатывать неструктурированные текстовые данные, полуструктурированные данные в формате JSON и даже аудиозаписи.
4
Машинное обучение с Dask и финальные штрихи
Используйте возможности Dask для обучения моделей машинного обучения. Вы научитесь обучать модели на больших данных с помощью пакета Dask-ML, а также распределять вычисления Dask между процессами и потоками для достижения ещё большей скорости.
Параллельное программирование с Dask на Python
Курс
завершён
