Build your ultimate AI agent
课程介绍
使用并行处理加速你的 Python 代码
通过这门 4 小时的课程,你将了解如何利用 Python 中的 Dask 并行处理让你的工作流程更快。处理大数据时,你会遇到两个常见障碍:内存占用过高和运行时间过长。 Dask 库可以通过仅在需要时加载数据块来降低内存使用。 它可以通过并行使用您所有可用的计算核心来缩短运行时间。 最重要的是,它只需要对你现有的 Python 代码做很少的修改。
使用 Dask DataFrames 分析大型结构化数据
在本课程中,你将使用 Dask 分析 Spotify 歌曲数据、处理手语手势图像、计算天气数据趋势、分析音频录音,并在大数据上训练机器学习模型。你将从学习 Dask 的基础开始,探索 Python 中的并行处理如何加速几乎任何代码。 接下来,你将探索 Dask DataFrame 和数组,以及如何利用它们分析大型结构化数据。
使用 Dask-ML 训练机器学习模型
随着你在这门课程中的 51 个练习中不断进阶,你将学习如何处理任何类型的数据,使用 Dask bags 来处理非结构化和结构化数据。 最后,你将学习如何在 Python 中使用 Dask 来训练机器学习模型并提升计算速度。先修要求
课程大纲
课程大纲
1
惰性求值与并行计算
本章将带您掌握 Dask 与惰性求值的基础。学习完本章后,您几乎可以通过并行处理或多线程来加速任何 Python 代码。您还将了解这两种任务调度方式的区别,以及各自适用的场景。
2
大型结构化数据的并行处理
本章将学习如何使用 Dask array 和 Dask DataFrame 分析大型结构化数据。您会发现,自己对 NumPy 和 pandas 的现有认知可以轻松迁移到无法全部装入内存的数据上。
3
用于非结构化数据的 Dask Bag
处理任意类型的数据。您将学习如何使用 Dask bag 高效处理非结构化文本数据、半结构化的 JSON 数据,甚至录制的音频。
4
Dask 机器学习与收尾知识
利用 Dask 的能力来训练机器学习模型。您将学习如何使用 Dask-ML 包在大数据上训练机器学习模型,以及如何将 Dask 计算在进程与线程之间进行分配,以进一步提升计算速度。
Python 中的 Dask 并行编程
课程完成

