What is Deep Learning?
深度学习是一种机器学习方法，通过从示例中学习来教会计算机执行任务，方式类似于人类。想象一下教计算机识别猫：与其告诉它去找胡须、耳朵和尾巴，不如给它看成千上万张猫的图片。计算机会自行发现其中的共性模式，从而学会辨认猫。这就是深度学习的本质。
从技术角度看，深度学习使用一种受人脑启发的“神经网络”。这些网络由多层相互连接的节点组成，用于处理信息。层数越多，网络就越“深”，从而能够学习更复杂的特征并执行更复杂的任务。
神经元与神经网络的相似性
从机器学习到深度学习的演进
什么是机器学习？
机器学习本身是人工智能（AI）的一个子集，使计算机能够从数据中学习并在无需显式编程的情况下做出决策。它包含多种技术和算法，使系统能够识别模式、进行预测，并随着时间推移提升性能。您可以在另一篇文章中了解机器学习与 AI 的区别。
深度学习与传统机器学习的不同
尽管机器学习本身已具有变革性，深度学习更进一步，能够自动化许多通常需要人类专业知识的任务。
深度学习本质上是机器学习的一个专门子集，其特点是使用三层或更多层的神经网络。这些神经网络试图模拟人脑的行为——尽管还远未达到其能力——以便从海量数据中“学习”。您可以在另一篇文章中更详细地了解机器学习与深度学习。
特征工程的重要性
特征工程是从原始数据中选择、变换或创建与机器学习模型最相关变量（“特征”）的过程。
例如，如果您在构建天气预测模型，原始数据可能包括温度、湿度、风速和气压。特征工程需要判断哪些变量对天气预测最重要，并可能对其进行变换（例如将华氏温度转换为摄氏温度），以便更有利于模型使用。
在传统机器学习中，特征工程往往需要手工完成，耗时且需要领域知识。然而，深度学习的优势之一在于它能从原始数据中自动学习相关特征，从而减少人工干预。
深度学习为何重要？
深度学习之所以成为行业标准，原因如下：
- 处理非结构化数据：在结构化数据上训练的模型可以轻松从非结构化数据中学习，从而减少对数据集标准化所需的时间和资源。
- 处理海量数据：得益于图形处理单元（GPU）的引入，深度学习模型能够以极高速度处理海量数据。
- 高准确率：深度学习模型在计算机视觉、自然语言处理（NLP）和音频处理领域提供了最为准确的结果。
- 模式识别：大多数模型需要机器学习工程师干预，但深度学习模型可以自动检测各种模式。
在本教程中，我们将深入探索深度学习的世界，了解开启人工智能（AI）职业所需的关键概念。如果您希望结合实践练习学习，欢迎查看我们的课程Python 深度学习入门。
深度学习的核心概念
在深入研究深度学习算法及其应用之前，理解支撑这项革命性技术的基础概念至关重要。本节将介绍深度学习的基石：神经网络、深度神经网络和激活函数。
神经网络
深度学习的核心是神经网络，这是一种受人脑启发的计算模型。网络由相互连接的节点（“神经元”）组成，共同处理信息并作出决策。就像我们的大脑分区负责不同任务一样，神经网络也有分工明确的层来执行特定功能。
我们有一份完整指南什么是神经网络，更详细地讲解了基础知识。
深度神经网络
使神经网络“深”的是输入与输出之间所包含的层数。深度神经网络拥有多层结构，因而能够学习更复杂的特征并做出更准确的预测。网络的“深度”不仅赋予了深度学习其名称，也带来了它解决复杂问题的强大能力。
我们的深度神经网络入门教程介绍了 DNN 在深度学习和人工智能中的重要性。
激活函数
在神经网络中，激活函数就像“决策者”。它们决定哪些信息应传递到下一层。这些函数增加了复杂度，使网络能够从数据中学习并做出细致入微的判断。
深度学习如何工作
深度学习通过特征提取来识别同一标签的相似特征，然后利用决策边界来判断哪些特征能准确表征各个标签。在猫狗分类任务中，深度学习模型会提取诸如眼睛、面部和身体形状等信息，并将其划分为两类。
深度学习模型由深度神经网络组成。简单的神经网络包含输入层、隐藏层和输出层。深度学习模型包含多个隐藏层，随着层数增加，模型的准确率得到提升。
简单神经网络
输入层包含原始数据，并将其传递给隐藏层的节点。隐藏层的节点基于更广泛的目标信息对数据点进行分类，而每经过一层，目标范围逐步收窄，以产生更准确的推断。输出层利用隐藏层信息选择最可能的标签。在我们的例子中，即更准确地预测为狗的图片，而非猫。
人工智能 vs. 深度学习
让我们回答互联网上最常见的问题之一：“深度学习是人工智能吗？”简短回答是：是。深度学习是机器学习的子集，而机器学习是 AI 的子集。
AI vs. ML vs. DL
人工智能是构建能模仿人类行为或超越人类智能的机器这一概念。AI 使用机器学习和深度学习方法来完成人的任务。简而言之，AI 包含深度学习，而深度学习是目前能够做出智能决策的最先进算法之一。
深度学习的应用
近期，科技领域的人工智能应用激增，而这些应用都由深度学习模型驱动。应用范围从 Netflix 的电影推荐到亚马逊的仓储管理系统。
本节我们将了解一些使用深度学习构建的知名应用，这将帮助您认识深度神经网络的全部潜力。
计算机视觉
计算机视觉（CV）用于自动驾驶汽车的目标检测与避障；也用于人脸识别、姿态估计、图像分类和异常检测等。
人脸识别
自动语音识别
自动语音识别（ASR）被全球数十亿人使用。它就在我们的手机中，通常通过说“Hey, Google”或“Hi, Siri”激活。此类音频应用还用于文本转语音、音频分类和语音活动检测等。
语音模式识别
生成式 AI
随着CryptoPunk NFT 以 100 万美元成交，生成式 AI 的需求激增。CryptoPunk 是使用深度学习模型创作的生成艺术收藏。GPT-4 模型由 OpenAI 推出，凭借强大的 ChatGPT 工具革新了文本生成领域；如今，您可以教模型写整本小说，甚至为您的数据科学项目编写代码。
生成式艺术
翻译
深度学习的翻译不再局限于语言互译，我们现在可以通过OCR将图片转换为文本，或使用 NVIDIA 的 GauGAN2 将文本转换为图像。
语言翻译
时间序列预测
时间序列预测用于预测市场崩盘、股票价格及天气变化。金融行业依赖于投机与前景预测。深度学习与时间序列模型在模式识别方面优于人类，因此是该行业及相似领域的关键工具。
时间序列预测
自动化
深度学习用于任务自动化，例如训练机器人进行仓库管理。最流行的应用包括玩电子游戏并不断提升解谜能力。最近，OpenAI 的 Dota AI 战胜了职业战队 OG，震惊世界，因为人们未曾料到五个机器人可以智胜世界冠军。
由强化学习驱动的机械臂
客户反馈
深度学习用于处理客户反馈和投诉。它应用于各类聊天机器人，为客户提供顺畅服务体验。
客户反馈
生物医学
随着深度学习的引入，该领域受益最大。DL 在生物医学中用于癌症检测、稳定药物研发、胸片异常检测以及医疗设备辅助。
DNA 序列分析
深度学习模型
让我们了解不同类型的深度学习模型及其工作方式。
监督学习
监督学习使用带标签的数据集来训练模型，以对数据进行分类或进行数值预测。数据集包含特征与目标标签，算法通过最小化预测标签与真实标签之间的损失，逐步学习。监督学习可分为分类问题与回归问题。
分类
分类算法基于特征提取将数据集划分为不同类别。常见的深度学习模型包括用于图像分类的 ResNet50，以及用于文本分类的 BERT（语言模型））。
分类
回归
回归模型不是将数据划分为类别，而是学习输入与输出变量之间的关系来预测结果。回归模型常用于预测分析、天气预报和股市表现预测。LSTM 和 RNN 是常见的深度学习回归模型。
线性回归
无监督学习
无监督学习算法在无标签数据集中学习模式并进行聚类。深度学习模型无需人工干预即可学习隐藏模式，这类模型常用于推荐引擎。
无监督学习用于物种分组、医学影像和市场调研。最常见的深度学习聚类模型是深度嵌入聚类算法。
数据聚类
强化学习
强化学习（RL）是一种机器学习方法，智能体从环境中学习各种行为。智能体采取随机动作并获得奖励。它在无人工干预的复杂环境中通过试错来学会达成目标。
就像婴儿在父母鼓励下学会走路一样，AI 通过最大化奖励来学会执行特定任务，设计者则设定奖励策略。近期，随着机器人、自动驾驶、击败职业玩家以及火箭回收等进展，RL 在自动化领域需求高涨。
强化学习框架
以马里奥电子游戏为例：
- 一开始，智能体（马里奥角色）从环境接收状态零。
- 基于该状态，智能体将采取一个动作，在我们的例子中，马里奥向右移动。
- 此时状态发生改变，角色进入新的画面。
- 智能体获得奖励，因为向右移动后角色没有死亡。我们的主要目标是最大化奖励。
智能体将持续执行“采取动作—最大化奖励”的循环，直到通关或死亡。
生成对抗网络
生成对抗网络（GAN）使用两个神经网络协同工作，生成与原始数据相似的合成样本。近年来 GAN 备受关注，因为它们能够模仿大师风格创作出佳作。它被广泛用于生成合成艺术、视频、音乐和文本。想了解更多实际应用，请查看生成对抗网络教程。
生成对抗网络框架
GAN 在合成图像生成中的工作原理：
- 首先，生成器网络接收随机噪声作为输入并生成伪造图像。
- 将生成的图像与真实图像一同输入判别器。
- 判别器判断生成图像是否真实。它返回 0 到 1 的概率，其中 0 代表假图像，1 代表真图像。 The GANs' architecture contains two feedback loops. The discriminator is in a feedback loop with real images, whereas the generator is in a feedback loop with a discriminator. They work in sync to produce more authentic images.
Graph Neural Network
图是由边和顶点构成的数据结构。如果顶点（节点）之间存在方向性依赖，则边可以是有向的，也称为有向图。下图中的绿色圆圈是节点，箭头表示边。
有向图
图神经网络（GNN）是一类直接作用于图结构的数据深度学习架构。GNN 应用于海量数据集分析、推荐系统和计算机视觉。
图网络
它们还用于节点分类、链接预测和聚类。在某些情况下，图神经网络在物体识别和语义关系预测等方面的表现优于卷积神经网络。
自然语言处理
NLP 使用深度学习来读取、解析并理解人类语言，被广泛用于处理语音、文本和图像。迁移学习的引入让 NLP 更上一层楼，因为我们能够用少量样本微调模型并达到最先进的性能。
NLP 的子领域
NLP 可分为多个方向：
- 翻译：翻译语言、分子结构和数学方程
- 摘要：将大段文本压缩为几行，同时保留关键信息。
- 分类：将文本划分为不同类别。
- 生成：文本到文本生成；可用一行文字生成整篇文章。
- 对话：虚拟助理，保留对话上下文并模仿人类对话。
- 问答：AI 使用问答数据来回答问题。
- 特征提取：检测文本中的模式或抽取信息，如“命名实体识别”和“词性标注”。
- 句子相似度：评估不同文本之间的相似性。
- 文本转语音：将文本转换为可听语音。
- 自动语音识别：理解各类声音并将其转为文本。
- 光学字符识别：从图像中提取文本数据。
如果您想体验 NLP 的各类应用，试试 Hugging Face Spaces。Spaces 托管了各种可供您试玩的网页应用，为您的 NLP 项目提供灵感。
深入理解深度学习概念
激活函数
在神经网络中，激活函数产生输出的决策边界，用于提升模型性能。激活函数是一个数学表达式，会根据输入的重要性决定其是否应通过神经元。同时，它也为网络引入非线性。没有激活函数，神经网络就会变成简单的线性回归模型。
常见的激活函数包括：
- Tanh
- ReLU
- Sigmoid
- Linear
- Softmax
- Swish
激活函数
如上图所示，这些函数会产生不同的输出边界。通过多层结构和激活函数，您可以解决各种复杂问题。进一步了解深度学习中的激活函数。
损失函数
损失函数是实际值与预测值之间的差异。它使神经网络能够跟踪模型的整体表现。根据具体问题，我们选择特定类型的函数，例如均方误差。
Loss = Sum (Predicted - Actual)²
深度学习中常用的损失函数包括：
- Binary cross-entropy
- Categorical hinge
- Mean squared error
- Huber
- Sparse categorical cross-entropy
反向传播
在前向传播中，我们用随机输入初始化神经网络，得到同样随机的输出。为了提升模型表现，我们使用反向传播随机调整权重。为跟踪模型性能，我们需要一个损失函数来寻找全局最小值，以最大化模型的准确率。
随机梯度下降
梯度下降通过以可控方式改变权重来优化损失函数，从而实现最小损失。现在我们有了目标，但还需要方向——应增加还是减少权重以获得更好表现。损失函数的导数将为我们提供方向，并可据此更新网络的权重。
梯度下降
下式展示了如何使用梯度下降更新权重。
w = w -Jw
在随机梯度下降中，样本被分成小批次，而非使用整个数据集来优化梯度下降。如果您希望更快达到最小损失并优化计算资源，这种方法很有用。
超参数
超参数是在训练开始前可调的参数。这些参数直接影响模型性能，并帮助您更快找到全局最小值。
常见超参数列表：
- 学习率：每次迭代的步长，可设置在 0.1 到 0.0001 之间。简单说，它决定模型的学习速度。
- 批量大小：一次传入神经网络的样本数量。
- 轮数（epochs）：模型更新权重的次数迭代。轮数过多会导致过拟合，过少会导致欠拟合，因此需要折中选择。
通过Keras 教程：Python 中的深度学习了解这些组件如何协同工作。
常见算法
卷积神经网络
卷积神经网络（CNN）是一种前馈神经网络，能够处理结构化的数据阵列。它广泛用于计算机视觉应用，如图像分类。
卷积神经网络架构
CNN 擅长识别模式、线条和形状。CNN 由卷积层、池化层和输出层（全连接层）组成。图像分类模型通常包含多个卷积层，后接池化层，层数的增加会提高模型的准确率。进一步了解卷积层：Python 中的卷积神经网络。
循环神经网络
循环神经网络（RNN）不同于前馈网络，其层的输出会反馈到输入中，用于预测该层的输出。这让它在处理序列数据时表现更好，因为它能存储先前样本的信息来预测未来样本。了解更多请参阅循环神经网络（RNN）教程：类型与示例。
循环神经网络架构
在传统神经网络中，各层的输出基于当前输入计算；而在 RNN 中，输出也基于之前的输入计算。这使其在下一个词预测、股价预测、AI 聊天机器人和异常检测等任务中表现出色。
长短期记忆网络
长短期记忆网络（LSTM）是先进的循环神经网络类型，能够保留更多的历史信息。它解决了简单 RNN 中存在的梯度消失问题。
LSTM 架构
典型的 RNN 由带有单个 tanh 层的重复神经网络组成，而 LSTM 包含四个相互作用的层，通过协作来处理长序列数据。
如果您想进一步了解深度学习模型，可以亲手实践以下教程：用 LSTM 进行股票预测，或参加Keras 高级深度学习课程。
深度学习框架
深度学习框架有多种，例如 MxNet、CNTK 和 Caffe2，这里我们将了解最受欢迎的几种。
Tensorflow
Tensorflow（TF）是一个用于创建深度学习应用的开源库。它包含开展实验和开发商用 AI 产品所需的全部工具。它支持使用 CPU、GPU 和 TPU 训练复杂模型。TF 最初由 Google AI 团队为内部使用而开发，现已对公众开放。
Tensorflow API 可用于基于浏览器的应用、移动设备，TensorFlow Extended 则适合生产环境。TF 现已成为行业标准，广泛用于学术研究与生产环境中的深度学习模型部署。
TF 还配备了Tensorboard，这是一个能够分析机器学习实验的看板。近期，Tensorflow 开发者已将 Keras 集成进其框架，后者以开发深度神经网络而闻名。了解更多请参见Python 中的 TensorFlow 入门课程。
Keras
Keras是一个用 Python 编写的神经网络框架，能够运行在 Tensorflow、Theano 等多个后端之上。Keras 是一个为深度学习快速试验而开发的开源库，帮助您轻松将想法转化为可运行的 AI 应用。
其文档通俗易懂，API 与 Numpy 类似，可轻松集成到任何数据科学项目中。与 TF 一样，Keras 也可基于可用硬件在 CPU、GPU 和 TPU 上运行。更多信息请参阅Keras 深度学习入门。
PyTorch
PyTorch是最受欢迎且上手最容易的深度学习框架。它使用张量而非 Numpy 数组，以 GPU 加速执行快速数值计算。PyTorch 主要用于深度学习和复杂机器学习模型的开发。
学术研究者偏爱使用 PyTorch，因为它灵活易用。它由 C++ 与 Python 编写，同时支持 GPU 和 TPU 加速。它已成为解决各类深度学习问题的一站式方案。若想深入学习 PyTorch，可参加PyTorch 深度学习入门课程。
结论
在本教程中，我们介绍了什么是深度学习、深度学习的一些基础、其工作原理以及应用场景。我们还了解了深度神经网络的工作方式和不同类型的深度学习模型。最后，您也认识了几种常见的深度学习框架。
本教程为您进入深度学习领域提供了所有关键信息。若想进一步学习，Python 深度学习学习路径将帮助您为真实项目做好准备。如果您更熟悉 R 语言，也可以查看在 R 中使用 Keras 进行深度学习。
