随着数据与机器学习技术的爆炸式增长，线性代数在机器学习与数据科学的数学体系中占据了基础地位。因此，立志从事机器学习与数据科学的人将从学习线性代数的基本概念（包括向量与矩阵、它们的性质及常见运算）中受益良多。
建议您学习我们的课程 Linear Algebra for Data Science in R，为数据科学与机器学习夯实数学基础。通过这门课程，您会体会到线性代数是一门优美而有趣的学科，它综合了代数与几何（通过直线、平面与体积）。尤其是，您会看到高维数据非常适合用向量对象来表示（如文本、图像、音频和特征），并了解到这些作为向量的数学对象在科学与工程中有广泛应用，例如物理、统计与计算机科学。
在本文中，我们将重点考察线性代数中的一个基础对象——矩阵。与其他数学对象一样，矩阵也有描述其特征的属性。具体而言，我将回顾并介绍方阵的一个表征属性：特征多项式或特征方程。让我们开始吧。
特征方程的定义
多项式是一个关于未知量的 n 次幂函数。未知量通常用字母 x 表示，但在特殊场景下也会采用其他记号，例如希腊字母 𝝀（lambda），本文将采用该记号。设方阵 A ∈Rn×n，未知量为 𝝀，其特征多项式定义为：
其中 det(.) 表示方阵的行列式，I 为单位矩阵。
当我们将该特征多项式等于零（求解 𝝀）时，便得到特征方程。该多项式方程的根称为特征值，是矩阵变换与机器学习（如降维）中的重要概念。如果您尚不熟悉特征向量与特征值，我们有相应教程：Eigenvectors and Eigenvalues: Key Insights for Data Science。
特征方程的推导与计算
下面展示如何为一个 2x2 方阵 A 构造特征多项式，其中：
由特征多项式的定义可得：
因此，上述矩阵 A 的特征多项式为 pA(𝝀)=𝝀2-7𝝀+10。将其等于零即可求出该多项式的根。
利用特征方程求特征值与特征向量
方阵的特征多项式包含与该矩阵相关的重要信息，包括特征值与行列式。因此，可以通过对未知量求解，从特征多项式中提取特征值。下面我们以上面的 2x2 方阵 A 为例演示该过程。如前所示，其特征多项式为：
现在，为了求特征值，我们将该多项式等于零，并用代数（或计算）方法求根：
因此，特征值为 𝝀1=5 与 𝝀2=2（特征值通常按降序列出，因为它们对应于某些数据矩阵中包含的信息量）。矩阵的全部特征值集合称为特征谱或谱。由特征值可在零空间中通过（A-𝝀I)x=0 推导矩阵的特征向量：
对于𝝀1=5，代入 5 并解该齐次方程组：
可得到一维（即一个基向量）的特征子空间。对 𝝀2=2 重复相同过程，得到：
在本例中，我们有两个不同的特征值。矩阵也可能有若干重复的相同特征值，从而得到多维（即有多个基向量）的特征子空间。在这种情况下，由彼此不同的特征向量所张成的特征子空间的维数称为该特征值的几何重数。
另一方面，某个特征值在矩阵的特征值中出现的次数称为代数重数。或许关于特征值与特征向量最有趣的应用之一是 Google 用于搜索结果重要性排序的 PageRank 算法。如果您感兴趣，我们的课程 Predictive Analytics using Networked Data in R 中有一章对 PageRank 算法做了有趣的介绍。
计算方法
特征多项式本质上是一类具有特殊性质的数学多项式（例如，它包含方阵的迹、行列式与特征值）。因此，当次数 n 较高时，求解特征方程的根会变得繁琐。
此外，推导特征多项式需要计算方阵的行列式。尽管出于教学目的，我们给出了纸笔推导与求解特征多项式的示例与方法，但在真实的数据科学应用中，通常使用数值（计算）方法来计算或近似特征多项式的根。拉普拉斯展开、高斯消元与 QR 分解 等方法可用于数值地求行列式。
用于求特征多项式根的常见算法包括牛顿—拉夫森法、二分法、割线法与穆勒法。
特征方程的应用
特征值与特征向量是矩阵的基本数学特征，可由方阵的特征方程导出。在统计与机器学习中，特征方程被用于基于特征值的多种算法，这些算法用于数据降维与信息提取，例如：
- 主成分分析（PCA） 与降维：根据所提取特征值的大小，将数据集减少为较少数量的向量。
- 谱聚类：一种基于数据集相似度矩阵特征谱的技术，用于在运行聚类算法（如 k-means 聚类）之前作为降维步骤。
- 图论 与网络分析：利用特征值与特征向量将图划分为社群（主成分）、将图嵌入到更低维空间以便可视化，以及通过谱稀疏化以具有相似特征谱的图来近似原图。
- 时间序列：利用奇异谱分析发掘序列中的潜在模式，如趋势、周期与异常。
特征多项式的性质
作为数学对象，特征多项式具有一些有趣的性质，包括：
- 首一：特征多项式的最高次项系数恒为 1（首一）。
- 次数：特征多项式的次数 n 恒等于对应的 n×n 矩阵的规模。
- 相似不变性：若对一个矩阵做变换得到与之相似的矩阵，则两者具有相同的特征多项式（即相似变换后的矩阵保留原有的特征多项式）。
- 系数：特征多项式的常数项为对应矩阵的行列式，倒数第二个系数为对应矩阵迹的无符号值，c0=det(A)，且 cn-1=-1n-1tr(A)
- 在特征多项式中，若将未知量替换为原方阵，则结果为零矩阵（凯莱—汉密尔顿定理）。换言之，特征多项式是该方阵的湮灭多项式。在这种形式下，可直接从方阵得到其特征值。由此可表述为：每个方阵都满足其自身的特征方程。
进阶主题
最后，作为进一步的数学探讨，我想简要介绍一些与特征多项式和矩阵性质相关的更高级细节，但不做过多展开。
- 最小多项式：与特征多项式密切相关的首一多项式是最小多项式，它是能湮灭方阵 A 的最低正次数的多项式。由于特征多项式也能湮灭其方阵，因此可由特征多项式推导最小多项式。
- 相似与对角化：若两个矩阵通过某一共同的线性变换相互关联，则称它们相似。若两个矩阵相似，则它们具有相同的秩、迹、行列式、特征值、特征多项式与最小多项式。
- 矩阵幂与函数的特征方程：对于矩阵幂，矩阵 Ak 的特征值等于原特征值的 k 次幂，且对应的特征多项式可表示为 det(Ak-λI)。对于矩阵函数 f(x)，可通过在 A 的特征值处评估 f() 来导出特征多项式。
结语
本文介绍了特征多项式，以及它如何蕴含方阵的重要性质，如特征值、迹与行列式。鉴于特征值在数据科学与机器学习中的重要作用，理解特征方程有助于我们明白机器学习与统计算法如何从数据矩阵中提取主成分，以发现模式并提升计算效率。
如果您还想了解数据科学与机器学习中的其他重要且知名的方程，欢迎阅读我们的 Normal Equation for Linear Regression Tutorial。DataCamp 还提供系统完备的学习路径课程，例如前文提到并强烈推荐的 Linear Algebra for Data Science in R 课程。
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
随着数据与机器学习技术的爆炸式增长，线性代数在机器学习与数据科学的数学体系中占据了基础地位。因此，立志从事机器学习与数据科学的人将从学习线性代数的基本概念（包括向量与矩阵、它们的性质及常见运算）中受益良多。
建议您学习我们的课程 Linear Algebra for Data Science in R，为数据科学与机器学习夯实数学基础。通过这门课程，您会体会到线性代数是一门优美而有趣的学科，它综合了代数与几何（通过直线、平面与体积）。尤其是，您会看到高维数据非常适合用向量对象来表示（如文本、图像、音频和特征），并了解到这些作为向量的数学对象在科学与工程中有广泛应用，例如物理、统计与计算机科学。
在本文中，我们将重点考察线性代数中的一个基础对象——矩阵。与其他数学对象一样，矩阵也有描述其特征的属性。具体而言，我将回顾并介绍方阵的一个表征属性：特征多项式或特征方程。让我们开始吧。
特征方程的定义
多项式是一个关于未知量的 n 次幂函数。未知量通常用字母 x 表示，但在特殊场景下也会采用其他记号，例如希腊字母 𝝀（lambda），本文将采用该记号。设方阵 A ∈Rn×n，未知量为 𝝀，其特征多项式定义为：
其中 det(.) 表示方阵的行列式，I 为单位矩阵。
当我们将该特征多项式等于零（求解 𝝀）时，便得到特征方程。该多项式方程的根称为特征值，是矩阵变换与机器学习（如降维）中的重要概念。如果您尚不熟悉特征向量与特征值，我们有相应教程：Eigenvectors and Eigenvalues: Key Insights for Data Science。
特征方程的推导与计算
下面展示如何为一个 2x2 方阵 A 构造特征多项式，其中：
由特征多项式的定义可得：
因此，上述矩阵 A 的特征多项式为 pA(𝝀)=𝝀2-7𝝀+10。将其等于零即可求出该多项式的根。
利用特征方程求特征值与特征向量
方阵的特征多项式包含与该矩阵相关的重要信息，包括特征值与行列式。因此，可以通过对未知量求解，从特征多项式中提取特征值。下面我们以上面的 2x2 方阵 A 为例演示该过程。如前所示，其特征多项式为：
现在，为了求特征值，我们将该多项式等于零，并用代数（或计算）方法求根：
因此，特征值为 𝝀1=5 与 𝝀2=2（特征值通常按降序列出，因为它们对应于某些数据矩阵中包含的信息量）。矩阵的全部特征值集合称为特征谱或谱。由特征值可在零空间中通过（A-𝝀I)x=0 推导矩阵的特征向量：
对于𝝀1=5，代入 5 并解该齐次方程组：
可得到一维（即一个基向量）的特征子空间。对 𝝀2=2 重复相同过程，得到：
在本例中，我们有两个不同的特征值。矩阵也可能有若干重复的相同特征值，从而得到多维（即有多个基向量）的特征子空间。在这种情况下，由彼此不同的特征向量所张成的特征子空间的维数称为该特征值的几何重数。
另一方面，某个特征值在矩阵的特征值中出现的次数称为代数重数。或许关于特征值与特征向量最有趣的应用之一是 Google 用于搜索结果重要性排序的 PageRank 算法。如果您感兴趣，我们的课程 Predictive Analytics using Networked Data in R 中有一章对 PageRank 算法做了有趣的介绍。
计算方法
特征多项式本质上是一类具有特殊性质的数学多项式（例如，它包含方阵的迹、行列式与特征值）。因此，当次数 n 较高时，求解特征方程的根会变得繁琐。
此外，推导特征多项式需要计算方阵的行列式。尽管出于教学目的，我们给出了纸笔推导与求解特征多项式的示例与方法，但在真实的数据科学应用中，通常使用数值（计算）方法来计算或近似特征多项式的根。拉普拉斯展开、高斯消元与 QR 分解 等方法可用于数值地求行列式。
用于求特征多项式根的常见算法包括牛顿—拉夫森法、二分法、割线法与穆勒法。
特征方程的应用
特征值与特征向量是矩阵的基本数学特征，可由方阵的特征方程导出。在统计与机器学习中，特征方程被用于基于特征值的多种算法，这些算法用于数据降维与信息提取，例如：
特征多项式的性质
作为数学对象，特征多项式具有一些有趣的性质，包括：
进阶主题
最后，作为进一步的数学探讨，我想简要介绍一些与特征多项式和矩阵性质相关的更高级细节，但不做过多展开。
结语
本文介绍了特征多项式，以及它如何蕴含方阵的重要性质，如特征值、迹与行列式。鉴于特征值在数据科学与机器学习中的重要作用，理解特征方程有助于我们明白机器学习与统计算法如何从数据矩阵中提取主成分，以发现模式并提升计算效率。
如果您还想了解数据科学与机器学习中的其他重要且知名的方程，欢迎阅读我们的 Normal Equation for Linear Regression Tutorial。DataCamp 还提供系统完备的学习路径课程，例如前文提到并强烈推荐的 Linear Algebra for Data Science in R 课程。