t-SNE 入门

t-SNE 与 PCA

t-SNE 和 PCA 都是降维技术，但机制不同，适用于不同类型的数据。

PCA（主成分分析）是一种线性技术，最适用于具有线性结构的数据。它通过将数据投影到低维空间来识别潜在的主成分，目标是最小化信息损失、保留大的成对距离与总体方差。阅读我们的 主成分分析（PCA） 教程，结合 R 示例理解算法的内部机制。

而 t-SNE 是一种非线性技术，侧重在低维空间中保留数据点之间的成对相似性。t-SNE 更关注保留较小的成对距离；相对地，PCA 着重保持较大的成对距离以最大化方差。

总之，PCA 保留的是数据的方差；而 t-SNE 保留的是数据点之间在低维空间中的关系，因此非常适合可视化复杂的高维数据。

下表可帮助您将 t-SNE 与 PCA 进行对照比较：

t-SNE 的工作原理

t-SNE 在高维与低维空间中分别度量样本对之间的相似性，随后优化这两种相似性度量。整个过程分三步完成。

1. t-SNE 在高维与低维空间中，建模某个点被选为另一点邻居的概率。首先在高维空间中使用高斯核计算所有数据点的成对相似性。相距较远的点被选中的概率更低，靠得近的点被选中的概率更高。
2. 算法接着尝试将高维数据点映射到低维空间，同时尽量保留成对相似性。
3. 通过最小化高维与低维概率分布之间的散度来实现这一点。算法使用梯度下降来最小化散度，并将低维嵌入优化到稳定状态。

优化过程会在低维空间中形成相似数据点的簇与子簇，并据此可视化，以帮助理解高维数据中的结构与关系。

t-SNE 的 Python 示例

在该 Python 示例中，我们将生成分类数据，执行 PCA 与 t-SNE，并可视化结果。我们将使用 scikit-learn 进行降维，并使用 Plotly Express 进行可视化。

生成分类数据集

我们将使用 scikit-learn 的 make_classification() 函数生成包含 6 个特征、1500 条样本、3 个类别的合成数据。

随后，我们将使用 Plotly Express 的 scatter_3d() 函数对前三个特征进行 3D 绘图。

import plotly.express as px
from sklearn.datasets import make_classification

X, y = make_classification(
    n_features=6,
    n_classes=3,
    n_samples=1500,
    n_informative=2,
    random_state=5,
    n_clusters_per_class=1,
)


fig = px.scatter_3d(x=X[:, 0], y=X[:, 1], z=X[:, 2], color=y, opacity=0.8)
fig.show()技术支持

我们已经得到数据的 3D 图；您也可以使用 Plotly Express 的 scatter() 函数在 2D 图中进行可视化。

PCA 的拟合与变换

现在我们将在数据集上应用 PCA 算法，返回两个主成分。fit_transform() 会同时学习并变换数据集。

from sklearn.decomposition import PCA

pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)技术支持

Python 中的 t-SNE 可视化

现在我们通过散点图显示两个 PCA 分量来可视化结果。

• x：第一主成分
• y：第二主成分
• color：目标变量

我们还使用了 update_layout() 函数来添加标题并重命名 x 轴与 y 轴。

fig = px.scatter(x=X_pca[:, 0], y=X_pca[:, 1], color=y)
fig.update_layout(
    title="PCA visualization of Custom Classification dataset",
    xaxis_title="First Principal Component",
    yaxis_title="Second Principal Component",
)
fig.show()技术支持

t-SNE 的拟合与变换

现在，我们将在数据集上应用 t-SNE 算法并比较结果。

在拟合并变换数据后，我们将输出高维与低维概率分布之间的 Kullback-Leibler（KL）散度。较低的 KL 散度通常意味着更好的结果。

from sklearn.manifold import TSNE

tsne = TSNE(n_components=2, random_state=42)
X_tsne = tsne.fit_transform(X)
tsne.kl_divergence_技术支持

1.1169137954711914技术支持

Python 中的 t-SNE 可视化

与 PCA 类似，我们将通过散点图可视化两个 t-SNE 分量。

fig = px.scatter(x=X_tsne[:, 0], y=X_tsne[:, 1], color=y)
fig.update_layout(
    title="t-SNE visualization of Custom Classification dataset",
    xaxis_title="First t-SNE",
    yaxis_title="Second t-SNE",
)
fig.show()技术支持

结果明显优于 PCA。我们可以清晰地看到三个大的簇。

在客户流失数据集上应用 t-SNE

本节中，我们将使用一家伊朗电信公司的 客户流失 数据集。该数据集包含客户活动的信息，如通话失败次数与订阅时长，以及是否流失的标签。

流失指在特定时间段内停止使用某项服务的客户比例。

注意：两部分示例的代码与数据集均可在 此 DataLab 工作簿中获取；如果您想调整并运行代码，只需复制一份，即可上手！

导入客户流失数据集

我们将使用 pandas 加载数据集，并显示前三行。

import pandas as pd

df = pd.read_csv("data/customer_churn.csv")
df.head(3)技术支持

PCA 降维

之后我们将：

• 使用 Churn 列创建特征（X）与目标（y）。
• 使用标准化器对特征进行归一化。
• 将数据集划分为训练集与测试集。
• 对训练数据集应用 PCA。
• 使用测试数据集获取分数。该分数表示所有样本的平均对数似然。

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

X = df.drop('Churn', axis=1)
y = df['Churn']

scaler = StandardScaler()
X_norm = scaler.fit_transform(X)

X_train, X_test, y_train, y_test = train_test_split(
    X_norm, y, random_state=13, test_size=0.25, shuffle=True
)

pca = PCA(n_components=2)
X_train_pca = pca.fit_transform(X_train)

pca.score(X_test)技术支持

-17.04482851288105技术支持

可视化 PCA 结果

现在我们将使用 Plotly Express 的散点图来可视化 PCA 结果。

fig = px.scatter(x=X_train_pca[:, 0], y=X_train_pca[:, 1], color=y_train)
fig.update_layout(
    title="PCA visualization of Customer Churn dataset",
    xaxis_title="First Principal Component",
    yaxis_title="Second Principal Component",
)
fig.show()技术支持

PCA 在形成聚类方面表现一般。低维数据看起来较为随机。这也可能意味着数据集中的特征高度偏态，或缺乏强相关结构。

检验困惑度与散度

困惑度（perplexity）是 t-SNE 的一个重要超参数。它控制在降维过程中每个点所考虑的有效邻居数量。

我们将运行一个循环，在困惑度从 5 到 55（步长为 5）的范围内获取 KL 散度指标。然后使用 Plotly Express 折线图展示结果。

import numpy as np

perplexity = np.arange(5, 55, 5)
divergence = []

for i in perplexity:
    model = TSNE(n_components=2, init="pca", perplexity=i)
    reduced = model.fit_transform(X_train)
    divergence.append(model.kl_divergence_)
fig = px.line(x=perplexity, y=divergence, markers=True)
fig.update_layout(xaxis_title="Perplexity Values", yaxis_title="Divergence")
fig.update_traces(line_color="red", line_width=1)
fig.show()技术支持

在困惑度为 40 之后，KL 散度趋于稳定。因此，我们将在 t-SNE 算法中使用 40 的困惑度。

t-SNE 降维

现在我们将拟合 t-SNE，并使用困惑度 40 将数据映射到低维，以获得更低的 KL 散度。

from sklearn.manifold import TSNE

tsne = TSNE(n_components=2,perplexity=40, random_state=42)
X_train_tsne = tsne.fit_transform(X_train)

tsne.kl_divergence_技术支持

0.258713960647583技术支持

可视化 t-SNE

我们将使用 Plotly 的散点图展示分量与目标类别。

fig = px.scatter(x=X_train_tsne[:, 0], y=X_train_tsne[:, 1], color=y_train)
fig.update_layout(
    title="t-SNE visualization of Customer Churn dataset",
    xaxis_title="First t-SNE",
    yaxis_title="Second t-SNE",
)
fig.show()技术支持

如您所见，图中存在多个簇与子簇。我们可以利用这些信息理解模式，并制定留存现有客户的策略。

t-SNE 的局限与挑战

尽管 t-SNE 是强大的高维数据可视化工具，但也存在一些局限：

1. 计算成本：t-SNE 的计算开销较大，尤其在处理大型数据集时。其成对相似性计算会随着数据规模增长而迅速膨胀，不太适合拥有数百万点的数据集。
2. 对超参数敏感：t-SNE 的性能高度依赖困惑度与学习率等超参数。寻找最优取值通常需要反复试验，较为耗时。
3. 可解释性不足：t-SNE 的嵌入结果通常具有非确定性（由于随机初始化与梯度下降），且与原始高维数据之间缺乏直接、可解释的关系。
4. 不适合样本外数据：t-SNE 无法在不重新计算嵌入的情况下泛化到新的未见数据，这对于动态数据集来说效率不高。

t-SNE vs. UMAP：对比

近年来，UMAP（统一流形近似与投影）成为 t-SNE 的热门替代方案。二者同为用于可视化的非线性降维技术，但 UMAP 在一定程度上解决了 t-SNE 的一些限制：

• UMAP 比 t-SNE 更快、更省内存，更适合大型数据集。
• UMAP 更擅长同时保留数据的局部与全局结构，而 t-SNE 主要关注保留局部成对相似性。
• UMAP 需要调参的超参数更少，且结果在不同运行间通常更为稳定。
• 与 t-SNE 不同，UMAP 支持对新数据点进行变换，更适用于动态数据集。

计算复杂度：t-SNE vs. UMAP vs. PCA

下表总结了 t-SNE 与 UMAP、PCA 的计算复杂度：

• N：数据点数量
• d：数据中的特征数

总之，t-SNE 能细致刻画局部关系，但在现代数据集上，UMAP 往往更高效、更可扩展。对于线性数据，PCA 仍是快速且可解释的选择。根据数据集与目标的不同，选择合适技术需要在可解释性、计算成本与数据特性之间权衡。

t-SNE 的应用

除了用于复杂多维数据的可视化外，t-SNE 还有其他用途：

1. 聚类与分类：在低维空间中将相似数据点聚在一起。它也可用于分类与发现数据中的模式。
2. 异常检测：识别数据中的离群点与异常。
3. 自然语言处理：可视化由大型语料生成的词向量，更易识别词语之间的相似性与关系。
4. 计算机安全：可视化网络流量模式并检测异常。
5. 癌症研究：可视化肿瘤样本的分子谱，识别癌症亚型。
6. 地质领域解释：可视化地震属性并识别地质异常。
7. 生物医学信号处理：可视化脑电图（EEG）并检测脑活动模式。

结语

t-SNE 是一种强大的可视化工具，能够揭示复杂数据集中隐藏的模式与结构。您可以将其用于图像、音频、生物及单值数据的异常与模式识别。

在本文中，我们学习了 t-SNE 这一常用的降维技术，它可以将高维的非线性数据可视化到低维空间。我们解释了 t-SNE 的核心思想、工作原理与应用，并展示了如何将 t-SNE 应用于合成与真实数据集以及如何解读结果。

t-SNE 属于无监督学习。接下来合乎逻辑的学习方向包括层次聚类、PCA、去相关以及发掘可解释特征。通过参加我们的 Python 无监督学习 课程学习以上全部主题。