相似度学习是机器学习的一个分支，重点在于训练模型识别数据点之间的相似或不相似。它之所以重要，是因为它让机器能够理解数据中的模式、关系和结构，这对推荐系统、图像识别和异常检测等任务至关重要。
相似度学习释义
从本质上讲，相似度学习关注的是判断两个数据点有多相似或多不同。想象您有两张照片，想知道是否是同一个人。相较于逐像素比对，相似度学习算法会识别关键特征（如眼睛的形状或嘴角的弧度）并进行比较。
为何要使用它？在浩瀚的数据海洋中，寻找模式或关系如同大海捞针。相似度学习就像一块磁铁，依据与给定样本的相似性，将相关的“针”吸引出来。
从技术角度看，这些算法通常在特征空间中运行——这是一个将数据点表示为向量的数学空间。向量之间的“距离”表示数据点的相似程度。距离越小，越相似。
传统的监督学习专注于基于输入数据预测标签，无监督学习旨在寻找数据中的隐藏结构；而相似度学习则介于二者之间。它不一定需要标签，但需要一个参考或成对样本来判断相似或不相似。归根结底，它更关注关系建模，而非纯粹的预测或聚类。
相似度学习的用例
相似度学习的实际应用覆盖广泛行业，展现出其在不同数据集中辨别模式与关系的多功能性。以下是一些典型应用：
推荐系统
Netflix 或 Spotify 等平台利用相似度学习为用户量身定制体验。通过将用户的观看或收听习惯与他人进行比较，这些平台可以推荐符合个人偏好的内容。这种个性化提升了用户参与度与满意度，因为用户更愿意留在能持续提供心仪内容的平台上。
人脸识别
Facebook 等社交媒体平台以及安防系统使用相似度学习进行人脸识别。通过将图像中的面部特征与已知人脸数据库进行比较，这些系统可以以极高的准确率定位个体。除社交媒体标注之外，该技术还广泛应用于安保、执法以及各类认证流程。
电商中的商品匹配
Amazon 和 eBay 等电商巨头使用相似度学习对相似商品进行分组或推荐替代品。当用户查看某件商品时，系统可能会推荐具有相似属性或来自相关类别的产品，促进商品发现并潜在提升销量。
异常检测
金融与网络安全等行业在检测异常或离群点方面从相似度学习中受益匪浅。通过建立“正常”数据的基线，任何偏离或异常数据点都可被标记。该类早期检测机制对于防止欺诈、避免安全漏洞或识别系统故障至关重要。
医学影像
医疗行业在医学影像领域利用相似度学习。通过比较医学图像（如 X 光或 MRI），专业人员可以检测异常或监测病情进展。这不仅提升诊断准确性，还可实现疾病的早期发现，从而显著改善患者预后。
相似度学习的方法
相似度学习依赖于衡量数据点相似或不同的方法。这些方法多为数学度量，是各类应用的基石。下面深入介绍几种最常见的方法：
余弦相似度
余弦相似度衡量两个非零向量夹角的余弦值。若向量相同，余弦为 1，表示最大相似；若它们正交（即毫无共性），余弦为 0。它特别适用于高维空间，如文本分析。例如用于文档聚类，或比较两组词语的相似性。其局限在于仅考虑向量方向而非幅值，这意味着在幅值重要的情况下，可能无法完整体现相似性的本质。
欧氏距离
该方法测量空间中两点之间的“直线”距离。点越近，被认为越相似。它广泛应用于图像识别以及数据可自然表示为二维或三维空间的场景。尽管直观易懂，但在高维空间中，“距离”的概念会变得不那么直观。同时，所有特征被赋予相同重要性，这并非总是理想。
孪生网络
孪生网络是一种神经网络方法，定义了两个相同的子网络。它们分别接收两组输入并将其转换为两个特征向量，最后一层计算这两个向量之间的相似度。该方法非常适合难以获得标注“不同”样本对的任务，如签名验证或人脸验证。其局限在于需要大量数据与算力，对较简单、传统方法足以胜任的任务可能有些“大材小用”。
三元组损失
在深度学习中，三元组损失涉及三个数据点：一个锚点、一个正样本（与锚点相似）和一个负样本（与锚点不同）。目标是确保锚点与正样本之间的距离比与负样本的距离小，且至少相差一个边界。该方法在需要区分外观极为相似的数据点时效果显著，如区分不同人的两张相似图像。然而，它需要谨慎选择三元组，尤其是负样本，以确保有效训练。同时，与孪生网络类似，它也需要充足的数据与计算资源。
理解这些方法的细微差别至关重要。选对方法能显著提升相似度学习任务的准确性与效率，选错则可能导致不理想的结果。
相似度学习的挑战
尽管相似度学习带来诸多益处并推动多个领域革新，但它也并非没有挑战。
- 可扩展性。随着数据量呈指数级增长，将每个数据点与其他所有点进行比较会变得计算开销巨大且耗时。这一挑战在需要快速决策的实时应用中尤为突出。
- 特征选择。相似度学习算法的成败往往取决于用于比较的特征。并非所有特征都同等重要，识别最相关的特征至关重要。错误或冗余的特征会导致误导性的相似度衡量。
- 数据噪声。数据很少是完美的。它常包含噪声或无关信息，会扭曲相似度度量。对大型数据集而言，清洗与预处理以去除噪声是一个重大挑战。
- 过拟合。这是许多机器学习任务中的常见问题。若相似度学习模型过于复杂，可能通过“记住”训练数据而在训练集上表现卓越，但无法泛化到新的、未见过的数据。平衡模型复杂度与泛化能力对于防止过拟合至关重要。
- 维度诅咒。高维数据会使相似度度量变得不那么直观且计算更为繁重。常需采用降维等技术，但这也伴随丢失重要信息的风险。
相似度学习在 AI 应用中的实践
随着 ChatGPT 等大型语言模型（LLM）的兴起，向量存储与相似度学习愈发流行。开发者可以将文本转换为称为嵌入的稠密数值向量表示。这些嵌入捕捉语义含义，并可高效存储在向量数据库中。向量存储支持对嵌入进行快速相似度搜索，从而实现个性化聊天机器人等应用。
我使用 LlamaIndex 和LangChain构建了多个知识驱动的 AI 聊天机器人。与其在私有数据集上训练模型，我们现在可以为语言模型提供额外上下文，以生成高度个性化且准确的结果。这节省了时间、资源与成本。
您可以学习如何使用 LlamaIndex向 LLM 添加个人数据，并通过阅读掌握 Pinecone 向量数据库教程：综合指南来进一步了解向量存储。
在基于文档的问答系统中，用户提示会被编码为向量，并与数据库中的文档向量进行比较，采用余弦相似度、欧氏距离等算法来找到最相关的文本。随后将该文本提供给 LLM 作为额外上下文，以生成准确的回答。
除文本相似度搜索外，相似度学习技术也应用于推荐引擎，通过识别图像之间的相似性来提供相似商品推荐。这些引擎将图像转换为嵌入，用数值向量进行表示。随后应用算法计算这些嵌入之间的距离，以判断两张图像的相似程度。
当用户点击或查看某一商品时，引擎会选取其他具有相似图像嵌入的商品进行推荐。即使在价格或品牌等属性不同的情况下，也能推荐在视觉上近似的商品。
总体而言，相似度学习几乎无处不在于现代 AI 应用中。若您想进一步了解相似度算法，强烈推荐这门Python 自然语言处理的特征工程课程。它将帮助您掌握从文本中提取有用信息并将其处理为适合机器学习格式的技巧。
想要进一步学习 AI和机器学习？请查看以下资源：
相似度学习是机器学习的一个分支，重点在于训练模型识别数据点之间的相似或不相似。它之所以重要，是因为它让机器能够理解数据中的模式、关系和结构，这对推荐系统、图像识别和异常检测等任务至关重要。
相似度学习释义
从本质上讲，相似度学习关注的是判断两个数据点有多相似或多不同。想象您有两张照片，想知道是否是同一个人。相较于逐像素比对，相似度学习算法会识别关键特征（如眼睛的形状或嘴角的弧度）并进行比较。
为何要使用它？在浩瀚的数据海洋中，寻找模式或关系如同大海捞针。相似度学习就像一块磁铁，依据与给定样本的相似性，将相关的“针”吸引出来。
从技术角度看，这些算法通常在特征空间中运行——这是一个将数据点表示为向量的数学空间。向量之间的“距离”表示数据点的相似程度。距离越小，越相似。
传统的监督学习专注于基于输入数据预测标签，无监督学习旨在寻找数据中的隐藏结构；而相似度学习则介于二者之间。它不一定需要标签，但需要一个参考或成对样本来判断相似或不相似。归根结底，它更关注关系建模，而非纯粹的预测或聚类。
相似度学习的用例
相似度学习的实际应用覆盖广泛行业，展现出其在不同数据集中辨别模式与关系的多功能性。以下是一些典型应用：
推荐系统
Netflix 或 Spotify 等平台利用相似度学习为用户量身定制体验。通过将用户的观看或收听习惯与他人进行比较，这些平台可以推荐符合个人偏好的内容。这种个性化提升了用户参与度与满意度，因为用户更愿意留在能持续提供心仪内容的平台上。
人脸识别
Facebook 等社交媒体平台以及安防系统使用相似度学习进行人脸识别。通过将图像中的面部特征与已知人脸数据库进行比较，这些系统可以以极高的准确率定位个体。除社交媒体标注之外，该技术还广泛应用于安保、执法以及各类认证流程。
电商中的商品匹配
Amazon 和 eBay 等电商巨头使用相似度学习对相似商品进行分组或推荐替代品。当用户查看某件商品时，系统可能会推荐具有相似属性或来自相关类别的产品，促进商品发现并潜在提升销量。
异常检测
金融与网络安全等行业在检测异常或离群点方面从相似度学习中受益匪浅。通过建立“正常”数据的基线，任何偏离或异常数据点都可被标记。该类早期检测机制对于防止欺诈、避免安全漏洞或识别系统故障至关重要。
医学影像
医疗行业在医学影像领域利用相似度学习。通过比较医学图像（如 X 光或 MRI），专业人员可以检测异常或监测病情进展。这不仅提升诊断准确性，还可实现疾病的早期发现，从而显著改善患者预后。
相似度学习的方法
相似度学习依赖于衡量数据点相似或不同的方法。这些方法多为数学度量，是各类应用的基石。下面深入介绍几种最常见的方法：
余弦相似度
余弦相似度衡量两个非零向量夹角的余弦值。若向量相同，余弦为 1，表示最大相似；若它们正交（即毫无共性），余弦为 0。它特别适用于高维空间，如文本分析。例如用于文档聚类，或比较两组词语的相似性。其局限在于仅考虑向量方向而非幅值，这意味着在幅值重要的情况下，可能无法完整体现相似性的本质。
欧氏距离
该方法测量空间中两点之间的“直线”距离。点越近，被认为越相似。它广泛应用于图像识别以及数据可自然表示为二维或三维空间的场景。尽管直观易懂，但在高维空间中，“距离”的概念会变得不那么直观。同时，所有特征被赋予相同重要性，这并非总是理想。
孪生网络
孪生网络是一种神经网络方法，定义了两个相同的子网络。它们分别接收两组输入并将其转换为两个特征向量，最后一层计算这两个向量之间的相似度。该方法非常适合难以获得标注“不同”样本对的任务，如签名验证或人脸验证。其局限在于需要大量数据与算力，对较简单、传统方法足以胜任的任务可能有些“大材小用”。
三元组损失
在深度学习中，三元组损失涉及三个数据点：一个锚点、一个正样本（与锚点相似）和一个负样本（与锚点不同）。目标是确保锚点与正样本之间的距离比与负样本的距离小，且至少相差一个边界。该方法在需要区分外观极为相似的数据点时效果显著，如区分不同人的两张相似图像。然而，它需要谨慎选择三元组，尤其是负样本，以确保有效训练。同时，与孪生网络类似，它也需要充足的数据与计算资源。
理解这些方法的细微差别至关重要。选对方法能显著提升相似度学习任务的准确性与效率，选错则可能导致不理想的结果。
相似度学习的挑战
尽管相似度学习带来诸多益处并推动多个领域革新，但它也并非没有挑战。
相似度学习在 AI 应用中的实践
随着 ChatGPT 等大型语言模型（LLM）的兴起，向量存储与相似度学习愈发流行。开发者可以将文本转换为称为嵌入的稠密数值向量表示。这些嵌入捕捉语义含义，并可高效存储在向量数据库中。向量存储支持对嵌入进行快速相似度搜索，从而实现个性化聊天机器人等应用。
我使用 LlamaIndex 和LangChain构建了多个知识驱动的 AI 聊天机器人。与其在私有数据集上训练模型，我们现在可以为语言模型提供额外上下文，以生成高度个性化且准确的结果。这节省了时间、资源与成本。
您可以学习如何使用 LlamaIndex向 LLM 添加个人数据，并通过阅读掌握 Pinecone 向量数据库教程：综合指南来进一步了解向量存储。
在基于文档的问答系统中，用户提示会被编码为向量，并与数据库中的文档向量进行比较，采用余弦相似度、欧氏距离等算法来找到最相关的文本。随后将该文本提供给 LLM 作为额外上下文，以生成准确的回答。
除文本相似度搜索外，相似度学习技术也应用于推荐引擎，通过识别图像之间的相似性来提供相似商品推荐。这些引擎将图像转换为嵌入，用数值向量进行表示。随后应用算法计算这些嵌入之间的距离，以判断两张图像的相似程度。
当用户点击或查看某一商品时，引擎会选取其他具有相似图像嵌入的商品进行推荐。即使在价格或品牌等属性不同的情况下，也能推荐在视觉上近似的商品。
总体而言，相似度学习几乎无处不在于现代 AI 应用中。若您想进一步了解相似度算法，强烈推荐这门Python 自然语言处理的特征工程课程。它将帮助您掌握从文本中提取有用信息并将其处理为适合机器学习格式的技巧。
想要进一步学习 AI和机器学习？请查看以下资源：