什么是欺诈分析？技术、流程与工具

通过分析检测的常见欺诈类型

本节将探讨广义上的欺诈交易类别，讨论各类别中的常见欺诈案例，以及如何使用分析工具进行检测与预防。

金融欺诈

金融欺诈或许是最为人所知且最为广泛的一类。受害者通常是金融机构及其客户。作案者往往冒充客户或金融机构代表。

信用卡欺诈是指未经授权使用银行卡购买商品或在 ATM 取款。在大多数情况下，这是通过盗取的卡片信息实现的。欺诈分析可通过查找常见模式来帮助检测银行卡欺诈，例如：

• 交易频率与金额突然激增。
• 在多个地点连续发生交易。

身份盗用是指个人信息（如银行账号、政府签发的证件号码、电子邮箱密码等）被盗取。作案者可利用这些信息冒充当事人办理贷款、开通透支账户，并进行其他大额金融交易。欺诈分析可通过标记可疑行为来提供帮助，例如：

• 在短时间内开立多个账户。
• 偏离该个人既往已知行为模式。

支付欺诈是指通过欺骗手段诱使个人或企业为并未购买的事项付款。包括：

• 向公司发送伪造发票。
• 发送伪造的多重身份验证消息以确认待处理付款。
• 冒充银行员工套取账户相关机密信息。

在支付欺诈方面，分析可通过监控并标记如下交易来提供帮助：

• 与账户一贯行为与支付活动存在显著偏离。
• 来源于可疑 IP 地址与设备 ID。

保险欺诈

保险欺诈包括就轻微事故索取高额赔付，以及为高风险保单支付低保费。受害者通常是保险公司，而作案者冒充客户或保险代理人。

虚假索赔指从未发生的事故。为检测此类索赔，分析工具会：

• 将报告的事件（如自然灾害或交通事故）与其他来源交叉核对，以验证其真实性。
• 分析特定个人或特定地点的索赔模式。

虚高索赔是指就轻微事件夸大损失与索赔金额。欺诈分析工具可通过以下方式降低虚高索赔风险：

• 基于历史数据估算不同事故类型的典型索赔金额。
• 将报告的事故与该类事故的典型索赔金额进行匹配。

保险查勘人员会对可能虚高的索赔进行人工核实。

逃避高保费是指向保险公司提供虚假信息，以人为降低风险画像，从而为某项保单支付更低保费。欺诈分析工具可以帮助：

• 将投保申请中的信息与其他来源进行验证。
• 检测逃避高保费的常见模式。例如，如果一款常用于商业活动的车型被申报为个人用途，分析工具会将其标记为需进一步调查。

假保单是指骗子冒充保险代理人，制作并销售伪造保单。客户往往在提出理赔时才发现。欺诈分析软件通过以下方式检测假保单：

• 将系统中存储的保单信息与客户提供的信息进行交叉核对。

保险公司也有社会责任去识别冒用其名义签发假保单的模式。将这些分析提交给执法机构有助于打击假保单团伙。

医疗保健欺诈

医疗保健欺诈可发生在医疗体系的任何环节，包括公共医疗保险。受害方是付款方，可能属于以下一方或多方：

• 患者
• 在共同支付方案中承担部分费用的患者雇主
• 实行公共资助医疗体系的政府
• 保险公司

作案者往往是医疗服务提供者或患者。医疗欺诈通常通过虚假索赔实施，包括为未提供的服务收费以及“抬高编码”。

为未提供的服务收费是指就未对患者实施的服务（如检查和治疗）向付款方收费。为检测此类欺诈，分析工具可：

• 利用模式识别，将发票与业内同侪在类似病症上通常开具的金额与项目进行比较。
• 将发票上的服务与医疗提供者服务日志及患者治疗记录交叉核对。
• 识别有异常高额收费记录的提供者，并对其申报进行审查。

抬高编码（Upcoding）是指将所提供服务按更高收费类别进行结算的违规行为。欺诈分析工具可通过多种方法检测抬高编码，例如：

• 运用统计分析，将常规检查与昂贵检查（或治疗）的比例与行业标准进行比较。例如，一个提供者大多开具延长就诊而很少常规检查，便值得怀疑。
• 将发票与患者和医院记录进行对照，后者通常包含所实施的具体手术或检查细节。
• 将收费金额与该提供者的历史数据进行比较，检查特定抬高编码类别是否突然增加。

电商与零售欺诈

许多电商卖家是并不一定精通技术的中小企业。因此，电商平台有责任检测并遏制欺诈活动。电商与零售欺诈的形式多样：

账户接管是指用户对其账户失去控制，欺诈者利用该账户进行未经授权的购买。这通常源于用户失误或忽视密码与网络钓鱼等安全事项。

电商平台可通过以下技术检测账户接管：

• 行为分析，检查与典型行为的偏差，如登录时间、购买类别、浏览历史等。
• 异常活动（如多次登录失败）与账户设置变更（如邮箱与收货地址）同时出现。

虚假退货是指恶意行为者退回与购买商品不同的物品，如购买高价商品却退回仿品。也包括退回无法二次销售的已使用产品。为防范虚假退货，欺诈分析可以：

• 分析退货模式，识别频繁退货的买家。
• 将原始购买记录进行比对，核实退回商品是否与购买商品一致。
• 确保退回商品处于未使用状态。

欺诈性购买是指使用被盗或伪造的支付信息以及被攻陷的账户进行的未经授权交易。这可能给卖家和毫不知情的买家带来损失。欺诈分析可通过监控交易、识别如下模式来标记潜在的欺诈性购买：

• 同一 IP 地址频繁登录多个账户。
• 快速连续尝试不同的信用卡号。
• 相对于账户历史而言，出现异常大的购买金额。

拒付欺诈（Chargeback Fraud）是指滥用信用卡的拒付政策，对合法购买申请退款。欺诈分析可通过以下方式防范拒付欺诈：

• 利用模式识别识别频繁拒付的用户。
• 使用机器学习检测可疑行为，如尤其在新账户和近期更新支付信息的情况下，短时间内多次购买。

欺诈分析使用的技术

欺诈分析工具会在不同情境、数据集与领域内欺诈者的行为上，因地制宜地使用一系列常见技术。

所有欺诈分析方法都有两个关键目标：

• 检测与预防欺诈
• 便利真实客户

异常检测

与合法客户相比，欺诈者往往表现出显著不同的行为。异常检测有助于识别指向潜在欺诈活动的异常行为。它涵盖一系列方法：

• 统计离群点检测有助于识别与整体分布显著不同的数据点。可疑行为常体现在多种指标的离群值上，例如：
  • 每小时交易频次。
  • 一天内刷卡涉及的邮政编码数量。
• 隔离森林（Isolation Forests）由多棵隔离树组成。每棵隔离树的工作方式如下：
  • 随机选择一个数据属性，并基于该属性的取值随机划分数据点。
  • 对每个划分，再选择另一个随机属性继续划分。
  • 该过程迭代进行，直至每个数据点被隔离到仅包含它自身的分区中。
  • 可以观察到，具有极端取值的异常点较正常点更快被隔离（用更少迭代）。
• 局部离群因子（LOF）通过计算分布中各区域的点密度来识别异常行为。
  • 当将客户行为数据集以图形方式表示时，会形成多个高密度簇，每个簇对应一类客户群体。
  • 簇中的每个数据点（客户）表现相似但不完全相同。常见情况是，欺诈数据也会形成与正常客户簇相分离的簇。

查看课程 Anomaly Detection in Python，进一步理解该技术。

异常检测示意图。图片来源：Understanding AI

监督式机器学习

监督式机器学习是行之有效的异常检测方法。人工基于既往已知的欺诈行为对数据集进行标注。随后用这些标注数据训练机器学习算法，以预测新交易存在欺诈的可能性。

• 逻辑回归用于预测数据点属于两类之一的概率，例如真实或潜在欺诈。
• 训练数据集中的每个点都被标注为欺诈或真实。
• 在训练过程中，模型学习指向欺诈交易的特征模式。
• 在面对新数据时，模型可预测该数据点为欺诈的可能性。
• 决策树通过递归划分数据集为子集。每个节点根据某一特定属性（如交易频率或月度交易量）的取值将数据点分为两支。
• 经过一系列此类划分，每个分支最终在两个叶节点结束——欺诈与真实。
• 在训练中，模型学习每个节点用于划分数据集的规则。
• 模型据此规则对每笔新交易进行分类，预测其更可能是欺诈还是真实。
• 随机森林由多棵决策树组成。单棵决策树通过一系列if…else条件来判断交易是否为欺诈。这些if…else条件基于数据集的特征。
• 随机森林中的每棵树独立训练，使用特征的随机子集来预测欺诈交易。
• 森林的预测基于对所有单棵树输出的聚合。
• 该方法通过仅考虑特征子集，避免了决策树常见的过拟合问题。

决策树工作原理的动画示意。图片来源：Supervised Machine Learning

查看课程路径 Supervised Machine Learning in Python，进一步学习这些技术。

无监督机器学习

随着欺诈者采用新方法，基于历史行为进行预测的监督式算法会变得不那么有效。

无监督机器学习有助于预测数据中的未知模式。其另一优势在于无需投入人力对大型数据集进行标注，算法可自行发现模式。

• K-means 聚类会基于不同属性上的取值，将整个交易数据集分为不同簇。
• 每个簇中的数据点在属性（如交易频率）上相似。欺诈交易通常不会落入其他主要簇中。
• 在可视化上，它们往往远离其他簇。通过分析这些离群簇，可识别潜在欺诈交易。
• 基于密度的带噪声应用空间聚类（DBSCAN）会将交易数据集表示在特征空间中。在该表示下，数据点会分为高密度与低密度区域。
• 高密度区域视为簇，稀疏区域视为离群点。
• 落在稀疏区域的数据点被标记为潜在欺诈，随后将对其进行进一步的可疑行为证据分析。

聚类的工作原理。图片来源：Clustering in Machine Learning

查看课程 Unsupervised Learning in Python，深入学习上述技术。

网络分析

针对可疑行为进行模式匹配的传统欺诈检测方法，对单个账户有效。然而，欺诈者往往以团伙形式行动，使用多台设备、多个邮箱和多个物理地址。如果只孤立地看单个账户，就很难跟踪可疑行为。

• 欺诈团伙（Fraud Rings）是指一群人协同发起攻击。例如，团伙成员可能使用十台不同设备和 IP 地址连续发起十笔交易。网络分析可以检测实体之间的关系，构建实体关系图并识别欺诈团伙。
• 实体关系图是类似图的结构，节点代表实体，边代表实体间的关系。实体可以是个人、账户、电子邮箱 ID、设备 ID、IP 地址、物理地址等。实体之间的关系表示任何共性或相似行为，例如：
  • 多个 IP 地址使用相同的被盗支付信息。
  • 多个账户向同一物理地址下达欺诈订单。

查看课程 Introduction to Network Analysis in Python，深入理解这些技术。

文本挖掘与自然语言处理（NLP）

许多形式的欺诈，如虚假保险索赔、伪造客户评论、钓鱼邮件等，都以文本为基础。分析其文本内容往往能提供线索，以区分真实的客户活动与欺诈尝试。

• 自然语言处理（NLP）包含情感分析和命名实体识别（NER）等技术。NLP 可用于以下应用：
  • 虚假保险索赔往往在索赔描述中存在不一致。NLP 可识别矛盾表述与反常措辞，而 NER 能揭示地点、日期与人物之间的关系。
  • 伪造客户评论常由多个账户针对同一商品提交，或由同一账户针对多个商品提交。这些评论往往存在语言相似性，可通过情感分析与语气检测加以识别。
  • 钓鱼邮件与其他基于社会工程学的黑客尝试往往遵循类似的语言模式，旨在诱导收件人泄露敏感信息。标准 NLP 方法有助于识别此类模式并对收件人发出警示。
• 文本挖掘算法会处理大量非结构化文本，如电子邮件、索赔与评论，以检测可疑语言模式和特定术语在欺诈活动中的常见出现。
  • 文本挖掘背后的关键假设是，大多数欺诈活动归属于有限的若干类别，且由少数人实施。因此，通过在文本内容中查找模式以识别共性，是标记潜在欺诈尝试的可行方法。

查看技能路径 Natural Language Processing in Python，更深入地理解该主题。

文本挖掘工作流程示意图。图片来源：Text Mining with Bag-of-Words in R

欺诈检测工作流程

本节将从高层次概述实施欺诈检测工作流程的实务要点。

数据收集

所有欺诈检测算法都基于对大型数据集中观察到的模式进行分析与识别。因此，高质量、相关且经过整理的数据集（如交易日志与客户画像）对于训练这些算法至关重要。

• 交易日志用于分析历史交易，并基于金额、交易量、频率、IP 地址、时间戳等细节发掘模式。
• 客户数据库包含地址、支付详情、浏览历史、购买历史、留下的评论、退货等信息。
• 第三方数据源可用于印证基于内部数据集的观察结果并提升数据质量。

数据预处理

数据收集之后，下一步便是用其训练欺诈检测模型。原始数据通常不适合直接用于训练模型。因此，在用作训练数据集之前需要进行清洗与规范化。数据预处理与特征工程涵盖这些步骤。

• 数据清洗针对缺失值、格式错误的值（例如以文本格式存储的数字）、重复记录、错误取值等问题进行处理。若不处理此类问题，会导致模型训练效果不佳。因此，数据清洗是确保数据可用的第一步。
• 数据规范化是将数值用统一刻度表示。也可包括将字母等级转换为数值。特别是在合并多个数据源形成更大数据集时尤为重要。
• 特征工程将可用信息转换为更有用的形式。

模型训练与评估

从本质上讲，欺诈分析算法建立在机器学习技术之上。历史数据是训练机器学习算法的基础。数据收集与清洗之后，下一步是训练模型。在训练过程中，模型学习预测哪些交易或用户画像更可能存在欺诈。

除了标记潜在欺诈行为，同样重要的是不要阻碍正常用户。将真实交易误判为欺诈即为误报。将误报降至最低对保持良好客户体验至关重要。为此，需要使用多种指标对训练好的模型进行评估。

实时欺诈检测

欺诈一旦得逞，想从欺诈者手中追回被盗资金或物品就愈发困难。因此，目标是在交易执行前实时检测并阻止欺诈。将欺诈分析集成到交易处理流水线中可实现实时检测，主要有两种方式：

• 将交易流水线的数据流式传输至实时欺诈分析系统： 事件流处理工具如 Apache Kafka可将实时交易数据传输到欺诈分析系统。实时欺诈分析平台会将可疑交易标记供人工验证。交易处理流水线在最终完成交易前也会接收来自欺诈分析系统的确认。
• 在交易处理流水线内直接应用欺诈分析：可使用 Apache Flink 等工具实现。Flink 为数据流提供事件时间处理能力，在欺诈分析语境下称为对交易数据的实时流处理。它还可与机器学习模型集成。

报告与监控

公司管理层、数据科学家、合规官、欺诈分析师与安全团队等相关方会监控持续进行的欺诈检测结果。仪表板、实时警报与自动化报告等工具可促进监控与监督。

• 仪表板以可视化方式展示重要指标，如欺诈交易数量、欺诈分析工具的成功与失败率、财务损失、交易量等。仪表板便于在无需深入阅读详细报告的情况下突出关键信息。
• 当软件怀疑存在欺诈活动时，会发送实时 警报通知负责交易监控的人员。所有算法预测都有一定置信度——许多情况下需要人工判断来做出决定。此外，有时需采取补救措施以防止进一步损害，例如冻结被怀疑被盗的银行卡交易。实时更新可加速此类流程。
• 自动化报告定期汇总欺诈分析工具的活动信息，便于监控其性能并在必要时进行干预。
• 客户通知会在怀疑其账户存在欺诈活动时告知客户。有时，分析软件会将合法的客户活动误判为潜在欺诈。在处理此类交易前，需要获得客户的人工确认。在其他情况下，必须告知客户其账户因可疑活动被暂停，需进行重新激活。

欺诈分析的工具与平台

鉴于欺诈分析的重要性与广泛应用，相关的软件种类繁多，既包括开源工具，也包括专有系统。本节将概述欺诈分析中最常用的工具与平台。

Python、SQL 与 R

客户数据与交易日志通常存储于关系型数据存储中。

• SQL 是强大且灵活的相关数据提取工具。开发者可编写与优化查询，以获取满足多种条件的数据集。随后对这些数据集进行分析，以发现指向潜在欺诈活动的趋势与模式。
• 得益于庞大的库生态与开发者社区，Python 常被用作构建与测试各类分析算法的首选工具。更广泛地说，Python 也用于众多金融类应用。
• 统计分析是许多欺诈检测方法的核心。因此，R 以其丰富的统计函数库，非常适合开展多种临时性的数据分析以检测欺诈。

因此，Python、SQL 与 R 为开发者构建自定义欺诈分析系统提供了理想的工具组合。然而，这些工具在高效处理海量数据集方面可能存在困难。分析系统的实施往往需要借助其他专用软件，如下文将讨论的 Apache Spark。

此外，基于 Python 与 SQL 构建的工具，可能并不适合欺诈分析师与合规官等非技术受众。通常会借助 SAS 等第三方工具（后文讨论）交付一体化解决方案。

Apache Spark

许多欺诈分析技术基于在交易日志与客户数据集上训练的机器学习算法。实时检测模式需要处理海量数据。例如，信用卡处理机构每天要处理数以百万计的交易。要检测一个欺诈团伙，分析系统必须高效处理多天的交易数据。

Apache Spark 是一款横向扩展至集群的开源数据处理引擎。凭借其内存计算能力，它可以在无需批处理的情况下处理大型数据集。

它可接收来自多种数据源的输入数据，如 Cassandra 与 Amazon S3；并提供包括 Python 与 Java 在内的多种语言 API。因此，Spark 特别适用于欺诈分析等大数据用例。

查看课程 Introduction to PySpark，立即学习这门强大的数据处理语言。

Tableau 与 Power BI

欺诈分析涉及大型数据集与复杂分析。可视化能让人类更轻松、更快速地理解信息。Tableau 与 Power BI 是可对接多种数据源的数据可视化工具，既可用于报告也可用于分析。

• 这些工具可创建交互式仪表板，用于报告趋势、成功与失败率、损失金额、交易量等关键指标。可视化还可按不同欺诈类型与地理区域对信息进行分类呈现。
• 除报告外，Power BI 与 Tableau 还能通过直观展示潜在欺诈团伙、网络分析与各类概率信息，来辅助欺诈分析。
• 这些工具还允许分析师以可视方式控制各类筛选器、检测标准与置信水平，帮助快速判断交易是真实还是欺诈。

这些工具作为通用可视化工具，也提供面向欺诈分析的特定模块与用户界面。您可以通过 PowerBI Fundamentals 技能路径从今天开始学习 PowerBI。

SAS Fraud Management

SAS 是由 SAS Institute 构建的统计软件套件。该研究所还为包括欺诈分析在内的多种应用提供面向领域的组件。

SAS Fraud Management 使用统计技术与机器学习算法来预测与预防欺诈。这些算法被产品化，使得不具备机器学习背景的从业者（如欺诈分析师与合规官）也能使用 ML 与统计方法进行欺诈检测。

H2O.ai

H2O.ai 提供自动化的云端机器学习服务。其软件会标记潜在欺诈活动、给出欺诈可能性的评分，并分配原因代码以说明算法怀疑欺诈的依据。

这些指引有助于人工调查人员深入核查交易。在许多情况下，它们也有助于快速放行真实交易，加快处理进度。

IBM Safer Payments

IBM Safer Payments 是面向支付行业的专用欺诈检测系统。

由于采用 NoSQL 内存数据库，它可以实时监控支付。在信用卡等无现金支付体系中，它通过实时分析交易流，在交易执行前阻断潜在欺诈交易，从而预防欺诈。

结语

本文概述了不同类型的欺诈以及欺诈分析在检测与预防中的作用，讨论了常用的潜在欺诈检测技术与欺诈检测工作流程，最后介绍了该领域常用的一些软件应用。

如欲学习如何使用 Python 构建欺诈检测系统，请查看课程 Fraud Detection in Python。若需系统了解面向金融应用的 Python，请参阅课程 Introduction to Python for Finance。如需了解用于欺诈检测的 R 统计函数，请参阅课程 Fraud Detection in R。