命名实体识别（NER）是自然语言处理（NLP）中信息抽取的一项子任务，用于将命名实体归类到预定义的类别中，例如人物姓名、组织机构、地名、医学编码、时间表达、数量、货币金额等。在 NLP 领域，理解这些实体对于许多应用至关重要，因为它们常常包含文本中最关键信息。
命名实体识别详解
命名实体识别（NER）在非结构化文本与结构化数据之间搭建了一座桥梁，使机器能够从海量文本信息中筛选并以分类形式提取有价值的数据。通过在字词海洋中定位特定实体，NER 改变了我们处理与利用文本数据的方式。
目的：NER 的首要目标是从非结构化文本中查找特定片段作为命名实体，并将其归入预定义类别。这种将原始文本转换为结构化信息的过程让数据更具可操作性，便于开展数据分析、信息检索与知识图谱构建等任务。
工作原理：NER 的细节可分为几个步骤：
- 分词（Tokenization）。在识别实体之前，需将文本拆分为词元，即单词、短语，甚至句子。例如，"Steve Jobs co-founded Apple" 会被拆分为 "Steve"、"Jobs"、"co-founded"、"Apple" 等词元。
- 实体识别。借助各种语言学规则或统计方法检测潜在命名实体。这涉及识别模式，如姓名中的大写（"Steve Jobs"）或特定格式（如日期）。
- 实体分类。识别出实体后，将其归类到预设类别，如 "Person"、"Organization" 或 "Location"。这通常通过在标注数据集上训练的机器学习模型实现。在我们的示例中，"Steve Jobs" 会被分类为 "Person"，"Apple" 为 "Organization"。
- 上下文分析。NER 系统常结合周边上下文来提升准确率。例如，在句子 "Apple released a new iPhone" 中，上下文有助于系统识别 "Apple" 为组织而非水果。
- 后处理。在初步识别与分类之后，可能会进行后处理以优化结果，包括消歧、合并多词实体，或利用知识库增强实体信息。
NER 的妙处在于能够理解并诠释非结构化文本——这类文本占据数字世界数据的很大比重，从网页与新闻报道到社交媒体帖文与学术论文。通过识别并分类命名实体，NER 为这片广袤的文本版图增添了结构与意义。
命名实体识别的方法
多年来，命名实体识别（NER）衍生出诸多方法，以应对从海量文本中抽取与分类命名实体的不同挑战。
基于规则的方法
基于规则的方法以人工编写的规则为基础，依据语言学模式、正则表达式或词典来识别并分类命名实体。它们在实体定义清晰的特定领域表现出色，例如从临床笔记中提取标准医学术语，但可扩展性有限。由于预设规则的刚性，这类方法在处理规模庞大或多样化的数据集时可能力不从心。
统计方法
摆脱手工规则后，统计方法采用如隐马尔可夫模型（HMM）或条件随机场（CRF）等模型，依据来自训练数据的概率来预测命名实体。这些方法适用于拥有充足标注数据的任务，长处在于能在多样文本间做出泛化，但其效果取决于所使用的训练数据。
机器学习方法
机器学习方法更进一步，采用决策树或支持向量机等算法。它们从标注数据中学习以预测命名实体。现代 NER 系统广泛采用该类方法，得益于其处理海量数据与复杂模式的能力。然而，它们需要大量标注数据，并可能带来较高的计算开销。
深度学习方法
最新的方法是深度学习，利用神经网络的力量。循环神经网络（RNN）与 Transformer 因其建模文本长程依赖的能力而成为主流之选。它们非常适合训练数据充足的大规模任务，但前提是需要强大的算力支持。
混合方法
最后，由于 NER 并不存在放之四海而皆准的方案，混合方法应运而生。此类技术将基于规则、统计与机器学习方法交织结合，力求取长补短。它们在从多元来源抽取实体时尤为有用，能够灵活调配多种手段。但也正因其交织特性，实现与维护可能较为复杂。
命名实体识别的应用场景
NER 已广泛应用于各个领域，改变了我们提取与使用信息的方式。以下是部分关键应用：
- 新闻聚合。NER 有助于按主要提及的实体对新闻文章进行分类。这种分类能帮助读者迅速定位关于特定人物、地点或组织的报道，简化新闻获取流程。
- 客户支持。借助 NER，分析客户咨询更为高效。企业可快速定位与特定产品或服务相关的常见问题，确保及时、高效地回应客户关切。
- 科研。对学者与研究人员而言，NER 是一大助力。它可在海量文本中扫描并识别与研究相关的特定实体提及。自动抽取既加快研究进度，也保障数据分析的全面性。
- 法律文书分析。在法律行业，从冗长文书中筛找人名、日期或地点等相关实体既耗时又繁琐。NER 能将其自动化，提升法律检索与分析效率。
命名实体识别的挑战
尽管命名实体识别（NER）能从非结构化数据中提炼出结构化洞见，但其本身也面临诸多挑战。以下是该领域的主要难点：
- 歧义性。词语可能具有迷惑性。例如 "Amazon" 可能指亚马孙河或那家公司，依赖语境而定，这让实体识别颇为棘手。
- 语境依赖。词义常取决于上下文。在一篇科技文章中，"Apple" 很可能指公司，而在食谱中，则多半是水果。把握这类细微差异对准确识别至关重要。
- 语言变体。人类语言丰富多彩，包含俚语、方言与地域差异，都会带来挑战。某地的常用表达在另一地可能陌生，从而让 NER 过程更复杂。
- 数据稀疏。对基于机器学习的 NER 方法而言，充足且全面的标注数据至关重要。但要获取此类数据，尤其是在小语种或专业领域，往往并不容易。
- 模型泛化。一个模型也许在某一领域识别实体表现优异，却可能在另一领域失手。如何确保 NER 模型能在各类领域中良好泛化，是一项长期挑战。
解决这些挑战需要语言学专长、先进算法与高质量数据的合力。随着 NER 不断演进，如何打磨技术以跨越上述障碍，将持续成为研发前沿。
使用 NER 构建简历分析
本节将学习如何创建一个简历分析系统，帮助招聘经理根据候选人的技能与特征进行筛选。
导入必要的包
- 用于实体识别，我们将使用 spaCy。
- 用于可视化，我们将使用 pyLDAvis、wordcloud、plotly 和 matplotlib.pyplot。
- 用于数据加载与处理，我们将使用 pandas 和 numpy。
- 用于停用词与词形还原，我们将使用 nltk。
加载数据与 NER 模型
我们将先加载一个 CSV 文件，其中包含唯一 ID、简历文本与类别。随后，加载 spacy 的 "en_core_web_sm" 模型。
Entity Ruler
首先，需要在模型对象中添加一个 Entity Ruler 流水线。然后，通过加载一个包含标签与模式的 JSON 文件来创建 Entity Ruler，例如技能 ".net"、"cloud" 和 "aws" 等。
清洗文本
本节将使用 NLTK 库按以下步骤清洗数据集：
- 使用正则表达式移除超链接、特殊字符或标点。
- 将文本转换为小写。
- 按空格将文本拆分为数组。
- 对文本进行词形还原至基本形式，以实现规范化。
- 移除英语停用词。
- 将结果追加到数组中。
实体识别
在为模型添加新流水线后，我们可以使用 spaCy 的展示函数可视化文本中的命名实体。将输入文本传入语言模型后，可使用 displacy.render(obj, style="ent", jupyter=True, options=options) 高亮显示带有标签的词语。
匹配得分
让我们将简历与公司的需求进行匹配。系统会依据相似度得分显示最相似的简历。例如，如果公司在寻找一名 AWS 云工程师，它将展示最相关的简历。
如何获取相似度得分？
我们需要编写一个 Python 函数，使用 Entity Ruler 从简历中抽取技能，与所需技能进行匹配，并生成相似度得分。该应用只需简单的循环与 if-else 语句。招聘经理可以据此按技能筛选候选人，而无需阅读多份 PDF。
想要 进一步学习 AI 与机器学习？请查看以下资源：
命名实体识别（NER）是自然语言处理（NLP）中信息抽取的一项子任务，用于将命名实体归类到预定义的类别中，例如人物姓名、组织机构、地名、医学编码、时间表达、数量、货币金额等。在 NLP 领域，理解这些实体对于许多应用至关重要，因为它们常常包含文本中最关键信息。
命名实体识别详解
命名实体识别（NER）在非结构化文本与结构化数据之间搭建了一座桥梁，使机器能够从海量文本信息中筛选并以分类形式提取有价值的数据。通过在字词海洋中定位特定实体，NER 改变了我们处理与利用文本数据的方式。
目的：NER 的首要目标是从非结构化文本中查找特定片段作为命名实体，并将其归入预定义类别。这种将原始文本转换为结构化信息的过程让数据更具可操作性，便于开展数据分析、信息检索与知识图谱构建等任务。
工作原理：NER 的细节可分为几个步骤：
NER 的妙处在于能够理解并诠释非结构化文本——这类文本占据数字世界数据的很大比重，从网页与新闻报道到社交媒体帖文与学术论文。通过识别并分类命名实体，NER 为这片广袤的文本版图增添了结构与意义。
命名实体识别的方法
多年来，命名实体识别（NER）衍生出诸多方法，以应对从海量文本中抽取与分类命名实体的不同挑战。
基于规则的方法
基于规则的方法以人工编写的规则为基础，依据语言学模式、正则表达式或词典来识别并分类命名实体。它们在实体定义清晰的特定领域表现出色，例如从临床笔记中提取标准医学术语，但可扩展性有限。由于预设规则的刚性，这类方法在处理规模庞大或多样化的数据集时可能力不从心。
统计方法
摆脱手工规则后，统计方法采用如隐马尔可夫模型（HMM）或条件随机场（CRF）等模型，依据来自训练数据的概率来预测命名实体。这些方法适用于拥有充足标注数据的任务，长处在于能在多样文本间做出泛化，但其效果取决于所使用的训练数据。
机器学习方法
机器学习方法更进一步，采用决策树或支持向量机等算法。它们从标注数据中学习以预测命名实体。现代 NER 系统广泛采用该类方法，得益于其处理海量数据与复杂模式的能力。然而，它们需要大量标注数据，并可能带来较高的计算开销。
深度学习方法
最新的方法是深度学习，利用神经网络的力量。循环神经网络（RNN）与 Transformer 因其建模文本长程依赖的能力而成为主流之选。它们非常适合训练数据充足的大规模任务，但前提是需要强大的算力支持。
混合方法
最后，由于 NER 并不存在放之四海而皆准的方案，混合方法应运而生。此类技术将基于规则、统计与机器学习方法交织结合，力求取长补短。它们在从多元来源抽取实体时尤为有用，能够灵活调配多种手段。但也正因其交织特性，实现与维护可能较为复杂。
命名实体识别的应用场景
NER 已广泛应用于各个领域，改变了我们提取与使用信息的方式。以下是部分关键应用：
命名实体识别的挑战
尽管命名实体识别（NER）能从非结构化数据中提炼出结构化洞见，但其本身也面临诸多挑战。以下是该领域的主要难点：
解决这些挑战需要语言学专长、先进算法与高质量数据的合力。随着 NER 不断演进，如何打磨技术以跨越上述障碍，将持续成为研发前沿。
使用 NER 构建简历分析
本节将学习如何创建一个简历分析系统，帮助招聘经理根据候选人的技能与特征进行筛选。
导入必要的包
加载数据与 NER 模型
我们将先加载一个 CSV 文件，其中包含唯一 ID、简历文本与类别。随后，加载 spacy 的 "en_core_web_sm" 模型。
Entity Ruler
首先，需要在模型对象中添加一个 Entity Ruler 流水线。然后，通过加载一个包含标签与模式的 JSON 文件来创建 Entity Ruler，例如技能 ".net"、"cloud" 和 "aws" 等。
清洗文本
本节将使用 NLTK 库按以下步骤清洗数据集：
实体识别
在为模型添加新流水线后，我们可以使用 spaCy 的展示函数可视化文本中的命名实体。将输入文本传入语言模型后，可使用
displacy.render(obj, style="ent", jupyter=True, options=options)高亮显示带有标签的词语。匹配得分
让我们将简历与公司的需求进行匹配。系统会依据相似度得分显示最相似的简历。例如，如果公司在寻找一名 AWS 云工程师，它将展示最相关的简历。
如何获取相似度得分？
我们需要编写一个 Python 函数，使用 Entity Ruler 从简历中抽取技能，与所需技能进行匹配，并生成相似度得分。该应用只需简单的循环与 if-else 语句。招聘经理可以据此按技能筛选候选人，而无需阅读多份 PDF。
想要 进一步学习 AI 与机器学习？请查看以下资源：