大语言模型在文本生成和推理上的表现有目共睹，但对于从非结构化文本构建可靠知识图谱这件事，依然是个老大难。这个问题的根源在于：语言模型的运作机制与结构化知识提取的需求之间存在本质性的错位。

本文会介绍自动化知识图谱生成的核心难题：生成式模型为什么搞不定结构化提取，判别式方案能提供什么样的替代选择，生产级知识图谱的质量标准又是什么。

语言模型在知识图谱提取上栽跟头的原因

即使是当前最顶尖的模型，在结构化提取上也会翻车。这事儿不只是幻觉问题，而是语言模型生成文本的方式和知识图谱的需求之间存在根本性冲突。

生成式模型构建知识图谱时会有一连串的麻烦：实体消歧首当其冲，同一个实体换个说法出现，模型就可能认不出来，遗漏共指关系直接导致图谱碎片化；组合实体也很麻烦"墨西哥城"这种术语涉及嵌套概念（城市和国家），需要层级化表示；规模一大幻觉问题就压不住了，概率生成会编造出看着挺像那么回事但纯属虚构的实体和关系，在需要分段处理的长文本里这个问题尤其突出；还有上下文依赖，很多实体之间的关联只有看到完整文档才说得通，但把整个文档丢进去又会放大幻觉率。

吧i如说法律文档分析中，单个段落里模型把"甲方"识别成一个实体，转头又把"前述当事人"当成另一个实体——它们分明是同一个组织。这种段落级别的碎片化让生成的图谱噪声满满，导致后处理的工作量相当可观。

有人尝试切小文本块来压制幻觉，但是会出现关系丢失和实体重复。段落级别就已经有问题了——重要的实体关联可能跨越多个句子，激进地切到句子级别会把这些依赖关系彻底打碎。推理成本还会上去因为模型得跑好几遍才能处理完同样的内容。

上下文丢失随着窗口缩小而加剧。段落级别已经有麻烦，句子级别只会更糟

生成式架构的这些局限性引出一个问题：有没有更适合结构化提取的模型类型？

判别式模型 vs 生成式模型

判别式语言模型——基于掩码语言建模训练的双向注意力模型——在知识图谱提取上提供了一条不同的路径。

优势从何而来？判别式模型天生擅长 Token 和序列分类。命名实体识别可以直接建模为输入序列上的 Token 级分类任务，生成步骤压根不需要。

命名实体检测作为 Token 分类处理，根本不走生成流程

架构上的契合让判别式模型不仅在结构化提取上更准，效率也足够支撑边缘部署——一个 BERT 模型在普通硬件上就能跑，DeepSeek 可不行。

但是判别式模型需要在领域数据上做针对性微调，效果比生成式模型的用法强；生成式模型靠 Prompt 和少样本示例就能适应新任务，不用额外训练。

不管选那种方法成功的提取都得从扎实的基础开始。学术上管这个叫"断言知识图谱"（asserted knowledge graphs），它代表源文本的基准真值。需要迭代优化的时候，这个基础的价值就体现出来了。

断言知识图谱：可验证的基础

断言知识图谱只表示源文本里明确说了的东西——不做推理，不引入外部知识，有什么记什么。源就是文本本身，这个图谱就是该文档的可验证基准。

构建断言知识图谱涉及三个核心任务：实体识别负责找出人名、组织、日期、领域术语等关键片段并归类；关系提取要发现实体之间明确表达的连接；共指消解则是把指向同一实体的不同说法归并到一个节点上。

这些任务恰好落在判别式模型擅长的 Token 和序列分类范畴内，所以基于 BERT 的专用系统通常会分开处理它们。

但这种顺畅的流水线方法有个要命的问题：

这些任务通常串行执行：先提取实体，再检测关系，最后做共指消解。多阶段流水线的问题在于每一步都会积累误差。

实体识别 90% 准确率，关系提取 90% 准确率，乘起来只剩 81%，误差传播是现代方法转向端到端模型的直接原因

单个语言模型一次性生成完整图谱结构，可以规避链式专用模型的复合失败。哪怕每个专用组件在各自的子任务上表现更好，端到端方案的整体效果往往更优。

断言知识图谱是可验证的基线。下游任务需要额外信息，比如隐式关系、外部知识库连接、领域特定增强的时候，扩展是在可信基础上进行，不用质疑整个图谱的有效性。

生产系统里这一点至关重要。可解释性和调试都依赖于一个前提：知道哪些信息直接来自源文本，哪些来自推理或增强。

不过，光有这个可验证基础对很多实际应用来说还不够，还需要增强策略。

断言知识图谱的增强

断言知识图谱本身往往撑不起实际应用。从法律文档提取基准真相之后，反复碰到三个根本性限制：图谱里经常有孤立的实体簇，没有连接路径，遍历性很差；真实文档假设了一堆没明说的共享上下文，这部分隐式知识缺失严重；实体需要规范化到更广的知识库才能做下游集成，外部对齐需求绕不开。

这些缺口需要有针对性的增强策略来补。

下游任务经常能从一些易于自动生成的直观关系中获益，比如说"是一个"、"位于"、"属于"之类的词语。

层级关系的价值是非常大的，添加分类学连接可以把实体组织成本体论结构，比如建立 [雇佣合同, 是一个, 法律合同] 或 [甲方, 是一个, 公司]，扁平的实体列表就变成了可导航的层级。

生成式语言模型在受限于预定义关系词汇表时可以胜任这种增强。放开限制的话幻觉风险会上升，而且模型容易退化成通用常识里那套标准层级关系丢失领域特异性。

基于规则的增强

逻辑规则是另一条路，从已有模式推断新事实，利用简单规则比如"如果实体 A 雇佣实体 B那么实体 A 是一个组织"可以把领域知识显式编码进去。

多跳规则能支撑更复杂的推理："案件 A 违反了第 5 条，第 5 条属于法规 R，那么案件 A 也违反了法规 R。"链式推理可以大幅提升图谱连通性揭示隐式关系。

但是代价是基于规则的增强需要领域专家来定义有效的推理模式

规则不会泛化到专家编码之外的地方，但也不会编造出无效关系。正确性压倒一切的场景里这份可靠性非常靠谱的。

链接预测与知识库对齐

另外一种思路是在现有实体集里识别缺失关系，不加新节点就能提升图谱连通性。实现方式是在领域特定知识库上训练链接预测模型。

模型在 [实体 A — 关系 — 实体 B] 三元组上训练，学会判断任意两个实体之间是否存在关系，存在的话是什么类型

生成式语言模型也能通过 Prompt 预测缺失关系，不过幻觉风险更高，需要严格界定有效关系子集。

保留源上下文

还有一种增强方式是保留原始源结构。

创建代表文本片段的节点，句子、段落或整篇文档。实现方式有两种：把这些节点连接到相关实体上以提升整体连通性，或者构建嵌套层级，让高层文本节点包含从其内容中提取的子图

这种增强不会引入事实错误，因为表示的是源里实际存在的东西不是推断出来的新知识。

实体在多个上下文里出现时，来源节点能揭示单个实体连接里看不到的使用模式和语义关系。任何实体或关系都可以追溯到精确的源位置，不仅知道提取了什么还知道它来自哪里、出现在什么语境下。

更简单的实现可以在图谱构建期间直接在实体和关系节点上存源元数据（文档 ID、句子位置），省掉额外结构节点的开销。选择用元数据还是显式节点，取决于下游任务是否需要把文本片段本身当作可查询的图谱实体来处理。

主题聚类提升连通性

孤立组件对图谱遍历和全局查询始终是个问题，基于主题的聚类通过创建桥接节点来连接相关实体。

直接的做法是用预定义类别：在领域特定主题上训练分类模型（法律文档的话就是"劳动法"、"知识产权"、"合同纠纷"之类），然后创建主题节点，把每个类别下文档里的所有实体连起来。

这种方法可解释性好，对分类体系稳定的领域很适用

GraphRAG 这类更复杂的方案用层级社区检测算法在多个粒度上自动发现实体簇，计算开销会大一些。

用预定义分类还是自动发现，需要看领域是有成熟类别体系还是更适合新兴模式检测。

增强策略的选择

这里有一个最简单和直接的方案：用同一个生成式模型从基准真相图谱和原始文本中推断隐式实体和关系。

这种增强策略限定在预定义关系类型范围内，产生的知识图谱有效捕获了下游 GNN 分类任务所需的语义结构。

最优增强策略完全取决于下游应用。需要跨孤立组件做复杂推理的任务，聚类技术提供必要的连通性

分类或以实体为中心的任务，选择性推断隐式知识可能就够了。正确性优先于覆盖率的高风险领域，基于规则的方法保证可靠性。

增强前：

"甲方"（实体）

"雇佣合同"（实体）

添加分类学关系后：

"甲方" → [是一个] → "公司" → [是一个] → "法律实体"

"雇佣合同" → [是一个] → "法律合同" → [是一个] → "文档"

反复试下来会发现，最有效的方案往往不是直觉上那个：从断言基础开始，迭代增强，直到图谱能服务于预期目的。

总结

知识图谱提取的核心矛盾在于：语言模型擅长生成流畅文本，却不擅长输出结构化、一致、可验证的知识表示。理解这一点，才能做出正确的技术选型。

判别式模型在精度和效率上占优，但需要领域微调；生成式模型灵活性强，却要承担幻觉和碎片化的代价。两者并非非此即彼，关键是明确下游任务的需求。

断言知识图谱作为可验证基础的价值不可替代。在此之上叠加增强策略——分类学扩展、规则推理、链接预测、源上下文保留、主题聚类——根据应用场景组合使用，才能构建出真正可用的生产级知识图谱。

https://avoid.overfit.cn/post/767c139e559b44d0b467a925d5384841

作者：Fabio Yáñez Romero

当我们向AI大模型提问，或是让它总结一份资料时，大模型之所以能精准回应，核心就在于它能从海量文本中快速“抓出”关键信息。而让大模型具备这种“文本识物”能力的基础，正是实体识别标注。

作为自然语言处理（NLP）与AI大模型训练的核心数据支撑技术，实体识别标注通过对文本中的关键元素进行精细化标注，为机器搭建起“理解文本语义、提取核心信息”的学习框架。

一、AI大模型的文本关键信息提取器

实体识别标注，是指在AI大模型训练场景下，对文本数据中的实体进行定位、分类与属性标注的过程。

这里的“实体”，通俗来说就是文本中具有特定含义的“关键元素”，是构成文本语义的核心单元，比如人名、地名、机构名、时间、数字、专业术语等。

例如，在句子“2020年，曼孚科技在杭州推出了新一代AI数据标注平台”中，“2020年”（时间实体）、“曼孚科技”（机构实体）、“杭州”（地名实体）、“新一代AI数据标注平台”（产品实体）都是需要标注的核心实体。

与普通文本标注（如文本分类、情感分析标注）不同，实体识别标注的核心目标是“精准定位+明确分类”，不仅要找到文本中的实体位置（即标注实体的起止字符），还要明确实体的类型的属性，让机器知道“这个元素是什么”。

如果把AI大模型理解文本的过程比作“整理文件”，实体识别标注就像是给文件中的关键信息贴上“分类标签”，让机器能快速抓取核心内容，而非逐字逐句“阅读”全部文本。

作为AI大模型实现文本理解、信息提取、语义交互的关键， 实体识别标注的核心价值体现在三大层面：

1、夯实语义理解基础

实体是文本语义的“锚点”，通过标注实体的类型与关系，让机器理解文本的核心逻辑。比如通过标注“曼孚科技”（机构）与“AI数据标注平台”（产品）的“推出”关系，机器能明白“曼孚科技是该产品的研发主体”。

2、提升信息提取效率

让大模型具备快速从海量文本中提取关键信息的能力，比如从10万份医疗病历中快速提取“高血压患者”“阿司匹林”“用药剂量”等实体，从千份商务合同中抓取“甲方”“乙方”“违约责任”等核心实体。

3、支撑多场景语义交互

为大模型的问答、摘要、翻译、知识图谱构建等功能提供数据支撑。比如用户问“谁在杭州推出了AI标注平台”，大模型能通过标注数据快速定位“曼孚科技”这一核心实体并给出答案。

二、从“定位分类”到“深度理解”

实体识别标注并非简单的“圈选文本+贴标签”，而是一套融合“语言学知识、行业规则、技术工具”的精细化体系。根据AI大模型的训练需求，其技术细节可分为“基础层、进阶层、复杂场景层”等多个维度，同时配套标准化的标注流程与质量管控机制。

1、基础层：实体定位与类型标注

这是实体识别标注的最基础环节，目标是“精准找到实体、明确实体类型”，是后续所有标注工作的前提。包含两个关键步骤：

1）实体边界定位标注

即精准标注文本中实体的起止位置，确保实体边界无偏差。例如，在句子“浙江省杭州市西湖区的雷峰塔是著名景点”中，“浙江省杭州市西湖区”（地名实体）的边界需从“浙”字开始，到“区”字结束，不能遗漏“浙江省”或多包含“的”字。

标注方式通常采用“字符索引标注”，即记录实体在文本中的起始字符位置与结束字符位置，确保机器能精准定位实体在文本中的位置。

2）实体类型分类标注

在定位实体边界后，需为实体标注对应的类型。根据不同场景之间的差异，实体类型大致可分为“通用类型”与“行业定制类型”两类：

通用实体类型：适用于大多数文本场景，常见类型包括：

人名：如“张三”“马斯克”“李白”；

地名：如“北京”“西湖”“太平洋”；

机构名：如“曼孚科技”“清华大学”“联合国”；

时间：如“2024年5月20日”“上周三”“凌晨3点”；

数字：如“100万”“3.14”“五十”；

日期：如“2025年”“100周年”；

产品名：如“iPhone 15”“华为Mate60”“新一代AI标注平台”；

事件名：如“杭州亚运会”“世界杯”“双十一购物节”。

行业定制实体类型：针对医疗、金融、法律、自动驾驶等垂直领域的个性化需求，定制专属实体类型。例如：

医疗领域：疾病名（如“高血压”“肺癌”）、药物名（如“阿司匹林”“布洛芬”）、症状名（如“头痛”“发烧”）、检查项目（如“血常规”“CT扫描”）；

金融领域：金融产品（如“股票”“基金”“理财产品”）、机构类型（如“银行”“证券公司”“保险公司”）、交易术语（如“开户”“转账”“平仓”）；

法律领域：法律条款（如“民法典第101条”）、当事人（如“原告”“被告”“代理人”）、法律文书（如“判决书”“起诉状”）；

自动驾驶领域：道路元素（如“红绿灯”“斑马线”“人行道”）、车辆信息（如“小轿车”“货车”“非机动车”）、交通标志（如“限速60”“禁止通行”）。

2、进阶层：让机器理解“实体关联”

仅完成定位与分类，还不足以让大模型深度理解文本语义。在复杂场景下，还需要标注实体的属性与实体间的关系，让机器明白“实体的特征”与“实体间的逻辑联系”。

1）实体属性标注

即标注实体的固有特征或状态，让机器更精准地理解实体。例如：

人名实体“张三”：可标注属性“性别：男”“职业：工程师”“年龄：35岁”；

疾病实体“高血压”：可标注属性“类型：原发性”“症状：头痛、头晕”“治疗方式：药物治疗+饮食控制”。

属性标注的核心是“结构化”，需将实体的非结构化特征转化为机器可理解的键值对形式（如“键：性别，值：男”），方便大模型进行特征提取与分析。

2）实体关系标注

即标注两个或多个实体间的逻辑关系，构建文本的语义网络。这是支撑大模型实现“问答交互”“知识图谱构建”的关键。常见的实体关系类型包括：

从属关系：如“曼孚科技”与“杭州”（总部位于）；

因果关系：如“高血压”与“头痛”（导致）、“熬夜”与“疲劳”（引发）；

关联关系：如“iPhone 15”与“苹果公司”（研发）；

动作关系：如“张三”与“文件”（撰写）、“医生”与“患者”（诊疗）。

标注方式通常采用“三元组标注”（主体-关系-客体），例如“曼孚科技-总部位于-杭州”，让机器清晰掌握实体间的逻辑关联。

3、复杂场景层：特殊实体与模糊实体标注

在实际文本场景中，存在大量“边界模糊、类型复杂”的实体，这类实体的标注是行业难点，需要结合语言学知识与行业经验进行精细化处理。

1）嵌套实体标注

即实体内部包含其他实体，需分层标注。例如，在“曼孚科技（杭州）有限公司”中，外层实体是“曼孚科技（杭州）有限公司”（机构名），内层实体是“杭州”（地名），标注时需同时明确两层实体的边界与类型，避免混淆。

2）模糊实体标注

即实体类型不明确或存在歧义，需结合上下文判断。例如，“苹果”既可能是水果（物品实体），也可能是品牌（机构实体），在句子“苹果发布了新款手机”中，需标注为“机构实体”；在句子“我买了一斤苹果”中，需标注为“物品实体”。

3）多语种/混合语种实体标注

针对包含多语种的文本，需标注不同语种的实体并统一分类。例如，在“马斯克创办了特斯拉（Tesla）”中，“马斯克”（中文人名）、 “特斯拉”（中文机构名）、“Tesla”（英文机构名）需分别标注，确保大模型能识别多语种实体的对应关系。

4）缩略语/简称实体标注

针对文本中的缩略语或简称，标注其全称与类型。例如，“北大”需标注全称“北京大学”（机构实体），“GDP”需标注全称“国内生产总值”（经济指标实体）。

4、技术流程：自动化预标注+人工精修+质量管控

实体识别标注的专业性与复杂性，需依赖“技术工具+专业团队”的协同，核心流程包括但不限于：

1）数据预处理

对原始文本数据进行清洗，去除冗余信息（如特殊符号、无关空格）、修正错别字、统一文本格式（如统一日期格式、数字格式），为标注奠定基础。

2）自动化预标注

利用实体识别模型或AI自动标注工具，对文本进行初步的实体定位与类型标注，生成预标注结果，大幅降低人工标注成本。

3）人工精修标注

专业标注团队对预标注结果进行逐句审核，修正实体边界错误、调整实体类型、补充属性与关系标注、处理模糊实体与嵌套实体等难点问题。标注人员需具备语言学知识与行业专业知识（如医疗领域标注人员需了解医疗术语）。

三、实体识别标注的核心应用场景

实体识别标注数据是AI大模型文本理解能力的“燃料”，其应用场景已渗透到生活、工作、产业的方方面面，尤其在以下领域发挥着关键作用：

1、通用AI大模型与智能交互场景

这是实体识别标注最广泛的应用场景，直接影响通用大模型的语义理解与交互体验：

智能问答与聊天机器人：如ChatGPT等大模型的问答功能，需通过实体识别标注快速定位用户问题中的核心实体，并从知识库中提取对应信息回应。

文本摘要与信息提取：大模型的文本摘要功能，需通过实体识别标注提取文本中的核心实体，再基于实体关联生成简洁摘要；信息提取功能可从新闻、报告、论文等海量文本中快速抓取关键实体。

机器翻译：多语种翻译场景中，实体识别标注能确保人名、地名、机构名等核心实体的翻译准确性。

2、垂直行业应用场景

在医疗、金融、法律、自动驾驶等垂直领域，实体识别标注需结合行业特性提供定制化数据支持，推动AI大模型的行业落地：

1）医疗领域：提升诊疗效率与合规性

实体识别标注帮助AI大模型从电子病历、诊疗报告、医学文献中提取核心医疗实体，支撑临床辅助诊断、病历管理等功能。例如，从病历中提取“患者姓名”“疾病名”“症状”“用药信息”“检查结果”等实体，自动生成标准化病历报告，减少医生文书工作量；从医学文献中提取“疾病机制”“药物疗效”“临床试验数据”等实体，帮助医生快速掌握行业前沿研究。

2）金融领域：强化风险控制与决策支持

实体识别标注帮助AI大模型从金融报告、交易记录、新闻资讯中提取核心金融实体，支撑风险控制、投资决策等功能。例如，从企业财报中提取“营收”“利润”“负债”等财务实体，结合实体关系分析企业经营状况，辅助投资决策；从交易记录中提取“交易主体”“交易金额”“交易时间”“交易类型”等实体，识别异常交易（如大额频繁转账），防范金融风险。

3）法律领域：提升文书处理效率与准确性

实体识别标注帮助AI大模型从法律文书、庭审记录、法规条文等文本中提取核心法律实体，支撑案件分析、文书生成等功能。例如，从判决书、起诉状中提取“当事人”“案由”“法律条款”“判决结果”等实体，自动生成案件摘要，帮助法官快速了解案件核心；从法规条文中提取“法律术语”“处罚标准”“适用场景”等实体，构建法律知识图谱，辅助律师进行案例检索与法律分析。

4）自动驾驶领域：强化环境感知与决策

实体识别标注不仅适用于文本，还可延伸至自动驾驶的图像/语音文本融合场景，帮助AI大模型识别道路环境中的核心实体。例如，从车载摄像头拍摄的图像文本中提取“交通标志”（如“限速60”“禁止左转”）、“车牌”“道路名称”等实体；从车载语音交互文本中提取“导航目的地”（地名实体）、“车辆控制指令”（如“打开空调”“调整座椅”）等实体，支撑自动驾驶的语音交互与路径规划功能。

3、知识图谱构建场景

知识图谱是AI大模型实现深度语义理解的核心基础，而实体识别标注是知识图谱构建的“核心环节”。通过标注实体的类型、属性与关系，将非结构化文本转化为结构化的知识三元组，再基于这些三元组构建知识图谱，让大模型能快速检索实体间的关联关系，提升语义理解深度。

四、曼孚科技让AI更精准地“读懂”文本

作为AI基础设施领域的领军企业，曼孚科技已构建起覆盖“通用场景+垂直领域”的全栈实体识别标注服务体系，通过“平台工具+专业团队+质量管控”的模式，为头部大模型企业、医疗机构、金融机构、车企等客户提供高质量标注数据，推动AI大模型文本理解能力的升级。

1、定制化标注方案

针对不同行业的个性化需求，提供定制化的实体识别标注服务，精准匹配行业场景。

例如，在通用大模型领域，涵盖中文、英文、日文等各类常见语种及小语种，覆盖新闻、社交、商务等多维场景；在医疗领域，定制化搭建“疾病-症状-药物-检查项目”的专属实体类型体系，构建起一套包含3000+医疗专业术语的标注规范库。

2、平台工具+专业团队

自研AutoLabeling实体标注引擎，基于大模型技术实现实体定位、类型分类的半自动化标注，结合AI辅助修正工具，标注效率提升数倍以上。

搭建“语言学专家+行业专家+标注工程师”的跨学科团队，其中行业专家覆盖医疗、金融、法律、自动驾驶等数十个行业领域，确保标注数据的专业性与准确性。

3、合规与隐私保障

针对文本数据中的隐私信息（如医疗病历中的患者身份信息、金融数据中的用户交易信息），曼孚科技构建了全流程合规体系：

严格遵循《数据安全法》《个人信息保护法》，对涉及隐私的实体信息进行脱敏处理；

采用“本地标注+加密传输+加密存储”的多重安全策略，搭建物理隔离的标注环境，防止数据外泄；

通过ISO27001、ISO27701等体系安全认证，全程追溯数据处理行为，确保合规可查。

五、未来趋势

实体识别标注是AI大模型“读懂文本”的关键前提，看似基础性的数据加工工作，却融合了语言学、行业知识、技术工具等多领域的专业能力。

从通用大模型的智能问答，到医疗领域的病历管理，再到金融领域的风险控制，实体识别标注都在背后发挥着不可替代的作用。

未来，实体识别标注将聚焦于进一步提升自动化标注水平、注重多模态实体融合标注等关键领域，推动标注的效率与精度的不断提升，推动智能时代的文本处理能力实现质的飞跃，从而支撑AI大模型实现更深度的语义理解与更广泛的行业落地。