标签 可解释性AI 下的文章

随着人工智能(AI)技术的不断进步和广泛应用,AI已经渗透到金融、医疗、制造、自动驾驶等多个行业。尽管AI带来了巨大的创新和效率提升,但随着其应用范围的扩大,AI的安全性问题也逐渐暴露出来。AI应用安全不仅仅局限于算法模型的本身,更多的是涉及数据隐私、对抗攻击、模型滥用、合规性问题以及垂直行业应用中的特殊风险。因此,企业需要全面识别并应对这些AI应用中的潜在风险,构建健全的AI安全管理体系。

一、AI应用安全的核心挑战
AI应用的安全风险源自多个层面,既包括算法层面的风险,也涉及数据、系统、法律等多维度的安全隐患。
1.1 AI模型算法滥用风险
随着AI生成内容的普及,模型算法的滥用已成为迫切需要解决的安全隐患。特别是在生成式AI领域,AI模型可能被用来生成虚假信息、深度伪造内容等,直接影响社会舆论,甚至对企业造成直接经济损失。

  1. 虚假有害信息的传播:生成的AI内容可能被恶意用于传播虚假信息、误导公众、制造恐慌或进行欺诈活动。例如,某些不法分子利用AI生成的新闻报道或虚假视频,制造社会不稳定因素。
  2. 多模态深度伪造的风险:深度伪造技术融合了视频、音频、文本等多模态内容,生成高度逼真的虚假信息。这类攻击不仅可能带来经济损失,还会破坏公众的信任基础,影响法律和社会规范的实施。
  3. 模型透明性不足:AI应用在实际运行中,许多模型尤其是复杂的深度学习模型,往往缺乏足够的透明度,用户无法理解模型的决策过程。这种“黑箱”性质不仅增加了用户的使用风险,也使得当出现错误决策时,问题难以被迅速定位和解决。

1.2 AI应用开发安全风险
AI应用开发不仅仅是技术问题,还涉及硬件、软件以及协同环境的整合,这就使得AI开发中的安全风险更加复杂和多样化。

  1. 端侧AI安全风险:在边缘计算环境中,由于端侧设备的硬件限制,AI模型可能需要进行压缩或优化,这样的处理虽然可以提升运行效率,但也可能导致模型的鲁棒性和安全性下降,出现性能下降或“安全税”现象。此外,端侧部署通常要求在设备端实现实时推理,并依赖云边协同架构进行模型更新和任务调度,这也带来了异构硬件兼容性和网络延迟等潜在风险。
  2. 智能体的安全风险:AI智能体是由AI模型驱动的自主系统,能够执行复杂任务。随着AI智能体与外部环境的不断交互,智能体的安全风险也在增加。攻击者可能通过篡改协议或利用自主决策链路的不可预测性,导致智能体做出错误决策,从而产生安全漏洞。
  3. 具身智能的安全隐患:具身智能涉及到现实世界中的物理行动,其安全风险不容忽视。传感器设备可能泄露个人信息,具身智能体的物理行为可能被恶意攻击者控制,从而导致人身伤害或财产损失。例如,服务机器人操作不当,或自动驾驶汽车发生事故,都是具身智能安全风险的典型表现。
  4. 智能物联网(AIoT)安全:智能物联网设备融合了AI算法与物联网的物理特性,部署在受限的边缘环境中,面临着传感器噪声、物理攻击、以及复杂环境干扰等问题。与传统物联网设备相比,AIoT还面临着AI特有的安全威胁,如对抗样本攻击、训练数据投毒和模型窃取等问题。

1.3 AI垂直行业应用的安全风险
AI技术在垂直行业的应用,虽然带来了行业的革新,但也带来了独特的安全风险。不同的行业面临的AI应用安全问题各具特点。

  1. AI在医疗行业的安全风险:AI在医疗领域的应用极大地提高了诊断效率和精确度,但也伴随着巨大的技术与伦理风险。训练数据的偏差、系统漏洞可能导致医疗设备发生错误,甚至误诊。此外,AI系统在处理敏感的患者信息时,若未采取充分的加密与权限管理,可能会导致患者隐私泄露,进而带来法律与伦理上的问题。
  2. AI在新闻领域的滥用风险:随着AI生成内容技术的普及,新闻行业面临着虚假新闻传播的风险。某些不法分子可能利用AI模型生成虚假报道、伪造证据,借此操纵舆论或进行诈骗活动。如何确保生成内容的真实性与可信度,成为新闻行业亟待解决的安全挑战。
  3. AI在金融行业的安全风险:金融行业的AI应用包括身份验证、交易监控等多个方面,面临着深度伪造技术带来的身份验证问题。攻击者通过深度伪造技术伪造身份信息,可能突破金融机构的身份核查系统,实施盗刷或恶意注册等欺诈行为,造成极大的经济损失。
  4. AI在编程领域的安全风险:AI辅助编程不仅提高了开发效率,但也带来了代码安全隐患。AI生成的代码可能存在常见漏洞(如SQL注入、跨站脚本攻击等),同时AI生成的代码缺乏架构设计,可能导致后期维护困难。由于过度依赖AI生成的代码,开发人员可能减少了必要的人工审查,从而放大了潜在的安全风险。

二、AI应用安全的解决方案与应对措施
针对上述AI应用中的安全风险,企业需要采取多维度的防护措施,构建全方位的AI安全管理体系。
2.1 提高模型的鲁棒性和透明性
为了应对AI模型的滥用风险,企业应加大对AI模型的鲁棒性和透明度的建设。例如,采用对抗训练增强模型的抗干扰能力,采用可解释性AI(XAI)技术提升模型的透明度,帮助用户理解决策过程,从而降低不当信任的风险。
2.2 强化数据保护与隐私管理
在AI应用过程中,数据是最核心的资产之一。企业应实施数据加密、访问控制、数据脱敏等技术,确保数据的隐私性和安全性。此外,企业应遵守相关的法律法规,如GDPR等,确保数据使用的合法合规。
2.3 强化安全检测与监控
企业需要在AI模型开发与应用过程中加入安全检测与监控机制,实时发现潜在的安全隐患。例如,利用自动化工具扫描AI模型的依赖组件,识别潜在漏洞,及时修复,并部署AI安全监控系统,实时监控模型的运行状态和异常行为。
2.4 建立合规性框架
AI应用不仅要在技术上保障安全,还需要满足法律法规的合规性要求。企业应构建全面的AI合规性框架,制定AI应用的合规性审查标准,确保AI技术在法律法规框架下运行。

三、艾体宝Mend价值
Mend通过其全面的软件组成分析(SCA)与依赖治理功能,在模型安全方面发挥了关键作用,帮助企业应对AI模型开发、训练、部署和维护过程中面临的安全挑战。具体价值体现在以下几个方面:

3.1 识别和治理AI应用依赖中的安全风险
AI应用往往依赖于多个开源库和第三方组件,而这些组件可能带有安全隐患。Mend通过自动化的SCA工具,能够深入识别和分析AI应用中所依赖的开源库及第三方组件,实时扫描每个依赖组件的安全风险。无论是AI平台、训练框架、容器镜像,还是MLOps流水线中的每一层,Mend都能够精确检测出潜在的漏洞、许可证问题和版本不兼容等安全风险。企业可以借助Mend的实时扫描功能,提前识别并解决这些隐患,避免将不安全的依赖组件引入AI应用,从而减少因依赖漏洞带来的应用安全风险。

3.2 构建透明的SBOM体系,确保合规性
AI应用不仅需要从技术层面防护,还必须符合相关的合规要求。Mend帮助企业构建和管理全面的安全SBOM(软件物料清单)体系,生成覆盖整个AI应用栈的SBOM清单。这一清单为合规审计、漏洞报告和监管备案提供了透明和准确的数据支持。通过Mend的SBOM工具,企业能够清晰地掌握AI应用中每个组件的来源、版本及其安全状况,从而确保模型和应用的安全性与合规性,避免因信息不透明而引发的法律和合规问题。通过这种全面的管理,Mend帮助企业在复杂的合规环境中确保AI应用的合法性与合规性。

3.3 防范对抗攻击与漏洞利用
Mend通过对AI模型进行真实的红队模拟交互,模拟攻击者的行为,测试模型对恶意输入、提示词注入以及其他对抗攻击的防御能力。Mend通过模拟各种可能的攻击情境,实际验证模型在面对各种恶意输入时的响应能力和稳定性。通过这种方式,Mend能够识别出潜在的安全漏洞,并提供针对性的防御策略,帮助企业提前发现并修复可能被攻击者利用的弱点。

面向临床的心电图AI,上智院、复旦等提出CLEAR-HUG框架实现诊断性能与可解释性双突破

0%
icon展开列表
面向临床的心电图AI,上智院、复旦等提出CLEAR-HUG框架实现诊断性能与可解释性双突破
今天
img
神同步OpenAI!中国团队Deep Principle领衔发布LLMs for Science评测,引爆外网
今天
img
美团又上新模型,8个Thinker齐开工,能顶个诸葛亮?
今天
img
失去三个联创后,Mira公司危机持续:又有两人要出走
今天
img
不止于量化:最新综述用「时-空-构」三维视角解构KV Cache系统级优化
今天
img
支付宝携手千问App、淘宝闪购等发布中国首个AI商业协议ACT
今天
img
刚刚,Geoffrey Hinton成为第二位引用量破百万的科学家
今天
img
腾讯AngelSlim升级,首个集LLM、VLM及语音多模态为一体的投机采样训练框架,推理速度飙升1.8倍
今天
img
DeepSeek连发两篇论文背后,原来藏着一场学术接力
今天
img
仅需一个混频器的无线射频机器学习推理,登上Science Advances!
今天
img
国内首个可复现!萝博派对公开人形机器人 “从 0 到跑” 全开源方案
01月15日
img
联发科天玑9500s、8500发布:GPU、光追拉满,红米Turbo 5Max将搭载
01月15日
img
通用级PixVerse P1的技术突破,揣着进入平行世界的密码
01月15日
img
Mira公司内乱?CTO被开除,带团队回OpenAI,翁荔上推发言
01月15日
img
Nature丨清华等团队揭示AI科研双重效应:个人效率亦或是科学边界
01月15日
img
刚刚,喝到了千问APP给我点的奶茶
01月15日
img
人脸机器人登上Science Robotics封面:用AI教会仿生人脸机器人「开口说话」
01月15日
img
实测夸克「千问划词快捷指令」,这7个邪修Prompt,建议收藏
01月15日
img
已证实!清华姚班陈立杰全职加入OpenAI,保留伯克利教职
01月15日
img
解锁任意步数文生图,港大&Adobe全新Self-E框架学会自我评估
01月15日
img

面向临床的心电图AI,上智院、复旦等提出CLEAR-HUG框架实现诊断性能与可解释性双突破

图片
作者团队丨上海科学智能研究院、复旦大学团队
编辑丨ScienceAI

在心血管疾病诊断中,心电图(Electrocardiogram, ECG)是无可替代的基础工具,其中 12 导联心电图是临床使用的金标准。作为观察心脏电活动的“视角”,导联是由一正一负两个电极构成的一个记录电路,12 导联心电图即是通过体表 10 个电极组合构建出 12 个独特的电信号“视角”,同步捕捉心脏的电活动,形成一套多维度的波形图谱。

然而,面对海量的心电图数据,现有基于自监督学习的分析方法尽管提供了无需大规模标注数据的解决方案,其局限仍非常明显:它们往往未能充分建模心脏传导过程中细微的个体心搏差异,也缺乏与临床“从心搏到导联,再从导联到整体”的递进诊断逻辑相对齐的推理结构,导致在复杂病例诊断中表现受限。

为此,上海科学智能研究院(下称上智院)与复旦大学联合提出了 CLEAR-HUG 双阶段框架。该框架从心电图信号的生理本质出发,在预训练阶段显式建模心脏传导特征,并在诊断阶段紧密贴合临床判读的层级思维,实现了从信号表征到诊断推理的全流程优化。实验表明,该方法在六个权威公开数据集上平均性能提升达 6.84%,为开发高性能、可解释的 AI 辅助心电图诊断工具开辟了新路径。

图片

论文链接:https://arxiv.org/pdf/2512.24002

该研究成果已被 AAAI 2026 接收。研究项目由星河启智科学智能开放平台和复旦大学 CFFF 智算平台提供技术和算力支持。

星河启智平台链接:https://aistudio.ai4s.com.cn

现有方法的两大局限

既往的心电图自监督学习(electrocardiogram self-supervised learning, eSSL)方法虽取得一定进展,但存在两个面向临床的关键短板:

一是忽视个体差异。

现有方法学会了看“大概”和“通常”,却难以识别那些“例外”与“异常”,而后者往往是临床诊断中更需要关注的信号。具体来说,现有方法主要让模型学习心电图信号中重复出现和普遍存在的模式——比如不同导联之间波形的同步性,或连续心搏间的形态相似性,却忽略了一个生理事实:每个心搏的传导路径存在自然的细微差异,而不同导联观察的解剖角度也本就不同。这些细节往往承载着重要的生理与病理信息,例如,一个偶发的、形态异常的室性早搏,在标准心电图中看起来就“很不合群”,但这恰恰是临床诊断需要捕捉的关键线索。

二是脱离临床逻辑。

为确保诊断的精确性和全面性,心电图临床诊断通常遵循“心搏→单导联→多导联组合”的层级流程:医生首先观察单个心搏的形态细节,判断其是否异常;然后在一个特定的导联上,分析连续心搏的节律和模式,确认异常是否持续存在;最后,综合所有 12 个导联的信息,像拼图一样将不同导联的发现进行组合与空间对应,从而精确定位心脏的病变部位并做出最终诊断。但是,现有模型在下游任务中常忽视这一递进式诊断逻辑,导致特征提取与诊断需求脱节。

为解决这些问题,研究团队从心脏传导机制和临床诊断规范双重视角出发,构建了 CLEAR-HUG 框架,实现从信号表征到诊断推理的全流程优化。该框架与人类专家的知识体系对齐,使得医生不仅能够获知“诊断结果是什么”,更能理解“模型为何做出该诊断”,从而推动心电图AI分析更加可解释。

图片

图示:心脏传导机制。

CLEAR-HUG 的双阶段创新设计

CLEAR-HUG 框架包含预训练和微调两个阶段,分别对应特征学习与诊断适配,形成完整的技术闭环。

第一阶段,团队设计了名为“传导-导联重构器”(Conduction-LEAd Reconstructor, CLEAR)的自监督模型,该模型能同时捕捉心跳的特异性变异与普遍共性。通过将每个心搏视为独特实体,该模型采用简洁高效的稀疏注意力机制,在排除其他心搏干扰的情况下重构信号。

第二阶段,团队构建了“分层导联统一分组头”(Hierarchical lead-Unified Group head, HUG头)诊断模块,模拟临床诊断流程。

图片

图示:双阶段训练

1.CLEAR 预训练,捕捉传导级细微特征

预训练阶段的核心是 CLEAR 模型,通过传导引导和视角引导的双重信息学习,精准重建心电图信号:

  • 双重视角建模:将心电图信号分解为传导引导信息(同一心搏在各导联的时间同步特征)和视角引导信息(同一导联的空间异质性特征),全面捕捉信号本质。

  • 稀疏注意力机制:设计专属注意力掩码,确保心搏重建仅依赖对应的心搏传导信息和导联全局上下文,避免其他心搏干扰,高效提取特异性特征。

  • 掩码重建训练:采用 80% 的高掩码率,通过重建被掩盖的心搏 token,迫使模型学习深层生理特征而非表面模式,提升表征鲁棒性。

2.HUG 微调 ,模拟临床诊断流程

微调阶段引入 HUG 头,完全贴合临床心电图诊断的层级逻辑:

  • 导联分组:按临床标准将 12 导联分为 3 组(双极肢体导联、加压单极肢体导联、胸前导联),每组通过独立线性层学习特征并平均。

  • 成对组合:将三组特征进行两两组合,进一步捕捉导联间的互补信息。

  • 全局聚合:整合所有组合特征,形成完整的多导联全局表征,作为最终诊断依据。

这种层级设计不仅提升了模型的可解释性,更让特征提取过程与医生诊断思维高度一致,实现从数据驱动到临床驱动的转变。

在六大数据集上超越现有最优方法

本研究在 MIMIC-IV-ECG 数据集上完成预训练后,于 PTB-XL、CPSC2018 及 CSN 三个公开数据集的六个下游任务上进行了系统评估,结果全面超越了现有最优方法(SOTA)。

具体而言,模型在平均性能上较当前 SOTA 提升了 6.84%,其中 CLEAR 单模型在预训练阶段贡献了 3.94% 的提升,而加入 HUG 诊断头后性能得到进一步改善,充分验证了双阶段设计的有效性。在低数据场景下,该方法展现出卓越的少样本迁移能力,例如,在仅使用 1% 训练数据的 PTBXL-Rhythm 任务中,CLEAR-HUG 较 SOTA 提升超 17%。

同时,在细粒度疾病分类任务上,层级分组策略的价值尤为凸显——在 CSN 数据集的 38 类疾病分类中,使用 1%、10% 与 100% 训练数据时,HUG 头相较基础模型分别带来 9.21%、5.81% 与 3.18% 的性能增益。

此外,该方法在关键特性上也表现出显著优势。其一,模型具有更强的稳健性,即使在部分导联缺失、仅保留两个核心导联的极端情况下,其性能仍优于现有 SOTA,能够很好地适应临床中数据不完整的实际场景。其二,模型展现出高度的临床适配性,通过激活可视化,HUG 头对不同疾病所激活的导联组合模式,与临床诊断标准高度一致,显著提升了模型的可解释性。

核心模块的必要性验证

为验证 CLEAR-HUG 框架中各核心组件的贡献,本研究进行了系统的消融实验。该方法遵循控制变量原则,通过逐步移除或调整模型中的特定设计,量化评估每个创新模块的实际价值。主要实验结果与发现如下:

  • 传导建模的有效性验证:对比基础掩码自编码器,CLEAR 预训练通过传导引导稀疏注意力,在心律分析任务中提升 17.4%,证明了传导机制建模的重要性。

    图片
  • 层级诊断结构的作用分析:移除 HUG 头后,模型在细分类任务中性能明显下降,验证了层级分组策略对复杂疾病诊断的关键作用。

    图片
  • 预训练掩码策略的优化验证:不同掩码率实验表明,80% 的掩码率能平衡特征学习深度与训练稳定性,是最优选择。

这些实验从多个维度证实,CLEAR 与 HUG 两个核心模块均不可或缺,其设计共同支撑了模型在各项任务中的性能提升。

总结与展望

CLEAR-HUG 的成功,并不依赖于复杂的模型架构,而是根植于对医学本质的深刻洞察与巧妙融合。

首先,模型从生理机制出发,紧扣心脏传导这一心电信号的核心生成原理,使特征学习过程更贴合生理本质。其次,通过将模型流程与医生诊断逻辑深度对齐,在提升性能的同时也显著增强了结果的可解释性。此外,其轻量化设计与对缺失导联的适应能力,兼顾了效率与临床实用性,为实际部署扫除了障碍。

该研究不仅为心电分析提供了新的技术路径,也印证了 AI 医疗发展的关键方向——唯有将领域知识与人工智能技术深度融合,才能开发出真正赋能临床的实用工具。

展望未来,研究团队计划将本框架扩展至更多心血管疾病诊断场景,并探索与多模态医疗数据的融合应用,从而为智能医疗的落地持续注入新动力。

作者信息:

上智院实习生、复旦大学人工智能创新与产业研究院博士生潘覃和孙翊轩,为共同第一作者。

代码地址:

https://aistudio.ai4s.com.cn/galaxy-model/partner/galaxy-model-frontend/model/CLEAR-HUG#heading-1

https://github.com/Ashespt/CLEAR-HUG