标签 Siri 下的文章

引子

云端大模型正日益提升人类生产力,与此同时,端侧智能领域也在不断突破技术瓶颈。现在,端侧大模型已成功落地手机终端,可在本地处理隐私数据,提供总结、命名等实用功能。但端侧智能的能力仍有提升空间,手机暂时无法完全摆脱对云端大模型的依赖,端云协同的范式仍然是未来很长一段时间内端侧智能的主旋律。

在这种背景下,当隐私数据需要上传至云端处理时,手机厂商该如何保障用户的数据安全呢?

让我们看看隐私保护领域的标杆——苹果的解决方案。2024年,苹果就已经推出了隐私云计算(Private Cloud Compute,简称PCC)的概念:

Apple Intelligence 是为 iPhone、iPad 和 Mac 带来强大生成模型的个人智能系统。对于需要使用大模型处理复杂数据的高级功能,我们创建了私有云计算 (PCC),这是一个专为私有 AI 处理而设计的突破性云智能系统。私有云计算首次将 Apple 设备业界领先的安全性和隐私保护扩展到云端,确保发送到 PCC 的个人数据除了用户本人之外,任何人都无法访问——甚至 Apple 也无法访问。PCC 采用定制的 Apple 芯片和专为隐私保护而设计的强化操作系统构建,我们相信它是迄今为止部署用于大规模云 AI 计算的最先进的安全架构。

看起来这确实是化解隐私数据出端被泄露风险的好办法。但关键在于,这项技术是否已经真正落地到苹果手机里?我们在使用云端的 AI 时,发送出去的内容真的只有我们自己能看到吗?

本文带大家分析 BH USA 2025/Defcon33 的议题:AppleStorm - Unmasking the Privacy Risks of Apple Intelligence,分析Siri 隐私数据出端可能导致的隐私泄露风险。

抓包

想要知道哪些数据被传输到云端了,我们必须能够抓到数据包。

这里可以看到,苹果 AI 相关服务器的一些主机地址:

image.png

大家可能发出疑问:为什么私有云计算和 Siri 是不同的主机地址?隐私云计算不就是为了保护Siri 的上云请求吗?这个问题的答案我们放在后面揭晓。

作者研究发现发送给 guzzoni.apple.com的数据包被做了多层防护,除了证书锁定,苹果还使用了自定义的名为ACE的通信协议,作者花了很大功夫进行协议解析,并且魔改了mitmproxy才成功抓到数据包。工具已开源

在数据包都能抓到以后,我们来看看不同的场景下,都有哪些数据被 Siri 上传到云端了,以及传输是否做好了加密。

隐私数据出端泄露风险

在开始测试之前,作者预先关闭了系统中的"学习应用习惯以提供智能建议"等个性化功能,避免非必要请求干扰测试,确保在使用 Siri 时捕获的数据包为最小必要集合。

场景一:上云功能

以天气查询为例,询问 Siri What is the weather in Las Vegas?,手机所在的经纬度位置、手机里的天气相关的 APP名称(甚至如果手机里安装了虚拟机,里面天气相关的 APP 都会被找出来)、手机播放列表正在播放的内容信息都会被发送给搜索服务的主机:api-glb-ause1c.smoot.apple.com。此外,手机里当前打开的 APP列表会被发送到听写请求服务器:guzzoni.apple.com。

一个简单的天气询问,提供给云端的信息量已经远远超出于解决该问题所需的内容。

image.png上述这些隐私数据,用户只能控制位置信息是否提供给 Siri,其他的隐私数据都是被悄悄发送到云端了。除了天气搜索外,在使用 Siri 进行计算、在线搜索、文章搜索时,也都会上传类似的数据。

并且,这些请求并没有经过隐私云计算处理,攻击者拦截到数据后可以轻易查看其中的内容。

场景二:端侧功能

对于发送消息、邮件、日历这些端侧功能,Siri 总没有必要再把数据传到云端了吧?

抓包发现,手机里当前打开的 APP列表和当前播放内容的信息仍然会被发送到 guzzoni.apple.com 这个听写服务器。更要命的是,在使用 Siri 发送消息的功能时,像发送 iMessage、发送消息到 WhatsApp,发送的信息的内容以及目标联系人,都会发送给 guzzoni.apple.com 一份。

风险总结如下:

image.png

风险来源与消解措施

隐私数据为什么上云?为什么 PCC 没落地?

苹果官方的回应是:上述 smoot 和 guzzoni 服务是给 Siri 用的,而不是 Apple Intelligence,PCC 是用来保护 Apple Intelligence的,像 Writing Tools、Extensions-ChatGPT这些功能。

PS:可是 Siri也能调用 Apple Intelligence的功能,这样同一个 APP有两条上云链路、两套隐私保护政策,本身就很不合理。

使用 Siri 发消息,为什么会传给云端?

实验证明是苹果给开发者提供的 SiriKit导致的问题,苹果后续将考虑修复该问题。

如何消解风险?

guzzoni听写服务对正常功能没有影响,可以屏蔽掉相关的请求(如果可能的话)。

启发

像苹果 Siri这种不安全的传输用户隐私数据的风险,应该是智能手机当前面临的共同问题。不管是为了提高用户的智能体验,亦或仅仅是上传了日志,都有可能在使用 AI 时不安全的上传了用户的隐私数据。

不管是苹果手机还是安卓手机,对系统级别 APP 抓包的管控越来越严格,安全研究人员和普通用户在使用 AI 时,对隐私数据使用透明化的需求越来越高。希望手机厂商在未来做好AI隐私数据使用的透明化和安全保护。

声明

本文所有内容仅供安全研究、教育和防御性安全测试使用。使用者需:

1遵守当地法律法规

2仅在授权环境中进行测试

3不得用于非法入侵或恶意攻击

4对使用后果自行承担责任

参考资料

1PCC 官方资料

2Apple 主机列表

3AppleStorm-Unmasking the Privacy Risks of Apple Intelligence

苹果与谷歌已正式确认,下一代 Siri 将采用 Gemini 模型与 Google Cloud,双方达成一项为期多年的合作。
此前,苹果一直为 Siri 使用自研 AI 模型,但在性能上与 GPT、Gemini 甚至 Copilot 相比都显得力不从心。
如今,苹果与谷歌开启了多年合作。作为合作的一部分,未来版本的 Siri 将基于 Gemini 模型 运行。
此外,苹果的 Foundation Models(基础模型) 将以谷歌的 Gemini 为底层,并部署在谷歌云平台上。

谷歌在一份新闻稿中表示:

“这些模型将为未来的 Apple Intelligence 功能提供支持,包括将于今年推出的更具个性化的 Siri。”

苹果方面称:

“经过审慎评估,苹果认为谷歌的 AI 技术为 Apple Foundation Models 提供了最强大的基础,并对其将为苹果用户带来的创新体验感到兴奋。”

苹果强调,Apple Intelligence 将在苹果设备与 Private Cloud Compute(私有云计算) 上运行,公司长期坚持的隐私承诺 不会受到任何影响

Apple Intelligence 的发展历程一直充满波折

Siri 问世至今已超过十年。尽管它曾是最优秀的 “个人助手” 之一,但如今的大型语言模型(LLMs)在能力上已远超苹果的实现。
在 2024 年的 WWDC 上,苹果宣布正在开发 Apple Intelligence,其中也包括一个更具 AI 能力的 Siri,例如支持个人上下文理解与屏幕内容感知。
然而,这些功能一再延期。
部分功能最终上线,但用户抱怨 Apple Intelligence 的准确性不佳,在执行复杂指令时经常失败。
尽管苹果的 AI 体验本应以 “安全” 和 “隐私友好” 为卖点,但最终呈现的初始体验却远未达到革命性的高度。
如今,苹果与谷歌合作,借助 Gemini 升级 Siri 体验。但这是否能实现苹果曾经承诺的那种革命性突破?只有时间能给出答案。

苹果与谷歌已正式确认,下一代 Siri 将采用 Gemini 模型与 Google Cloud,双方达成一项为期多年的合作。
此前,苹果一直为 Siri 使用自研 AI 模型,但在性能上与 GPT、Gemini 甚至 Copilot 相比都显得力不从心。
如今,苹果与谷歌开启了多年合作。作为合作的一部分,未来版本的 Siri 将基于 Gemini 模型 运行。
此外,苹果的 Foundation Models(基础模型) 将以谷歌的 Gemini 为底层,并部署在谷歌云平台上。

谷歌在一份新闻稿中表示:

“这些模型将为未来的 Apple Intelligence 功能提供支持,包括将于今年推出的更具个性化的 Siri。”

苹果方面称:

“经过审慎评估,苹果认为谷歌的 AI 技术为 Apple Foundation Models 提供了最强大的基础,并对其将为苹果用户带来的创新体验感到兴奋。”

苹果强调,Apple Intelligence 将在苹果设备与 Private Cloud Compute(私有云计算) 上运行,公司长期坚持的隐私承诺 不会受到任何影响

Apple Intelligence 的发展历程一直充满波折

Siri 问世至今已超过十年。尽管它曾是最优秀的 “个人助手” 之一,但如今的大型语言模型(LLMs)在能力上已远超苹果的实现。
在 2024 年的 WWDC 上,苹果宣布正在开发 Apple Intelligence,其中也包括一个更具 AI 能力的 Siri,例如支持个人上下文理解与屏幕内容感知。
然而,这些功能一再延期。
部分功能最终上线,但用户抱怨 Apple Intelligence 的准确性不佳,在执行复杂指令时经常失败。
尽管苹果的 AI 体验本应以 “安全” 和 “隐私友好” 为卖点,但最终呈现的初始体验却远未达到革命性的高度。
如今,苹果与谷歌合作,借助 Gemini 升级 Siri 体验。但这是否能实现苹果曾经承诺的那种革命性突破?只有时间能给出答案。

引子 2025 年底,字节推出系统级的手机助手,让人眼前一亮的同时,也引起了大家的疑问:这个高权限的 AI 手机助手会不会进行越权操作?能不能保障用户的隐私安全?

image.png

豆包手机毕竟还没有到量产阶段,我们还很难评估豆包手机助手的安全性。但是大家不要忘了,我们每个人的手机上其实早就有了一个系统级的 AI 助手,它可能没有豆包那么智能,但也能替我们进行很多操作了。 如果把智能手机比作一个智能体的话,AI 手机助手能替我们执行的操作,便是这个智能体的工具。 所以,本文想跟大家讨论的是,我们现有手机自带的 AI 助手,是不是其实已经存在越权风险了呢? 总览 本文主要带大家分析一下 DEFCON 33 的议题 Siri-ously Leaky: Exploring Overlooked Attack Surfaces Across Apple's Ecosystem,探讨苹果手机助手最近出现的一些越权漏洞,并看一看如何利用这些漏洞来泄露用户的个人隐私数据。议题资料 AI 手机助手越权-隐私泄露 建议大家结合作者提供的 PPT一起来看,里面提供了漏洞的视频演示,比较清晰直观,我这里只是从中截图进行总结。 案例一:越权读取用户的私密相册 漏洞原理:如果刚刚解锁查看过隐私相册,里面的照片数据会被缓存,此时退出隐私相册,再次进入,尽管需要再次验证身份,但是可以通过手机助手将缓存数据读出来。

image.png

案例二:锁屏窃取用户 ChatGPT 记忆 苹果手机支持锁屏和 ChatGPT 聊天,而 ChatGPT 拥有个性化记忆、以及聊天记录

image.png

那么这里没做好权限控制,在手机锁屏时,存在越权读取记忆的隐私泄露风险。

image.png

案例三:锁屏窃取用户当前浏览的 ChatGPT 聊天记录链接 如果在打开了某条 ChatGPT 聊天记录的情况下,锁定屏幕,可以通过唤醒手机助手,让 Siri 把当前页面加入提醒事项,就可以得到当前聊天记录的分享链接,造成隐私聊天数据泄露。

image.png

案例四:锁屏窃取用户当前浏览的网页信息 同案例三,都是没有做好锁屏状态下对锁屏下方内容的权限控制,泄露用户当前正在浏览的网址。

image.png

总结 漏洞本身比较简单,但这是一个普遍存在、并且将在未来持续存在的攻击面。 AI 越来越智能的未来,AI 各种便捷新功能疯狂上新的同时,一定也要做好权限控制,保障 AI 的安全性。 免责声明 本文所有内容仅供安全研究、教育和防御性安全测试使用。使用者需: 1遵守当地法律法规 2仅在授权环境中进行测试 3不得用于非法入侵或恶意攻击 4对使用后果自行承担责任 参考资料 Siri-ously Leaky: Exploring Overlooked Attack Surfaces Across Apple's Ecosystem: https://github.com/richeeta/DEFCON33-Siriously-Leaky?tab=readme-ov-file

苹果确认Siri将集成谷歌Gemini,强调隐私保护仍是首要任务

作者

11:43 AM

苹果与谷歌已共同确认,两家科技巨头达成多年合作,下一代Siri将采用Gemini模型并依托谷歌云服务。

此前,苹果一直使用自研AI模型驱动Siri,但其性能表现相较于GPT、Gemini甚至Copilot等模型始终逊色一筹。

如今,苹果与谷歌建立了为期多年的合作关系。根据合作协议,未来版本的Siri将采用Gemini系列模型。

此外,苹果基础模型(Foundation Models)将基于谷歌Gemini模型构建,并部署在谷歌云平台上。

谷歌在新闻稿中指出:"这些模型将为未来苹果智能(Apple Intelligence)功能提供支持,包括今年即将推出的个性化程度更高的Siri。"

"经过审慎评估,苹果确认谷歌AI技术能为苹果基础模型提供最强大的技术支撑,并期待这项合作为苹果用户开启创新体验。"

苹果强调,苹果智能功能将在苹果设备及私有云计算(Private Cloud Compute)中运行,公司长期坚守的隐私承诺不会因此妥协。