标签 开源模型 下的文章

“如果一个 AI 能解 IMO,但解决不了任何现实问题,那它不是通用人工智能。”

这是卡内基梅隆大学助理教授、艾伦人工智能研究所研究科学家,蒂姆·德特默斯对 AGI 给出的判断,他用一篇文章 《通用人工智能为何不会成为现实》 直接把 AGI 从神坛上拽了下来。

image

有意思的是,几天后,加州大学圣地亚哥分校助理教授、Together AI 内核副总裁丹·傅,给出了完全相反的判断。他写了一篇 《通用人工智能终将成为现实》,说 我们也许早就已经实现了 AGI。

image

于是,两篇文章,一场关于 “AGI ” 的争论,被带进了播客现场。

这场讨论并非空谈,两位嘉宾都是同时深耕学术界与产业界的一线研究者

蒂姆·德特默斯长期深耕深度学习量化领域,即模型压缩,如何在更低精度、更少算力下,让模型保持可用性能。

image

在蒂姆·德特默斯看来,判断 AGI 是否成立,首先要回到一个常被忽略的前提:计算是物理的。

在他看来,内存迁移、带宽、延迟,以及冯·诺依曼瓶颈,决定了算力不可能无限扩张。他说 “几乎所有指数增长,最终都会撞上资源和物理极限”。 所以,指数增长终将放缓,Scaling Law 也不例外。

但丹·傅显然不这么看。在他看来,现在谈“算力见顶”,还太早了。丹·傅每天都在和 GPU 内核、算力利用率打交道,在他看来,“我们甚至还没真正用好上一代硬件。”

image

在现实系统中,算力其实被严重低估和浪费了, 大量性能消耗在内核调度、系统开销和工程细节上。更关键的是,人们今天评测和使用的“最强模型”,往往是基于一到两年前的算力集群训练出来的,它们并不能代表当下硬件和大规模集群所能达到的真实上限。

他因此提出了一个直观的估算思路,用来说明算力增长的潜力来自多个维度的叠加:

  • 新一代硬件 带来约 2–3 倍 的性能提升;

  • 系统与工程优化 将算力利用率提升 约 3 倍;

  • 更大规模的集群 再带来 约 10 倍 的规模效应。

这三者相乘,意味着可用算力在理论上可以提升接近 90 倍。这并不是纸面上的推算,而是正在产业中逐步发生、逐步兑现的现实潜力。

有意思的是,当争论继续推进,两人反而在一个问题上开始靠拢:AGI 到底是什么?

关于 AGI 的定义,大致有两种主流视角:

一种从认知能力出发,看模型能否覆盖足够多的认知任务;

另一种则从经济角度出发,看它是否真的改变了生产方式。

这一点上,双方达成一个共识:AGI 是什么并不重要,重要的是,它有没有改变我们工作的方式。

在访谈后后半部分,大家从未来拉回到了现实,Agent 成为了关键话题。

丹·傅在节目中提到一个有趣的时间点:2025 年 6 月, 那是他第一次意识到,Agent 可能真的越过了拐点。

image

他当时发现机器学习工程中最难的技能之一、编程领域的终极难题——“GPU 内核编程” 被代码智能体啃下来了。他自己亲测:原本一个 GPU 内核功能开发得磨一周,那天靠着代码智能体,一天就搞定了三四个,工作效率直接提升了 5 倍。而他的团队用上后,那些原本需要整支团队耗数月的复杂系统开发,也变得轻装上阵。

这让丹·傅想起了自己对自动驾驶的态度变化,从长期怀疑到真正坐上 Waymo,他意识到技术的突破可能藏在某个猝不及防的瞬间。

针对 Agent 的爆发式潜力,蒂姆·德特默斯曾发布了一篇掷地有声的文章 《要么善用 Agent,要么被时代淘汰》。在他看来,代码 Agent 本身就是高度通用的 Agent,因为代码几乎可以描述和解决所有数字化问题。他甚至直言,“超过 90% 的代码和文本,本就应该由 Agent 来生成。但同时他也强调,“人类必须对最终结果承担责任,而非盲目依赖 AI 的输出。”

image

两人将 Agent 形象地比作“需要精细化管理的实习生”,只要给它明确背景信息、拆解任务边界、设定执行约束,人类无需过度干预其执行过程,而是把注意力聚焦在把控方向上,用专业判断力校验结果。而在 Agent 时代,真正吃到红利的将是有深厚积累的专家,其专业基础越深厚,Agent 能为其创造的效率增量就越显著。

在节目的最后,关乎对 AI 行业未来的预判,双方抛出了一系列深刻洞见。

在他们看来,小模型会成为行业新热点、开源模型会进一步飞跃;新硬件、多模态、端侧 AI 都会有进一步发展。

其中,硬件赛道将走向多元化发展,模型训练与推理环节的专业化分化会进一步加剧。

更值得关注的是,Transformer 架构独霸天下的时代会落幕,各类新架构会登上时代舞台。

他们还特别提到了中国的 GLM-4.7、MiniMax、DeepSeek 等优秀模型,对中国大模型的快速进步表达了高度认可。

在他们看来,相比技术路线相对集中的美国,中国团队反而更敢于探索多种可能性,比如状态空间模型、线性注意力以及混合架构等,通过架构创新或极致性能,让开源模型脱颖而出。

同时,他们也指出,中国的模型团队在技术路线上更 务实。与“先做出最强模型,再等待应用出现”的硅谷思路不同,中国团队更关注模型是否真正能落地、是否能在现实场景中产生价值。正是这种务实的发展思维,可能会在未来深刻影响人工智能的技术形态以及它所能创造的社会价值。

以下是播客全文,更多精彩细节,欢迎来看:

“AGI 能否成为现实”之争

主持人:蒂姆,几周前你发表了一篇极具争议性的精彩博文,标题是 《通用人工智能为何不会成为现实》。而丹,你在几天后也发布了一篇同样引人入胜的回应博文,标题为 《通用人工智能终将成为现实》。我想先了解一下二位的背景,你们都有着一个有趣的特点,就是兼具产业界和学术界的从业经历。蒂姆,不如你先讲讲吧。

蒂姆・德特默斯:我是卡内基梅隆大学机器学习与计算机科学系的助理教授,同时也是艾伦人工智能研究所的研究科学家。

我过往的研究主要聚焦于高效深度学习量化技术,简单来说就是模型压缩, 把大模型从 16 位精度压缩到 4 位精度左右,这方面我做了不少核心研究。比如一种高效的微调方法,我们将模型压缩至 4 位精度,在模型上使用适配器,这样所需的内存相比全精度模型能减少多达 16 倍。

目前我正致力于代码 Agent 的研究, 我们将在约两周后发布一项非常令人振奋的成果,打造出了目前最先进的 Agent,它能快速适配私有数据,在任意代码库上都能实现出色的性能表现,这一成果真的让人充满期待。

主持人:丹,该你了。

丹・傅:我是加州大学圣地亚哥分校的助理教授,同时担任合聚人工智能公司的内核副总裁。

在产业界,我的工作主要集中在提升模型的运行速度,GPU 内核正是将模型转化为实际在 GPU 上运行程序的关键,你可以把它理解为专门的 GPU 程序。

我的博士阶段以及实验室的大量研究都围绕这一方向展开,比如我研发了快速注意力机制,这是一款针对当下多数语言模型核心运算的高效内核。我还研究了 Transformer 架构之外的替代架构, 比如状态空间模型等。

在合聚人工智能,我主要关注如何打造当下最优的语言模型,以及如何进一步提升它们的运行速度。

就在本期节目录制的今早,我们还和库尔索公司联合发布了一篇博文,介绍了我们如何为其多款模型实现加速,并助力他们在英伟达的布莱克韦尔(Blackwell) GPU 上推出了作曲者 2.0 模型,这大概就是我的工作内容。

从 AGI 的定义,聊到对 AGI 的现实判断

主持人:接下来我们聊聊通用人工智能的话题,节目后半段再探讨 Agent 和代码 Agent,以及二位的相关见解。通用人工智能这个术语被大家广泛使用,但我想大家都认同,目前还没有人能准确定义它。为了本次探讨,二位认为什么样的通用人工智能定义是实用的?

丹・傅:当然。我和蒂姆在这一系列博文中 反复探讨的一个问题,就是通用人工智能的定义。

就我而言,我最近一直在思考,以当下的模型发展水平,尤其是语言模型,再结合后续会谈到的 Agent 来看,以 5 年前、10 年前,甚至我和蒂姆刚开始读博时任何人给出的通用人工智能定义,我们其实已经实现了当时的设想。如今的模型能写代码、能生成人类语言,即便有时用词上会有些小瑕疵,但确实能完成这些令人惊叹的任务。我还会思考,这种技术发展到何种程度,会引发一场新的工业革命,真正改变我们当下的工作方式,并产生巨大的经济影响。

在软件工程领域,我觉得我们已经身处这样的变革中,或者说即将迎来全面变革。虽然在一些高度专业化的领域,比如模型未必能写出世界上最优质的福兰语和钴语言代码,但在网页开发,甚至很多底层系统工程方面,它们的表现已经非常出色。

我写那篇博文的一个原因就是,审视当下的发展,我们或许已经实现了通用人工智能,或者说某种形式的通用人工智能。即便尚未完全实现,下一代正在训练的模型,只要比当下的模型表现更好,我们就已经取得了令人惊叹的突破。

蒂姆・德特默斯:我写那篇博文时发现,自己竟然忘了在文中给出通用人工智能的定义,尽管整篇文章都围绕这个主题展开。我想这在某种程度上也反映了我们对通用人工智能的思考现状 —— 我们并未认真去界定它。当然,目前存在多种定义,各有优劣,正如你所说,没有一个定义能获得所有人的认同。

我简单提几种比较主流的,一种是将通用人工智能视为认知能力、认知任务的集合,关注模型能完成哪些认知层面的工作。 软件工程、文本创作都是高度依赖认知的任务,而让机器人在空间中移动则更偏向操作层面,当然也有人认为肢体移动的规划也属于认知范畴,但多数人会将其区分开来,认为所有数字化的任务都属于认知领域,物理层面的操作则超出了这一范畴。

另一种我认为很有意义的定义视角是经济层面,看人工智能是否能引发一场新的工业革命,是否具备广泛的实用性,能应用到各个领域,推动各类工作的效率提升,就像计算机的出现那样。 当然,计算机刚出现时,生产率其实出现了下降,直到其在经济中广泛普及,生产率才重新回升。通用人工智能的发展或许也会经历类似过程,在软件工程等领域,其带来的效率提升已经十分显著。

主持人:我们直接切入核心争论吧。蒂姆,你曾提到 AGI 的相关构想的起源,这一点让我觉得很有意思,你能展开讲讲吗?

蒂姆・德特默斯:好的。先梳理一下整体的背景,当下关于 AGI 的一些观点,根植于特定的思维模式,主要来源于有效利他主义社群和理性主义社群。

我 15 年前也曾是这些社群的一员。在推特上,总能看到有人说 “两年内就能实现通用人工智能”,一年后又有人说 “两年内就能实现通用人工智能”,年年如此。我觉得这种想法有些草率,也体现出一种信息茧房的状态,持这种观点的人很少接触不同的想法。这也是我写那篇博文的主要动机,我希望提出一些不同的观点,为当下主流的思考提供一种反视角。

算力是否见顶

主持人:你核心的观点是,这些构想与实际的计算现实之间存在矛盾,这样概括准确吗?

蒂姆・德特默斯:没错。这其中既涉及物理层面的限制,也有理论层面的问题,而这两方面都存在 一个共同的规律 —— 收益递减。所有指数级增长的事物最终都会放缓,因为发展需要资源,而资源总会耗尽,这里的资源可以有多种解读。

从物理层面来看,技术的进一步发展会变得越来越困难,几乎所有研究和开发领域都是如此。前期的进展往往容易实现,而后续要取得突破,需要投入更多资源,发展速度也会越来越慢。

再看计算设备的物理现实以及计算本身的结构, 其实有用的计算主要包含两个环节:

首先是将数据从不同位置收集起来,汇聚到指定位置,然后对这些信息进行整合,完成信息的转化处理。简单来说,就是结合已知信息,计算出未知的新信息。有用的信息,必然是从已有的信息中转化而来的。如果只是大量转移信息,却不进行处理,就无法产生新信息;如果只是对现有信息进行大量计算,又会错失跨领域的洞察和间接的启发。我认为这一点与我们当下的神经网络架构高度契合。

早期的卷积神经网络表现出色,原因就在于它们几乎不怎么移动内存,而是专注于大量计算,这意味着这类设备需要强大的浮点运算能力,而内存带宽则没那么重要。当发展到大规模密集计算、大矩阵运算阶段,就到了当下神经网络的发展方向,但此时仍保留着循环机制的特点,需要关注之前的状态。不过由于循环的特性,计算的内存复用率极低。

而 Transformer 架构,先是通过大矩阵将前一层的输入信息进行转化,再通过注意力机制实现跨时间或空间的信息关联。我认为这是处理信息最根本的两种方式:一是让信息之间建立关联,或对信息进行转化;

二是让信息与关联较远的其他信息建立联系,也就是挖掘长期关联,并基于已有信息进行转化。

主持人:你认为这一发展进程正在放缓,对吧?你的博文中有一句非常引人注目的话,称 “图形处理器的发展将不再有实质性突破”,这是核心观点,能说说原因吗?

蒂姆・德特默斯:这个观点包含两层含义,首先是一个非常根本的物理问题,也就是我刚才提到的内存转移和计算的关系。

计算要产生价值,就必须将内存数据转移到进行计算的本地区域,这其实是一个几何问题。你需要一个大容量的信息存储区,然后将其中的信息转移到计算区域。而我们已经找到了实现这一过程的最优物理方式:配备大容量但速度较慢的动态随机存取存储器,再将数据转移到高速缓存中。

从几何结构来看,这是实现高速运算的最优解,针对特定规模的计算任务,这种架构的效率是最高的。如果是矩阵乘法这类不同规模的计算任务,就需要使用图形处理器而非中央处理器,因为图形处理器虽然延迟更高,但吞吐量更大,能传输更多数据,只是速度稍慢。我们可以对缓存的结构、大小,以及核心的共享方式做一些微调,但归根结底,核心的问题始终存在 —— 这是一个几何难题,空间的利用方式是有限的,这就决定了数据的访问模式和延迟始终存在固定的限制,其中最大的延迟来自大容量的动态随机存取存储器,这也是主要的性能瓶颈。这一瓶颈也被称为 冯・诺依曼瓶颈,几乎所有计算机都受此限制,具体来说,就是需要将程序传输到执行区域才能运行。对于神经网络而言,就是要将权重和输入数据传输到张量核心这一执行单元。

想要绕开这一瓶颈的方法寥寥无几,唯一的途径是进行本地内存存储和本地计算,市面上也有一些处理器尝试实现这一点,比如存算一体处理器,能在很大程度上在芯片内部解决冯・诺依曼瓶颈问题,但这类处理器仍需要从外部向芯片内传输数据,这就使得冯・诺依曼瓶颈从芯片内部转移到了存储设备或网络层面,问题只是发生了转移,本质并未改变。你仍需要通过网络将存储在磁盘或内存中的程序加载到芯片中,这还是同一个物理问题,只是调整了几个变量而已。这是问题的第一个层面,目前还没有能解决这一问题的架构。

第二个层面,也是我的核心观点所在:想要突破瓶颈,需要依靠新技术,但当新技术的潜力被充分挖掘后,又需要新的技术实现进一步突破。

比如,我们从动态随机存取存储器发展到了高带宽存储器,也就是堆叠式的动态随机存取存储器,速度大幅提升,但这种存储器的堆叠层数有限,因为其制造和测试的难度极高,良品率很低。到 2026 年,高带宽存储器的产能将会不足,无法实现规模化生产,因为制造难度实在太大。我们已经见证了诸多技术创新,张量核心的出现是一大突破,8 位精度、4 位精度的量化技术也相继落地,我和其他研究者的研究都表明,这些技术在信息论层面和实际应用中都是接近最优的。

如果基于足够多的数据进行训练,4 位精度是不够的,实际需要 8 位精度,这意味着量化技术已经发展到了极限。硬件的潜力也被挖掘殆尽,目前没有新的技术可以突破,我们能做的只是优化制造工艺,降低成本,却无法提升速度。各项功能的开发也已到极致,稀疏化技术是很多人尝试的方向,这一研究已经持续了 50 年,我自己也做过相关尝试,这或许是最后一个可探索的方向,但 4 位精度的量化技术已经意味着量化领域的发展走到了尽头。

简单来说 ,功能和硬件都已被开发到极限,这就是我们当下的处境

主持人:太有意思了。丹,你对这些观点有什么看法?

丹・傅:我非常认可蒂姆的这篇博文,因为当下有不少关于通用人工智能的讨论,只是简单地按照指数增长的趋势去推演,认为到某个时间点,人工智能会发展到掌控整个宇宙的程度,我一直觉得这种思考方式有些片面。我认同蒂姆从实际物理限制角度出发的分析,正如他所说,这些都是依赖物理输入、进行实际物理计算的系统。

我的观点是,看看当下的系统和我们训练的模型,我们甚至连上一代硬件的潜力都远未充分挖掘,更不用说新推出的硬件了。

从技术层面,我在博文中主要提出了两个核心观点:

第一,看看当下那些表现出色的模型,我在博文中主要以开源模型为例,因为开源领域会更多地披露模型的训练过程和所耗资源,而开放人工智能和思存人工智能等公司并未公开相关数据。

以 DeepSeek 模型为例,这是目前最优秀的开源模型之一,它在 2024 年底完成训练,使用的是上一代的英伟达 H800 GPU,这款显卡因出口限制做了性能阉割,并非原版 H100。根据公开报告,该模型的训练使用了约 2000 块 H800 显卡,耗时约一个月。计算一下实际的算力利用情况会发现,芯片的有效利用率仅约 20%,行业内将这一指标称为模型浮点运算利用率。而在 21 世纪 20 年代初,我们在旧硬件上训练不同架构的模型时,轻松就能实现 50% 甚至 60% 的模型浮点运算利用率。如果能将这一指标提升,再加上我的好友崔最近发布了一系列能优化模型训练的新内核,单是这一项优化,就能让算力利用率提升 3 倍。

第二,需要意识到的是,这款 2024 年年中开始训练的 DeepSeek 模型,在 2026 年初仍是众多优秀开源或类开源模型的基础。而从那之后,我们已经搭建了全新的算力集群,搭载了当下最新的硬件,比如英伟达的布莱克韦尔系列显卡。普尔赛德、瑞弗莱克申等公司都在搭建包含数万个 B200、GB200 芯片的算力集群。

对比来看,新一代硬件即便保持和之前相同的精度、相同的配置,运算速度也能提升 2 至 3 倍,算力集群的规模更是扩大了 10 倍,再加上 3 倍的纯技术优化空间,整体的可用算力能提升 3×3×10,也就是 90 倍。这还没有考虑未来的算力集群建设,只是当下已经落地、有人正在用于模型训练的集群。

我的核心观点是,单从这些基础的硬件条件来看,就能发现可用算力相比我们当下所依赖的模型,还有多达两个数量级的提升空间,也就是 100 倍。 当然,我们可以争论算力规模扩大是否会带来收益递减,缩放曲线是否依然有效,但现实的算力潜力就摆在眼前。

这还没考虑蒂姆提到的那些点,比如目前的训练大多采用 8 位精度,而 4 位精度的训练方法才刚刚开始形成相关研究成果;GB200 芯片有 72 个连接速度极快的核心,而我们甚至还没看到基于这款芯片训练的首个预训练模型。开放人工智能的报告中提到,GPT-5.2 是首个基于 H100、H200 和 GP200 芯片训练的模型,这在我看来,意味着它的预训练其实是在老旧的算力集群上完成的,只是在新的 GP200 芯片上进行了一些微调。

主持人:你提到,不仅硬件的利用率不足,模型本身也是硬件发展的滞后指标,对吧?

丹・傅:没错。我们当下能使用、能体验到的模型,都是在一两年前搭建的算力集群上完成预训练的。

因为搭建一个算力集群需要时间,完成大规模的预训练需要时间,后续的微调、人类反馈强化学习等后训练环节也需要时间。所以我们当下所看到的、用来衡量模型质量的这些模型,其实都是在一年半前的硬件上训练的。而在这之后,我们已经搭建了规模大得多的算力集群,不难想象,这些集群会被用于训练新一代模型。

也就是说,我们当下所依赖的优质模型,训练所使用的硬件其实已经相当老旧,而我们拥有了新一代的硬件、更多的软件优化方案,更不用说架构层面的创新了。

蒂姆刚才提到,处理数据的核心是先转移、再计算,而变形金刚架构其实一直在发展,只是在研究者看来,发展速度稍慢。但我们能看到,计算的核心方式已经在发生变化,哪怕再找到 1.5 倍或 2 倍的优化空间,整体的可用算力就能达到 100 甚至 150 倍。所以当下还有大量的算力潜力可以挖掘,用来训练更优质的模型。

  预训练是综合训练,后训练是专项训练

主持人:我理解这场讨论的核心是预训练,也就是我们能否用更多的数据和算力训练出更大的模型。但在本播客之前的对话中,很多人都强调后训练的重要性,以及构建结合预训练和强化学习的人工智能系统的意义。这一点在当下的讨论中该如何定位?

丹・傅:这是个非常好的问题,我和蒂姆的博文其实都没有重点探讨这一点。我喜欢这样比喻,预训练就像是在健身房进行的综合力量训练,通过大重量训练提升整体的力量和能力;而后训练就像是针对特定项目的专项训练,让你在具体任务上表现更出色。

从算力消耗来看,历史上预训练消耗的算力占绝对主导,其目的是打造具备通用能力的模型,让模型掌握大量知识,能完成多种任务,甚至拥有比普通人更多的知识储备,比如我自己的知识量肯定比不上聊天生成预训练转换器。

而后训练的作用,一方面是让模型变得更实用,比如聊天生成预训练转换器,能理解用户的需求,并尽力完成任务;另一方面,我们也发现,后训练正越来越多地被用于培养模型的特定技能。比如擅长辅助编程的模型,虽然依托于预训练积累的大量知识,但正是通过后训练,才让它在编程领域具备了出色的能力;同理,擅长法律工作的模型,也是在预训练的基础上,通过后训练实现了专业领域的优化。

从纯计算的角度来看,预训练的算力消耗通常远大于后训练。 后训练的工作,我虽然不是这方面的专家,但感觉更多地像是如何打造一款实用的产品,如何获取用户反馈,诸如此类。

当然,也有一种可能是,下一代预训练模型的基础能力已经足够强大,只要针对经济领域的各个垂直赛道进行后训练,就能打造出极具实用性的模型。所以这也是计算领域的另一个重要维度,或许我们根本不需要那 100 倍的额外算力,更多的是需要像培养人类一样,深入理解问题,找到合适的训练方法 —— 就像你如何培养一名实习生完成特定任务,如何让一个能力强大的预训练模型发挥出实际价值,这正是后训练要解决的问题。

主持人:二位都提到了 “实用性” 这个概念,这或许是你们观点的交汇点。通用人工智能的定义众说纷纭,但最终的关键还是看它在产业中的实际实用性。所以即便由于收益递减,我们无法实现那个大家都无法准确定义的、理想化的通用人工智能,也无关紧要,因为我们还有巨大的潜力可以挖掘,足以让人工智能在整个经济领域发挥真正的价值,而不仅限于编程领域。

蒂姆・德特默斯:没错。我那篇博文的核心结论正是如此,我们不必过分纠结于通用人工智能的定义,更应该思考如何让人工智能发挥最大的实用价值,而这不仅关乎模型本身,丹刚才提到后训练是产品化的过程,这一点很重要。计算机的发展历程告诉我们,技术在经济中的普及需要一种截然不同的思维模式。

美国的思维模式往往是 “打造出最优的模型,自然会有人使用”,而中国的思维模式则更注重务实,思考如何让技术惠及更多人。我认为这种务实的思维模式至关重要。谈及实用性,一方面是模型的能力,另一方面就是这种发展思维。

我相信我和丹,以及大多数人都会认同一个观点:如果一个人工智能能完成数学奥林匹克竞赛这类高难度任务,却无法解决任何实际问题,那它算不上通用人工智能。而当下的模型已经具备了实用性,所以不会出现那种 “有能力却无用处” 的情况。

我们真正追求的,是实用性极强的模型,而这样的模型我们已经拥有,并且还能不断优化。我认为按照某些定义,我们或许无法实现通用人工智能,但人工智能必将产生巨大的社会影响。

丹・傅:我想补充一点,蒂姆你提到了经济领域的物理性工作和知识性工作的划分,美中两国在这方面的差异非常有意思。

最近有一本丹・王写的书很火,探讨了制造型经济、工程型经济与偏法务型经济的区别。美国有大量优秀的知识性工作有待人工智能去赋能,而从经济的实际产业结构来看,医疗、教育占了很大比重,科技领域虽然也是重要组成部分,引领着股市的走向,但还有更多领域等待挖掘。

现在有很多优秀的研究者正在尝试用新一代模型研发新药、推动医疗领域的实际变革;如果机器人技术能实现突破,助力完成一些体力劳动 —— 未必是建造房屋这类重活,而是日常的家务劳动,那将挖掘出经济领域的巨大潜力。这些方向的发展已经能看到初步的成果,自动驾驶的发展历程对我很有启发。

在我读博初期,大概 2018、2019 年,我对自动驾驶持非常怀疑的态度,当时大家总说自动驾驶 “再有一两年就能实现”,专家则说 “五年内有望落地”。但去年我乘坐了威莫的自动驾驶车辆,如今在加州湾区,我甚至能使用威莫的高速自动驾驶服务。理论上,我现在甚至可以卖掉自己的车 —— 当然我不会这么做,因为我个人喜欢开车。

但技术的进步就是这样,在这之前一直毫无起色,突然有一天就实现了突破,你会发现它不仅表现出色,甚至比优步、出租车这类人工服务还要好。如果人工智能在家庭清洁、洗碗这类家务劳动上也实现这样的突破,那将是非常令人振奋的,也会彻底改变人们的看法。我自己并非机器人领域的研究者,但一直密切关注着这个领域的发展。

多硬件、多芯片的未来方向

主持人:丹,借着这个话题,我想问问,从你的观察来看,人工智能领域是否会朝着多硬件、多芯片的方向发展?显然英伟达的发展势头迅猛,还有赛博拉斯等公司,以及众多从底层技术切入的专用集成电路企业。从你深耕底层技术的视角,你怎么看这一趋势?

丹・傅:这是个很棒的问题,我在实验室的工作中会花大量时间思考这个问题,产业界的工作中也会密切关注。当下正处于一个非常令人振奋的阶段:英伟达的芯片性能强劲、稳定性高,围绕其构建的软件生态也非常完善;而 AMD 的芯片也开始展现出同样的潜力,相关的研究也在推进。

比如在实验室,我的好友西姆龙・奥罗拉主导开发了一个名为希普基滕斯的库,核心就是探索如何设计合适的软件抽象层,实现 AMD GPU 的编程。研究发现,AMD GPU 和英伟达 GPU 的软件抽象层存在明显差异,即便这两款 GPU 的参数规格相对接近 —— 更不用说和格罗克、赛博拉斯、萨博诺瓦等公司的芯片相比了,它们的编程方式也截然不同。

现在越来越多的人开始关注这一领域,投入时间和精力进行研究。英伟达收购了格罗克,当下张量处理单元也备受关注,赛博拉斯和开放人工智能也刚宣布达成合作。所以未来必然会涌现出更多的硬件方案,英伟达无疑会继续保持良好的发展态势,甚至在本期节目录制时,其市值已经突破 5 万亿美元,但硬件领域的多样性会大幅提升,尤其是在模型推理层面。

训练和推理是两种截然不同的计算过程,因此需要的芯片也大相径庭。在推理层面,模型可能需要在手机、笔记本电脑等本地设备上运行。 我的手机是一款几年前的苹果手机,但其运算能力已经超过了我读博初期使用的一些 GPU,硬件算力的增长速度令人惊叹。

2025 年 6 月是 Agent 的拐点

主持人:丹,你刚才提到自动驾驶实现突破的那个节点,Agent 的发展是否也已经到了这样的时刻?你还提到过 “软件奇点”,我们当下是否正处于 Agent 发展的关键突破点?

丹・傅:我认为是的。就我个人的经历而言,这个突破点出现在 2025 年 6 月左右。

给大家做个背景介绍,我在合聚人工智能的日常工作就是编写这些 GPU 内核,在机器学习领域,GPU 内核的编程被认为是最难掌握的技能之一,它需要高度的并行化设计,使用的是 C++ 这种资深工程师使用了数十年的老牌语言,而非 Python 这类易用的语言。招聘能编写 GPU 内核的工程师难度极大,这是一项极具挑战性的技能,无疑是编程能力的顶尖体现。

而 2025 年 6 月,我们有了一个非常有趣的发现:云代码、库尔索 Agent 这类代码 Agent,在编写 GPU 内核方面的表现非常出色。那一周,我完成了三四个原本各自需要一周时间才能完成的功能开发,全部工作一天就搞定了。 当时我就意识到,这个工具让我这个内核领域的专家,工作效率提升了 5 倍。

我让团队都开始使用这个工具,现在团队借助它搭建了许多复杂的系统,能快速完成原本需要整个团队耗时数月才能实现的功能开发。而 GPU 内核编程,正是编程领域最难的 “终极挑战”,所以在我们看来,代码 Agent,尤其是在高难度的 GPU 内核编程领域,已经实现了关键性的突破

几个月前,我在斯拉什大会上做了一场演讲,提出了 “软件奇点” 的概念,核心就是意识到在软件工程领域,即便是这类非常小众的高难度技能,人工智能的表现也已经超越了普通程序员,甚至能为资深程序员带来效率的大幅提升。就本期节目录制的当下而言,让 Agent 独立完成开发,可能还无法产出完美的结果,但如果资深程序员借助这些工具,工作效率能提升 10 倍,这是一个非常令人振奋的发展阶段。

要么善用 Agent,要么被时代淘汰。

主持人:聊到 Agent,蒂姆,你最近还发表了一篇精彩的博文,标题是 《要么善用 Agent,要么被时代淘汰》,其中探讨了代码 Agent 和适用于其他各类任务的 Agent。从代码 Agent 的出色表现,到 Agent 在日常生活各领域发挥实用价值,这一发展进程当下处于什么阶段?

蒂姆・德特默斯:我写这篇博文,也是因为发现使用代码 Agent 能为各类任务带来巨大的生产效率提升。作为一名教授,我平时的编程工作并不多,但借助代码 Agent,编程变得前所未有的轻松,这在以往是难以想象的。

当然,Agent 在非编程任务上的表现也同样出色。从我自身的体验来看,生产效率的提升幅度不一,有时是两三倍,有时甚至能达到 10 倍,而且工作质量没有下降,甚至有时还能提升。Agent 的能力或许未必比我强,但它不会疲惫,不会犯低级错误,也不会在整合复杂信息时出现认知上的困难 —— 这和丹刚才提到的 GPU 内核编程的情况是一样的。

我认为马特你将其分为代码 Agent 和通用 Agent,但在我看来,代码 Agent 本身就是通用 Agent。代码 Agent 能编写程序解决各类问题,而代码的通用性极强,任何数字化的问题都能通过代码解决。代码 Agent 让解决问题的过程变得无比轻松,让我们能以以往无法想象的方式和速度解决各类问题,实现多任务并行处理。Agent 不会疲惫,可以持续工作,让工作变得轻松很多。

我的博文中有一个观点我自己很认同,开篇我先区分了炒作和现实,而后基于自己在直播中测试 Agent 的实际体验得出结论 :超过 90% 的代码和文本都应该由 Agent 来生成,不这么做,就会被时代淘汰。 我想对于很多工程师来说,这一点已经成为现实。

有些人认为,Agent 生成的代码和文本质量一定低下,但关键在于,你需要对 Agent 的输出进行检查和编辑。你所做的这 10% 的工作,能带来巨大的改变。通过这种对输出内容的检查、编辑和优化,让成果成为属于自己的作品。

人工智能生成的内容,并不比你自己写的内容缺乏个性。比如我借助 Agent 撰写科研基金申请,成品会让我觉得充满生命力,能感受到其中的吸引力,相信评审人看到后会觉得 “这是一项优秀的研究,值得资助”。现实就是如此,如果你只是让 Agent 生成内容,不做任何检查就直接使用,那肯定无法达到预期效果;但如果你能快速审核内容、调整优化,发现不妥之处并进行修改,最终就能得到优质的成果,这会成为未来的常态。

而适应这种工作方式所需的技能,大多数人还未完全掌握,我自己也在学习中,目前仍处于探索阶段。 模型在更新,框架在迭代,我们需要不断适应、持续学习,虽然要学的东西很多,但一旦掌握,带来的回报是巨大的。

曾经有人认为软件工程师会因此消失,但现在大家都不再这么想了。Agent 极大地提升了生产效率,而掌握使用 Agent 的能力,正是当下最需要学习的技能。善用 Agent,能让你完成更多工作,这是核心所在。如果不懂得如何有效使用 Agent,你就会被淘汰,这将成为一项必备的核心技能。

主持人:聊到 Agent,蒂姆,你最近还发表了一篇精彩的博文,标题是 《要么善用 Agent,要么被时代淘汰》,其中探讨了代码 Agent 和适用于其他各类任务的 Agent。从代码 Agent 的出色表现,到 Agent 在日常生活各领域发挥实用价值,这一发展进程当下处于什么阶段?

蒂姆・德特默斯我认为最关键的是保持务实,思考需要解决的问题,并尝试用代码实现。

当然,对于非程序员来说,编程本身就有很高的门槛,会觉得 “我从没写过代码,根本做不到”。但如果和 Agent 互动,它能直接帮你搭建程序,你只需要进行少量的学习 —— Agent 还会为你讲解相关知识,很快就能上手,实现程序的运行、网站的搭建等,还能快速获得反馈,现在做这些事情已经不再困难。

当然,我之前提到过需要检查 Agent 的输出,但如果你只是为自己搭建一些简单的工具提升工作效率,其实往往不需要这么做,Agent 生成的代码质量已经足够高。如果是在公司工作,需要将代码整合到正式的代码库中,那肯定需要进行审核;但如果只是搭建个人使用的小程序,提升自己的工作效率,那非常容易。

举个随机的例子,我会录制自己和 Agent 互动的视频,视频中会有我讲解的片段,也有我查看输出、思考分析的片段。我借助 Agent 搭建了一个工具,它能识别语音,记录我说话的时间戳,然后对视频进行剪辑,只保留我讲解的部分,去掉无意义的片段。这个工具我只用了 20 分钟就搭建好了,我相信所有人都能做到,因为我甚至没有检查 Agent 生成的代码,直接使用后,剪辑出的视频效果非常好。

只要建立起 “提出需求 — Agent 生成 — 获得反馈” 的循环,你根本不需要自己编程,只需要学会检查输出内容,或者掌握 Python 程序、bash 脚本的基本运行方法,就能实现工作的自动化。

主持人:那该如何选择要自动化的工作呢?该从哪些角度思考生活中的自动化需求?

蒂姆・德特默斯:我在博文中也探讨过这个问题,其实可以分为 直觉层面和精细化分析层面

直觉层面很简单,就是思考哪些工作自动化后会带来便利,哪怕是一些复杂的需求,比如 “我想要一个能实现某某功能的安卓或苹果应用”,一开始你可能觉得这很难,但只要向 Agent 提出需求,它能立刻实现。你可以充分发挥想象力,打造任何自己想要的工具,那些以往没人开发、自己又迫切需要的产品,现在都能借助 Agent 实现。

这种思维方式能让你打造出实用的工具,提升生产效率,同时也能锻炼你使用 Agent 的能力。当然,有时尝试后可能会失败,这时你会明白 Agent 的局限性,以及自己还需要学习哪些知识才能解决问题。

这是直觉层面的方法,能让你快速入门,从最初的兴奋,到面对现实的冷静,再到继续尝试,最终会发现自己的生产效率在一天天提升。

而精细化分析层面的方法,来自我在德国自动化行业三年的工作经历,当时主要负责工厂的自动化改造,这是一种非常严谨的计算方法:先梳理自己的工作流程,为每个步骤计时,然后分析如果将某个步骤自动化,能带来多少收益、节省多少时间,再计算开发这个自动化工具需要投入多少时间,通过这种成本收益分析,快速判断哪些工作的自动化改造是有价值的。

我的博文中提到,邮件的自动化处理效果并不好,还有一些事情也是如此,比如创建会议日历邀请,没人喜欢做这件事,但仔细想想,人们对会议的安排有很多个性化的需求,比如某天想多安排会议,某天想把会议安排在午饭前,这些需求 Agent 无法感知。即便你向 Agent 详细说明这些需求,它生成的日历邀请也未必能符合预期,最终的效率提升其实非常有限。

通过这种精细化的分析,能让我们避开这些无意义的尝试,找到真正能通过自动化提升效率的工作。

主持人:丹,从你的角度来看,在 Agent 的应用中,哪些方法是有效的,哪些目前还不成熟但未来有望实现,又该如何管理 Agent?

丹・傅:我发现 Agent 的有效应用,主要有两个核心要点。

第一,让 Agent 发挥效用的方式,和管理团队中的初级员工、公司里的实习生非常相似。 比如,你不会对一个刚来的实习生说 “去把公司的营收提升一倍”,或许你会尝试一次,但显然不可能得到想要的结果。相反,你会给实习生安排一些简单的入门任务,让他们熟悉复杂的代码库,并告诉他们可能会遇到的问题 —— 因为你自己有过相关的经历。当你给 Agent 提供这样的背景信息,让它能接触到相关的资料,它通常就能顺利完成任务。

另外,对待新员工,你不会直接把生产环境的所有权限、数据库信息都交给他们,而是会给他们足够的工具,让他们能开展工作。对待 Agent 也是如此,有些人会担心 Agent 误删生产环境的所有数据,于是对其处处限制,每一步都进行监控,但如果用这种方式对待人类员工,他们根本不可能高效工作。这是一个很重要的点,当下的 Agent,至少可以把它当作实习生或初级员工来对待。

第二,我发现一个非常有趣的现象,尤其是从教授的教育视角,思考如何培养学生适应这个 Agent 成为工作核心的未来,那就是:一个人的专业知识越扎实,比如蒂姆在流程自动化领域的专业积累,或是我在 GPU 内核编程领域的深耕,Agent 能为其带来的能力提升就越大。

因为专业知识扎实的人,能在更高的抽象层面开展工作,知道工作的核心要点、方向,了解常见的问题和陷阱,知道哪些事情容易实现、哪些事情有难度,知道如何将复杂任务拆解为多个步骤。

之前有一段时间,大家一直在讨论 Agent 是否会取代所有软件工程师,或者取代所有初级员工,而从当下的发展来看,显然不会出现这种情况。 如果一个工具能让我的团队工作效率提升 10 倍,我不会解雇 90% 的员工,而是会让他们去完成更有价值的工作,实现 100 倍的效率提升。这是一方面。

另一方面,成为某个领域专家的路径,其实和以往并没有太大区别:你需要深入学习、深入理解相关知识,需要亲手实践、真正解决问题。在当下这个时代,聊天生成预训练转换器能教你很多东西,我自己就尝试过让它教我汽车的各类工作原理,虽然目前效果还一般,但不可否认,现在学习知识的难度比以往低了很多,哪怕是两三年前,都没有这么便捷的学习方式。

所以总结来说,对待 Agent,要像扮演管理者的角色,帮助它解决遇到的问题,不能只是把问题丢给它就撒手不管;同时,你需要不断提升自己,成为更优秀的 “管理者”,积累更多的领域知识,更深入地理解工作内容。

主持人:也就是说,成为专家、持续学习的需求并没有改变,这一点很有意思,也很有道理。但有一个问题,如果一名年轻的内核工程师第一天入职,以往的培养方式是先安排简单的任务,第二年再安排更复杂的工作,那在 Agent 时代,这种实操性的职场培训该如何开展?

丹・傅:我们在合聚人工智能也一直在思考这个问题,即便在模型和 Agent 如此强大的当下,我们仍在积极招聘人才。

我们的做法是:首先,我以教授的身份,录制了一系列关于 GPU 工作原理的课程,要求所有新员工都必须学习;然后,我会给他们布置一个从零开始的任务,比如修改快速注意力机制的内核,实现某个新功能,具体的功能可以由他们自己选择。Agent 的优势在于,能让新员工更快地参与到高价值的工作中。

对于一名初级工程师来说,第一次尝试管理他人是非常有意义的经历,因为这会让他们开始用更精准的语言思考问题。比如,软件工程师常会遇到这种情况:产品经理给出一个需求,写了长长的需求文档,但当你让别人去实现这个需求时,才会发现描述一个功能需要多么精准的表达。

而 Agent 的出现,让这一过程得以简化,初级工程师不需要真正成为管理者,依然可以作为工程师开展工作,但能以管理者的思维方式,甚至产品经理的视角来思考问题。因为和 Agent 沟通时,你必须精准地描述自己的需求。我发现,团队中那些刚从大学或硕士毕业的年轻员工,只要积极学习和使用人工智能 Agent,他们的沟通能力会比以往的工程师强很多,对知识的理解和掌握速度也会大幅提升,并且能以以往 5 到 10 年都难以想象的速度搭建工具、完成工作。

蒂姆・德特默斯:我从教育的角度补充一点,这一点其实和丹的观点形成了一定的对比,也很有意思。我一直强调 “要么善用 Agent,要么被时代淘汰”,这一点对学生也同样适用,但正如丹所说,使用 Agent 的前提是具备一定的领域知识。

我们发现,如果允许学生使用 Agent,他们的学习效率会非常高,但有时他们借助 Agent 完成的解决方案,表面上看起来没问题,实际上却漏洞百出,而学生自己却意识不到。

当下我们正面临一个困境:很难同时培养学生的领域知识和 Agent 使用能力,这两者的平衡很难把握。 我们既不想培养出对知识一知半解的学生,也希望学生能掌握 Agent 的使用方法,否则他们进入职场后将无法胜任工作。

丹提到,具备扎实知识基础的人,借助 Agent 能实现能力的飞跃,但对于刚开始学习计算机科学的学生来说,该让他们学习多少专业知识,又该让他们在多大程度上借助 Agent 完成工作,这是一个非常棘手的问题,目前还没有完美的解决方案。

如果让学生过度依赖 Agent,他们的基础知识点掌握会非常薄弱;如果让学生完全靠自己完成所有学习任务,不使用 Agent,他们又无法掌握这项核心技能,进入职场后缺乏竞争力。

或许一个解决方案是:先让学生扎实掌握基础知识,再学习使用 Agent。但学生并不会这样做,他们能轻易接触到这些人工智能工具,并且会因为其便捷性而频繁使用。

所以或许真正的解决之道,是培养学生一种全新的信息处理和知识学习的思维方式,这种能力甚至超越了批判性思维 —— 学生需要学会识别自己不知道的未知事物,也就是那些自己没有考虑到、不理解,甚至从未想过的问题。 只有具备这种能力,才能跟上 Agent 的发展步伐。因为在未来,我们很可能会面对自己无法理解的问题,而 Agent 却能理解,我们需要找到一种方式,跟上 Agent 的节奏,这无疑是一大挑战。

小模型是未来趋势

主持人:二位对 2026 年人工智能的发展有哪些具体的期待?认为哪些趋势会成为现实,哪些则不会?

蒂姆・德特默斯:我觉得自己的看法比较矛盾,一方面,我认为很多领域的发展会趋于平淡,不会有太多创新;另一方面,又会有一些意想不到的突破出现。而在前沿模型领域,我认为不会有太多惊喜。

当下一个公开的事实是,预训练数据已经耗尽,正如丹所说,我们可以通过合成数据来弥补这一缺口,代码 Agent 的训练,就是在各类环境中生成大量合成数据,并进行数据融合,我们在这方面会取得一些进展,但整体来看,机器学习领域的发展已经显现出疲态。

我认为代码 Agent 的性能不会有太大提升,主要的进步会体现在用户体验的优化上。 当下各款模型的性能已经趋于同质化,比如我使用 GLM-4.7 的配置时,一度以为自己用的是 Opus 4.5,后来才发现是不同的模型,因为它们的表现实在太相似了。

所以 前沿模型的性能发展会陷入停滞,而小模型领域则会迎来快速发展。 如果针对特定的专业数据训练小模型,其性能会非常出色,而且小模型的部署难度低,能力却不容小觑。

比如 1000 亿参数的模型,能轻松实现部署,即便是 RTX 6000 这类售价 6000 美元的入门级数据中心 GPU,也能胜任。我认为对于很多企业来说,这会是一个极具吸引力的选择,它们不再需要依赖前沿的大模型,定制化的小模型甚至能表现出更优的性能,因为其针对特定领域做了优化。

当下存在一个很大的问题,正如 Anthropic 首席执行官所指出的,市面上有很多性能强大的开源模型,但实际使用的人却很少,原因就在于 部署难度极高。一旦模型的部署需要超过 8 块 GPU,不仅需要用户进行大量的效率优化,还涉及复杂的系统工程问题,而目前还没有能实现这一功能的开源系统,需要实现推理任务的解耦、跨序列长度的拆分等技术。或许我们能为异构 GPU 设备、小模型打造这样的部署系统,届时 1000 亿参数模型的运行效率,将能媲美当下的前沿大模型。

小模型兼具效率和灵活性的优势,再加上能通过大模型的知识蒸馏实现性能提升,这些因素结合起来,将彻底改变人工智能的发展格局。

丹・傅:我也对小模型的发展充满期待,认为它们会释放出更多的能力。

我会密切关注开源模型的发展,GLM-4.7 的出现,已经让开源模型的性能开始媲美当下最优秀的前沿模型,我认为 2026 年开源模型的能力会实现又一次大的飞跃。

我也非常期待新硬件的推出,目前已经有一些关于英伟达下一代 NVIDIA Rubin GPU、AMD 400 系列显卡的消息,即便我们还未充分挖掘当下硬件的潜力,我也很想看看下一代硬件能带来怎样的性能突破。

此外,我还期待多模态领域的发展,去年视频生成模型迎来了发展的小高峰,比如 Sora 2、Gemini、Veo 等模型都表现出色,我很想看看它们后续的发展。

最后,我也期待能看到,在笔记本电脑、手机这类终端设备上,人工智能的智能水平能达到怎样的高度, 能被推进到什么程度。我想说,当下投身人工智能领域,恰逢最激动人心的时刻。

主持人:二位早些时候提到了状态空间架构(SSM),你们认为这会是人工智能的近期发展方向吗?也就是说,我们会逐渐走出 Transformer 架构的时代,向状态空间模型、世界模型等新架构发展吗?这是否是你认为值得期待且势在必行的发展趋势?

丹・傅:我认为在很多领域,新架构已经落地应用了。比如当下全球最优秀的一些音频模型,就部分基于状态空间模型打造。英伟达最近也发布了多款优秀的混合架构模型,比如神经变形金刚,就是其中的代表。

所以相关的研究已经取得了很多不错的成果,架构的进化还会继续。比如 DeepSeek 的模型压缩技术,就借鉴了状态空间模型的一些理念;MiniMax 的一款模型,则采用了线性注意力的思路。

所以未来人工智能的架构会变得更加多元,这一趋势已经显现。

而中国的实验室在这方面会有更多的探索和突破,因为中国并没有像开放人工智能那样,集产品、模型、营收于一体的巨头企业,也就没有统一的技术发展范式。所以中国的实验室会更敢于尝试,想要让自己的开源模型脱颖而出,架构创新就是一个重要的方向,当然,纯性能的提升也是一个途径。因此,未来人工智能的架构会迎来爆发式的创新。

参考链接:

https://www.youtube.com/watch?v=XCCkgRzth6Q

1 月 20 日,由清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 开源社区联合研发的 8B 端侧写作智能体 AgentCPM-Report 正式开源。

 

在当前深度研究场景中,企业与科研人员常面临两难抉择:依赖云端大模型虽能获得顶级调研能力,却需承担核心数据泄密风险;选择断网或本地小模型保障安全,又往往因性能局限导致报告逻辑浅薄、实用性不足。

 

为此,AgentCPM-Report 以端侧模型为核心,来实现本地化部署与 SOTA 性能的双重突破,力求无需昂贵算力集群,也无需上传任何信息,即可在本地构建专家级调研助手。

 

据悉,该智能体的核心亮点集中在两大维度。

 

第一,极致效能与“以小博大”的突破:通过平均 40 轮深度检索与近 100 轮思维链推演,AgentCPM-Report 以仅 8B 的参数规模,实现了对复杂信息的全方位挖掘与重组,能够产出逻辑严密、洞察深刻的万字长文,在深度调研任务上性能对标顶级闭源系统。

 

第二,物理隔绝的本地安全保障:专为高隐私场景设计,支持完全离线的敏捷部署,彻底杜绝云端泄密风险;依托开源的 UltraRAG 框架,可高效挂载并理解本地私有知识库,让核心机密数据在"不出域"的前提下,转化为高价值的专业决策报告。

 

在 DeepResearch Bench、Deep Consult、DeepResearch Gym 三大主流深度调研评测基准中,其综合评分达到甚至超越顶级闭源系统:在最考验核心能力的洞察性指标上排名第一,全面性指标位居第一梯队,仅次于基于 Claude 的复杂写作框架。其中在 DeepResearch Gym 评测中,AgentCPM-Report 以 98.48 的综合得分领跑,在深度、广度、洞察力等关键维度均斩获满分。

官方展示的实战场景中,该智能体可基于《三体》原文知识库,完成从线索挖掘、大纲规划到万字长文撰写的全流程,精准生成"面壁计划"深度调查报告。

 

部署便捷性方面,AgentCPM-Report 支持 Docker 一键启动,无需编写代码即可通过拖拽方式将 PDF、TXT 等本地文档导入后台,系统自动完成切片与向量化索引,用户输入研究课题后,即可生成结构化、带引用的专业报告,实现沉浸式深度调研体验。

 

技术层面,两大创新支撑其“以弱胜强”的表现:一是“写作即推理”模式,通过“起草-深化”两阶段循环与渐进式优化,将长篇写作拆解为微小目标,避免小模型逻辑崩塌;二是“多阶段智能体学习”,拆解智能检索、流畅写作、科学规划、精准决策四大核心能力,通过有监督微调、原子能力强化、全流程优化三阶段训练,实现端到端全链路能力提升。

 

目前,AgentCPM-Report 已在 GitHub、HuggingFace、ModelScope、GitCode、魔乐社区等多个平台开源,UltraRAG 框架也同步开放获取。

 

UltralRAG 框架开源地址:https://github.com/OpenBMB/UltraRAG

GitHub:https://github.com/OpenBMB/AgentCPM

HuggingFace:https://huggingface.co/openbmb/AgentCPM-Report

ModelScope:https://modelscope.cn/models/OpenBMB/AgentCPM-Report

GitCode:https://gitcode.com/OpenBMB/AgentCPM

魔乐社区:https://modelers.cn/models/OpenBMB/AgentCPM-Report

开发者朋友们大家好:

这里是 「RTE 开发者日报」 ,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。

本期编辑:@瓒an、@鲍勃

01 有话题的技术

1、Microsoft 开源 VibeVoice-ASR 语音识别模型:支持 60 分钟单次长音频处理,集成 64K 上下文与热词自定义

Microsoft 发布「VibeVoice-ASR」语音识别模型,突破了传统 ASR 依赖短音频切片的限制,支持单次处理长达 60 分钟的连续音频。该模型通过 64K token 上下文窗口,在单一推理过程中联合完成识别、说话人日志与时间戳生成。

  • 60 分钟单次推理能力:放弃传统的短音频切片模式,避免了因切片导致的全局语义丢失和跨片段说话人追踪失败问题。
  • 64K Token 级长上下文支持:利用超长上下文窗口,实现 ASR、Diarization(说话人日志)与 Timestamping(时间戳)的端到端联合输出,生成包含「Who, When, What」的结构化转录文本。
  • Customized Hotwords 动态引导:允许用户在识别时注入特定专有名词、技术术语或背景词汇,显著提升特定领域或低频词的识别准确率。
  • DER 与 cpWER 综合性能优化:通过联合训练,模型在说话人错误率和带时间戳的字错误率等指标上具备竞争优势。
  • 标准化部署环境:支持 NVIDIA PyTorch Container(验证版本 24.07 至 25.12),核心计算依赖 Flash-Attention 以优化超长序列的推理效率。

已在 Hugging Face 开源并提供测试 Demo,采用 MIT 开源协议。

HuggingFace:
https://huggingface.co/microsoft/VibeVoice-ASR

GitHub:
https://github.com/microsoft/VibeVoice

( @GitHub)

2、FlashLabs 发布 Chroma 1.0:开源原生 Speech-to-Speech 模型,TTFT 降低至 135ms

FlashLabs 推出「Chroma 1.0」开源端到端的 Speech-to-Speech 大模型。该模型跳过了传统的语音识别(ASR)与合成(TTS)阶段,直接在音频 Token 维度完成推理,为开发者提供了一个可私有化部署的 OpenAI Realtime 模型替代方案。

  • 原生端到端语音架构:弃用「ASR → LLM → TTS」的级联管道,采用单一闭环处理音频 Token。该架构原生支持全双工中断,并能完整保留对话中的语调、情感和节奏。
  • 135ms 极低响应延迟:模型 TTFT(首字音频延迟)小于 150ms;在启用 「SGLang」 优化后,TTFT 进一步降低至 135ms,实时系数保持在 0.47–0.51 之间,推理速度达实时语速的 2 倍以上。
  • 4B 参数量与高保真克隆:模型基于 「Qwen 2.5-Omni-3B」 与 「Mimi」 构建,仅需数秒音频样本即可实现高保真语音克隆。其相似度指标 SIM 达到 0.817,较人类基准(0.73)提升约 11%。
  • 集成双层 RAG 架构:内置双层 RAG 机制,可直接挂载向量数据库与知识图谱,实现由智能体驱动的事实检索与语音生成分离,提升对话准确性。

模型权重(Chroma-4B)与推理代码已在 Hugging Face 和 GitHub 全面开源,支持通过 FlashAI 平台直接部署。

相关链接:
https://www.flashlabs.ai/flashai-voice-agents

HuggingFace:
https://huggingface.co/FlashLabs/Chroma-4B

( @flashlabsdotai\@X)

3、Inworld AI 发布 TTS-1.5 语音模型:P90 延迟降至 130ms,推理成本仅为同类产品 1/25

「Inworld AI」正式推出 TTS-1.5 语音合成模型,旨在解决实时语音交互中的延迟与成本瓶颈。通过优化强化学习算法,该版本在显著提升表现力的同时,将 P90 延迟压缩至 250ms 以内,并实现了极低廉的定价策略,直接面向大规模商用语音智能体市场。

  • 生产级实时延迟:TTS-1.5 Mini 模型的 P90 首包延迟低于 130ms,Max 模型低于 250ms,响应速度较前代提升约 4 倍,突破了人类自然对话约 300ms 的感知间隔。
  • 稳定性与表现力优化:通过规模化强化学习训练,词错率降低 40%,大幅减少了长文本合成中的幻觉、断句和杂音;同时语音表现力提升 30%。
  • 极具竞争力的定价结构:交互成本低至 0.5 美分/分钟,每百万字符定价为 $5-$10,对比行业头部方案($120+/百万字符)成本降低逾 25 倍。
  • 扩展功能与部署灵活性:支持 15 种语言(重点优化了印地语);专业级声音克隆功能正式开放 API 调用;并为企业用户提供 On-prem(本地化)部署选项。
  • API 平滑迁移:现有开发者可通过更改 modelId 为 inworld-tts-1.5-mini 或 max 实现快速接入,已整合至 Voximplant 等第三方平台。

已正式上线,开发者可通过 「Inworld AI」 官网 API 或集成合作伙伴平台接入;提供开源/闭源方案及企业级私有化部署。

相关链接:
https://inworld.ai/tts

( @inworld\_ai\@X)

4、DeepSeek 新模型「MODEL1」曝光

1 月 21 日下午消息,DeepSeek 于官方 GitHub 仓库更新了一系列 FlashMLA 代码,在这些更新中,一个名为 「Model 1」的模型 引起了广泛关注。

据悉,目前这个还很神秘的 Model1 不仅出现在了代码与注释中,甚至还有与 DeepSeek-V3.2 并驾齐驱的文件。这也不禁引发广大网友猜测,认为 Model 1 很可能就是传闻中 DeepSeek 将于春节前后发布的新模型代号。

最新消息显示,Model1 是 DeepSeek FlashMLA 中支持的两个主要模型架构之一,另一个是 DeepSeek-V3.2。

据推测,MODEL1 很可能是一个高效推理模型,相比 V3.2,内存占用更低,适合边缘设备或成本敏感场景。它也可能是一个长序列专家,针对 16K+序列优化,适合文档理解、代码分析等长上下文任务。它也可能是一个长序列专家,针对 16K+序列优化,适合文档理解、代码分析等长上下文任务。

另外,MODEL1 的硬件实现跨越多个 GPU 架构。在英伟达 H100/H200(SM90 架构)上有两个版本:model1\_persistent\_h64.cu 用于 64 头配置,model1\_persistent\_h128.cu 用于 128 头配置。在最新的 B200(SM100 架构)上有专门的 Head64 内核实现,而 SM100 的 Head128 实现仅支持 MODEL1,不支持 V3.2,有人猜测 DeepSeek 为适配英伟达新一代 GPU,专门优化了 MODEL1 的架构。

(@雷锋网)

02 有亮点的产品

1、苹果首款 AI 穿戴设备曝光:AirTag 尺寸胸针,双摄、三麦克风

1 月 22 日消息,科技媒体 The Information 发布博文,报道称苹果正在研发一款尺寸类似 AirTag 的「AI 佩戴式胸针」,计划最早于 2027 年发布。

这款设备目前的开发代号尚未公开,但其形态被描述为「类似 AirTag 大小的圆形圆盘」。项目仍处于早期阶段且存在取消风险,不过消息称苹果工程师正全力推进,目标定于 2027 年推向市场。

在硬件规格方面,这款 AI 胸针混合铝合金与玻璃外壳材质,厚度略高于 AirTag。为了实现环境感知,该设备正面集成了两颗摄像头(标准镜头与广角镜头),不仅能拍摄照片,还能实时捕捉用户周边的视频信息。

设备内置了三个麦克风用于精准收音,配备了一个扬声器进行语音反馈,并在边缘设置了一枚实体按键,背部采用了与 Apple Watch 相似的磁吸感应充电接口。

(@IT 之家)

2、苹果首款 AI 智能家居中枢爆料:带屏幕、会转头,最早今春登场

科技媒体 The Information 今天发布博文,爆料称苹果计划最快今年春季发布新款智能家居中枢(Home Hub),采用「机器人旋转底座」设计,根据声音或动作让设备自动转向用户。

消息称这款智能家居中枢不仅配备了小型显示屏和高保真扬声器,更引入了具身智能的关键组件「机器人旋转底座」,让设备能够物理转动,改变传统智能音箱被动静止的交互模式。

尽管爆料未详细阐述旋转底座的技术原理,但科技媒体 MacRumors 认为其核心目的是实现「视觉追随」。结合苹果在传感器领域的布局,该设备预计将搭载阵列式传感器,用于精准识别用户在房间内的位置。

例如用户发出语音指令或移动后,底座驱动屏幕自动转向用户,不仅能提供更好的视频通话视角,还能通过物理动作模拟注视感,赋予 AI 助手一种「视觉人格」,从而提升交互的沉浸感与自然度。

发布日期方面,供应链消息指出,其上市时间窗口将与 iOS 26.4 的发布时间高度重合。硬件上的灵动转向配合软件上的更智能 Siri,苹果有望重新定义智能家居的控制中心。

(@IT 之家)

3、字节 AI 硬件传人事变动:Oladance 创始人李浩乾或离职,新一代耳机与眼镜曝光

据蓝鲸新闻消息,字节跳动 Flow 旗下 Ocean 团队核心骨干、原 Oladance 创始人李浩乾或将离职。知情人士透露,目前内部人事调整仍存变数,不排除转岗等可能。 李浩乾曾任职于 Bose 并带领研发 QC35,后于 2019 年创立 Oladance 主攻开放式耳机。2024 年中旬,字节跳动以约 5000 万美元全资收购 Oladance,李浩乾随团队加入字节,职级定为 5-1,负责代号为「D 线」的 AI 可穿戴设备业务。

在收购完成后,字节跳动迅速整合资源,于 2024 年 10 月推出了首款搭载豆包大模型的智能耳机 Ola Friend,预售价 1199 元。该产品深度集成了豆包的语音交互能力,并于 2025 年 5 月上线了 AI 外教智能体「Owen」,支持英语对话、双语点评及职场模拟等功能,试图通过垂直场景切入教育硬件市场。然而,有消息显示该产品后期的市场反响未达团队预期。

面对硬件赛道的挑战,字节跳动正在加速调整产品布局。供应链信息指出,字节正研发新一代豆包 AI 耳机,由歌尔股份专门设立事业群负责代工,产品核心思路将转向与手机的深度协同。此外,豆包 AI 眼镜(无屏版)预计将于 2026 年第一季度面世,首批规划量约 10 万台,将采用邀请制发售。

(@多知)

03 有态度的观点

1、马斯克喊话「不要让亲人用 ChatGPT」,奥特曼回应:超过 50 人死于 Autopilot

昨天,特斯拉 CEO 伊隆 · 马斯克在 X 转发一则帖子,直言「不要让你的亲人使用 ChatGPT」。该帖子声称 ChatGPT 自 2022 年发布以来,已与 9 起死亡案例相关联。

OpenAI CEO 山姆 · 奥特曼随后对此进行回应,强调 OpenAI 在保护脆弱用户与确保产品可用性之间面临艰难平衡。

他表示「我们需要保护脆弱用户,同时确保所有用户都能从工具中受益」,并指出马斯克此前曾抱怨 ChatGPT 的内容审核「过于严格」。

在回应中,奥特曼还回击了特斯拉汽车的 Autopilot 自动驾驶功能。

他表示,自己曾乘坐搭载该系统的车辆,「第一反应是这远不是特斯拉应该发布的安全产品」,并暗示马斯克旗下 xAI 的 Grok 在内容安全上也存在争议。

《商业内幕》报道指出,围绕 ChatGPT 的安全性,OpenAI 目前已面临至少 8 起与心理健康恶化、自杀或暴力事件相关的诉讼;

而特斯拉 Autopilot 也卷入多起致死事故诉讼,包括一起发生于 2019 年、最终由陪审团裁定特斯拉承担 33% 责任的案件。

这场公开争执发生在双方长期法律纠纷的背景下。马斯克此前起诉了奥特曼及 OpenAI 高层,指控其偏离最初的非营利使命,并称自己曾为 OpenAI 的早期发展投入 3800 万美元。

( @APPSO)

阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么

写在最后:

我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。

对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点,仅供参考​

开发者朋友们大家好:

这里是 「RTE 开发者日报」 ,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。

本期编辑:@瓒an、@鲍勃

01有话题的技术

1、阶跃星辰开源 Step3‑VL‑10B:10B 模型对标 200B 能力

昨天,阶跃星辰宣布正式开源旗下 10B 参数量多模态模型 Step3‑VL‑10B。该模型在多项核心基准测试中达到同规模 SOTA 水平,部分能力甚至超越 10–20 倍体量的大模型。

Step3‑VL‑10B 主打「小模型实现大模型能力」,在视觉感知、逻辑推理、数学竞赛题、多模态对话等任务中表现突出。

阶跃星辰称,Step3‑VL‑10B 的性能已接近甚至超越部分百亿级开源模型(如 GLM‑4.6V 106B‑A12B、Qwen3‑VL‑Thinking 235B‑A22B),并在部分场景中达到顶级闭源旗舰模型(如 Gemini 2.5 Pro、Seed‑1.5‑VL)水平。

官方强调,该模型的关键突破来自三项核心设计:

  • 全参数端到端多模态联合预训练:在 1.2T 高质量多模态数据上训练,实现视觉与语言的深度对齐;
  • 大规模多模态强化学习:经历超过 1,400 次迭代,使模型在识别、推理与对话能力上持续提升;
  • 并行协调推理机制:通过并行探索与证据聚合提升复杂任务的准确度,尤其在数学推理、OCR、计数与空间拓扑任务中效果显著。

Step3‑VL‑10B 同时提供 SeRe(顺序推理)与 PaCoRe(并行推理)两种范式,覆盖 STEM 推理、OCR、GUI Grounding、空间理解与代码等多项能力维度。

当前,Step3‑VL‑10B 已开放 Base 与 Thinking 两个版本,社区可在 HuggingFace 与 ModelScope 获取模型并进行微调。

项目主页:
https://stepfun-ai.github.io/Step3-VL-10B/

Hugging Face:
https://huggingface.co/collections/stepfun-ai/step3-vl-10b

ModelScope:
https://modelscope.cn/collections/stepfun-ai/Step3-VL-10B

论文链接:
https://arxiv.org/pdf/2601.09668

(@阶跃星辰、@APPSO)

2、showlab 开源 whisperVideo:集成 SAM3 与 TalkNet 实现长视频「音视对齐」的说话人转录

showlab 近期开源了名为 whisperVideo 的项目,专门致力于解决长视频场景下「谁在说话」的身份归属难题。该工具打破了传统方案仅依赖音频的局限,通过融合视听双重特征,实现了语音内容与画面特定人脸的精准对齐。

为了突破纯音频方案在多人混响或近距离交谈时常见的识别漂移问题,whisperVideo 构建了一套紧密的多模态级联架构。它集成了 WhisperX 负责语音转录、Pyannote.audio 处理声纹分离,并引入 SAM3 进行人脸分割以及 TalkNet 判定主动说话人。这种组合拳方式,确保了机器能像人类一样同时「听」和「看」,从而做出更准确的判断。

针对小时级素材中常见的跨场景挑战,工具特别引入了「长时身份一致性」机制。利用视觉嵌入与轨迹聚类技术,系统能在漫长的视频时间轴上记住每一张脸,确保同一说话人的 ID 在不同场景切换中始终保持稳定。

在工作流设计上,whisperVideo 追求全自动化体验。内置的 SceneDetect 能够自动进行场景切割与分段处理,无需人工干预即可完成时间戳、文本与视觉 ID 的三方对齐。最终生成的成果不仅包括带说话人 ID 的字幕,还支持可视化的面板模式,并将底层数据以 。pckl 格式开放给开发者。

目前,项目已在 GitHub 开源,需使用 CUDA GPU 环境,依赖 HuggingFace Token 调用 Diarization 模型,支持 Python 命令行一键推理。

GitHub:
https://github.com/showlab/whisperVideo

( @aigclink\@X)

3、Bolna 获 630 万美元种子轮融资:自研 SLM 语音智能体,支持「印式英语」混说

总部位于班加罗尔的初创公司「Bolna」近日完成了由 General Catalyst 领投的 630 万美元种子轮融资。这家公司致力于通过自研的专用小模型(SLM)技术,打破多语言环境下的自动化通信瓶颈。

为了适应印度极其复杂的语言生态,Bolna 构建的语音智能体不仅将端到端响应延迟控制在 500 毫秒以内,更实现了深度的本地化适配。它能够流畅处理包括印地语、泰米尔语在内的 10 余种本土语言及 50 多种地区口音,甚至针对印度特有的语言混合现象,专门优化了对「印式英语(Hinglish)」的语义理解与生成能力。

在技术架构上,Bolna 摒弃了昂贵的通用大模型方案,转而采用针对事务性查询优化的 SLM 与智能路由架构。这种策略有效平衡了计算成本与响应速度,使其更适合大规模商业落地。配合其提供的无代码控制台,企业可自主设计并监控智能体。目前,该平台的日呼叫处理量已从 1,500 通激增至 20 万通以上,广泛应用于购物车挽回、货到付款确认及招聘筛选等场景。

平台现已正式上线,主要面向印度企业提供订阅制的自助服务。

( @AI Tech Suite)

02有亮点的产品

1、消息称华为首款 AI 眼镜将在上半年发布:搭载鸿蒙 OS,支持同传翻译与拍照

1 月 20 日多家媒体消息,华为的第一款「AI 眼镜」暂定在今年上半年推出,支持拍照和音频,鸿蒙系统 + 跨端无缝协同,同传翻译等功能。 AI 眼镜被誉为「下一代 AI 终端超级入口」,已然是大厂必争之地,百度、小米、阿里、理想等早已进场,并推出了 AI 拍照眼镜,字节也即将推出 AI 眼镜,作为国内消费类智能终端龙头的华为自然不会落后于人。

据 @数码闲聊站 爆料,华为 AI 眼镜将采用鸿蒙 OS 系统与轻量化设计,内置 3 块锂电池,支持跨端无缝协同,进一步拓展使用场景。并提供流光银、钛银灰、摩登黑三款配色,支持拍照、拍视频、音频播放以及同声传译等功能。

虽然目前具体细节尚未公布,但结合华为在 AI 技术领域的探索,预计将内置华为 AI 助手小艺,产品可能涉及 AI 识物、智能场景推荐等功能。

经查询发现,华为曾推出带有音频功能的智能眼镜,主打听音乐、打电话、健康播报等。如今随着 AI 的兴起,智能眼镜行业也纷纷上马 AI,以及自带摄像头、显示屏的 AI 眼镜也不断推新。

据 IDC 预测,智能眼镜产品成为 2025 年消费电子赛道的黑马,相应产品在中国市场出货量预计达到 290.7 万台,同比增长 121.1%。业内人士普遍认为,这缘于技术突破、市场需求释放以及产业链成熟等多重因素。

汇丰控股认为,智能眼镜市场仍处于加速扩张阶段。分析师预计,智能眼镜的用户规模将在未来十多年内迎来爆发式增长,到 2030 年代末将达到 2.89 亿人,较 2025 年的 1500 万用户增长超过 18 倍。

(@即智 Ultra、@IT 之家)

2、MiniMax 推出「Agent 实习生」,AI-native Workspace 全面升级

昨天,MiniMax 官宣,AI-native Workspace 迎来两项核心升级,进一步推动 AI 深度嵌入真实工作场景,并面向用户开放限时免费体验。

  • 桌面端应用正式上线: 用户可在本地环境中指定 Workspace 作为工作空间与上下文,使 AI 能够直接理解本地文档、代码仓库、邮件与日程,从而构建一个专属于个人的智能工作环境。
  • 推出「专家 Agents」能力: 用户可构建在特定领域达到「95 分甚至 100 分」水平的专业智能体。这类 Agent 能够在复杂任务链路中稳定执行、主动判断并长期协作。

公司内部数据显示,「Agent 实习生」在过去数周已被接近 100% 的员工使用,并在运维场景中承担了约 80% 的查 Bug 工作量。

MiniMax 表示,AI-native Workspace 标志着 Agent 从「被动执行指令」向「主动感知环境」的形态演进。

公司认为,未来的 Agent 将具备长期记忆、完整职业上下文与跨系统感知能力,成为用户的长期工作伙伴,而非一次性工具。

目前,MiniMax 已开启专家 Agents 的限时免费体验。用户可通过 Web 端直接试用,也可通过官方体验链接获取桌面端安装包。

体验地址:
https://agent.minimaxi.com/

( @APPSO)

3、Crow 发布 AI 智能体框架:支持 OpenAPI 与 MCP 协议,实现「对话即 UI」交互

Crow 近期推出了一套专为 SaaS 产品打造的 AI 智能体基础设施,旨在通过「对话即 UI」的理念重构软件交互模式。该工具的核心逻辑在于将传统的点击操作转化为自然语言指令流,通过接入 OpenAPI 规范或 MCP 协议,使智能体不仅能回答问题,更能直接触发后端 API 调用及前端 UI 导航,从而实现对软件功能的深度控制。

为了解决生成式 AI 不可控的难题,Crow 引入了名为「Journeys」的结构化工作流。开发者可以针对取消订阅、创建报表等特定业务场景,定义确定性的引导路径,确保智能体在执行敏感操作时严格遵循预设的逻辑分支。配合支持文件与文档集成的 RAG 管道,智能体还能充分理解产品特定的业务逻辑与私有数据。

在开发与运维层面,Crow 提供了生产级的观测指标,能够详细追踪每一条指令对应的工具调用路径。其低代码部署方案仅需嵌入单行 Script 标签,官方宣称这能将传统长达半年以上的自研周期缩短至一周以内,并支持与 Claude Code 或 Cursor 等工具集成。目前该产品已正式上线,开发者项目可免费试用,同时针对中大型企业提供了定制化方案。

( @Y Combinator Launch)

4、Thread 发布 Voice AI:实现 MSP 电话自动化分拣与实时工单同步,单人效能提升 30%

Thread 宣布其专为托管服务提供商设计的 Voice AI 正式商用。该产品旨在终结传统 IVR(交互式语音应答)系统的僵化体验,通过语音智能体接管电话接入、分拣与派发的全流程,将高成本的电话渠道整合进结构化的自动化运维体系中。

AI Attendant 与 Overflow Agent 双引擎驱动:

  • AI Attendant:取代传统 IVR,能够即时接听电话并识别来电者身份。它不仅能进行自然的语音交互,还能在后台实时创建工单、匹配技术人员,并完成「热切换」,确保客户在转接给真人时无需重复复述问题。
  • Overflow Agent:专为下班后或线路繁忙场景设计。它能拦截进入语音信箱的电话,自动收集关键信息并进行分类;遇到 P1 级紧急事件时,可直接升级并呼叫待命团队,消除了「下班后盲区」。

Voice AI 的核心价值在于将非结构化的语音高效转化为结构化数据。系统不仅能根据通话内容自动填充工单的标题、类别、优先级和解决摘要,还引入了「自动时间条目」功能,可依据通话时长直接生成计费记录。据官方数据统计,这一特性为每张工单平均节省了 19 分钟的处理时间,从而推动单一技术人员的日均通话处理量从 8-12 通显著提升至 14-20 通。

在生态兼容性方面,该方案作为 Thread AI Service Desk 平台的重要组成部分,已与 ConnectWise、Autotask 和 HaloPSA 等主流 PSA 系统实现了原生集成。这意味着所有通话数据都会实时转化为结构化文档,并无缝同步至企业现有的工作流中,从而确保了整个服务链条的完整性与可追溯性。

据 Thread 统计,通过消除手动记录和人工轮班需求,该系统可使响应速度提升 5 倍,平均解决时间缩短 78%。目前该服务已正式上线。

相关链接:
https://www.getthread.com/voice-ai

( @Mansfield News Journal)

03有态度的观点

1、谷歌前 CEO 施密特:欧洲要么投资开源 AI,要么依赖中国模型

1 月 20 日,据外媒报道,谷歌前 CEO、科技投资人埃里克 · 施密特 (Eric Schmidt) 周二表示,欧洲必须投资建设自己的开源 AI 实验室,并解决能源价格飙升的问题,否则很快就会发现自己对中国的模型产生依赖。 施密特周二在达沃斯世界经济论坛表示:「在美国,企业基本上正在转向闭源,这意味着这些技术将被购买、授权等等。而与此同时,中国在做法上基本是开放权重、开源的。除非欧洲愿意为欧洲自己的模型投入大量资金,否则欧洲最终将会使用中国的模型。」

目前,许多热门 AI 模型都是闭源的,比如谷歌的 Gemini 和 OpenAI 的 ChatGPT,这意味着这些公司不会向外界提供底层代码供下载或审查。虽然这种方式能为用户带来更顺畅、更统一的使用体验,但通常成本更高、灵活性也更低。中国在所谓「开放权重」模型的开发方面处于领先地位,这类模型具有更高的透明度。

为了在开发更强大 AI 模型和智能体的全球竞赛中具备竞争力,欧洲还需要解决高企的能源价格问题,并建设更多可用于训练这些技术的数据中心。施密特曾联合创办一家数据中心公司,致力于应对这类基础设施巨大的能源需求。他也对美国 AI 发展对电力供应的影响表示担忧。

(@IT 之家)

阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么

写在最后:

我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。

对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点,仅供参考

开发者朋友们大家好:

这里是 「RTE 开发者日报」 ,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。

本期编辑:@瓒an、@鲍勃

01 有话题的技术

1、无界方舟 AutoArk-AI 发布 GPA 语音大模型:0.3B 轻量化架构实现 ASR/TTS/VC 统一建模

在克隆参考音频样本的音色的同时,从文本合成语音。

无界方舟 AutoArk-AI 正式推出通用音频模型「GPA」。该模型基于统一的自回归 Transformer 架构,在单一的大语言模型框架下,集成了语音识别(ASR)、语音合成(TTS)和语音转换(VC)三大核心任务

该模型的设计初衷在于改变传统语音系统碎片化的 Pipeline 设计模式。通过 0.3B 的轻量化参数量级,GPA 旨在实现端侧的高效部署以及跨任务的泛化能力

在技术架构上,GPA 放弃了任务特定的输出头,转而采用统一的离散音频 Token 空间。这一设计将理解、生成与编辑任务收敛至单一自回归模型中,从而减少了跨任务处理过程中的性能损耗。

交互方式上,模型采用指令驱动机制,通过文本指令来引导任务行为。它支持零样本语音克隆,用户无需调整架构或进行针对性微调,即可在 ASR、TTS 和 VC 之间进行动态切换。

针对边缘计算场景,官方提供了优化的 0.3B 参数版本。该版本兼容性广泛,支持 vLLM、llama.cpp、SGLang、MLX-LM 以及端侧硬件框架 RKNN。

在流式推理的延迟指标方面,测试数据显示:在 TTS 任务中,单并发平均 TTFC(首包延迟)为 258.8ms,RTF(实时率)为 0.197;在 ASR 任务中,单并发平均 TTFT(首 Token 延迟)为 157.5ms,能够支持高并发吞吐场景。

在性能对标测试中,针对中文 SEED 数据集的 TTS 零样本测试显示,GPA-0.3B 的 CER(字符错误率)为 0.95%。数据显示,该成绩优于同参数量级的 F5-TTS 模型。

目前,该模型的代码已开源,相关论文与 Demo 即将上线。使用许可方面,模型目前仅供学术研究与个人教育使用。

GitHub:
https://github.com/AutoArk/GPA

( @GitHub)

2、ElevenLabs 洽谈新一轮融资:估值或达 110 亿美元,有望成英国最有价值 AI 初创公司

据英国《金融时报》报道,AI 语音生成公司 ElevenLabs 正洽谈新一轮融资,计划从投资者处募集数亿美元资金。若交易达成,其估值或将在数月内翻倍至 110 亿美元

这一跃升将使 ElevenLabs 超越估值约 80 亿美元的自动驾驶公司 Wayve,成为英国最有价值的人工智能初创公司;同时,也将使其跻身欧洲顶尖行列,逼近法国 AI 模型公司 Mistral 约 120 亿美元的估值水平。

此次融资谈判距离公司上一次二级股份出售仅过去四个月,当时的估值为 66 亿美元。据悉,目前的会谈仍处于早期阶段,具体情况可能存在变数。

ElevenLabs 于 2022 年由波兰企业家 Mati Staniszewski 和 Piotr Dabkowski 在伦敦创立,目前已获得红杉资本(Sequoia)、Iconiq、Andreessen Horowitz、NEA 及 FT Ventures 等多家知名风投机构的支持。为了便于获取美国资本,公司已在美国注册,并在伦敦和纽约设有双总部。

在业务层面,ElevenLabs 专注于利用 AI 生成逼真的语音,广泛应用于客服、文本转语音及多语言配音等场景。公司业绩增长迅猛,去年年度经常性收入(ARR)已达到 3.3 亿美元,较 9 月份公布的 2 亿美元有显著提升。

宏观来看,尽管全球投资者对 AI 初创企业的兴趣持续高涨,但欧洲公司在募资规模上仍滞后于美国。作为对比,美国巨头 OpenAI 据传估值已达 5000 亿美元,并正商谈最高达 800 亿美元的新一轮融资,投后估值可能突破 8000 亿美元。

( @Benchmark Studio)

3、红杉资本「覆盖赛道」押注 Anthropic,新一轮融资目标约 250 亿美元,预计最快今年 IPO

据《金融时报》报道,红杉资本计划加入对 AI 初创公司 Anthropic 的新一轮重磅融资。此举打破了风险投资界通常避免在同一领域支持竞争对手的传统惯例,因为红杉此前已同时投资了 OpenAI 和埃隆·马斯克的 xAI。

本轮融资由新加坡政府投资公司(GIC)和美国投资机构科图(Coatue)领投。 据报道,两家机构各出资 150 亿美元。Anthropic 计划以 3500 亿美元的估值筹集 250 亿美元或更高资金,这一估值较四个月前的 1700 亿美元已翻了一番以上。此外,微软和英伟达据称已承诺共同出资最高 1500 亿美元。

红杉此次的投资时机颇受外界关注。OpenAI CEO 萨姆·奥尔特曼此前曾明确表示,虽然不禁止投资者投资竞品,但若投资者对竞争对手进行「非被动投资」,其接触 OpenAI 机密信息的权限将被终止。

尽管面临潜在的利益冲突,红杉仍选择进一步深化在 AI 领域的布局。 此前,红杉不仅支持了奥尔特曼创立的 Loopt 和其引荐的 Stripe,也通过投资 xAI、X、SpaceX 及 Neuralink 等公司与马斯克建立了广泛联系。

这一策略转变发生在该机构经历戏剧性的管理层变动之后。近期,红杉全球掌门人罗洛夫·博塔(Roelof Botha)离职,由林君睿(Alfred Lin)和帕特·格拉迪(Pat Grady)接手。这种多点押注的策略,与 2020 年红杉因利益冲突而放弃 Finix(Stripe 竞对)投资的历史立场形成了鲜明对比。

此外,报道还透露,Anthropic 正在积极筹备首次公开募股(IPO),最快可能在今年年内进行。

( @Z Potentials、@TechCrunch)

4、NVIDIA 发布 PersonaPlex:基于 Moshi 架构的 7B 全双工对话模型,支持混合 Prompt 定制

NVIDIA ADLR 团队近日正式发布了 PersonaPlex,这是一个参数量为 7B 的原生全双工语音对话模型。该模型通过摒弃传统的 ASR→LLM→TTS 级联架构,实现了超低延迟的实时语音交互,并着重解决了全双工模型在角色与音色自定义方面的局限性

在架构设计上,PersonaPlex 基于 Kyutai 的 Moshi 架构及 Helium 语言模型构建,并采用了 24kHz 采样率的 Mimi 神经音频编解码器。该架构支持模型同时处理音频输入流与输出流,从而具备了实时打断、背向渠道(Backchanneling,如「嗯」、「噢」)以及自然的轮替节奏等全双工特性。

为了提升定制化能力,模型引入了混合提示机制。 该机制包含双路输入控制:通过音频嵌入提取参考音频的声学特征,以控制发音风格与韵律;同时利用文本指令来定义角色的设定、背景知识及交互逻辑。

在训练数据方面,团队采用了脱耦与融合策略。模型使用了 1,217 小时的 Fisher English 真实对话语料来学习打断、情绪反馈等交互行为,并结合了约 2,250 小时由 Qwen3-32B 和 Chatterbox TTS 生成的合成数据,以强化指令遵循能力。

评测结果显示,在 FullDuplexBench 及新增的 ServiceDuplexBench 测试中,PersonaPlex 在顺滑轮替和暂停处理等指标上优于 Gemini 2.0 Flash Live 等商业模型。此外,在未见过的极端场景(如太空紧急状况响应)中,模型也展现出了技术推理与情绪同步能力

目前,该项目的代码采用 MIT 开源协议,模型权重则采用 NVIDIA Open Model License 协议。相关的测试集 ServiceDuplexBench 也将于近期开放。

HuggingFace:

https://huggingface.co/nvidia/personaplex-7b-v1

( @NVIDIA ADLR Blog)

02有亮点的产品

1、飞书发布首款硬件「AI 录音豆」:联手安克创新,争夺更近的上下文入口

据「智能涌现」报道,飞书联合安克创新发布首款智能硬件产品「AI 录音豆」,这也是飞书自 2017 年成立以来的首次硬件尝试。该产品被定义为飞书内部的探索性项目,由飞书团队负责软件部分的研发。

在此次合作中,飞书团队主要负责软件层面的研发。该设备通过极轻量化的设计捕捉物理场景语音,并结合豆包大模型,旨在实现办公上下文的自动化沉淀与结构化处理

在硬件形态上,AI 录音豆单体重量仅为 10g,含充电仓总重 48g,内部搭载了双 MEMS 麦克风阵列。产品采用了豆状设计,支持背夹或磁吸佩戴。这一设计旨在降低录音过程中的仪式感,以便更好地覆盖通勤、拜访等碎片化使用场景。

在续航与存储配置方面,配合充电舱使用,该设备可提供 32 小时的总续航时间,并支持快充技术,充电 10 分钟即可录音 2 小时。机身内置 8GB 存储空间,可存储约 250 小时音频,并支持蓝牙与 Wi-Fi 双模式传输。

核心功能方面,设备内置了豆包大模型,支持实时多模态纪要。具体能力涵盖发言人识别、待办事项自动提取以及柱状图等图例的可视化生成,用户可在录音过程中实时查看 AI 总结。

此外,该产品实现了与飞书生态的闭环打通。录音内容会自动沉淀至飞书知识库,用户随后可通过 AI 助手,以自然语言交互的方式对历史音频记录进行语义检索、提问及二次创作。

目前,该产品被定位为飞书内部的探索性项目,具体定价及正式发售日期暂未披露。

(@36 氪)

2、银河通用发布重载机器人 Galbot S1:50kg 双臂负载突破瓶颈,零遥操切入核心产线

「银河通用」正式发布工业级具身智能重载机器人「Galbot S1」。该机器人实现了 50kg 的双臂持续作业负载,并搭载全自主、零遥操的「具身搬运模型」。目前,产品已成功进入宁德时代等头部企业的核心产线,承担重型物料搬运及部件装配任务。

在负载能力上,Galbot S1 实现了显著突破。它拥有 50kg 的双臂持续负载能力,不仅对标人力搬运的极限,更突破了具身智能机器人普遍低于 10kg 的负载瓶颈,有效填补了轻型协作机器人与大型固定吊装设备之间的重载作业空白。

技术层面,该机器人采用了全自主的具身搬运模型。基于纯视觉感知方案,Galbot S1 无需依赖二维码或反光板等外部标记,即可支持动态光照、局部遮挡及人机混行等复杂工况,实现了零遥操下的端到端作业。

针对工业环境的适配性,整机具备 IP54 防水防尘等级,作业高度覆盖 0 至 2.3 米区间,能够适配从地面物料到高位货架的全场景搬运需求。

在续航与安全性方面,Galbot S1 支持 8 小时单次续航及自主换电功能,可实现 7×24 小时连续运转。同时,系统配备了毫秒级安全响应机制与 360° 全向避障能力,确保作业安全。

此外,银河通用通过在宁德时代、博世、丰田等真实产线的长期运行,构建了场景数据闭环,持续强化具身智能大脑在严苛节拍下的稳定性。

目前,公司已完成 21 亿元融资,估值突破 200 亿元,正积极推进千台级的工业部署。

(@量子位)

3、全球首个全年龄段覆盖,京东京造第二批 AI 玩具上线

近日,京东京造正式宣布上线第二批自研 AI 玩具。此次发布的新品在此前针对儿童开发的陪伴玩具基础上,进一步推出了面向年轻人及老年群体的 AI 玩具,实现了全球首个全年龄段用户需求的覆盖

京东 JoyInside 为硬件注入了「长期记忆」与「情境感知」能力,能够理解对话的上下文,也成为首个根据不同年龄段用户的偏好与习惯进行优化的系统平台。

这项能力被深度应用于不同年龄层的需求设计中:系统能识别婴幼儿的哭声并给予安抚,为儿童提供启蒙引导并识别潜在风险,与年轻人进行有深度的主题聊天,也能用方言陪伴老年人,并关注他们的健康与社交需求。

回顾市场表现,首批 AI 玩具上市后,被用户视为「游戏搭子」、「情绪树洞」及「知识导师」,在帮助儿童减少电子屏幕依赖方面发挥了作用。数据显示,接入 JoyInside 的智能硬件平均对话轮次提升超过 120%,多款产品上线即售罄,且保持了极低的退货率。

截至目前,京东 JoyInside 已携手超过 40 家硬件品牌,涵盖 AI 玩具、机器人等品类。

(@IT 之家、@京东黑板报)

03有态度的观点

1、DeepMind CEO:AGI 5-10 年内实现

日前,Google DeepMind CEO Demis Hassabis 接受了 CNBC 的节目采访,与主持人共同讨论了缩放定律的重要性以及发展通用人工智能(AGI)的持续追求。

Demis 表示,自己依然认为 5 到 10 年内 AGI 能得以实现。

其指出,包括 AI 在内的 AGI 将涉及 LLMs 和世界模型的组合,而不是一个组件取代另一个组件。

Demis 认为,AI 可能需要更好的推理、长期规划和 「世界模型」 的概念,以更好地理解物理学并进行模拟,反映人类科学家的工作。其也强调,除了世界模型之外,AGI 可能还需要其他类型的技术和能力。

同时他也表示,为了使 AI 在科学能力方面取得进步,它需要能够提出新的假设和想法,而不仅仅是解决现有的猜测。

( @APPSO)

04社区黑板报

招聘、项目分享、求助……任何你想和社区分享的信息,请联系我们投稿。(加微信 creators2022,备注「社区黑板报」)

1、招聘 AI Agent 开发工程师

22-35K·13 薪深圳 5-10 年 本科

岗位职责:

  1. 负责 AIAgent 系统的架构设计与工程实现,包括智能体的任务规划、决策逻辑、工具调用以及记忆管理等核心模块。
  2. 深入集成与优化大语言模型(LLM),通过提示工程、微调等技术路径,持续提升 AI 助手的对话质量、逻辑推理能力及任务执行准确性。
  3. 为 AI 助手连接并管理各类外部工具与 API(如搜索、数据库、第三方服务),构建其实际解决问题的能力,同时确保执行过程的安全与可控。
  4. 建立针对 AI 助手性能的评估、监控与迭代闭环,通过数据分析驱动产品体验的持续优化。5.编写高质量、可维护的代码,并将 AIAgent 系统部署至生产环境,保障其高可用性与低延迟。

任职要求:

  1. 计算机科学、软件工程或相关专业本科及以上学历,具备 3 年以上后端或 1 年以上 AI 应用开发经验。
  2. 熟悉 PyTorch、TensorFlow 等主流深度学习框架,具备扎实的工程能力和良好的编码习惯。
  3. 对大语言模型及 AIAgent 技术栈有深入理解和实际项目经验。
  4. 拥有强烈的产品意识和用户同理心,关注技术落地对用户体验的实际影响,具备优秀的数据分析能力和问题解决技能。
  5. 有成功的 ToC 互联网产品或 AI 产品(如智能助手、对话机器人)开发及上线经验者优先。

联系人:李先生

联系方式:26905841@qq.com

阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么

写在最后:

我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。

对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。

作者提示:个人观点,仅供参考

近日,美团 LongCat 团队正式对外发布并开源 LongCat-Flash-Thinking-2601。作为已发布的 LongCat-Flash-Thinking 模型的升级版,LongCat-Flash-Thinking-2601 在 Agentic Search(智能体搜索)、Agentic Tool Use(智能体工具调用)、TIR(工具交互推理)等核心评测基准上,均达到开源模型 SOTA 水平。

该模型尤其在工具调用上表现出卓越的泛化能力,在依赖工具调用的随机复杂任务中性能超越了 Claude,可大幅度降低真实场景下新工具的适配训练成本;同时它是首个完整开源并支持在线免费体验「重思考模式」的模型,同时启动 8 个大脑飞速运转,确保思考周全、决策可靠。

目前该功能已经可以在 https://longcat.ai 网站免费体验(仅选择深度思考功能时会触发重思考模式)。

01 创新的「重思考」模式:让模型学会“深思熟虑”

全新升级的「重思考」模式,让模型学会了“深思熟虑”再行动,遇到高难度问题时,模型会把思考过程拆成并行思考和总结归纳两步来做:

并行思考阶段,模型会同时独立梳理出好几条推理路径,就跟人面对难题时会琢磨不同解法一个道理,还会特意保证思路的多样性,生怕漏掉最优解;

总结归纳阶段,对多条路径进行梳理、优化与合成,并将优化结果重新输入,形成闭环迭代推理,推动思考持续深化。

除此之外,我们还专门设计了额外的强化学习环节,针对性打磨模型的总结归纳能力,让 LongCat-Flash-Thinking-2601 真正实现“想清楚再行动”。

02 智能体工具调用能力登顶开源 SOTA

经过全面严谨的评估显示,LongCat-Flash-Thinking-2601 模型在编程、数学推理、智能体工具调用、智能体搜索维度表现全面领先:

  • 编程能力:LongCat-Flash-Thinking-2601 在 LCB 评测中取得 82.8 分,OIBench EN 评测获 47.7 分,成绩处于同类模型第一梯队,展现出扎实的代码基础能力。
  • 数学推理能力:在开启重思考模式后表现突出,LongCat-Flash-Thinking-2601 在 AIME-25 评测中获 100.0 分(满分),IMO-AnswerBench 中以 86.8 分达到当前 SOTA。
  • 智能体工具调用能力:在 τ²-Bench 评测中拿到 88.2 分,VitaBench 评测中获得 29.3 分,均获得开源 SOTA 水平,在多领域工具调用场景下表现优异,适配实际应用需求。
  • 智能体搜索能力:在 BrowseComp 任务中取得 73.1 分(全模型最优),RW Search 评测获 79.5 分,LongCat-Flash-Thinking-2601 具备强劲的信息检索与场景适配能力,达到开源领先水平。

同时,为了更好的测试智能体模型的泛化能力,我们提出了一种全新的评测方法——通过构建一套自动化任务合成流程,支持用户基于给定关键词,为任意场景随机生成复杂任务。每个生成的任务都配备了对应的工具集与可执行环境。由于这类环境中的工具配置具有高度随机性,我们通过评估模型在该类环境中的性能表现,来衡量其泛化能力。实验结果表明,LongCat-Flash-Thinking-2601 在绝大多数任务中保持领先性能,印证了其在智能体场景下强大的泛化能力。

03 核心技术突破:既能“打硬仗”也能“抗干扰”

3.1 环境扩展与多环境强化学习 :从“靶场”到“实战”

传统智能体大多只在几个简单模拟环境里训练,就像士兵只练过靶场,到了真实“战场”就掉链子。而基于“环境扩展+多环境强化学习”核心技术,为模型打造了多样化的“高强度练兵场”,构建了多套高质量训练环境,每套集成 60 余种工具并形成密集依赖关系图谱与复杂联动,支撑起高度复杂的任务场景。实验证明,训练环境越丰富,模型在未知场景中的泛化能力越强。得益于这套方案,LongCat-Flash-Thinking-2601 在智能体搜索、智能体工具调用等核心基准测试中稳居前列。尤其在复杂随机的分布外任务中性能优于 Claude。

同时我们针对性扩展 自研强化学习基础设施(DORA),在保留原有高效异步训练特性的基础上实现大规模多环境智能体的稳定并行训练,通过均衡搭配多环境任务、按难度与训练进度智能分配算力,最大化提升训练效率与资源利用率,筑牢能力根基。此外,我们还从复杂度、多样性双维度严控训练任务,配套专属数据库及优化方案,杜绝模型“偏科”与训练漏洞,让这套全流程方案持续赋能模型,稳居智能体能力第一梯队。

稳定上涨的多环境混合强化学习训练曲线

多环境强化学习训练下不同 OOD 测试集上的 RL Scaling 表现

3.2 噪声环境下的稳健训练:让智能体更“抗造”

现实世界的智能体环境充满不确定性,API 调用失败、返回异常信息、观测数据不完整等“噪声”问题,极易导致模型决策失误。为此,我们在训练数据的过程中主动注入多类噪声,模拟 API 的调用失败、返回错误信息、数据缺失等场景,并用课程学习(Curriculum Learning)的方式循序渐进去做模型的训练,在训练过程中逐步增加噪声的类型与强度——如果类比成教小孩骑车,我们首先在平坦路面做练习,等技能成熟后再逐步增加路面的复杂度。

可以看到,带噪声环境下未经过稳健训练的模型的表现会出现大幅衰减,Claude 也无法适应全部的噪声类型。而经过这套系统化的抗干扰训练,LongCat-Flash-Thinking-2601(Training w/ Noise 组)拥有了极强的环境适应能力,哪怕在复杂、不理想的场景中,也能稳定发挥、高效完成任务。

带噪声 / 无噪声评测集下的模型表现对比

开源与部署:低门槛接入,加速智能体应用落地

为降低开发者使用门槛,美团 LongCat 团队同步开放模型权重、推理代码与在线体验能力,支持从快速试用至深度开发的全流程需求:

开源平台

在线体验与调用

欢迎开发者下载、部署并体验 LongCat-Flash-Thinking-2601,同时也欢迎您在 LongCat API 开放平台申请免费调用额度。如果您在智能体开发、大模型推理优化等领域有合作想法或反馈,我们期待与您交流。

| 关注「美团技术团队」微信公众号,在公众号菜单栏对话框回复【2024年货】、【2023年货】、【2022年货】、【2021年货】、【2020年货】、【2019年货】、【2018年货】、【2017年货】等关键词,可查看美团技术团队历年技术文章合集。

| 本文系美团技术团队出品,著作权归属美团。欢迎出于分享和交流等非商业目的转载或使用本文内容,敬请注明“内容转载自美团技术团队”。本文未经许可,不得进行商业性转载或者使用。任何商用行为,请发送邮件至 tech@meituan.com 申请授权。

当前 AI 图像生成技术需求旺盛,但行业陷入 “两难困境”:闭源大模型性能强劲但无法自行部署或二次定制开发,开源方案普遍存在轻量化与模型性能难以兼顾、面向商用专项能力不足的痛点,制约商业创作与技术普惠。为此,美团 LongCat 团队正式发布并开源 LongCat-Image 模型,通过高性能模型架构设计、系统性的训练策略和数据工程,以6B参数规模,成功在文生图和图像编辑的核心能力维度上逼近更大尺寸模型效果,为开发者社区与产业界提供了 “高性能、低门槛、全开放” 的全新选择。

技术亮点

LongCat-Image 采用文生图与图像编辑同源的架构设计,并结合渐进式学习策略,在仅 6B 的紧凑参数规模下,实现了指令遵循精准度、生图质量与文字渲染能力的高效协同提升。尤其在单图编辑的可控性和文字生成的汉字覆盖度方面独具优势。

模型架构

亮点一:图像编辑高度可控

LongCat-Image 在图像编辑领域的多个重要基准测试中(如GEdit-Bench、ImgEdit-Bench)均达到开源SOTA水平,实现性能突破的背后在于一套紧密协同的训练范式和数据策略。为有效继承文生图模型的知识和美感,同时避免文生图后训练阶段收窄的状态空间对编辑指令多样性的限制,基于文生图Mid-training阶段模型进行初始化,并采用指令编辑与文生图多任务联合学习机制,深化对复杂多样化指令的理解。此外通过预训练阶段的多源数据及指令改写策略,以及SFT阶段引入人工精标数据,最终实现了指令遵循精准度、泛化性和编辑前后视觉一致性的共同提升。

风格迁移与属性编辑能力对比

结构编辑与构图编辑的能力对比

亮点二:中文文字生成精准覆盖

针对中文文本渲染这一行业痛点,LongCat-Image 通过课程学习策略来提升字符覆盖度和渲染精准度:预训练阶段基于千万量级合成数据学习字形,覆盖通用规范汉字表的8105个汉字;SFT 阶段引入真实世界文本图像数据,提升在字体、排版布局上的泛化能力;RL 阶段融入 OCR 与美学双奖励模型,进一步提升文本准确性与背景融合自然度。此外通过对 prompt 中指定渲染的文本采用字符级编码,大幅降低模型记忆负担,实现文字生成学习效率的跨越式提升。通过该项能力加持,有效支持海报设计、商业广告作图场景中复杂笔画结构汉字的渲染,以及古诗词插图、对联、门店招牌、文字Logo等设计场景的生僻字渲染

文字生成能力对比

此外,LongCat-Image通过系统性的数据筛选与对抗训练框架,实现了出图纹理细节和真实感的提升。预训练和中期训练阶段严格过滤AIGC数据,避免陷入“塑料感”纹理的局部最优;在SFT阶段,所有数据均经过人工精筛来对齐大众审美;在RL阶段,创新性地引入AIGC内容检测器作为奖励模型,利用其对抗信号逆向引导模型学习真实世界的物理纹理、光影和质感。

图像生成综合能力对比

性能验证

客观基准评测

客观基准测试性能对比

全面的客观基准测试充分验证了 LongCat-Image 的核心竞争力:图像编辑任务中,ImgEdit-Bench(4.50分)、 GEdit-Bench 中英文得分(7.607.64分)分别达到开源SOTA水平,且逼近头部闭源模型水平;文字渲染方面,ChineseWord 评测以 90.7 分的成绩大幅领先所有参评模型,实现常用字、生僻字的全量精准覆盖;文生图任务上,GenEval 0.87 分、DPG-Bench 86.8 分的表现,使其在生图基础能力上相比头部开源与闭源模型依然具备强竞争力。

综合主观评测

在衡量模型的通用能力时,我们始终将用户的真实体验放在首位。为此,我们采用业界公认的主观评价方法,对LongCat-Image在“文生图”与“图像编辑”两大核心场景下的表现进行了系统评估。

在文生图方面采用大规模的人工主观评分(MOS)方法,核心覆盖 文本-图像对齐、视觉合理度、视觉真实度、美学质量4个维度,LongCat-Image 的真实度相比主流开闭源模型表现出色,同时在文本-图像对齐与合理度上也达到开源SOTA水平。在图像编辑方面采用严格的并列对比评估(Side-by-Side, SBS)方法,聚焦于综合编辑质量、视觉一致性这两个用户体验的维度,评测结果表明,LongCat-Image 虽然与 Nano Banana、Seedream 4.0 等商业模型存在一定差距,但显著超越了其他开源方案。

人类主观评分(MOS)对比& 并列对比评估胜率(SBS)

开源开放

为了构建一个更透明、开放、协作的开源生态系统,我们全面开源文生图的多阶段模型(Mid-training、Post-training)和图像编辑模型,旨在无缝支持从前沿研究到商业应用的全流程。我们坚信,真正的技术进步源于社区的集体智慧。诚邀广大开发者体验模型、参与共建,让我们共同基于这个高效能模型,探索视觉生成的更多可能。

🔗 资源链接:

| Hugging Face: https://huggingface.co/meituan-longcat/LongCat-Image

| GitHub: https://github.com/meituan-longcat/LongCat-Image

零门槛解锁 AI 创作新可能

LongCat APP:一键生成专业级图像

继文生图功能上线后,「LongCat APP」全新升级图生图能力!上传任意素材(风景照、自拍照、草稿线稿均可),模型将精准捕捉核心元素,按需求生成全新图像。同步上线 24 个零门槛图片玩法模板,涵盖海报设计、人像精修、场景改造等多重场景,点击 “AI 创作” 直接套用,彻底告别 “提示词焦虑”,小白也能快速产出专业级作品。

LongCat.ai:网页端高效创作入口

进入https://longcat.ai/点击「图片生成」,可上传参考图、自由调整比例、选择心仪风格,无需复杂配置即可快速获得高质量生成结果。无论是商业设计初稿、社交媒体素材,还是个性化创意创作,都能高效完成。

扫描下方二维码即可体验 Web 端及下载 LongCat APP 安卓版本(iOS 用户可直接在 APP Store 中搜索“LongCat”)

快翻出相册里压箱底的素材,即刻使用 LongCat-Image 解锁图片创作的无限可能~

今年 8 月,美团开源的 InfiniteTalk 项目凭借无限长度生成能力与精准的唇形、头部、表情及姿态同步表现,迅速成为语音驱动虚拟人领域的主流工具,吸引全球数万名开发者的使用。10月底,LongCat 团队开源了 LongCat-Video 视频生成模型,尤其在长视频生成领域具备显著优势。

在 InfiniteTalk 和 LongCat-Video 基座的良好基础上,LongCat 团队针对实际场景中的核心痛点持续优化,正式发布并开源 SOTA 级虚拟人视频生成模型 ——LongCat-Video-Avatar。该模型基于 LongCat-Video 基座打造,延续 “一个模型支持多任务” 的核心设计,原生支持 Audio-Text-to-Video(AT2V)、Audio-Text-Image-to-Video(ATI2V)及视频续写等核心功能,同时在底层架构上全面升级,实现动作拟真度、长视频稳定性与身份一致性三大维度的显著突破,为开发者提供更稳定、高效、实用的创作解决方案。

点击查看产品介绍视频

开源地址:

一、技术亮点

1.1 开源 SOTA 拟真度:让虚拟人“活”起来

告别“僵硬”,迎接“鲜活”。还记得以前那些虚拟人吗?只有嘴巴在动,头和身体却像没通电,看起来既尴尬又不自然。全新的 LongCat-Video-Avatar 彻底改变了这一点。它像一位全能导演,不仅指挥嘴型,还同步指挥眼神、表情和肢体动作,实现丰富饱满的情感表达,让虚拟人真正“演”了起来。

点击查看效果对比

连“不说话”的时候,都很像人: 真人说话是有停顿和呼吸的。我们通过一种独特的训练方法 Disentangled Unconditional Guidance(解耦无条件引导),让模型明白了“静音”不等于“死机”。现在,哪怕是在说话的间歇,虚拟人也会像你我一样,自然地眨眼、调整坐姿、放松肩膀。

这种技术让 LongCat-Video-Avatar 成为首个同时支持文字、图片、视频三种生成模式的全能选手。从口型精准到全身生动,虚拟人从此有了真正的生命力。

各类训练策略的对比分析

1.2 长时序高质量生成:让视频“稳”下来

上一代 InfiniteTalk 在长视频生成中会出现视觉质量退化的现象,而VAE 的反复编解码是正是视觉质量退化的主要原因。现有方法通常将上一段生成结果解码为像素,再将末尾帧重新编码为潜变量,作为下一段的条件——这一“解码→再编码”循环会持续引入累积误差,导致色彩偏移与细节模糊。

点击查看效果对比

LongCat-Video-Avatar提出了Cross-Chunk Latent Stitching(跨片段隐空间拼接) 训练策略以根本性解决此问题。在训练阶段,我们从同一视频中采样两个连续且部分重叠的片段,在隐空间内直接进行特征替换,让模型学会在潜空间中无缝衔接上下文。在推理时,系统直接将前一段生成的 latent 序列末尾部分作为下一段的 context latent,全程无需解码到像素域。该设计不仅消除 VAE 循环带来的画质损失,还显著提升推理效率,并有效弥合训练与推理之间的流程差异(train-test gap)。实验显示,LongCat-Video-Avatar 在生成5分钟约 5000 帧视频时仍保持稳定色彩与清晰细节

LongCat-Video-Avatar 的整体架构

1.3 商用级一致性:精准锚定角色,让演绎生动自如

点击查看效果对比

为维持长视频中的身份(ID)一致性, InfiniteTalk 采用注入参考帧的方式,但有时会导致色彩偏移(color shift)或动作僵化(“复制-粘贴”效应)。LongCat-Video-Avatar 从以下两方面进行系统升级:

  • 基座升级:视频基础模型迁移到 LongCat-Video,后者在大规模长视频预训练中具备了更强的身份保持与色彩一致性先验。
  • 参考机制创新:我们引入了带位置编码的参考帧注入模式。推理时,用户可通过指定RoPE中的索引位置,灵活控制参考帧在生成块中的插入位置。更重要的是,我们设计了Reference Skip Attention机制,在参考帧相邻的时间步,屏蔽参考帧对注意力计算的直接影响,仅允许其提供身份语义先验,而不主导具体动作生成。这套机制在确保ID一致性的同时,有效抑制了动作的重复与僵化,使长视频既稳定又富有变化。

Reference Skip Attention 机制的示意图

二、模型性能

2.1 客观基准评测

在 HDTF、CelebV-HQ 、EMTD 和 EvalTalker 等权威公开数据集上的定量评测表明,LongCat-Video-Avatar 在多项核心指标上达到SOTA领先水平。

在 HDTF、CelebV-HQ 与 EMTD 数据集上的定量对比

在衡量唇音同步精度的 Sync-c/Sync-D指标上,LongCat-Video-Avatar 在各个数据集上均取得 SOTA 成绩;在一致性指标方面(FID、FVD、CSIM)也表现优异。

2.2 综合主观评测

为贴近真实用户体验,我们基于 EvalTalker 基准组织了大规模人工评测,从“自然度与真实感”维度对生成视频进行盲测打分(5分制)。

在涵盖商业推广、影视娱乐、新闻时事、日常生活和知识教育五大场景的单人对话测试中,LongCat-Video-Avatar 的综合评分领先于包括 InfiniteTalk、HeyGen、Kling Avatar 2.0 在内的众多主流开源与商业模型。

通过基于EvalTalker基准的严谨人工评测(共492名参与者),LongCat-Video-Avatar在多个细分维度获得显著正向反馈:

  • 静音段表现:绝大多数评审者指出,LongCat-Video-Avatar 在静音段能保持如呼吸、眨眼等自然微动作;
  • 长视频稳定性:在长序列生成中,相较 InfiniteTalk,该模型展现出更优的身份一致性与视觉连续性,有效缓解了长期存在的漂移问题;
  • 动作多样性:得益于创新的参考帧机制,其生成的动作被普遍认为更为丰富、自然,避免了明显的重复或“复制-粘贴”效应;
  • 语言表现:LongCat-Video-Avatar 在中文和英文语言中均优于所有对比方法,体现出稳健的跨语言性能和精准的音画同步效果;
  • 应用场景表现:LongCat-Video-Avatar 在影视娱乐、日常生活和知识教育场景中表现最优,展现出在多样应用场景下的强泛化能力。

三、One More Thing,开源是为了更好的共创

LongCat-Video-Avatar 是我们继 InfiniteTalk 之后,在数字人生成方向上的持续迭代。我们关注开发者在长视频生成中遇到的实际问题——身份漂移、画面卡顿、静音段僵硬,并尝试从模型层面给出改进。

这次开源的不是一个“终极方案”,而是一个进化的、可用的技术基座。它们都基于真实反馈与长期实验,代码和模型均已开放。我们坚持开源,是因为相信工具的价值在迭代中产生,而迭代需要更多人的使用、验证与共建。如果你正在探索数字人相关应用,或对生成技术有想法,欢迎关注我们的项目,更欢迎留下你的反馈。

开源地址:

现在,轮到你来创造“千人千面”的数字世界了。

当前 AI 图像生成技术需求旺盛,但行业陷入 “两难困境”:闭源大模型性能强劲但无法自行部署或二次定制开发,开源方案普遍存在轻量化与模型性能难以兼顾、面向商用专项能力不足的痛点,制约商业创作与技术普惠。为此,美团 LongCat 团队正式发布并开源 LongCat-Image 模型,通过高性能模型架构设计、系统性的训练策略和数据工程,以6B参数规模,成功在文生图和图像编辑的核心能力维度上逼近更大尺寸模型效果,为开发者社区与产业界提供了 “高性能、低门槛、全开放” 的全新选择。

技术亮点

LongCat-Image 采用文生图与图像编辑同源的架构设计,并结合渐进式学习策略,在仅 6B 的紧凑参数规模下,实现了指令遵循精准度、生图质量与文字渲染能力的高效协同提升。尤其在单图编辑的可控性和文字生成的汉字覆盖度方面独具优势。

模型架构

亮点一:图像编辑高度可控

LongCat-Image 在图像编辑领域的多个重要基准测试中(如GEdit-Bench、ImgEdit-Bench)均达到开源SOTA水平,实现性能突破的背后在于一套紧密协同的训练范式和数据策略。为有效继承文生图模型的知识和美感,同时避免文生图后训练阶段收窄的状态空间对编辑指令多样性的限制,基于文生图Mid-training阶段模型进行初始化,并采用指令编辑与文生图多任务联合学习机制,深化对复杂多样化指令的理解。此外通过预训练阶段的多源数据及指令改写策略,以及SFT阶段引入人工精标数据,最终实现了指令遵循精准度、泛化性和编辑前后视觉一致性的共同提升。

风格迁移与属性编辑能力对比

结构编辑与构图编辑的能力对比

亮点二:中文文字生成精准覆盖

针对中文文本渲染这一行业痛点,LongCat-Image 通过课程学习策略来提升字符覆盖度和渲染精准度:预训练阶段基于千万量级合成数据学习字形,覆盖通用规范汉字表的8105个汉字;SFT 阶段引入真实世界文本图像数据,提升在字体、排版布局上的泛化能力;RL 阶段融入 OCR 与美学双奖励模型,进一步提升文本准确性与背景融合自然度。此外通过对 prompt 中指定渲染的文本采用字符级编码,大幅降低模型记忆负担,实现文字生成学习效率的跨越式提升。通过该项能力加持,有效支持海报设计、商业广告作图场景中复杂笔画结构汉字的渲染,以及古诗词插图、对联、门店招牌、文字Logo等设计场景的生僻字渲染

文字生成能力对比

此外,LongCat-Image通过系统性的数据筛选与对抗训练框架,实现了出图纹理细节和真实感的提升。预训练和中期训练阶段严格过滤AIGC数据,避免陷入“塑料感”纹理的局部最优;在SFT阶段,所有数据均经过人工精筛来对齐大众审美;在RL阶段,创新性地引入AIGC内容检测器作为奖励模型,利用其对抗信号逆向引导模型学习真实世界的物理纹理、光影和质感。

图像生成综合能力对比

性能验证

客观基准评测

客观基准测试性能对比

全面的客观基准测试充分验证了 LongCat-Image 的核心竞争力:图像编辑任务中,ImgEdit-Bench(4.50分)、 GEdit-Bench 中英文得分(7.607.64分)分别达到开源SOTA水平,且逼近头部闭源模型水平;文字渲染方面,ChineseWord 评测以 90.7 分的成绩大幅领先所有参评模型,实现常用字、生僻字的全量精准覆盖;文生图任务上,GenEval 0.87 分、DPG-Bench 86.8 分的表现,使其在生图基础能力上相比头部开源与闭源模型依然具备强竞争力。

综合主观评测

在衡量模型的通用能力时,我们始终将用户的真实体验放在首位。为此,我们采用业界公认的主观评价方法,对LongCat-Image在“文生图”与“图像编辑”两大核心场景下的表现进行了系统评估。

在文生图方面采用大规模的人工主观评分(MOS)方法,核心覆盖 文本-图像对齐、视觉合理度、视觉真实度、美学质量4个维度,LongCat-Image 的真实度相比主流开闭源模型表现出色,同时在文本-图像对齐与合理度上也达到开源SOTA水平。在图像编辑方面采用严格的并列对比评估(Side-by-Side, SBS)方法,聚焦于综合编辑质量、视觉一致性这两个用户体验的维度,评测结果表明,LongCat-Image 虽然与 Nano Banana、Seedream 4.0 等商业模型存在一定差距,但显著超越了其他开源方案。

人类主观评分(MOS)对比& 并列对比评估胜率(SBS)

开源开放

为了构建一个更透明、开放、协作的开源生态系统,我们全面开源文生图的多阶段模型(Mid-training、Post-training)和图像编辑模型,旨在无缝支持从前沿研究到商业应用的全流程。我们坚信,真正的技术进步源于社区的集体智慧。诚邀广大开发者体验模型、参与共建,让我们共同基于这个高效能模型,探索视觉生成的更多可能。

🔗 资源链接:

| Hugging Face: https://huggingface.co/meituan-longcat/LongCat-Image

| GitHub: https://github.com/meituan-longcat/LongCat-Image

零门槛解锁 AI 创作新可能

LongCat APP:一键生成专业级图像

继文生图功能上线后,「LongCat APP」全新升级图生图能力!上传任意素材(风景照、自拍照、草稿线稿均可),模型将精准捕捉核心元素,按需求生成全新图像。同步上线 24 个零门槛图片玩法模板,涵盖海报设计、人像精修、场景改造等多重场景,点击 “AI 创作” 直接套用,彻底告别 “提示词焦虑”,小白也能快速产出专业级作品。

LongCat.ai:网页端高效创作入口

进入https://longcat.ai/点击「图片生成」,可上传参考图、自由调整比例、选择心仪风格,无需复杂配置即可快速获得高质量生成结果。无论是商业设计初稿、社交媒体素材,还是个性化创意创作,都能高效完成。

扫描下方二维码即可体验 Web 端及下载 LongCat APP 安卓版本(iOS 用户可直接在 APP Store 中搜索“LongCat”)

快翻出相册里压箱底的素材,即刻使用 LongCat-Image 解锁图片创作的无限可能~

美团又上新模型,8个Thinker齐开工,能顶个诸葛亮?

0%
icon展开列表
面向临床的心电图AI,上智院、复旦等提出CLEAR-HUG框架实现诊断性能与可解释性双突破
今天
img
神同步OpenAI!中国团队Deep Principle领衔发布LLMs for Science评测,引爆外网
今天
img
美团又上新模型,8个Thinker齐开工,能顶个诸葛亮?
今天
img
失去三个联创后,Mira公司危机持续:又有两人要出走
今天
img
不止于量化:最新综述用「时-空-构」三维视角解构KV Cache系统级优化
今天
img
支付宝携手千问App、淘宝闪购等发布中国首个AI商业协议ACT
今天
img
刚刚,Geoffrey Hinton成为第二位引用量破百万的科学家
今天
img
腾讯AngelSlim升级,首个集LLM、VLM及语音多模态为一体的投机采样训练框架,推理速度飙升1.8倍
今天
img
DeepSeek连发两篇论文背后,原来藏着一场学术接力
今天
img
仅需一个混频器的无线射频机器学习推理,登上Science Advances!
今天
img
国内首个可复现!萝博派对公开人形机器人 “从 0 到跑” 全开源方案
01月15日
img
联发科天玑9500s、8500发布:GPU、光追拉满,红米Turbo 5Max将搭载
01月15日
img
通用级PixVerse P1的技术突破,揣着进入平行世界的密码
01月15日
img
Mira公司内乱?CTO被开除,带团队回OpenAI,翁荔上推发言
01月15日
img
Nature丨清华等团队揭示AI科研双重效应:个人效率亦或是科学边界
01月15日
img
刚刚,喝到了千问APP给我点的奶茶
01月15日
img
人脸机器人登上Science Robotics封面:用AI教会仿生人脸机器人「开口说话」
01月15日
img
实测夸克「千问划词快捷指令」,这7个邪修Prompt,建议收藏
01月15日
img
已证实!清华姚班陈立杰全职加入OpenAI,保留伯克利教职
01月15日
img
解锁任意步数文生图,港大&Adobe全新Self-E框架学会自我评估
01月15日
img

美团又上新模型,8个Thinker齐开工,能顶个诸葛亮?

编辑|Panda、杨文

临近春节,各家 AI 厂商进入冲刺阶段,纷纷亮出最新大模型成果。

1 月 15 日,美团也重磅更新自家模型 ——LongCat-Flash-Thinking-2601

这是一款强大高效的大规模推理模型,拥有 5600 亿个参数,基于创新的 MoE 架构构建。

图片

该模型引入了强大的重思考模式(Heavy Thinking Mode),能够同时启动 8 路思考并最终总结出一个更全面、更可靠的结论。目前重思考模式已在 LongCat AI 平台正式上线,人人均可体验。

图片

      仅选择「深度思考」时才会触发重思考模式。

  • 体验链接:https://longcat.ai

  • 模型地址:https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking-2601

  • GitHub:https://github.com/meituan-longcat/LongCat-Flash-Thinking-2601

不仅如此,该模型的智能体能力还获得了重大提升:在智能体工具调用、智能体搜索和工具集成推理等基准测试中达到顶尖性能,而且在任意的 OOD(分布外)真实智能体场景中实现了泛化能力的显著提升。

图片

研究团队还专门提出了一种全新的智能体模型泛化能力评测方法。

通过构建自动化的环境和任务合成流程,基于给定关键词,随机生成任意的复杂任务。每个生成的任务都配备对应的工具集与可执行环境。

这种高度随机化的评测方式,能够更真实地检验模型在未知场景下的适应能力。

实验结果表明,LongCat-Flash-Thinking-2601 在该评测中始终保持领先性能。

接下来,我们就把模型拉到真实场景里实测一番。

一手实测:这只龙猫有点强

我们先来试试数理逻辑推理,顺便看看这个重思考模式到底是怎么一回事。

「运动会招募志愿者,第一次招募了不到 100 人,其中男女比例为 11:7;补招若干女性志愿者后,男女比例为 4:3。问最多可能补招了多少名女性志愿者?」

在 longcat.ai 上开启「深度思考」后,便进入了重思考模式,此时 8 个 Thinker 同时开工,每个都表现出不同的思考风格。有的按常规解题,有的则直接写了个 Python 脚本。

图片

大部分 Thinker 给出了答案 5,其中 3 号和 6 号 Thinker 还写出详细的推导过程。待 8 个 Thinker 执行完任务后,模型再验证不同 Thinker 的思考过程,形成最终答案。

整个过程就像一个团队开会讨论问题,最后达成共识,最终给出的解答也更靠谱得多。

图片

下面是道逻辑推理题。「A 的手机号码最后 5 位,由五个不同的数字组成。B 说:我猜它是 84261。C 说:我猜它是 26048。D 说:我猜它是 49280。A 说:巧了,你们每人都猜对了位置不相邻的两个数。你知道这五位号码是多少?」

图片

8 个 Thinker 再次启动,各自从不同角度切入。

模型没有简单地按照「少数服从多数」的原则采纳意见,而是调用一段代码,系统验证答案是否满足所有约束条件,并穷举所有可能的组合,确认 86240 是唯一解。

这种将单个模型调用八次的模型编排方式,在技术实现上虽直接,却在实际效果上发挥出「三个臭皮匠顶过诸葛亮」的优势。

实测过程中,我们还发现了重思考模式的一种有趣玩法:投票。

举个例子,我们可以开启「深度思考」模式,然后让模型选出 2000 年代最优秀的华语流行歌手。

我们发现不同的 Thinker 会给出很不一样的答案,比如有一个仅选出了周杰伦、蔡依林、孙燕姿、王菲、陈奕迅五位代表,而另一个则直接列出了一长串名单。

最终,经过模型在总结阶段的汇总整理,LongCat-Flash-Thinking-2601 给出了一份涵盖多维度评估的名单,颇具参考性。

图片

我们又试了下该模型的编程能力。先让它生成一个 Flappy Bird 小游戏,效果很不错。

图片

    Prompt:Make a game like flappy bird using HTML/CSS/JS in a single HTML file.

接下来我们又试了试让其编写一个康威生命游戏:

图片

Prompt:用 Python 写一个 Conway 生命游戏,提供可视化网格、暂停、单步和参数调节功能。

但实事求是地说,使用 8 个 Thinker 来完成编程任务的计算成本应当是比较高的,可能并不适合大规模应用(尽管目前该模型对普通用户免费),但是我们认为这种模式却非常适合医疗、金融、法律等可能需要多次深度思考来保证准确性的场景。

最后,我们再来测试一下 LongCat-Flash-Thinking-2601 模型主打的 Agent 能力,其中的核心便是工具调用。

为了方便用户测试,美团专门构建了一个「大模型工具使用测试」平台。该平台能基于关键词随机生成复杂的 OOD(分布外)任务,专门用来试探模型在陌生环境下的行动能力。

我们随机生成了一个「营养补给方案」任务。平台瞬间拉起了一个包含近 30 个工具的复杂图谱。从页面右侧的依赖关系可以看出,这并非简单的线性调用,模型需要像经验丰富的营养学家,理清儿童营养需求分析、食物营养成分计算、过敏食物筛选等工具之间环环相扣的逻辑。

图片

更有趣的是,该平台还支持模型对比,让用户可以轻松地将 LongCat-Flash-Thinking 与其它模型放在同一起跑线上进行对比。

这里我们将其与当前大模型界的顶级选手 Claude 4.5 Opus 放在了同一个赛道上,进行同步竞技。

      8 倍速视频

视频展示了两个模型在高频调用工具时的思考流。在任务完成后,系统会调用 AI 评估员,从执行速度与任务达成度两个维度进行复盘。

图片

在这个具体案例中,两个模型都交出了高分答卷,但 LongCat 成功达到了 100% 的标准覆盖率,而 Claude 4.5 Opus 却未能成功为用户创建健康档案,仅达到了 80% 的覆盖率。整体而言,LongCat 在处理工具依赖关系的响应节奏上展现出了更强的稳定性。

深入细节,我们可以看到这些工具的调用和输出都采用了标准的 JSON 格式,这也是当前大量的 MCP 或 API 工具采用的主流格式。这也意味着,我们可以非常轻松地将 LongCat-Flash-Thinking-2601 整合进到现有的工作流程中。

图片

强大实力的根基:重思考 + 智能体

那么,表现如此亮眼的 LongCat-Flash-Thinking-2601 究竟是如何炼成的?

正如其推文总结的那样,我们先给出几个关键词:并行思考、迭代式总结、环境规模扩展(Environment Scaling)、多环境大规模强化学习(Multi-Environment RL Scaling)、课程学习(Curriculum Learning)。另外,还有即将发布的 ZigZag Attention

作为 LongCat-Flash-Thinking 的最新版本,2601 版本继承了上一版本的领域并行训练方案,而技术底座同样是参数总量达 560B 的高性能混合专家(MoE)架构模型。

图片

      来自 LongCat-Flash-Thinking 技术报告

在此基础上,如上文评测所示,除了一些细节上的优化,这个新版本重点引入了两大改进:重思考模式智能体能力

该模型新引入的重思考模式别具一格,我们目前还未见其它任何模型显式或开源地提供类似模式。

而在智能体能力方面,美团引入了一套精心设计的流程。该流程结合了环境规模扩展与后续任务合成,并会在此之上进行可靠且高效的大规模、多环境强化学习。为更好地适应真实世界智能体任务中固有的噪声与不确定性,美团 LongCat 团队还对多种类型和不同强度的环境噪声进行了系统分析,并采用课程式训练,使模型在非理想条件下依然保持稳健表现。

下面我们就来更具体地看看美团的这些核心技术。

重思考模式:推理广度与深度的协同扩展

打开 longcat.ai 「深度思考」后开始体验,你第一时间就会被同时冒出的 8 个 Thinker 吸引注意。这正是 LongCat 团队提出的 Heavy Thinking Mode(重思考模式)的外在表现。它不仅看起来炫酷,更重要的是将推理能力推向了新的边界。

图片

大致来看,其与 AI 大牛 Andrej Karpathy 实验性的大模型议会项目有相似之处,但不同的是,Karpathy 的大模型议会是通过模型编排方式来向不同模型构成的集体提出问题,让它们各自发言并讨论后给出最终解答,而 LongCat-Flash-Thinking-2601 新引入的重思考模式则是并行地调用一个模型 8 次来实现高强度的并行思考。

如此一来,便可以同时获得多条相互独立的推理路径并进行交叉验证,从而显著降低偶然性错误,提升在复杂问题上的稳定性、可靠性与最终答案质量。如此一来,可以进一步提升模型在极具挑战性任务上的表现。

具体来说,该模式会将高难度问题求解分解为两个互补阶段:并行思考总结,从而同时扩展推理的深度与宽度。

  • 推理宽度方面,重思考模式会并行生成多条独立轨迹,以广泛探索不同推理路径,并采用相对较高的推理温度以保证多样性。

  • 推理深度方面,总结阶段生成的精炼轨迹可以递归反馈给总结模型,形成支持逐步加深推理的迭代推理回路。LongCat 团队还专门设计了额外的强化学习阶段来训练总结能力,进一步释放该模式的潜力。

智能体能力提升:环境规模扩展与多环境强化学习

智能体能力方面,LongCat 团队精心设计了一套自动化环境规模扩展链路,并构建了一组多样且高质量的环境,作为工具调用类任务强化学习的训练场,使模型能够习得高层次、可泛化的智能体能力。

每个环境包含多达 60 余种工具,并以高密度依赖图的形式组织,提供了足够的复杂度以支持多样化任务构建与大规模探索。实验表明,随着训练环境数量的增加,模型在分布外(OOD)任务中的表现会持续提升(Environment Scaling)。

高质量任务构建

为确保训练任务集的质量,LongCat 团队对任务复杂度和多样性进行显式控制。每个任务都定义在从高质量环境中采样得到的连通子图之上,任务复杂度通过要求在该子图内尽可能多地协同使用工具来调节。为促进任务多样性,已选工具的再次采样概率会逐步降低。

LongCat 团队还构建了配套数据库以确保任务的可执行性,并验证每个任务至少存在一种可执行解。然而,当环境中包含大量工具时,跨数据库的一致性维护会变得困难,可能导致部分任务无法验证。针对这一问题,LongCat 团队设计了专门的应对策略,使训练的稳定性和有效性得到了充分保障。

多环境强化学习

在保持高效异步训练和流式 rollout 特性的同时,LongCat 团队进一步扩展了其强化学习基础设施 DORA(异步弹性共卡系统),以支持环境规模扩展下的大规模多环境智能体训练(Multi-Environment RL Scaling)。

具体而言,来自多个环境的任务会在每个训练批次中以平衡的方式混合,并根据任务复杂度和当前训练状态分配不同的 rollout 预算。

下图展示了该模型的多环境混合强化学习训练曲线,可以看到上涨的趋势非常稳定,这表明美团构建的基础设施和算法可以有效保证训练的稳定性。

图片

下图则展示了多环境强化学习训练下,模型在不同 OOD 测试集上的 RL Scaling 表现,效果非常明显。

图片

面向噪声环境的稳健训练

真实世界的智能体环境天然存在噪声和缺陷,仅在理想化环境中训练模型往往难以获得足够的稳健性。为此,LongCat 团队在训练过程中显式引入环境不完美因素,以提升模型的稳健性。

具体而言,LongCat 团队系统分析了智能体场景中真实世界噪声的主要来源,并设计了一套自动化流程,将这些噪声注入训练环境。在强化学习阶段,LongCat 团队采用课程式策略,随着训练推进逐步增加噪声的类型和强度。

下图展示了模型是否采取面向噪声环境的稳健训练,在带噪声 / 无噪声评测集下的表现对比,其中不同的评测集上依据特性添加了不同类型的噪声。可以看到,带噪声环境下未经过稳健训练的模型的表现会出现大幅衰减,Claude 也无法适应全部的噪声类型。而经过稳健训练后,LongCat-Flash-Thinking-2601(Training w/ Noise 组) 对环境的噪声和不确定性展现出了强大的适应能力,并在各类非理想条件下取得更优表现。

图片

得益于这些改进与创新,LongCat-Flash-Thinking-2601 不仅在智能体工具使用、智能体搜索以及工具融合推理等基准测试中达到顶尖水平,还在任意的 OOD(分布外)真实世界智能体场景中展现出显著提升的泛化能力。

LongCat ZigZag Attention:实现超长上下文

LongCat ZigZag Attention,顾名思义,是一种注意力机制,根据其官方推文描述,其一大核心亮点是能「实现 100 万 token 上下文」。据悉,LongCat ZigZag Attention 已被成功用于训练当前 LongCat-Flash-Thinking 模型的一个分支,我们也将很快见证这个分支版本面世。细节详见论文:https://arxiv.org/abs/2512.23966

图片

One More Thing

回头来看,美团大模型站到台前时间并不算长但节奏清晰,首次亮相在 2025 年 9 月,此后保持了每月一更的开源节奏,不断扩容自己的能力库:从强调响应速度的 LongCat-Flash-Chat 到专注逻辑的 Thinking 版本,再到图像和视频模型以及覆盖多模态的 Omni 版本,每一步迭代都在让这只龙猫能够更好地理解这个世界,并让复杂的现实生活变得更加可计算。

图片

       美团在 Hugging Face 上的论文页面

这一次,龙猫聚焦 Agent 与 Thinking 能力进行全面提升,也是实现了一次从理解到融入真实世界的跃迁。

或许,美团现在追求的,就是一种确定性:能够用技术在真实世界中又好又快地解决问题,终有一天让「模型即服务」。

今年 8 月,美团开源的 InfiniteTalk 项目凭借无限长度生成能力与精准的唇形、头部、表情及姿态同步表现,迅速成为语音驱动虚拟人领域的主流工具,吸引全球数万名开发者的使用。10月底,LongCat 团队开源了 LongCat-Video 视频生成模型,尤其在长视频生成领域具备显著优势。

在 InfiniteTalk 和 LongCat-Video 基座的良好基础上,LongCat 团队针对实际场景中的核心痛点持续优化,正式发布并开源 SOTA 级虚拟人视频生成模型 ——LongCat-Video-Avatar。该模型基于 LongCat-Video 基座打造,延续 “一个模型支持多任务” 的核心设计,原生支持 Audio-Text-to-Video(AT2V)、Audio-Text-Image-to-Video(ATI2V)及视频续写等核心功能,同时在底层架构上全面升级,实现动作拟真度、长视频稳定性与身份一致性三大维度的显著突破,为开发者提供更稳定、高效、实用的创作解决方案。

点击查看产品介绍视频

开源地址:

一、技术亮点

1.1 开源 SOTA 拟真度:让虚拟人“活”起来

告别“僵硬”,迎接“鲜活”。还记得以前那些虚拟人吗?只有嘴巴在动,头和身体却像没通电,看起来既尴尬又不自然。全新的 LongCat-Video-Avatar 彻底改变了这一点。它像一位全能导演,不仅指挥嘴型,还同步指挥眼神、表情和肢体动作,实现丰富饱满的情感表达,让虚拟人真正“演”了起来。

点击查看效果对比

连“不说话”的时候,都很像人: 真人说话是有停顿和呼吸的。我们通过一种独特的训练方法 Disentangled Unconditional Guidance(解耦无条件引导),让模型明白了“静音”不等于“死机”。现在,哪怕是在说话的间歇,虚拟人也会像你我一样,自然地眨眼、调整坐姿、放松肩膀。

这种技术让 LongCat-Video-Avatar 成为首个同时支持文字、图片、视频三种生成模式的全能选手。从口型精准到全身生动,虚拟人从此有了真正的生命力。

各类训练策略的对比分析

1.2 长时序高质量生成:让视频“稳”下来

上一代 InfiniteTalk 在长视频生成中会出现视觉质量退化的现象,而VAE 的反复编解码是正是视觉质量退化的主要原因。现有方法通常将上一段生成结果解码为像素,再将末尾帧重新编码为潜变量,作为下一段的条件——这一“解码→再编码”循环会持续引入累积误差,导致色彩偏移与细节模糊。

点击查看效果对比

LongCat-Video-Avatar提出了Cross-Chunk Latent Stitching(跨片段隐空间拼接) 训练策略以根本性解决此问题。在训练阶段,我们从同一视频中采样两个连续且部分重叠的片段,在隐空间内直接进行特征替换,让模型学会在潜空间中无缝衔接上下文。在推理时,系统直接将前一段生成的 latent 序列末尾部分作为下一段的 context latent,全程无需解码到像素域。该设计不仅消除 VAE 循环带来的画质损失,还显著提升推理效率,并有效弥合训练与推理之间的流程差异(train-test gap)。实验显示,LongCat-Video-Avatar 在生成5分钟约 5000 帧视频时仍保持稳定色彩与清晰细节

LongCat-Video-Avatar 的整体架构

1.3 商用级一致性:精准锚定角色,让演绎生动自如

点击查看效果对比

为维持长视频中的身份(ID)一致性, InfiniteTalk 采用注入参考帧的方式,但有时会导致色彩偏移(color shift)或动作僵化(“复制-粘贴”效应)。LongCat-Video-Avatar 从以下两方面进行系统升级:

  • 基座升级:视频基础模型迁移到 LongCat-Video,后者在大规模长视频预训练中具备了更强的身份保持与色彩一致性先验。
  • 参考机制创新:我们引入了带位置编码的参考帧注入模式。推理时,用户可通过指定RoPE中的索引位置,灵活控制参考帧在生成块中的插入位置。更重要的是,我们设计了Reference Skip Attention机制,在参考帧相邻的时间步,屏蔽参考帧对注意力计算的直接影响,仅允许其提供身份语义先验,而不主导具体动作生成。这套机制在确保ID一致性的同时,有效抑制了动作的重复与僵化,使长视频既稳定又富有变化。

Reference Skip Attention 机制的示意图

二、模型性能

2.1 客观基准评测

在 HDTF、CelebV-HQ 、EMTD 和 EvalTalker 等权威公开数据集上的定量评测表明,LongCat-Video-Avatar 在多项核心指标上达到SOTA领先水平。

在 HDTF、CelebV-HQ 与 EMTD 数据集上的定量对比

在衡量唇音同步精度的 Sync-c/Sync-D指标上,LongCat-Video-Avatar 在各个数据集上均取得 SOTA 成绩;在一致性指标方面(FID、FVD、CSIM)也表现优异。

2.2 综合主观评测

为贴近真实用户体验,我们基于 EvalTalker 基准组织了大规模人工评测,从“自然度与真实感”维度对生成视频进行盲测打分(5分制)。

在涵盖商业推广、影视娱乐、新闻时事、日常生活和知识教育五大场景的单人对话测试中,LongCat-Video-Avatar 的综合评分领先于包括 InfiniteTalk、HeyGen、Kling Avatar 2.0 在内的众多主流开源与商业模型。

通过基于EvalTalker基准的严谨人工评测(共492名参与者),LongCat-Video-Avatar在多个细分维度获得显著正向反馈:

  • 静音段表现:绝大多数评审者指出,LongCat-Video-Avatar 在静音段能保持如呼吸、眨眼等自然微动作;
  • 长视频稳定性:在长序列生成中,相较 InfiniteTalk,该模型展现出更优的身份一致性与视觉连续性,有效缓解了长期存在的漂移问题;
  • 动作多样性:得益于创新的参考帧机制,其生成的动作被普遍认为更为丰富、自然,避免了明显的重复或“复制-粘贴”效应;
  • 语言表现:LongCat-Video-Avatar 在中文和英文语言中均优于所有对比方法,体现出稳健的跨语言性能和精准的音画同步效果;
  • 应用场景表现:LongCat-Video-Avatar 在影视娱乐、日常生活和知识教育场景中表现最优,展现出在多样应用场景下的强泛化能力。

三、One More Thing,开源是为了更好的共创

LongCat-Video-Avatar 是我们继 InfiniteTalk 之后,在数字人生成方向上的持续迭代。我们关注开发者在长视频生成中遇到的实际问题——身份漂移、画面卡顿、静音段僵硬,并尝试从模型层面给出改进。

这次开源的不是一个“终极方案”,而是一个进化的、可用的技术基座。它们都基于真实反馈与长期实验,代码和模型均已开放。我们坚持开源,是因为相信工具的价值在迭代中产生,而迭代需要更多人的使用、验证与共建。如果你正在探索数字人相关应用,或对生成技术有想法,欢迎关注我们的项目,更欢迎留下你的反馈。

开源地址:

现在,轮到你来创造“千人千面”的数字世界了。

老黄为了展示自家 GPU 跑大模型有多快,专门搭建了一个推理平台,把市面上顶级的开源和闭源模型都搬了上去,还有我们熟悉的国产之光:GLM-4.7、 MiniMax M2.1、DeepSeek、Qwen 等。
关键还免费!!!
rpm 40, 访问速度又非常快
而且 + 86 国内手机号就可以申请,还不需要绑信用卡,找谁说理去!
屯屯鼠们还等什么,快去申请
Nvidia AI

  1. 右上角 login 注册 / 登录


    一路火花带闪电、输个邮箱填个验证码就完事儿。
  2. 注册完顶上会提示 Verify (很醒目的一个按钮)
    可以直接使用国内 + 86 手机号验证

  3. 验证完就可以点头像生成 API Key 了

  4. 配置 API(同 OpenAI)
    Base URL: https://integrate.api.nvidia.com/v1
    API KEY: 上一步生成的 nvapi-xxxx

模型太多了,佬们快去探索吧





可以愉快的玩耍了,祝佬们玩儿的开心!


📌 转载信息
原作者:
yanxiang1120
转载时间:
2026/1/16 12:05:02

在“大模型六小虎”成为历史后,王小川终于等来了自己的风口。

 

近日,国内外大厂在医疗领域动作频繁。1 月 8 日,OpenAI 高调入局,除了推出 ChatGPT Health,还收购了医疗保健初创公司 Torch。几乎同期,Anthropic、英伟达、苹果等都有产品和合作发布。国内,蚂蚁阿福自发布后短期内月活用户突破 3000 万,单日提问量超千万。资本市场上,AI 医疗板块逆势走强,成为最近市场热点。

 

在此前大模型竞争激烈的当口,AI 医疗并不是一个很性感的话题。那种不信任来自百川内外。

 

2023 年成立的百川在一年后战略收缩,决定聚焦医疗,成为国内较早专注到医疗的大模型创企。但内部“没有足够传达在医疗上的决心和路径要求,没有让每个团队在医疗价值创造中深度思考 why 和 how,进而导致部分团队工作目标出现了摇摆和偏差。”“去年中途转过来时被骂惨了。”

 

不只内部,业界对 AI 医疗也存有疑虑,连带着对百川的路线选择也有质疑。“2024 年跟医生谈 AI,大家都不信。”王小川直言。

 

直到 2025 年,大家看到 DeepSeek 真的比百度靠谱很多;年末阿福发布,投了 10 亿来砸广告,看到了技术和应用进展;今年 1 月 8 日,OpenAI Health 正式上线,Anthropic 也发布了自己的两个技术能力:医疗计算和 Agent,两个巨头都开始进入医疗。

 

“所以,从市场判断来看,医疗作为 AI‘皇冠上的明珠’这样的高级阶段,已经开始进入应用范畴。”王小川说道。

 

从发布反思信至今 9 个月过去,王小川向 InfoQ 表示,百川如今的护城河主要有三个:一是模型结构的优先级,“医疗安全性”和“诊断准确性”始终是首位;二是切入点选择,百川聚焦严肃、高价的医疗场景,区别于其他企业的健康类打法,这类场景的壁垒更高,且有明确的付费意愿;三是产品形态的差异化,百川身份差异化服务和决策辅助能力,是现有产品不具备的。

 

王小川尤其提到,大厂和创业公司不一样,他们有职业团队,需要的是更安稳的方案。“大创新靠小厂,小创新靠大厂,必须切入我们认为有高价值的事情,共识不是我们优先的突破点,而大厂更多的是注重共识,路线图和产品形态是不一样的。”

 

模型要低幻觉、能问诊,多模态非主战场

 

“去年 8 月发布的 M2 作为百川重新聚焦医疗之后的主力模型,在行业得到很多好评。典型现象就是蚂蚁开始疯狂挖人,从技术人员到财务人员,所以属于小圈子认可技术路线图。”王小川说道。

 

昨天,百川正式开源了新一代医疗大模型 Baichuan-M3。据百川智能模型技术负责人鞠强介绍,Baichuan 系列采用 SCAN 框架,实现临床医生层级的推理与问诊。其核心在于不仅询问疾病类型,更通过定量问题将模糊主诉转化为可定位、可量化的临床证据;并且突破单一症状的局限,进行跨系统关联推理。

 

其次,团队高度重视并主动防控大模型在医疗中的“幻觉”,坚持正确知识并进行原子级事实检验:在模型推理过程中进行逐层事实核查,确保结论基于真实输入。

 

鞠强介绍,在模型训练中,抑制“幻觉”与提升推理能力之间存在明显的“跷跷板效应”,容易陷入两种极端:若过度追求推理表现,其生成内容会更丰富、答对率上升,但幻觉也难以控制;若强力抑制幻觉,模型则会趋向过度保守,回答变得拘谨甚至回避问题,导致实用性下降。这也是团队在 Baichuan-M3 训练中重点攻克的问题。

 

为破解这一矛盾,研发团队引入了 Fact-aware 强化学习技术。该技术核心在于,在强化训练过程中,既对幻觉进行充分压制,又确保推理能力不受损,反而同步提升。

 

结果显示,相比前代模型 M2,百川正式开源新一代医疗大模型 Baichuan-M3 的幻觉率大幅下降,同时在医疗专业评测 HealthBench 上的推理能力得分从 34 分显著提升至 44 分,位列榜首。在不依赖工具或检索增强的纯模型设置下,医疗幻觉率 3.5,超越 GPT-5.2。“这验证了我们通过强化学习方法,在抑制幻觉与增强推理之间取得了有效平衡。”鞠强表示。

 

Hugging Face 地址:https://huggingface.co/baichuan-inc/Baichuan-M3-235B

GitHub 地址:https://github.com/baichuan-inc/Baichuan-M3-235B

 

另外,模型深度集成的问诊能力,从日常症状中识别风险。团队设计了防御性思维追问,以甄别背后潜在的系统性疾病,还会进行组合症状敏锐识别,比如用户描述“情绪激动时左牙疼”时,模型能会关联“牙痛+情绪症状”,优先建议排查心脏系统问题,从而排除重大隐患,而非直接推荐牙医或止痛药。该能力已集成至产品,服务于医生与普通用户。

 

在 AI 医疗中,除了文字,还有影像等信息。不过,王小川认为,多模态并非当前 AI 主战场。

 

他解释道,ChatGPT 之所以令人震撼,正是因为它展现出一种“智力”,而智力的本质,是将具体事物进行抽象的能力,其核心在于符号系统。在这一逻辑下,智能主要依托于三种形式语言:自然语言、数学语言与代码语言。至今,评估一个模型能力的强弱,本质上仍是检验其符号处理与逻辑推理的水平,功能可用并不等同于智力高超。在医疗领域,这一观点尤为关键。医疗的核心是决策,而不仅仅是感知。

 

实际上,未来医学影像的初步解读可由专用小模型完成,许多厂商也已具备相应的图像引擎。但真正的价值在于:将影像符号化之后,如何用语言模型进行综合推理与判断。因此,感知模型与认知模型必须结合。

 

他认为,当前的一些工作,比如将 CT 影像转化为报告,或是专注于胰腺癌筛查的视觉模型,固然有其价值,但它们更像是“挂在智力之树上的叶子”,是整体流程中的一环,而非驱动智能演进的主战场。真正的突破,仍在于如何通过符号与语言,构建能够进行复杂医疗决策的认知核心。

 

“在中国 To C 比 To B 更好”

 

“未来巨大的增量是在院外,不在院内。”王小川说道。其核心是直接服务患者,而不是通过服务医生间接服务患者。

 

反观 OpenAI 的入局是靠打造“个人超级助手”,Anthropic 则从合规性与临床效率上做 B 端突围。对此,王小川的评价是:“美国是 To C 和 To B 都可以干,但在中国 To C 比 To B 更好。”

 

王小川认为,国内的医疗现状是医生供给不足,互联网虽能连接信息却无法创造供给;医患权力不均,双方容易沟通不畅、患者无助;患者更倾向三甲医院,致使基层医疗薄弱;医疗知识分散于各科室,复杂病症往往缺乏整体视角。

 

基于此,他的设想是 AI 可以“造出高质量医生”,但不是要 AI 取代医生。“在某些维度上,AI 超过医生是必然的,比如信息收集的完整性、医学知识的储备量、循证的精准度等。但 AI 不会取代医生的核心执行能力,比如手术、查体等。”

 

在不取代医生的情况下,AI 可以推动“权力让渡”,即帮助患者理解病情与方案,获得更多参与权和知情权。另外,居家通过 AI 进行初步咨询,让“居家首诊”可能,减轻医疗系统负担。此外,复杂问题需要跨科室会诊,以前就是入院即入组,即进入某个科研队列,有了 AI 后能够做到“看病即入组”,更有机会做好生命模型。

 

在实现的产品形态上,百川目前主打还是百小应 App,不过用户进入后可以选择医生和患者两种身份,给出的结果是不一样的:医生版更像 OpenEvidence,答案更加专业、更加强调循证,引用的文章在系统中 100%存在,让其能够做决策、信息够充分;患者版本则强调补充信息,进入启发式端到端的问诊,也给到患者决策能力。

 

“我们与 OpenEvidence 的区别在于,OpenEvidence 只是服务于医生,百川是可复数、可懂、可决策、可行动、能够服务到患者的,这样的产品定位在全球是独一无二的。”王小川补充道。

 

在其看来,做 To C 产品,重点是让产品价值触达真正的目标人群,即有严肃医疗需求、愿意为决策辅助付费的患者。他举例称,达摩院做的胰腺癌平扫 CT 模型,虽然技术门槛高,但解决了核心临床痛点,就有明确的付费方;而泛健康类服务看似覆盖广,但价值不突出,反而难以找到稳定的付费用户。百川目前的做法就是基本全覆盖,重点放在儿科、慢病和肿瘤,优先突破有明确痛点的领域。

 

收费模式上,王小川认为,不是只赚医院或医生的钱,还可以向患者收费,也可以形成服务包,后面的医疗资源和药械以服务包形式收费。

 

“我倒不担心商业模式本身,确实要过了这个门槛、为用户创造价值,之后不管直接收费还是生态收费都是很容易的事情。”王小川说道。目前,百川账上还有 30 亿人民币,这也留给了王小川证明的时间。

 

据王小川透露,今年上半年,百川会完成两款产品的发布和推广,核心是回归决策层面,帮助用户(包括患者和医生)做出更好的医疗决策,最终实现“医生时刻陪伴式”的健康管理。“我们第二个产品已经可以当成院外医生来看了。”此外,百川也有计划硬件产品发布和出海计划,具体日程未定。

 

为了培养用户心智,百川未来也会增加一定的广告宣传投入,另外会重视医生对产品的认可度。“阿福跟我们的路线不一样,老医生都是无感的。我们希望医生和患者一体两面,共享一款产品,要让专家点头,而不只是患者鼓掌。产品做好以后确实能够取得一定的口碑效应。”王小川说道。

 

“今年上市的两家主要还是踩在通用模型技术红利和政策支持的基础上,但目前他们的市值和商业化能力并不匹配,但 AI 医疗今天也是大模型竞争中的一个范式,虽然它的成熟会晚一点,在后面我们肯定也是奔着上市去的。”王小川给了自己两年的时间再看看。

百川开源全球最强医疗大模型M3,「严肃问诊」定义AI医疗新能力

icon

0%
icon展开列表
百川开源全球最强医疗大模型M3,「严肃问诊」定义AI医疗新能力
今天
img
相约AAAI 2026 | 上海AI实验室北极星 X 星启交流会(报名开启)
01月13日
img
视觉模型既懂语义,又能还原细节,南洋理工&商汤提出棱镜假说
01月13日
img
无需重新训练,即可学习新任务,Arc研究所开源单细胞基础模型Stack及细胞反应全景图谱
01月13日
img
不上云、不租卡,如何优雅地在本地微调Qwen-VL-30B?
01月13日
img
OpenAI的首款硬件:是AI耳机,今年销量要冲5000万
01月13日
img
华为推出软工代码智能体SWE-Lego,解锁SFT训练极致性能
01月13日
img
大模型中标TOP10里的黑马:中关村科金的应用攻坚之道
01月13日
img
刚刚,梁文锋署名开源「记忆」模块,DeepSeek V4更细节了
01月13日
img
一个模型统一4D世界生成与重建,港科大One4D框架来了
01月13日
img
端到端智驾的算力困局,九章智算云这样破局
01月12日
img
真香!刚骂完AI,Linux之父的首个Vibe Coding项目上线
01月12日
img
引入几何约束后,VLM跨越了「空间推理」的认知鸿沟
01月12日
img
清华等团队用AI驱动百万倍速药物筛选,一天内十万亿次扫描的超高速虚拟平台
01月12日
img
2026年,大模型训练的下半场属于「强化学习云」
01月12日
img
顶尖AI竟输给三岁宝宝,BabyVision测试暴露多模态模型硬伤
01月12日
img
AAAI 2026 Oral|快手提出全新「检索数据引擎」CroPS,打破搜索信息茧房
01月12日
img
被Jim Fan点赞!全球第一的千寻智能Spirit v1.5正式开源!
01月12日
img
Sakana让AI互相「猎杀」,而它们开始了趋同进化
01月11日
img
不做人形、不跳舞:他家的具身智能凭什么在100+城市卖出400万杯咖啡?
01月11日
img

百川开源全球最强医疗大模型M3,「严肃问诊」定义AI医疗新能力

昨天,百川智能正式开源新一代医疗大模型 Baichuan-M3,其在全球最权威的医疗 AI 评测 HealthBench 中以 65.1 分的综合成绩位列全球第一;在专门考验复杂决策能力的 HealthBench Hard 上,也以 44.4 分的成绩夺冠。

这一成绩,不仅刷新了 HealthBench 的最高分,更首次在医疗领域实现了对 GPT-5.2 的全面超越。在 OpenAI 引以为傲的低幻觉领域,M3 也实现了超越,幻觉率 3.5 全球最低。

此外,M3 还首次具备了原生的 “端到端” 严肃问诊能力。它能像医生一样主动追问、逐层逼近,把关键病史和风险信号问出来,进而在完整的信息上进行深度医学推理。评测显示,其问诊能力显著高于真人医生的平均水平。

  • Hugging Face 地址:https://huggingface.co/baichuan-inc/Baichuan-M3-235B
  • GitHub 地址:https://github.com/baichuan-inc/Baichuan-M3-235B


医疗沟通和推理能力超越 GPT-5.2,登顶世界第一


2025 年 5 月份,OpenAI 发布 HealthBench,由 262 位来自 60 个国家的医生共同构建,收录了 5000 组高度逼真的多轮医疗对话,构建了全球最权威、也最贴近真实临床场景的医疗评测集。这一事件,被视为 OpenAI 在医疗领域开始 “重兵投入”,吹响进军医疗的号角。

相当长一段时间里,无论是 HealthBench 总分还是 HealthBench-Hard 子集, GPT 系列模型从未被超越。2025 年 8 月,百川开源医疗增强大模型 M2 在 HealthBench 上力压 gpt-oss-120B、DeepSeek-R1 等同期所有开源模型,并在 HealthBench Hard 上取得 34.7 分的成绩,仅次于 GPT-5,成为全球唯二突破 32 分的模型。

2025 年,强化学习无疑是新一代 Scaling Law 的技术中轴。在 M2 发布后的五个月里,百川智能对强化学习系统进行了全面升级,将原本以患者模拟器和静态 Rubric 为主的半动态反馈,升级为随模型能力不断演进的全动态 Verifier System。随着监督信号持续变细、变难,模型得以不断突破能力上限,使 M3 在复杂医学问题上的表现实现跃迁,不仅在 HealthBench 总分上超越 OpenAI 最新模型 GPT-5.2,也在 HealthBench Hard 上登顶,成为当前全球医疗沟通和推理能力最强的医疗大模型。


重构幻觉抑制的训练范式,刷新医疗幻觉率底线


幻觉是这一代大模型技术范式的通病,更是 AI 进入严肃医疗的拦路虎。在大多数场景幻觉只是体验问题,而在严肃医疗场景可导致安全事件。

降低幻觉,一直是 OpenAI 最重视的研究方向之一。几乎每一代 GPT 模型的幻觉率均为行业最低。OpenAI 也是第一个单独评测医疗能力和提供医疗服务的通用模型公司。

国内 DeepSeek 等模型的普及,让越来越多人开始使用 AI 并尝试进行医疗健康咨询。但大多数模型公司并没有把 “降幻觉” 提升到与推理、代码等相同的高度。用这样的模型获取健康咨询和诊疗建议,对 AI 医疗的普及和医患信任建立带来很大困扰。

百川 M3 将医疗幻觉抑制前移至模型训练阶段,在强化学习过程中将医学事实一致性作为核心训练目标之一,将 “知之为知之,不知为不知” 直接作用于模型自身能力的形成过程。这一新的训练方法将医学事实可靠性内化为 M3 自身的基础能力,使其在不借助任何外部系统的情况下,依然能够基于自身医学知识进行稳定、可信的作答。

通过将事实一致性约束融入训练流程,M3 重构了幻觉抑制的训练范式,在不依赖工具或检索增强的纯模型设置下,医疗幻觉率 3.5,超越 GPT-5.2,达到全球最低水平。


构建「严肃问诊」新能力,端到端问诊超越真人医生


除了强推理和低幻觉,端到端的问诊能力是本次 M3 最重要的一项突破。2025 年行业的技术共识是,用户提供更完整的上下文,模型才有更好的表现。可在医疗领域,患者很难完整表达自己的病症,需要模型像医生一样有能力把患者的混乱叙述转变成可做诊疗决策的信息。

HealthBench 代表了 OpenAI 对临床场景的认知高度,然而它本质上是一个切片式的评测,考核的更像是 “AI 会不会回答问题”,而不是带着诊疗目标,完整的患者信息收集。这也正说明了行业对问诊重要性和建模思路的理解不足。

应用实践中,通过 prompt “你是一位经验丰富的医生”,激活模型的 “角色扮演” 是更常见的做法。这种方式得到的是模型的表演行为,而非内生能力,激活的是模型应该提问的行为,而不是必须获取关键信息的思考。例如,临床医生面对患者的第一反应,永远是先排除危急重症,再考虑常规诊疗,这是刻在职业本能里的安全优先级。但常见的 “角色扮演” 的问诊方式,无法将 “红旗征识别与处置” 作为核心行动原则。这种不围绕关键风险点展开的信息收集,即便对话看似完整,也难以支撑安全、可靠的临床判断,从根本上偏离了医疗 “安全第一” 的原则。

针对这一行业困境,百川智能提出了 “严肃问诊范式” 与 “SCAN 原则”,通过 Safety Stratification(安全分层)、Clarity Matters(信息澄清)、Association & Inquiry(关联追问)与 Normative Protocol(规范化输出),将临床问诊中高度依赖经验的思维过程,第一次系统性地 “白盒化”。

围绕 SCAN 原则,百川智能借鉴医学教育里长期使用的 OSCE 方法,联合 150 多位一线医生,搭建了 SCAN-bench 评测体系,该体系以真实临床经验作为 “标准答案”,将诊疗过程拆解为病史采集、辅助检查、精准诊断三大阶段,通过动态、多轮的方式进行考核,完整模拟医生从接诊到确诊的全过程。相比于 HealthBench,SCAN-bench 是更加全流程端到端的动态评测新范式。

同时,百川智能还使用原生模型训练方法取代角色扮演 prompt,针对 GRPO 无法稳定进行长对话训练的问题,设计了新的 SPAR 算法,使模型能够在有限对话轮次中,把临床真正需要的关键问题问全、问准,把风险兜住,让输出经得起复核。

在实验过程中发现,问诊准确度每增加 2%,诊疗结果准确度就会增加 1%。评测结果显示,M3 在 SCAN 的四个维度均显著高于人类医生基线水平,并大幅领先于国内外顶尖模型,成功构建了从精准的临床问询、深度医学推理到安全可靠决策的闭环。

从 1 月初 OpenAI 发布医疗产品 ChatGPT Health,到今天 Anthropic 推出 Claude for Healthcare,AI 医疗正在全球范围内提档加速,竞争也正式进入深水区。在这场竞速中,作为国内唯一专注医疗的大模型企业,百川持续突破低幻觉率、端到端问诊和复杂临床推理等核心能力,已从 “跟随者” 跃迁为行业 “引领者” 与新范式的 “定义者”,正以硬核实力扛起中国 AI 医疗发展的旗帜。

百川智能的医疗应用 “百小应” 已同步接入 M3,面向医生与患者开放相关能力。医生可借助它推演问诊与诊疗思路,患者及家属也可通过该应用更系统地理解诊断、治疗、检查与预后背后的医学逻辑。

刷推特看到这么个模型,小的 30b 感觉不错,做深度搜索不错


核心能力是在很多信源里可以比较正确的找到合适的
模型完全免费开源(MIT 协议):

1.235B 参数,256K 上下文窗口

  1. 单任务最多 400 次工具调用

3.HLE-Text 39.2%,GAIA-Val 80.8% - SOTA 级表现

4.147k 训练样本开放,支持 SGLang/vLLM 部署

在线 demo


📌 转载信息
原作者:
ic-zjh
转载时间:
2026/1/7 19:18:41

这个没听说过,不过看纸面参数好像还行

  • 在 qwen3 基础上进行后训练
  • 同时提供 30A3B 和 235A22B 两种架构版本
  • 据称在 BrowserComp 测试中表现优异
  • 技术报告即将发布
  • MiT 许可证

比如一下上个版本提升:


在线体验:https://dr.miromind.ai/
GitHub:https://github.com/MiroMindAI/MiroThinker
Hugging Face:MiroThinker-v1.5 - a miromind-ai Collection


📌 转载信息
原作者:
artorius
转载时间:
2026/1/6 17:04:36

本文为《2025 年度盘点与趋势洞察》系列内容之一,由 InfoQ 技术编辑组策划。本系列覆盖大模型、Agent、具身智能、AI Native 开发范式、AI 工具链与开发、AI+ 传统行业等方向,通过长期跟踪、与业内专家深度访谈等方式,对重点领域进行关键技术进展、核心事件和产业趋势的洞察盘点。内容将在 InfoQ 媒体矩阵陆续放出,欢迎大家持续关注。

 

我们采访了无问芯穹联合创始人兼 CEO 夏立雪,他指出,2025 年之前,算力集中于 “造模型”;2025 年起,“用模型” 的算力需求快速起量,尽管单纯扩大模型规模的边际回报递减,但整体算力需求并未下降,行业进入 “高效用模型” 的良性阶段。此外他表示,从企业一号位开始重视 AI 的公司,已在业务流中找到大量落地机会,决策层对 AI 的认知度,是未来企业拉开差距的关键。下面是详细对话内容,以飨读者。

 

两个代表性模型串联起今年 AI 圈

 

InfoQ:您眼中 2025 年科技圈的关键词是什么?您会怎样总结自己这一年的收获与遗憾?

 

夏立雪:我眼中的关键词是“跃升”。我认为,今年 AI 圈发生了非常多的可喜变化,由两个代表性模型串联,也包含了技术和产业两个角度。

 

第一个转变以 OpenAI 从 24 年底推出的 o1 模型为转折点,象征着模型从单次生成转向多步推理。第二个转变以 DeepSeek-R1 的发布为关键时刻,证明了软硬协同优化的核心价值,可以推动模型性能与应用成本巨大跃迁。而这两个模型不止带来了技术突破,也带动了巨大的产业跃升:一系列推理模型的不断出现使得 AI 能从事的工作越来越丰富,而开源模型(特别是中国的开源模型)站上人工智能舞台中央,大大加速了世界范围内各种 AI 技术的部署和实验,最终促成了行业智能体为代表的各种应用新物种的诞生。

 

与这个跃升相对应的,人工智能基础设施的关键指标在执行研发任务所需的“性能、资源利用率、算力成本”等基础保障指标之上,新增关注智能体规模化服务的“业务弹性、并发稳定性、可观测性、安全性”等服务效果指标,为这个堪称第四次工业革命的时代做好基础设施准备。

 

回头来看这一年,我很幸运能见证技术浪潮的重要拐点,而我们的技术路径能在其中创造真实价值,这种体验带来的信心,比任何事都珍贵。同时我也见证了团队的成长——既能沉下心打磨产品、陪客户啃硬骨头,又能持续在复杂的事情里面找最重要的问题,就像写数学公式一样,把最需要找到的核心剥出来,这个过程里,人是最大的收获。

 

算力需求却没有下降

 

InfoQ:在您看来今年跑出来了哪些明星公司,以及带来了怎样的行业影响?哪些企业相对落后了?

 

夏立雪:DeepSeek 是今年公认的明星公司。从生态上看,R1 的出现和它的开源姿态,极大地活跃了 AI 中下游的创新生态,让许多创业公司和开发者,能以更低的门槛获得接近前沿的推理能力,去试验和构建自己应用。

 

从算力用量上看,虽然整体上单纯扩大规模的回报在边际递减,但算力需求却没有下降。因为如果把模型制造和使用方当作一个整体玩家,你会发现从去年到今年初,基本全部算力资产都配置在了“如何造模型”,今年开始“如何用模型”的算力起量,这也是一个良性的变化。

 

关于企业的领先和落后,我的观点是 AI 是一个全新的“物种”,每一个行业都有与 AI 紧密合作的巨大机会。而我看到的现象是,在同一个行业中,自一号位开始认真拥抱 AI 的,明显已经在自己的业务流中找到许多落地的机会了,所以决策人的认识是未来拉开差距的关键点。而 AI 还在不断创新,所以我更愿意说这是一场面向未来的、所有玩家都需要边跑边学的马拉松。

 

InfoQ:根据您的观察,科技公司今年面临的压力如何?对此采取了什么样的应对措施?员工们的状态如何?(可以针对广泛的科技圈,也可以是您所在公司或细分行业公司)

 

夏立雪:今年的行业压力,更多还是在兴奋与焦虑中负重转向。以 DeepSeek 为代表的推理范式和智能体应用前景的爆发,给大家带来了一些转型压力。这种转型不止是应用产品的迭代,它会牵动整个技术栈、组织架构和商业逻辑的变化,大家都在焦虑自己的速度能否跟上范式迁移的浪潮。

 

面对快速的变化,一个组织最容易遇到的问题就是决策困难,而我们因为从诞生之日就以“让 AGI 触手可及”为目标,所以在复杂的变化中能够保持冷静和坚定,比较早就洞察到了变化,率先在相应领域进行了布局,这也是创业公司的敏捷性优势,让我们在变局中保持了一定的主动性和节奏感。甚至我们会认为,今年的许多变化都是让通往目标的路径更清晰的喜讯,这让我们信心满满。

 

在员工状态方面,作为一家身处前沿的 AI 企业,我们看到许多同事展现出极强的适应性与学习热情,积极拥抱技术变革带来的挑战。整体上,团队在对技术未来充满信心的同时,也对工作稳定性和清晰的职业发展路径产生了更强烈的期待——这是一种理性和积极并存的健康状态。

 

全球在真正生产中使用中国 AI

 

InfoQ:经过一年竞赛,国内前沿 AI 水平取得了怎样的成绩?是否赶上了硅谷科技公司?

 

夏立雪:最近 OpenRouter 和 a16z 合作的报告里讲得很清晰,全球对开源模型的使用激增与 DeepSeek V3 和 Kimi K2 等主要开放模型发布相吻合,而且这些增长持续了长时间,说明全球正在真正的生产中使用中国 AI。我们今年也自己出去走了走,体感是高度一致的。

 

这个时代可以说,是自工业革命以来,中国第一次能够以技术引领者,而不仅仅是追随者的身份,站在一场世界级产业革命的前沿。我们不仅在解决别人的问题,更在定义新的问题、新的赛道和新的游戏规则。

 

InfoQ:您认为,2026 年的技术赛点可能是什么?您会重点关注哪些行业和技术?

 

夏立雪:2026 年的技术赛点可能还是聚焦在智能体上,基础设施如何让数字世界智能体在各种场景中规模化落地,以及如何通过云端协同帮助具身智能(作为物理世界的智能体)从实验室走向特定场景的落地验证,是我们会重点关注的方向。

 

openPangu-VL-7B 是华为(Huawei)与 FreedomIntelligence 团队于近期(2026年初)推出的开源多模态大语言模型

该模型是 openPangu 开源系列的新成员,主打70亿参数(7B)规模,专为昇腾(Ascend)NPU 硬件架构进行了深度优化,具备强大的视觉理解、OCR(光学字符识别)和视觉定位能力。

项目文件预览 - openPangu-VL-7B:昇腾原生的开源盘古 VL-7B 多模态模型 - GitCode


📌 转载信息
原作者:
EricOnly
转载时间:
2026/1/5 21:31:28

整理|华卫

 

去年这个时候,外界普遍传言:图灵奖得主、Meta 前首席科学家 Yann LeCun 将主动离开 Meta,寻求新的研究机会。如今,LeCun 也已官宣离职开启创业之路。

 

而刚刚公开的一场对 LeCun 的专访,却呈现了另一番截然不同的故事。这场对话长达三小时,期间 LeCun 曝出了不少 Meta 的猛料,并勾勒出了这一残酷现状:组织运转失灵、基准测试结果造假,以及一位拒绝为自己认定存在科学缺陷的方案背书的研究员的出走。

篡改模型测试结果后,小扎边缘化所有参与员工

首先,LeCun 透露了一个 Meta 本不愿公之于众的惊人细节:Llama 4 的基准测试结果是人为操纵的。

 

“这些结果有几分掺假,”他解释道,工程师针对不同的基准测试采用了不同的模型变体,目的是优化分数,而非展示真实的能力。

这绝非一场单纯的产品失利。2022 年 11 月 ChatGPT 的问世打了 Meta 一个措手不及,公司领导层陷入慌乱。Meta 随即围绕生成式 AI 业务进行重组,相继推出了 Llama 2 和 Llama 3。Meta 将自身定位为开源领域的领军者,是对抗 OpenAI 封闭模式的一方。单看 Llama 3 的下载量和生态系统渗透率,Meta 的布局相当成功,这包含渠道分发、品牌塑造和生态引力所带来的效果。

 

这一系列势头最终促成了 2025 年 4 月 Llama 4 的发布。这款模型虽斩获亮眼的基准测试分数,却因实际表现问题饱受诟病。此前也有独立报道证实了 LeCun 所描述的“数据作弊”行为,针对不同测试,专门挑选对应的模型变体。

 

LeCun 在采访中表示,这一事件让 Mark Zuckerberg 对公司现有 AI 团队彻底失去了好感。

 

据称,这位首席执行官当时震怒不已,“基本上对所有参与此事的人都失去了信任”。“也正因为如此,整个生成式 AI 团队都被边缘化了。”LeCun 表示,“很多人已经离职,还有不少没走的人也即将离开。”

 

随后,Meta 针对 Llama 4 失利所做出的一系列应对举措,折射出其管理层当时的窘迫处境。据路透社报道,2025 年 6 月,该公司斥资约 150 亿美元收购了数据标注初创企业 Scale AI 的大量股份。与此同时,Meta 聘请了 Scale 年仅 28 岁的首席执行官 Alexandr Wang,牵头组建一个名为 TBD 实验室的全新研究部门,负责前沿 AI 模型的研发工作。

 

该公司还展开了声势浩大的挖人行动,据称向竞争对手旗下的顶尖研究员开出了 1 亿美元的签约奖金。

 

通常,健康的研究机构不会因为一次挫折就动辄斥资 150 亿美元收购初创企业的大量股份。这些举动,似乎亦在展露这家公司正面临战略押注摇摇欲坠的危机。

LeCun 锐评 Alexandr Wang:毫无经验、休想对我指手画脚

对 Wang 的任命,造成了公司架构上一次令人错愕的上下级反转。身为图灵奖得主、卷积神经网络发明者、深度学习革命联合发起人的 LeCun,如今竟要向一位主业为训练数据标注的人汇报工作。在任何一家研究机构,这样的身份倒置都堪称骇人。这位领域奠基人端坐会议桌前,听着一位年龄不及自己一半的后辈,为那些对方既未参与创造、也未完全理解的技术规划发展蓝图。

 

LeCun 在采访中直接表示,此人“毫无研究经验,既不懂研究该如何开展,也不知道研究该如何落地”。“他学得很快,也清楚自己的短板所在……但他毫无研究经验,既不懂研究该如何开展、如何落地,也不知道什么样的东西能吸引研究员,什么样的东西会让研究员反感。”LeCun 如此说道。

 

当就这一汇报层级向 LeCun 追问时,他的回应措辞谨慎却一针见血:“没人能对研究员指手画脚。尤其像我这样的研究员,更是绝无可能。”LeCun 表示,尽管在 Zuckerberg 主导的 AI 业务重组后,这位 28 岁的年轻人曾短暂担任自己的上司,但实际上并没有对他发号施令。

实际上,双方更深层的矛盾似乎并非源于层级,而是源于理念分歧。Wang 代表的是 Meta 押注语言模型规模化的战略方向,而 LeCun 则认为这一范式从根本上就误入了歧途。让奉行这一理念的人身居管理要职,让他的留任变得绝无可能。

“我敢肯定,Meta 内部有不少人,或许也包括 Alex,都巴不得我不要对外宣称,在通往超级智能的道路上,大语言模型本质上已是一条死胡同。”LeCun 强调,“但我不会因为某个家伙说我错了,就改变自己的想法。我没有错。作为一名科学家,我的职业操守不允许我做出这种违心之举。”

“语言模型已经达到瓶颈”

如今 Meta 的 AI 战略,核心是沿用 OpenAI 联合创始人声称已触及天花板的架构方案,与 OpenAI 展开竞争。

 

然而,作为这家公司最具声望的 AI 研究员,LeCun 认为,这种方案根本无法实现 Meta 宣称要追逐的智能目标。据其透露的内容,负责 Meta 旗舰模型的团队交出的成果可信度极低,致使管理层对整个团队都丧失了信任。

 

事实上,LeCun 对大型语言模型的批判,早已超越 Meta 此次的具体失利事件。LeCun 一直以来都在强调,大型语言模型的局限性过大,若要释放 AI 的真正潜力,必须另辟蹊径。

 

过去数年间,他在公开演讲与技术论文中阐释的核心论点,本质上是一个数学层面的结论:语言这一载体,对于培养真正的智能而言,存在着根本性的带宽不足问题。

 

参与 Lex Fridman 播客节目时,LeCun 曾测算过一组数据:若要通读互联网上的全部文本(体量约为 2×10¹³字节),人类需要耗费 17 万年的时间。而一个四岁孩童,单是通过视觉输入接收的信息体量就约达 10¹⁵字节。也就是说,在幼儿阶段,孩子吸收的信息量,就比大型语言模型从人类全部书面语料库中提取的内容多出 50 倍。

 

这一数据背后,潜藏着更为深刻的启示。训练大型语言模型,就如同试图通过阅读所有与木材相关的书籍来学习木工手艺:你自始至终都没有碰过一把锤子。诚然,你能掌握相关的专业词汇,但却无法真正理解背后的物理原理。LeCun 的判断很简单:要学好木工,你必须亲手挥起锤子。

 

这一点恰好解释了 AI 能力上长期存在的短板。青少年只需 20 小时就能学会开车,幼儿第一次尝试就能擦干净桌子,家猫能轻松穿梭于复杂的三维空间。然而,即便投入了数十亿美元的研究经费,在万亿级别的语料库上训练出来的 AI 系统,却在这些任务面前束手无策。

 

2025 年 11 月,OpenAI 前首席科学家、规模化范式的缔造者 Ilya Sutskever 在接受 Dwarkesh Patel 采访时也抛出了这样一个振聋发聩的观点。他表示,该领域正从“规模化时代”迈向“研究时代”,单纯依靠算力规模的扩张,只会产生边际效益递减的结果。

 

当这一范式的开创者都如此表态时,其分量不言而喻。ChatGPT 问世后形成的、围绕大语言模型规模化的行业共识正在瓦解。

新架构一年内有雏形?

在接受采访的午餐会上,LeCun 用一个具体的例子阐释了他提出的另一种技术路径。当他掐别人一下时,对方会感到疼痛,其心智模型随即发生更新,下次当他再抬手靠近时,对方会本能地退缩。这种基于预判产生的反应,以及随之触发的情绪,才构成了对因果关系的真正理解。而大型语言模型并不具备这样的机制。它们只是基于统计规律来预测语言符号,而非通过因果模型去判断行为会引发何种后果。

 

为此,LeCun 提出了一套名为联合嵌入预测架构(JEPA)的世界模型架构,以此弥补现有技术的缺陷。该架构通过对视频与空间数据进行训练,培养系统基于物理原理的认知能力。它让系统学习与行为相关的抽象表征,而非执着于符号层面的预测;同时,它还融入了能随经验不断进化的持久记忆,而非在每次对话时都重置记忆。

 

采访中,LeCun 给出了该架构的落地时间表:12 个月内推出雏形版本,数年内实现更大规模的部署应用。

 

据称,他创办的这家初创公司命名为“先进机器智能”,其技术路径正是他所主张的、比大型语言模型更具优势的方案。在这家新公司里,他将出任执行董事长,而非首席执行官。

 

“我是一名科学家,一个有远见的人。我能激励人们去做有趣的事情。我很擅长预测哪种技术会成功,哪种会失败。但我当不了 CEO。”LeCun 说,“我既太缺乏条理,也太老了!”

 

世界模型能否后来居上,目前尚无定论。LeCun 预测,具备动物级智能水平的 AI 将在五到七年内实现,而达到人类级智能则需要十年时间。

 

这位曾助力构建当前 AI 范式的领军人物,如今正孤注一掷地押注:要实现超越,必须依托截然不同的技术路径。绝非细枝末节的渐进式改良,而是彻底颠覆式的全新架构。

参考链接:

https://www.ft.com/content/e3c4c2f6-4ea7-4adf-b945-e58495f836c2

1 月 1 日 至知创新研究院(IQuest Research)发布全新一代开源代码大模型 IQuest-Coder-V1 系列 。当时宣传性能强劲,在自主性软件工程、竞赛编程等关键维度上,成为了当下开源模型 SOTA。当时的介绍在这里:
九坤投资创始团队成立至知创新研究院,发布开源国产代码大模型 IQuest-Coder-V1,声称开源模型 SOTA,只需 40B 就能秒杀部份闭源模型 - 前沿快讯 - LINUX DO

很快有社区用户(@xeophon)发现在 SWE-bench 测试中,官方配置有无,模型输出中错误引用了 未来日期的 Git commit,相当于考试直接看到答案,大概 24% 的内容都受到了影响,此次测试无效。

好在官方态度比较积极,修复问题后进行了重新评估:

这就是原帖楼下那位发现官方修改评分表现的原因。

之后@HaohaoHenr56041对 Loop-Instruct 版模型做了部署,他的评价是:

・前端设计:与 M2.1 或 GLM4.7 等最新型号相比,差距显著。

・速度:极其缓慢。在两台 A100 80G 处理器上,处理速度仅约为 15 t/s(批处理大小为 1)。

随后 Uncheatable Eval LLM Compression Leaderboard 榜单更新了 base 版模型的评分,可以看到其能力和 Qwen3-14B 相当


(分数越低越好,图源,也是文章资料来源

需要注意,这里测评的是 base 版模型,而不是得分最高的 loop 版本。


📌 转载信息
原作者:
11111111111ge1
转载时间:
2026/1/3 11:49:42

相比于 8 月份发布的 Qwen-Image 基础模型,Qwen-Image-2512 进行了如下更新:

  • 更真实的人物质感 相比于 Qwen-Image,Qwen-Image-2512 大幅度降低了生成图片的 AI 感,提升了图像真实性

  • 更细腻的自然纹理 相比于 Qwen-Image,Qwen-Image-2512 在风景构图,动物毛发更加细腻。

  • 更复杂的文字渲染 相比于 Qwen-Image,Qwen-Image-2512 提升了文字渲染的质量,图文混合渲染更准确,排版更好

模型地址:

Qwen/Qwen-Image-2512 · Hugging Face

博客介绍: Qwen

一些官方图:


📌 转载信息
原作者:
fengchris
转载时间:
2026/1/1 16:01:59