烧 2 万亿美元却难用？Gary Marcus 狂喷 AI 赛道不靠谱：推理模型只是“模仿秀”，OpenAI 一年后倒闭？
整理 | 华卫 “一圈又一圈的循环融资，投资回报率却不尽如人意，这些 AI 系统实际用起来也远没有想象中好用，或许方向本身就站不住脚。” 近日，知名 AI 专家、认知科学家 Gary Marcus 在一场访谈中愤愤表示，“整个世界都在全力押注神经网络，还在这个我始终觉得毫无道理的理念上投入了巨资，但大语言模型根本无法带我们抵达 AGI 这一终极目标。” 这场对话由曾因成功预测 2008 年金融危机而闻名的传奇投资人、华尔街最具影响力人物之一 Steve Eisman 发起，他与 Marcus 共同探讨了当下 AI 进展的方方面面，包括商业路径、社区现状和未来方向等。Marcus 认为，大语言模型已经达到了收益递减的阶段。并且，他指出，现在 AI 领域根本没有技术壁垒了，所有 AI 企业的研发思路基本一致。 对于大量人才从大厂离职去办初创公司的现象，Marcus 直言道，“如果 OpenAI 真的能在下周推出 AGI，谁会在这个即将改变世界的关键节点离职，去创办一家可能要花四年时间才能做出成果的小公司？显然没人会这么做，大家都会想留在公司见证这个时刻。”在他看来，这些企业内部的人也清楚，他们根本没有做出宣称的那种突破性成果。 值得一提的是，他认为，OpenAI 最终会成为 AI 领域的 WeWork，这家公司原本计划以 500 亿美元的巅峰估值风光上市、却在一夕之间破产。“我觉得最终 OpenAI 可能会被微软这样的企业收购。OpenAI 每个月的亏损大概有 30 亿美元，一年就是 300 多亿美元，即便最近完成了 400 亿美元的融资，也只够支撑一年的运营。” 谈及各家模型的未来，Marcus 的预测是，“大语言模型会成为一种标准化商品，各家的模型只会比上一年的版本稍有提升，差距微乎其微，最终品牌差异会变得无关紧要。当产品变成商品后，价格必然下跌。” 以下是详细对话内容，我们在不改变原意的基础上进行了翻译和删减，以飨读者。 2 万亿美元押注 Transformer，根本“毫无道理”？ Steve Eisman：大家好，我是 Steve Eisman。今天我们请到了一位特别的嘉宾，他就是 Gary Marcus。他是大语言模型的坚定质疑者，而大语言模型正是整个 AI 领域的核心根基。接下来，Gary 会和我们分享他的观点，聊聊大语言模型到底是什么。 Gary Marcus：谢谢你的邀请，也感谢一两个月前你在 CNBC 对我的盛赞。 Steve Eisman：不客气，这都是你应得的。在正式开始之前，我的观众大多还不了解你，不如先和大家说说你的背景，让大家知道你在这个领域发表观点是完全有底气的。 Gary Marcus：我这辈子几乎都在研究智能相关的问题。我 10 岁学会编程后，就开始涉足 AI 领域了。我的职业生涯中，很大一部分精力都用在研究自然智能上，比如人类的智能、还有孩子是如何学习语言这类问题。我在 MIT 的博士论文围绕两个方向展开，一个是儿童的语言学习机制，另一个就是神经网络。神经网络是 AI 领域的一种特定研究方法，也被用于人类思维的建模，它的设计灵感可以说和大脑有一点松散的关联。这其实是个很巧妙的营销说法，会让人觉得它是完全基于大脑研究的，但事实并非如此，二者只是浅层关联。早年间神经网络就曾风靡一时，我在上世纪 90 年代就研究过这类模型，发现它们并不能很好地模拟人类的思维方式，但我还是投入了大量精力，想弄清楚它们的实际工作原理。 2012 年深度学习重新兴起时，我当时就觉得，这些东西我早就研究过了，和我博士论文里的内容高度相似。我在 2001 年写过一本名为《The Algebraic Mind》的书，在书里我其实就预判到了如今大语言模型出现的幻觉问题，还有一些推理层面的缺陷，这些都是我们今天要探讨的话题。所以当深度学习再次成为热点时，我一眼就看出了其中的诸多问题，对我来说这些问题都很熟悉。2012 年，我在《The New Yorker》上发表了一篇文章，标题是《Is Deep Learning a Revolution in Artificial Intelligence?》，我在文中写道：“深度学习确实很有意思，我很佩服 Jeff Hinton，他能长期坚持自己的研究方向。” Steve Eisman：Jeff Hinton 是谁？ Gary Marcus：他是去年诺贝尔生理学或医学奖的得主，也是深度学习领域的核心奠基人之一。 Steve Eisman：原来如此。 Gary Marcus：他的一些学生，最近也开始认同我的观点了。Jeff Hinton 确实是这个领域的大人物，在神经网络一度无人问津的时期，是他一直坚守，这份坚持值得肯定。但当然，他的研究并非全无可议之处，我们这里就不细谈了。他让神经网络重获关注，而更值得你的听众了解的是，真正让这个领域迎来爆发的，是他的学生 Ilya Sutskever，或许还有另外几位研究者。他们找到了方法，能让这套研究了许久的系统落地应用。要知道，神经网络的研究最早能追溯到上世纪 40 年代，Jeff Hinton 也在上世纪 80 年代中期做出了不少重要贡献。而这些研究者发现，借助英伟达研发的图形处理器（GPU），就能实现神经网络的高效运行。 彼时的英伟达，生产 GPU 主要是为了满足电子游戏的需求。这些原本为游戏设计的 GPU，核心优势在于并行计算，简单来说，就是能同时处理多个计算任务，而非按顺序逐个完成。传统的中央处理器（CPU），运行软件程序时基本是逐行执行的，虽然现在的技术已经有了改进，但这仍是计算机科学入门课程里会教的基础原理。而 GPU 能把一个复杂问题拆解成无数个小任务，同时进行处理，它的设计初衷就是为了计算机图形处理。比如要渲染电子游戏的下一帧画面，如果逐行处理，耗时会非常久，而用 GPU 的话，能同时处理整个画面，一个子处理器负责一个像素点，以此类推。不得不说，GPU 在图形处理上的表现堪称完美，我偶尔也玩电子游戏，深知 GPU 的算力有多惊人。 Ilya Sutskever，还有另一位我一时想不起名字的论文合作者，他们证明了 GPU 是运行神经网络的绝佳载体，至于神经网络的具体定义和实际意义，我们之后可以再聊。他们的这一发现，让神经网络的运行实现了两大突破：一是速度大幅提升，二是能处理海量数据。在此之前，六十多年的神经网络研究做出的基本都是些玩具级的模型，而他们证明，借助 GPU 这项技术能真正实现规模化的实际应用，能在更大的维度上落地。可以说，我们如今看到的所有深度学习成果，都源于 2012 年的这次突破。 而在这一突破出现后，两件事接踵而至：《The New York Times》刊发了文章，盛赞深度学习的惊人潜力；第二天，我就在《The New Yorker》的博客上发表了文章。我在文中表示，深度学习固然出色，但也存在诸多问题，它注定会在一些领域表现优异，却在另一些领域束手无策。它擅长模式识别和统计分析，这一点毋庸置疑，但人类的认知活动中还有大量的抽象思维过程。比如我们能理解家谱的逻辑，进而对现实世界的相关问题进行推理，而深度学习模型永远无法擅长这类任务，它的架构本身就不适合做抽象推理。从早年对神经网络的研究以及对人类认知机制的研究中，我早就看清了这一点。你应该读过 Daniel Kahneman 的经典著作《Thinking, Fast and Slow》吧？ Steve Eisman：我读过。 Gary Marcus：Daniel Kahneman 在书中提出了双系统认知理论，他将人类的认知分为系统一和系统二。系统一的思考速度快，是无意识的、基于统计的、本能的反应；而系统二的思考速度更慢，更具思辨性，核心是逻辑推理。神经网络本质上就相当于人类的系统一，这本身没问题，系统一也是人类认知的重要组成部分，但人类的认知还有系统二的部分。尤其是在理性思考时，我们会依赖系统二，进行更审慎、更有逻辑的推理。而神经网络模型，从始至终都不擅长系统二的这类任务，直到现在依然如此。我在 2012 年就指出，深度学习模型只能实现系统一的功能，却无法完成系统二的思考。 而在这之后的 14 年里，整个世界都在全力押注神经网络。这里要说明的是，我们所说的神经网络，就是如今的大语言模型，大语言模型是神经网络的一种形式，抱歉，我之前没明确说明这一点。事实上，2012 年时大语言模型还未出现，后续又有不少技术突破，其中关键的就是 2017 年发表的 Transformer 论文，这也是大语言模型的起源。而全世界在这一领域的投资规模达到了天文数字，据我粗略估算，已经有 1 到 2 万亿美元了，全都投在了这个我始终认为毫无道理的理念上。这些研究者的想法是，只要持续发展神经网络，就能实现智能所需的一切能力，抵达 AGI 的目标，但他们却忽视了系统二的核心价值。 一开始，他们只是把神经网络当成一个巨大的黑箱，直到现在，还有很多人抱着这样的想法。他们觉得，只要把海量数据喂进去，就能得到一个拥有智能的系统，却从未从科学的角度深入思考过真正的智能究竟该具备怎样的架构。我认为这些人太过天真，我也一直试图指出这一点，这也让我成了这个领域里的“孤行者”。很长一段时间里，人们对我的观点不屑一顾，甚至不只是不屑，而是鄙夷。 Steve Eisman：没错，他们对你的态度远不止是不屑，而是赤裸裸的鄙夷。 Gary Marcus：我们还能举出很多这样的例子。我对他们的这种态度感到失望，这个话题我们可以聊很久。他们甚至对我公开表现出敌意，比如我了解到，OpenAI 内部还为我做了专属的表情包。 Steve Eisman：我也看到过这个消息。 Gary Marcus：某种程度上，这也算是一种认可吧，既觉得荣幸，又觉得有些离谱，你能看出来，我一直试图用平常心看待这件事。但这也能从侧面说明问题，Sam Altman 还在推特上称我为“喷子”。他们就是不想听我的观点，而我核心的观点，都写在了 2022 年发表的论文《Deep Learning is Hitting a Wall》里。我在这篇论文中指出，当时“规模化扩张”的理念已经开始流行，也就是通过不断投入更多数据、更多 GPU，把模型做得越来越大，他们认为只要模型足够大，就会拥有超乎想象的能力。 我先暂停一下，和大家解释下这个“规模化扩张”的理念。他们确实有一些数据能支撑这个观点，但这种想法依然太过天真。我把这种理念称作“万亿磅婴儿谬误”，道理很简单：一个婴儿出生时 8 磅重，一个月后长到 16 磅，并不意味着他会一直这样翻倍增长，到上大学时长成万亿磅的巨人。他们就是做出了这样天真的推断，我相信你在商业领域也经常见到这种情况。很多手握巨资的聪明人，都押注了这个理念，他们说，“我们从数据中看到了这样的发展规律，只要投入足够多的数据，就能实现真正的智能。” “大模型不会思考，重构信息碎片致幻”Steve Eisman：先稍停一下，我们倒回去说。大语言模型到底能做什么？这些研发者又认为它们本该实现什么功能？我真想把这个问题彻底讲清楚。 Gary Marcus：你这个问题问得特别好。大语言模型的核心工作原理，就是预测序列中的下一个内容。你可以想想苹果手机的自动校正功能，原理差不多，虽说那功能有时候能把我逼疯，你继续说。这个功能并非总能生效，核心逻辑就是你在输入句子时，它会预判接下来可能要打的内容。比如你打出“在……见我”，它大概率会推测你想说“在餐厅见我”。它会对人类的语言表达做统计分析，效果还算过得去，但绝非完美，偶尔还会出错，让人恼火，这就是我们说的自动补全。 而我把大语言模型称作“超级版自动补全工具”，它们只是用一种特殊的方式完成这种预测，这就是其最本质的功能。它们的运作方式里还有些有意思的点，其中一个就是会把所有信息拆解成细碎的片段，之后再重新整合，这就导致信息之间的关联会被切断。也正是因此，它们才会时不时出现幻觉现象，凭空编造内容。 Steve Eisman：我们稍后再细说幻觉这个问题。 Gary Marcus：好，回头再聊。幻觉是这类模型的典型错误之一，早在 2001 年，大语言模型甚至还没被发明出来的时候，我就指出过这个问题。我当时就说，如果一直沿着这个方向研究下去，必然会出现这个问题，而事实也确实如此。大语言模型把信息拆分成碎片，再通过这些碎片预测后续内容。如果用整个互联网的内容对它们进行训练和数据投喂，它们的表现会好得让人意外，因为几乎任何你能想到的问题，注意，这里的“几乎”是关键，几乎所有问题，此前都有人提出过，也有人给出过答案。从某种程度来说，这些模型就是功能强大的记忆机器。 就在前几天，《大西洋月刊》还刊发了相关的文章，而且一直以来都有大量证据能证明这一点。比如你输入《哈利·波特》的部分内容，它能直接补完整段文字，本质上就是因为它记住了这些内容。如果一个模型能记住整个互联网的信息，那确实算得上很厉害。比如你问“道奇队在搬到洛杉矶之前，主场在哪”，网上有大量相关表述，它会告诉你是布鲁克林，大概率能给出正确答案。但仅仅依靠这种方式，模型根本无法形成抽象的概念和思想，还会因为信息碎片的拆解和错误整合出现各种问题。 Steve Eisman：那我们现在聊聊幻觉吧。到底什么是 AI 幻觉？举个例子，再说说出现这种情况的原因。 Gary Marcus：幻觉就是模型凭空编造内容，还无比笃定地呈现出来，但这些内容根本不符合事实。 Steve Eisman：那给我们举个例子。 Gary Marcus：我最喜欢的一个例子和 Harry Shearer 有关，你可能听过他的名字，看过《摇滚万万岁》吗？ Steve Eisman：当然看过。 Gary Marcus：他在这部影片里饰演贝斯手，巧的是，他还是我的朋友。他出演了《摇滚万万岁》，还和 Christopher J. Guest 合作了多部影片，参演了《楚门的世界》，还为《辛普森一家》里的伯恩斯先生等多个角色配音，他的知名度还挺高的，这点对接下来的故事很重要。先倒回说个题外话，我之前遇到的最典型的幻觉案例，主角是我自己。有人发给我一份我的人物简介，里面说我养了一只叫 Henrietta 的宠物鸡，但我根本没养过，这就是个很典型的幻觉案例，纯粹是凭空编造的。后来发现，有位插画师大概叫 Gary Oswald，写过一本关于 Henrietta 去上学的书，模型不过是把这些碎片化的信息胡乱拼凑在了一起。 Steve Eisman：那为什么会出现这种幻觉呢？ Gary Marcus：这就和我刚才说的信息碎片化拆解有关了。我再给你讲讲 Harry Shearer 的那个例子。我总拿宠物鸡 Henrietta 的事举例，有一天他给我发消息，说他没遇到过宠物鸡这种事，却遇到了和自己相关的幻觉案例。他比我有名多了，至少以前是。我当时也算小有名气，而模型给出的信息里，说他是英国的配音演员和喜剧演员，但他根本不是英国人。你只要花两秒看一下维基百科，就会发现他出生在洛杉矶。他名气不小，你也能在烂番茄、互联网电影数据库上查到他的资料，他接受过很多采访，也聊过自己的成长经历，他小时候还在洛杉矶的《杰克·本尼秀》里当过童星，想找到正确的信息一点都不难。 我们会错误地把大语言模型当成和人类一样拥有智能的个体，但实际上，它们所做的只是重构信息碎片之间统计层面的大概率关联，所以难免会出错，这种重构过程也常会出现偏差。Harry Shearer 这个案例就是如此，模型其实就是在构建一个信息集群，用统计学的方式预测各类信息之间的关联。而现实中确实有很多英国的配音演员和喜剧演员，比如 Ricky Gervais、Don Cleeve 等等。模型就把这些信息混为一谈了，这种信息融合的方式整体来看效果还算不错，但你永远无法确定它给出的某一个具体信息是准确的，所以幻觉现象才会频繁出现。 有人专门追踪过相关的法律案件，发现律师提交的辩护状里，有很多引用的判例都是模型编造的，根本不存在。我第一次关注这件事时，他已经发现了约 300 起这样的案件，三个月后再看，数量涨到了 600 起。这些律师不仅用 ChatGPT 这类工具代写文书，还因此被法官发现，受到了处罚。模型会出错，而最危险的是，这些错误还很容易被忽略，人们根本发现不了。还有一个例子，CNET 是最早用 AI 写稿的媒体之一，他们首批用 AI 写的 75 篇文章里，有近一半都存在错误，编辑们却没发现。因为这些文章语法通顺、格式规范，也没有拼写错误，人们很容易就放松了警惕。 我把这种现象称作“看着没问题效应”。大语言模型带来的这种效应，还催生了一个新词汇，我真后悔不是我发明的，叫“低效工作产物”。这个词大概是去年由几位教授提出的，指的是人们用 AI 写报告、提交给雇主，表面上看没什么问题，实则漏洞百出，因为大语言模型根本不具备真正的理解能力。 Steve Eisman：你的意思是，大语言模型并不会思考。 Gary Marcus：它们确实不会思考，只是把统计学上大概率关联的内容拼凑在一起。 Steve Eisman：只是简单拼凑。 Gary Marcus：没错。我还喜欢用“黏合”这个词，它们只是把信息黏合在一起。从统计学角度来说，大部分内容的拼凑是合理的，但总有一部分是错误的，而这些模型根本无法区分对错，也不会主动告知你。它们永远不会说，“维基百科显示 Harry Shearer 出生在洛杉矶，但作为大语言模型，我感觉他可能出生在伦敦，你可以去核实一下”。它们从来不会给出这样的提示，只会把所有内容都当作百科全书里的标准答案呈现出来，无论真假，这也是这类模型的危险之处。 Steve Eisman：确实是这样。 Gary Marcus：这类问题其实有很多，这个案例属于另一种情况，但也和模型的本质缺陷有关。这个问题的根源在于，所有大语言模型都有数据截止日期，它们的训练都是在某个特定时间点完成的，核心模型所掌握的信息，也只到这个时间点为止。研发者会给它们加各种补救措施，比如接入网络搜索功能，但这些补救措施和核心模型的融合效果都很差，不同系统的表现略有差异而已。这类模型最大的问题就是无法应对新事物、新情况，也是它们最根本的缺陷。早在 1998 年，我就通过研究早早发现了这一点。如果一个模型本质上只是个功能强大的记忆机器，当你向它输入一个超出其训练数据范围的内容时，它就会失灵。 有个例子特别能说明问题，具体细节我不太清楚，但特斯拉的 AI 系统也大量采用了这种记忆式的运作方式，而且其系统的复杂程度并不高。有人用过特斯拉的召唤功能，你应该记得马斯克说过，未来可以从纽约远程召唤洛杉矶的特斯拉，但现在显然做不到，不过据说能在停车场里召唤车辆。有人在一场航空展上试过这个功能，你能在油管上找到相关视频。这个人召唤自己的特斯拉，想在航空展上秀一下，结果车子径直撞上了一架价值 350 万美元的私人飞机。 原因就是，特斯拉的训练数据里，根本没有教系统如何应对飞机，毕竟谁会专门训练汽车躲避飞机呢？系统对世界没有形成通用的认知，比如“不要撞上挡路的大型贵重物体”，它根本不懂这些，只会识别训练数据里的自行车、行人等目标，它的识别分类里根本没有“飞机”这一项，所以才会直接撞上去。所有 AI 企业都变了：悄悄复用经典符号式工具Steve Eisman：那你有没有了解到，随着这场争论的风向转变，各大企业内部现在的情况如何？ Gary Marcus：我了解到的情况主要有几点。首先，我一直都在说，单纯的大语言模型行不通，必须结合传统的符号式 AI 技术。但之前他们都对此嗤之以鼻，觉得这套技术早就过时了，没必要用，还说人脑的工作模式本就不是这样。而现在，他们都悄悄在一定程度上采用了这项技术，比如引入代码解释器来运行 Python 代码，这些都是经典的符号式工具。说白了，他们正在偷偷把系统二的相关能力融入模型中，只是没有大肆宣扬，但这一改变确实带来了不小的提升。 马斯克发布 Grok 4 时的演示就很能说明问题，我还为此写过一篇文章，标题是《为何 GPT-3 和 Grok 4 无意间印证了神经符号 AI 的正确性》。文章里放了当时的演示图表，能清晰看到，正是那些他们不愿提及的符号式工具的加入，让模型的表现变得更好。如今模型的些许提升，绝大部分都来自这个原因，而非单纯的大语言模型优化，他们其实已经悄悄放弃了纯大语言模型的研发思路。而这对你所关注的商业领域来说意义重大，因为这些符号式工具根本不需要在 GPU 上运行，普通的 CPU 就足够了。 Steve Eisman：原来如此。 Gary Marcus：对我而言，从技术角度来说，这印证了我一直以来倡导的研发思路是正确的。这是第一个变化。第二个变化是，各大企业的很多人都离职去创办自己的初创公司了。你可以想想，如果 OpenAI 真的能在下周推出 AGI，谁会在这个即将改变世界的关键节点离职，去创办一家可能要花四年时间才能做出成果的小公司？显然没人会这么做，大家都会想留在公司见证这个时刻。 所以，大量人才离职的事实就说明，这些企业内部的人也清楚，他们根本没有做出宣称的那种突破性成果。还有一个变化，就是谷歌正在迎头赶上。就像我几年前在 Substack 专栏里预测的那样，因为现在所有企业的研发思路基本一致，这个领域根本没有技术壁垒。 Steve Eisman：没错，完全没有技术壁垒。 Gary Marcus：你和其他一些人都认为，如果所有人都在做大语言模型的规模化扩张，那么最终的赢家就是最有实力承担这笔扩张成本的企业。而放眼整个行业，谁的资金实力能超过谷歌？根本没有。 Steve Eisman：确实。 Gary Marcus：我其实也表达过类似的观点，只是表述略有不同，你的这个说法其实也没错。我当时的观点是，行业头部企业会逐渐趋同，而随着大语言模型成为标准化商品，行业内会引发价格战，服务定价会大幅下降。事实也确实如此，现在大语言模型的按 token 计费价格，已经暴跌了 99%。价格战确实爆发了，而最终的受益者自然是谷歌，这一点我当初虽然没有直接点明，但也有所预判。我大概是在 2024 年 3 月，也可能是 2023 年 8 月开始写相关文章，当时就说，所有企业都在遵循同一种研发思路，没人掌握什么独门绝技，这就意味着头部企业的产品会越来越趋同。 大语言模型会成为一种标准化商品，各家的模型只会比上一年的版本稍有提升，差距微乎其微，最终品牌差异会变得无关紧要。这一趋势带来的结果就是，谷歌迎头赶上了，中国的企业也追上来了，Anthropic 同样不甘落后。就像你说的，当产品变成商品后，价格必然下跌。这对终端消费者来说是好事，但对企业的商业模式来说却是巨大的打击。毕竟企业原本的设想是，花巨资采购 GPU，然后靠模型服务赚回巨额利润。推理模型进行不了逻辑分析，再升级也没价值？Steve Eisman：我们能不能聊聊推理模型？先给我的观众解释一下，推理模型和大语言模型有什么区别？推理模型是基于大语言模型研发的吗？ Gary Marcus：推理模型是在大语言模型的基础上运作的，但它不会像大语言模型那样直接给出第一个想到的答案，而是会反复迭代、花费时间去推敲，试图得出最优解。至于具体的研发细节，各家企业都没有公开太多。传统的神经网络模型，在某种意义上都是一次性输出结果的，当然现在行业内对“一次性”的定义有所不同。简单来说，就是把数据输入模型后，神经网络会立刻完成一次正向传播，粗略来讲，模型中的每个神经元都会处理信息并生成对应的结果。而推理模型则会进行多次传播，这是本质上的区别。 我有个朋友把传统模型的输出方式称为“恒时推理”，意思是模型生成答案的时间基本固定，无论什么问题，耗时都相差无几：把数据输入模式识别器，模型会根据现有的模式给出最优解。而推理模型采用的是全新的“变时推理”模式，我之后会聊聊它的适用场景和短板，这种模式的特点是，处理不同的问题，耗时会有所不同。目前还没有企业能完全解决推理模型的所有技术难题，但在一些场景下，它的表现确实不错。 据我了解，推理模型的研发思路之一，就是让模型模仿人类解决问题的思考过程，毕竟这些模型本质上都是模仿系统。比如在解决几何题或代数题时，模型会刻意模仿人类的解题步骤。人类解决这类问题需要一步步推导，融合了推理能力的神经网络模型，同样需要分步骤完成。 Steve Eisman：那推理模型的优势是什么？又有哪些明显的短板？ Gary Marcus：在回答这个问题之前，我想先提一点：推理模型的成本天生就更高，因为它需要占用 GPU 更长的时间来生成答案。 Steve Eisman：好的。 Gary Marcus：那我来说说它的适用场景和短板。推理模型最擅长的，是那些能生成形式规范、可验证的数据来训练模型的领域。比如数学和计算机编程，我们可以编写程序生成各种不同的代码片段来训练模型，也能生成各类几何证明题的解题思路。这类领域之所以适合推理模型，是因为它们都属于封闭领域，相关的知识边界是明确的。 Steve Eisman：没错，数据库中的知识量和相关的有效知识量都是有限的。 Gary Marcus：对，就是这个意思。所以推理模型在几何、编程这类领域的表现最好，而在开放式的现实世界中，它的表现就差强人意了。我总会从你所熟悉的金融领域举例子，当然你肯定有更贴切的案例，比如长期资本管理公司的破产。其实那也是一种模型失效的情况，只是模型的原理不同，当时没人考虑到俄罗斯债券市场崩盘的可能性，最终导致美国金融市场出现了大幅动荡。这是因为当时的金融模型，其参数设定根本没有覆盖这类极端情况。 而现在的推理模型，也面临着类似的问题：它其实并不具备真正的思考能力，哪怕是关于债券的基本问题，它也无法进行真正的逻辑分析。如果用它处理的问题，和训练数据中的内容高度相似，那一切都顺理成章；但一旦超出了它的认知范围，就像我们之前聊到的特斯拉的例子，模型就会立刻失效。 Steve Eisman：也就是它依然无法应对新事物、新情况。 Gary Marcus：没错，即便升级到了新的推理模型，核心问题依然是无法处理未知信息。它只是在原有基础上做了些许改进，但本质上还是受限于对新事物的适配能力。而关键问题在于，现实世界中，大多数有价值的问题都包含着一定的新要素、新情况，并非全是已知的问题。当然，也有例外，我们确实可以用这种不擅长处理新事物的技术，在一些狭窄的领域做出成绩，比如国际象棋和围棋。这些领域的规则千百年间基本没有太大变化，有海量的历史数据可供参考，模型还能通过自我对弈生成更多训练数据。 但在开放式的现实世界中，比如政治、军事战略领域，永远会出现训练数据中没有的新情况。比如，如何应对一位总统授意将军用飞机伪装成民用飞机，去袭击另一个国家的行为？这种情况此前从未发生过，想要分析这类问题，根本无法依靠过往的数据，必须依靠抽象的概念思考，比如权力、外交规则、国际格局的构建逻辑等，这些都是相关领域的学者更擅长的内容。要做到这一点，模型需要接受正确的训练，具备抽象思维能力，而不是单纯依赖数据。即便是在商业应用中，比如看似简单的客户服务，也会遇到类似的问题：用户总会用全新的方式提出问题，而一旦出现这种情况，模型就会因为无法应对新情况而失效。OpenAI 只够支撑一年，要么倒闭、要么求救微软？Steve Eisman：假设我任命你为 AI 领域的总负责人，由你掌控所有相关企业，指导整个行业的研发方向。如果你把这些企业的负责人都召集到一起，你会告诉他们，想要实现真正的突破，需要做些什么？ Gary Marcus：我会告诉他们，整个行业需要更多的学术思维多样性。就像在你的金融领域，你会告诉人们不要把所有鸡蛋放在一个篮子里，要做资产配置，分散投资股票、债券、黄金、房地产等。而 AI 领域在过去这些年，就是把所有的精力都押在了一个思路上，大语言模型的规模化扩张，这是行业唯一的研发方向。不可否认，这个思路确实带来了一些成果，模型并非毫无用处，我们也确实能利用它解决一些问题，但它终究无法带我们实现所谓的通用人工智能（AGI）这一终极目标，而且这还是一种成本极高、效率极低的研发方式。你可以对比一下，我的孩子只需要少量的信息和学习，就能理解这个世界，而大语言模型却需要学习整个互联网的海量数据，二者的效率差距简直可笑。 这些企业花费巨资，做出的却是效率低下、可靠性堪忧，但又有一定使用价值的模型。我们需要的是其他更高效、更经济、更可靠的研发思路，企业应该投入资金去探索这些新方向。但问题的根源，其实也来自你所熟悉的金融领域：风险投资家能从那些听起来合理的投资项目中，赚取 2%的管理费。我很好奇你对这个观点的看法，因为这毕竟是你的专业领域。试想一下，作为风险投资家，如果有一个项目能让你管理一万亿美元的资金，哪怕你根本不在乎项目最终的结果，也能赚到 2%的管理费，这足以让你成为亿万富翁。我并不是说所有的风险投资家都是这样想的，我见过很多投资人，他们确实真心想推动技术进步。 但就像任何行业一样，很多投资人都带着功利的心态。对这些功利的投资人来说，最理想的投资标的，就是那些听起来前景广阔、无需真正落地、成本极高的项目，这样他们就能赚取巨额的管理费。我认为，这就是整个行业都沉迷于规模化扩张的原因：投资人能从中赚取不菲的管理费，而且数额极其可观。但从学术研究的角度来说，这绝不是正确的选择，最终也没有带来理想的结果，反而造成了巨额的资金浪费。风险投资家赚走了管理费，而那些有限合伙人，最终会损失大量的资金。 Steve Eisman：你是不是觉得，这个行业的泡沫快要破裂了，还是说现在根本没法判断？ Gary Marcus：其实炒股的那句老话你我都懂，市场保持非理性的时间，可能比你保持偿付能力的时间还要长。 Steve Eisman：没错。 Gary Marcus：我去年用一个比喻形容当下的情况，就像《兔八哥》里的歪心狼跑到了悬崖边，它不往下看，就不会掉下去。当然这不符合物理规律，但很有意思。而现在，你所在的投资圈里，已经有人开始往下看了。我觉得从去年 11 月开始，就不断有投资人说，他们看到了一圈又一圈的的循环融资，投资回报率却不尽如人意，这些 AI 系统实际用起来也远没有想象中好用，或许这个赛道本身就不靠谱。我个人觉得，英伟达的产品做得非常出色，生态体系也很完善，不只是芯片本身，配套的软件等方方面面都很好。我见过黄仁勋，他给我留下了很深的印象，英伟达的产品确实很棒。 但问题的关键是，他们最终能卖出多少芯片？我认为，目前的芯片销售全靠市场投机，大家都在赌，我稍后再说说其他人的看法。所有人都在投机，认为这类芯片的需求会无限大，而这种投机的底层逻辑，是相信这些 AI 模型最终能实现 AGI。真正的 AGI 能完成人类能做的所有事，其商业价值不可估量，每年创造数万亿美元的价值都有可能。但《华盛顿邮报》几天前报道了一项一个月前完成的研究，研究显示，人类日常的工作中，只有 2.5%的工作能真正由 AI 系统完成。所以人们幻想中 AI 能完成的大部分工作，其实它都做不到，也根本做不好。这就意味着，最终所有在芯片上的投资，都会变得毫无意义。 而在这些企业里，OpenAI 可能是最脆弱的那个。OpenAI 有超过一万亿美元的未兑现承诺，却从未实现过盈利，如今又身处一个产品高度同质化的市场。它最大的竞争对手谷歌已经迎头赶上，甚至可以说实现了反超，还拿下了和苹果的合作大单，这可是笔大生意。所以我觉得 OpenAI 现在已经手忙脚乱了，实在看不出它的估值有任何合理性。 Steve Eisman：对我所在的投资圈来说，如果投资人开始从 OpenAI 撤资，而它又融不到新的资金，那会给整个生态系统带来连锁反应。 Gary Marcus：没错，这正是我认为即将发生的事。我觉得最终 OpenAI 可能会被微软这样的企业收购。我这几年一直说，OpenAI 最终会成为 AI 领域的 WeWork。未来人们都会疑惑，它当初怎么会有那么高的估值，这完全不合逻辑。OpenAI 的年收入只有几十亿美元，却每个月亏损数十亿美元，还有众多竞争对手，这样的企业根本撑不下去。如果投资人撤资，或者不再继续注资，OpenAI 就会陷入巨大的危机。它每个月的亏损大概有 30 亿美元，一年就是 300 多亿美元，即便最近完成了 400 亿美元的融资，也只够支撑一年的运营。 Steve Eisman：没错，也就一年的时间。 Gary Marcus：而且现在很多人都在持观望态度，他们会觉得，谷歌才是更适合这场竞争的玩家，毕竟谷歌已经追上来了。如果这场竞争只拼规模，那赢家必然是谷歌，这是毋庸置疑的。谷歌有能力做出巨额投入，甚至根本不需要英伟达的芯片，因为他们自研了张量处理单元，能实现类似的功能，所以谷歌的抗风险能力更强。他们有稳定的财务支撑，最终一定会赢。 Steve Eisman：没错。 Gary Marcus：只要有一部分人意识到，OpenAI 想要活下去，需要的资金量是天文数字，它的处境就会变得岌岌可危。它下一轮可能需要 1000 亿美元的融资，而全世界能拿出这么多钱的人，可能也就五个。就算其中四个愿意投资，只要有一个拒绝，就会出问题；而如果五个都拒绝，它要么倒闭，要么只能去找微软求救。“脱离世界模型做 AI，根本行不通”Steve Eisman：Gary，在我们结束访谈前，还有什么我该问却没问的问题吗？ Gary Marcus：我觉得这次访谈特别棒。要说还有什么重要的点没聊到，那应该就是“世界模型”这个概念。 Steve Eisman：没错，我本来也想聊这个。你一直说我们需要构建世界模型，这个概念完全超出了我的专业领域，不如你给大家解释一下，到底什么是世界模型？ Gary Marcus：不同的人对世界模型有不同的定义，简单来说，它就是在计算机系统中，构建一个能表征外部现实世界的体系。我说说我认为我们需要的世界模型是什么样的：软件内部需要有一个结构，能对应现实世界中的各种事物。比如导航系统的世界模型，需要能表征道路的分布、连接方式，以及不同路段的通行时间。在传统的 AI 领域，世界模型是研发的起点，所有的研究都基于此，没人会想过脱离世界模型做研发。Herbert Alexander Simon 是上世纪 50 年代 AI 的奠基人之一，他写过一本自传叫《Models of My Life》，他一生都在研究各类模型和世界模型，并且认为，做好 AI 的关键就是构建正确的世界模型。 而大语言模型却试图脱离世界模型运作。构建一个针对特定事物的世界模型，尤其是复杂事物，需要付出巨大的努力。比如过去研发专家系统时，研究者需要构建能模拟医生思考方式的模型，能表征病人身体机能、生理结构的模型，这个过程非常繁琐。当时还有一个专门的领域叫知识工程，做这项工作成本极高，没人愿意做。大语言模型和其他类型的神经网络出现后，研发者宣称，不用再做这些繁琐的工作，只需要让系统从数据中自主学习就行。 但事实证明，这根本行不通。就像大语言模型会把出生在洛杉矶的 Harry Shearer 说成是伦敦人，原因就是它没有一个完善的世界模型，无法像设计精良的软件那样，精准调取正确的信息。所以我们必须在 AI 系统中融入世界模型，才能避免幻觉现象的发生。 Steve Eisman：我还是不太理解世界模型到底是什么。 Gary Marcus：用非专业的语言解释确实有难度，简单说，它就是对世界的一种表征，而且这个“世界”不一定是现实世界。比如我们对《星际迷航》《星球大战》《哈利·波特》这些虚构世界，也会有对应的世界模型。这也是人类和当前 AI 系统最本质的区别：当我们看一部电影、读一本书时，会在脑海中构建出这个世界的运行规则，并且能判断情节是否符合这个世界的逻辑，会不会有不合理的设定。比如看了《哈利·波特》，我们会知道里面的人能骑着扫帚飞，但不会把这个设定和现实世界混淆，不会回家后跳上扫帚就想从窗户飞出去。 人类能快速构建并同时掌握多个世界模型，就算看一部新的科幻剧，20 分钟左右就能理解这个全新世界的规则，这是人类的天赋。但在 AI 领域，无论是传统的符号式 AI，还是现在的大语言模型，都做不到这一点。传统 AI 的优势是可以人工构建世界模型，你可以雇一群学者花六周时间，把一个问题的相关规则梳理清楚，构建成模型。最近离世的顶级研究者 Doug Lenat 就做过这样的研究，他为《罗密欧与朱丽叶》构建了世界模型，他的系统能真正理解这部剧的关键情节，而非从网上的读书笔记中获取二手信息，表现非常惊艳。但问题是，我们不知道该如何让传统 AI 自主学习、构建世界模型。而大语言模型则完全做不到构建世界模型，只是在假装自己能做到。 我有个很经典的例子，就算用整个互联网的内容训练大语言模型，让它接触海量的国际象棋规则和对局记录，它依然会走出违规的棋步，因为它从未真正抽象出国际象棋的运行逻辑。这一点就足以说明问题了。试想一下，一个人看了一百万盘象棋对局，读了维基百科、象棋网站上的所有规则，还看了 Robert James Fischer 的象棋著作，不可能连基本的棋规都掌握不了，但 AI 就是做不到。 所以我们需要研发能自主归纳出世界模型的 AI 系统，这类系统能从数据中挖掘因果规律，识别其中的核心要素。这是一个难题，不是说有人明天回家鼓捣一下就能解决的。长期以来，无论是传统 AI 还是大语言模型，都在回避这个问题，而现在，我们必须直面它。 Steve Eisman：看来这需要很长的时间来研究。 Gary Marcus：确实需要很久。我想说的是，AI 确实会以我们难以想象的方式改变世界，但绝不是现在，靠当下的这项技术根本做不到。我们需要把这一点考虑进去，做出合理的投资决策。现在的问题是，我们到底是在投资基础研究，还是在为一项已经成熟的技术做规模化投入？答案显然是后者。而当下的市场，大多是在投机，赌那些目前行不通的技术，只要做得更大，就能凭空实现突破。 但事实上，单纯的规模化根本解决不了这些核心问题，我们真正需要的是扎实的基础研究。这是我过去五年一直强调的观点，也是 SSG 在去年 11 月提出的观点，而 Ilya Sutskever 也表达了类似的看法。当我们这些背景截然不同的人，都达成了这样的共识，行业内的人其实应该认真听一听。 参考链接：https://www.youtube.com/watch?v=aI7XknJJC5Q
本文的目标是解释为什么现代LLM架构在前馈部分使用SwiGLU作为激活函数并且已经放弃了ReLU。神经网络本质上是一系列矩阵乘法，如果我们堆叠线性层而不使用任何激活函数：无论你堆叠多少层，它仍然只是一个线性变换，网络只能学习线性关系。激活函数引入了非线性，使网络能够逼近复杂的非线性函数，这是深度学习表达能力的基础。ReLU有什么问题？ReLU确实彻底改变了深度学习：它简单、快速，并且解决了sigmoid或tanh等函数存在的梯度消失等问题。虽然人们通常会列出使用ReLU时可能遇到的问题，比如神经元死亡等等，但这些问题要么是理论上的，要么在大多数情况下可以通过现代神经网络技术（批量归一化、自适应学习权重等）很好的避免。不过在进入SwiGLU之前，我们先来看一个激活函数 Swish，它是 SwiGLU 的组成部分。Swish是一个"自门控"激活函数：输入 (x) 乘以其自身的sigmoid σ(x)，它充当一个门，控制有多少输入能够通过。看看门的行为：当x非常负时：σ(x) ≈ 0，所以门是关闭的（抑制输出）当x非常正时：σ(x) ≈ 1，所以门是完全打开的（几乎原样通过输入）尽管公式稍微复杂一些，Swish的行为与ReLU非常相似。Swish比ReLU更好吗？Swish被发现比ReLU效果更好，但就像深度学习中的许多事情一样我们并不确切知道为什么Swish效果更好，不过倒是可以总结出以下的区别：没有硬梯度截断看上面的图，主要区别就是它们如何处理负输入：ReLU：在零处硬截断当x<0时：输出 = 0 且 梯度 = 0。这就是神经元死亡问题（尽管如前所述，通常可以通过BatchNorm等现代技术来避免）Swish：平滑、渐进地趋近于零对于负x：梯度渐近趋近于零，但对于有限值永远不会精确等于零/所以理论上神经元总是可以接收更新（尽管对于非常负的输入，更新可能可以忽略不计）平滑性ReLU在x=0处有不连续性（导数从0跳到1）。Swish在任何地方都是无限可微的，这意味着梯度景观是平滑的。这种平滑性是否有助于Swish的性能还不是100%清楚但它可能有助于优化什么是门控线性单元（GLU）？下面就是SwiGLU的另外一个组件。让我们来谈谈 GLU。其中：x是输入W 和 V 是权重矩阵b和c是偏置向量⊙ 是逐元素乘法σ 是sigmoid函数GLU使用门控机制在这方面与Swish有些相似。而它们区别在于GLU不是对所有特征应用相同的变换（恒等变换）然后用固定函数（sigmoid）进行门控，而是使用两个独立的线性投影：xW+ b 这只是取输入并对其进行变换。它通常被称为 内容路径σ(xV + c)：这第二部分说明每个特征的内容应该让多少通过，因此它被称为 门路径所以GLU实际上可以被认为是Swish` 的泛化逐元素乘法 ⊙ 允许门选择内容的哪些元素可以通过。当 σ(xV + c) 接近0时，门可以完全抑制某些特征，而当 σ(xV + c) 接近1时则完全让其他特征通过。门控的具体示例假设我们有一个4维向量 x = [1.0, -0.5, 2.0, 0.3]GLU对同一个输入应用2个变换：通过内容路径对内容进行变换：xW + b。假设它产生 [2.0, -1.5, 3.0, 0.5]1. 第2个变换应该扮演门的角色： σ(xV + c)。假设它产生 [0.9, 0.1, 0.95, 0.05]GLU输出是它们的逐元素乘积：GLU output = [2.0 × 0.9, -1.5 × 0.1, 3.0 × 0.95, 0.5 × 0.05] = [1.8, -0.15, 2.85, 0.025]得到的结果如下：特征1：内容为正（2.0），门值高（0.9）→ 强烈通过（1.8）特征2：内容为负（-1.5），门值低（0.1）→ 被阻挡（-0.15）特征3：内容为正（3.0），门值非常高（0.95）→ 完全通过（2.85）特征4：内容较小（0.5），门值非常低（0.05）→ 被抑制（0.025）这样网络学习了复杂的决策规则："对于像x这样的输入，放大特征1和3，但抑制特征2和4。"那么SwiGLU是什么？现在我们有了所有的组成部分，SwiGLU（Swish门控线性单元）简单地结合了Swish和GLU：它不是像GLU那样使用sigmoid作为门，而是使用Swish。这就是为什么它被称为 Swish + GLU。那么公式的每个部分做什么呢？这与GLU的逻辑完全相同，改变的只是门控函数。Swish(xW)：门——决定每个特征有多少可以通过xV：内容——正在传输的实际信息⊙：逐元素乘法——将门应用于内容为什么SwiGLU效果这么好？从经验上看，SwiGLU在LLM中优于其他激活函数（尽管目前还不确定VLM的情况）。但为什么呢？乘法交互创建特征组合考虑每种架构计算的内容：标准FFN（ReLU/GELU）：output = activation(xW₁) @ W₂每个输出维度是激活特征的加权和，激活是逐元素应用的——特征在激活内部不会相互交互。SwiGLU FFN：output = (Swish(xW) ⊙ xV) @ W₂逐元素乘法 ⊙ 在两条路径之间创建乘积。如果我们用 g = Swish(xW) 和 c = xV 表示，那么在最终投影之前的输出维度 i 是 gᵢ × cᵢ。这就是为什么这很重要：gᵢ 和 cᵢ 都是输入特征的线性组合（在Swish之前）。它们的乘积包含像 xⱼ × xₖ 这样的交叉项。网络可以学习 W 和 V，使得某些输入特征组合被放大或抑制。这类似于为什么注意力机制很强大，注意力计算 softmax(QKᵀ)V，其中 QKᵀ 乘积捕获查询和键特征之间的交互。SwiGLU为FFN带来了类似的乘法表达能力。为什么不在门中使用sigmoid而是使用Swish？GLU使用sigmoid：σ(xW) ⊙ xV。sigmoid的问题在于它会饱和。对于大的正或负输入，σ(x) ≈ 1 或 σ(x) ≈ 0，且梯度 ∂σ/∂x ≈ 0，门就会被“冻结”了。Swish对于正输入不会饱和，它近似线性增长（就像ReLU）。这意味着：- 梯度通过门路径流动得更好 - 门可以调节而不仅仅是开/关切换平滑性另外就是SwiGLU是无限可微的，这种平滑性可能有助于优化稳定性。总结SwiGLU的强大来自于其门控机制和乘法交互。通过将输入分成两条路径并将它们相乘，网络可以学习哪些特征组合是重要的——类似于注意力机制如何通过 QKᵀ捕获交互。结合Swish的非饱和梯度，这使得SwiGLU对于大型模型特别有效。https://avoid.overfit.cn/post/3fa28c75fb0b4874aa297defa145ec4a作者：Safouane Chergui
刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家0%展开列表刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家今天腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍今天DeepSeek连发两篇论文背后，原来藏着一场学术接力今天仅需一个混频器的无线射频机器学习推理，登上Science Advances！今天国内首个可复现！萝博派对公开人形机器人 “从 0 到跑” 全开源方案01月15日联发科天玑9500s、8500发布：GPU、光追拉满，红米Turbo 5Max将搭载01月15日通用级PixVerse P1的技术突破，揣着进入平行世界的密码01月15日Mira公司内乱？CTO被开除，带团队回OpenAI，翁荔上推发言01月15日Nature丨清华等团队揭示AI科研双重效应：个人效率亦或是科学边界01月15日刚刚，喝到了千问APP给我点的奶茶01月15日人脸机器人登上Science Robotics封面：用AI教会仿生人脸机器人「开口说话」01月15日实测夸克「千问划词快捷指令」，这7个邪修Prompt，建议收藏01月15日已证实！清华姚班陈立杰全职加入OpenAI，保留伯克利教职01月15日解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估01月15日5分钟定制一个AI采购专家：讯飞发布“招采智能体工厂”，重新定义行业开发范式01月15日Agent时代，为什么多模态数据湖是必选项？01月15日大模型长脑子了？研究发现LLM中层会自发模拟人脑进化01月15日性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家刚刚，Geoffrey Hinton 正式成为历史上第二位 Google Scholar 引用量突破 100 万大关的计算机科学家。在他之前，只有他的老搭档、另一位「深度学习教父」Yoshua Bengio 达成了这一成就。目前，Hinton 的引用量仍在以惊人的速度增长，每一次引用都代表着他对人工智能领域不可磨灭的贡献。从反向传播算法的推广到 AlexNet 的惊艳问世，从获得图灵奖到斩获 2024 年诺贝尔物理学奖，Hinton 的职业生涯几乎就是一部现代 AI 的发展史。这一数字不仅是学术影响力的量化，更是对这位 78 岁长者一生执着探索的最高致敬。Geoffrey Hinton：来自学术世家的「教父」童年Geoffrey Everest Hinton，1947 年 12 月 6 日出生于英国伦敦的一个学术世家。他的中间名「Everest」来自他的叔祖父，也就是以其名字命名珠穆朗玛峰英文名的 George Everest。他的家族星光熠熠，曾祖父是布尔逻辑的创始人 George Boole，表姑是参与曼哈顿计划的核物理学家 Joan Hinton（寒春）。生在这样的家庭，压力与荣耀并存。Hinton 的母亲曾给他下过一道温和却严厉的「最后通牒」：「要么做个学者，要么就是个失败者（Be an academic or be a failure）」。这种高期待或许解释了他日后对学术的极致追求。他的童年充满了像电影《天才一族》般古怪而硬核的色彩。家里养过猫鼬，车库的坑里甚至养着毒蛇。8 岁那年，Hinton 曾挥舞着手帕逗弄坑里的毒蛇，结果一条蛇猛地扑向他的手，仅差一英寸就咬中了他，差点让他丧命。 8 岁的 Hinton 搂着一条蟒蛇家族的轶事甚至还涉及到了加拿大政坛。1961 年，他的父亲访华时带回了一打中国乌龟。在旅途中，老 Hinton 与未来的加拿大总理皮埃尔・特鲁多（Pierre Trudeau）住同一间酒店房间。据说老 Hinton 把乌龟都养在了浴缸里，导致特鲁多根本没法洗澡。求学之路然而，这位天才的学术之路并非一片坦途，但他对世界本质的好奇心早在 4 岁时就已萌芽。那时，他在一辆乡村巴士上发现了一个奇怪的现象：当巴士急刹车时，座位上的硬币并没有顺着惯性向前滑，而是反直觉地向后移动。这个违反物理常识的现象困扰了他整整十年，直到后来他才明白这是座位绒毛角度与振动共同作用的结果。对此，他曾说道：「有些人可以接受自己不理解的事物，但我不行。我无法接受有什么东西违反了我对世界的认知模型。」这种对「理解世界运作方式」的执念贯穿了他的求学生涯。在剑桥大学国王学院期间，他曾在物理学、哲学和心理学之间反复横跳。毕业后，在迷茫中他甚至曾短暂地做过一段时间的木匠。在攻读博士学位期间，由于神经网络在当时不被看好，他一度陷入抑郁和自我怀疑。在一个类似心理治疗的研讨会上，当其他人都在大喊「我想要被爱」来释放情感时，Hinton 憋了半天，最终吼出了心底最深层的渴望：「我真正想要的是一个博士学位！（What I really want is a PhD!）」。带着这股执拗，他在爱丁堡大学获得了人工智能博士学位，正式开启了他在神经网络荒原上的长征。 31 岁的 Hinton 与他的博士后同学 Chris Riesbeck北上加拿大在 70 年代和 80 年代，当 AI 领域被符号主义主导时，Hinton 就像一个孤独的异类。由于对罗纳德・里根时代美国国防部主导的军事资助感到失望，他做出了一个改变人生轨迹的决定：离开美国，北上加拿大。除了政治原因，这背后还有一个鲜为人知的温情理由：当时他和妻子计划收养一对来自南美洲的儿女。他不希望在一个当时正暴力干涉拉美事务的国家抚养这些孩子。于是，他在多伦多大学扎根，在那里数十年如一日地在神经网络的「荒原」上耕耘，这也为后来加拿大成为全球 AI 重镇埋下了伏笔。学术成就Geoffrey Hinton 最著名的成就之一是与 David Rumelhart 和 Ronald Williams 共同发表了关于反向传播（Backpropagation）的论文，解决了多层神经网络的训练难题，为后来深度学习的爆发埋下了伏笔。但他的贡献远不止于此：玻尔兹曼机（Boltzmann Machine）与受限玻尔兹曼机（RBM）：为无监督学习和特征表示学习奠定了基础，可用于生成模型和预训练神经网络。深度信念网络（DBN）：在 2006 年提出，通过逐层贪心训练方法有效训练深度神经网络，点燃了深度学习复兴的火种。Dropout：一种简单而高效的正则化技术，通过随机「丢弃」神经元防止过拟合，成为大型神经网络训练的标准做法。t-SNE：一种高维数据可视化技术，用于将复杂数据嵌入低维空间，广泛用于理解深度学习特征表示。分布式表示（Distributed Representations）：强调分布式特征编码在学习系统中的重要性。胶囊网络（Capsule Networks）：提出对卷积神经网络中空间关系处理不足的问题的一种改进，通过「胶囊」表示和动态路由机制增强特征层次感知。混合专家模型（MoE）：通过多个子网络（专家）协同工作并由路由器选择性激活，提高模型容量与计算效率，成为大规模模型的重要设计思路。知识蒸馏（Knowledge Distillation）：提出将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型），在保证性能的同时降低计算成本。层归一化（Layer Normalization）：改进深度网络训练稳定性和收敛速度的技术，对自然语言处理模型尤其重要。深度生成模型与概率图模型：在生成模型领域提出了多种创新方法，为后续的变分自编码器（VAE）和生成对抗网络（GAN）奠定了理论基础。AlexNet 与 ImageNet 变革： 他与学生 Alex Krizhevsky、Ilya Sutskever 共同推出了 AlexNet，在 ImageNet 竞赛中以绝对优势夺冠。这被公认为深度学习时代的「大爆炸」时刻，证明了深层卷积神经网络在海量数据和 GPU 算力下的统治力。Forward-Forward Algorithm（前向 - 前向算法，2022）： 这是他在职业生涯后期对反向传播生物学合理性的反思与挑战，提出了一种更接近人脑运作机制的学习替代方案。2018 年，他与 Yoshua Bengio 和 Yann LeCun 共同获得了计算机领域的最高荣誉：图灵奖。这三人也常被称为「深度学习三巨头」。值得注意的是，这三位图灵奖得主也是 Hinton 引用量第二高的论文《Deep learning》的共同作者。该论文于 2015 年 5 月发表于 Nature，十年时间已经收获了超过 10 万引用量。其中系统总结了深度学习的发展历程、基本原理、关键算法（例如多层表征学习、反向传播、卷积神经网络和循环神经网络）以及其在语音识别、视觉识别、目标检测、基因组学等领域的广泛应用，标志着深度学习从学术探索迈向应用驱动的成熟阶段，被公认为推动该领域走向主流的里程碑性工作。2024 年，Hinton 与 John Hopfield 共同获得了诺贝尔物理学奖，以表彰他们「实现了利用人工神经网络进行机器学习的奠基性发现和发明」。参阅报道《刚刚，2024 诺贝尔物理学奖授予 Geoffrey Hinton、John Hopfield》。冷静的警示者然而，这位「AI 教父」在晚年却不仅是一位技术布道者，更成为了一位冷静的警示者。2023 年 5 月，他从工作了十年的谷歌离职，只为能「自由地谈论 AI 的风险」。他曾表示：「我想我现在对自己毕生的工作有一部分感到后悔。」他担忧数字智能可能会演变成一种比人类更优越的智能形式，并可能因缺乏控制而对人类构成生存威胁。他警告说：「如果你想知道不再是处于食物链顶端的智慧生物是什么感觉，去问问鸡就知道了。」Alex Krizhevsky 与 Ilya Sutskever在 Hinton 浩如烟海的著作中，引用量最高的一篇无疑是 2012 年发表在 NeurIPS 上的奠基之作：《ImageNet classification with deep convolutional neural networks》。这篇论文目前的引用量已超过 18 万次（可能仅次于引用量近 30 万的 ResNet 论文和引用量超过 20 万的 Transformer 论文），它不仅标志着深度学习时代的正式开启，也让两位共同作者的名字响彻云霄：Alex Krizhevsky 和 Ilya Sutskever。作为 Hinton 的两名得意门生，他们在那间多伦多大学的实验室里，共同推开了 AI 新世界的大门。 Alex Krizhevsky 与 Ilya Sutskever 是 Geoffrey Hinton 引用量最高的论文的第一和第二作者。Alex Krizhevsky：低调的隐士天才作为那篇传奇论文的第一作者，Alex Krizhevsky 是 AlexNet 的主要构建者。正是他编写了关键的 CUDA 代码，让神经网络得以在两块 GeForce GPU 上高效训练，从而在 2012 年的 ImageNet 挑战赛上以惊人的 10.8% 优势碾压第二名，一举震惊世界。然而，与他在学术界的赫赫声名形成鲜明对比的是他极度低调的性格。Alex 出生于乌克兰，成长于加拿大。他被很多同行描述为一位「纯粹的工程师」，拥有极深的技术洞察力。在谷歌工作了数年后，他于 2017 年离职，理由是「对工作失去了兴趣」。此后，他加入了初创公司 Dessa，随后又逐渐淡出公众视野。据悉，他目前可能已处于半退休状态，享受着徒步旅行的乐趣。在科技圈追逐名利的热潮中，Alex Krizhevsky 就像一位事了拂衣去的隐士。尽管 AlexNet 如今在技术上已被更新的模型取代，但正如一位评论者所言：「没有他，就没有今天的 ChatGPT，没有便捷的 3A 大作，也没有先进的医学影像分析。」Ilya Sutskever：执着的 AI 愿景者如果说 Alex 是低调的技术天才，那么该论文的第二作者 Ilya Sutskever 则是充满使命感的 AI 领袖。Ilya 同样出生于前苏联（俄罗斯），并在以色列和加拿大长大。在多伦多大学期间，他与 Hinton 和 Alex 共同缔造了 AlexNet 的辉煌。随后，他在 Google Brain 参与了序列到序列（Seq2Seq）学习算法和 TensorFlow 的开发，并是 AlphaGo 论文的众多作者之一。2015 年，Ilya 离开谷歌，作为联合创始人兼首席科学家创办了 OpenAI。他是 ChatGPT 和 GPT-4 诞生的关键人物，被誉为能够「通过直觉看到深度学习未来」的人。然而，他对 AI 安全的关注也日益加深。2023 年，他曾主导了 OpenAI 董事会罢免 Sam Altman 的风波，理由是「沟通不坦诚」，尽管后来 Altman 复职，Ilya 对 AI 对齐（Alignment）和安全超级智能（SSI）的执着从未改变。2024 年，Ilya 成立了新公司 Safe Superintelligence Inc. (SSI)，并为其筹集了 10 亿美元资金。与商业化气息浓厚的硅谷公司不同，SSI 宣称其「第一个产品将是安全的超级智能，在此之前不会做任何其他事情」。结语Geoffrey Hinton 引用量突破百万，不仅是他个人学术生涯的高光时刻，也是 Alex Krizhevsky 和 Ilya Sutskever 等一代 AI 杰出人才共同奋斗的缩影。从 Alex 编写的那行 CUDA 代码，到 Ilya 对通用人工智能（AGI）的深邃构想，再到 Hinton 对神经网络半个世纪的坚守与晚年的忧思，这一里程碑背后，是人类探索智能本质的波澜壮阔的历史。今天，我们致敬 Hinton，也致敬所有为这一刻铺路的研究者。参考链接https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=enhttps://www.youtube.com/watch?v=giT0ytynSqghttps://www.britannica.com/biography/Geoffrey-Hintonhttps://www.nobelprize.org/prizes/physics/2024/hinton/podcast/https://torontolife.com/life/ai-superstars-google-facebook-apple-studied-guy/https://yiqinfu.github.io/posts/hinton-intellectual-dynasty/
大模型长脑子了？研究发现LLM中层会自发模拟人脑进化 ｜
大模型长脑子了？研究发现LLM中层会自发模拟人脑进化0%展开列表大模型长脑子了？研究发现LLM中层会自发模拟人脑进化今天性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统01月14日仅用10天？Anthropic最新智能体Cowork的代码竟然都是Claude写的01月14日AAAI 2026｜AP2O-Coder 让大模型拥有「错题本」，像人类一样按题型高效刷题01月14日用AI从常规病理切片重建空间蛋白图谱：基于H&E图像的高维蛋白质表达预测01月14日京东首届AI影视创作大赛启动 最高奖金10万元邀全民共创AI视频01月14日合合信息多模态文本智能产品“上新”，覆盖AI教育、AI健康、AI Infra多元场景01月14日500万次围观，1X把「世界模型」真正用在了机器人NEO身上01月14日跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述01月14日百川开源全球最强医疗大模型M3，「严肃问诊」定义AI医疗新能力01月14日相约AAAI 2026 | 上海AI实验室北极星 X 星启交流会（报名开启）01月13日视觉模型既懂语义，又能还原细节，南洋理工&商汤提出棱镜假说01月13日无需重新训练，即可学习新任务，Arc研究所开源单细胞基础模型Stack及细胞反应全景图谱01月13日不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？01月13日OpenAI的首款硬件：是AI耳机，今年销量要冲5000万01月13日华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能01月13日大模型中标TOP10里的黑马：中关村科金的应用攻坚之道01月13日大模型长脑子了？研究发现LLM中层会自发模拟人脑进化生物智能与人工智能的演化路径截然不同，但它们是否遵循某些共同的计算原理？最近，来自帝国理工学院、华为诺亚方舟实验室等机构的研究人员发表了一篇新论文。该研究指出，大型语言模型（LLM）在学习过程中会自发演化出一种协同核心（Synergistic Core）结构，有些类似于生物的大脑。论文标题：A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning论文地址：https://arxiv.org/abs/2601.06851研究团队利用部分信息分解（Partial Information Decomposition, PID）框架，对 Gemma、Llama、Qwen 和 DeepSeek 等模型进行了深度剖析。他们发现，这些模型的中层表现出极强的协同处理能力，而底层和顶层则更偏向于冗余处理。协同与冗余：LLM 的内部架构研究团队将大型语言模型视为分布式信息处理系统，其核心实验设计旨在量化模型内部组件之间交互的本质。为了实现这一目标，研究者选取了 Gemma 3、Llama 3、Qwen 3 8B 以及 DeepSeek V2 Lite Chat 等多种具有代表性的模型系列进行对比分析。实验方法与量化指标在实验过程中，研究者向模型输入了涵盖语法纠错、逻辑推理、常识问答等 6 个类别的认知任务提示词。针对每一个提示词，模型会生成一段 100 个 Token 的回答，实验设备则同步记录下每一层中所有注意力头或专家模块的激活值。具体而言，研究人员计算了这些输出向量的 L2 范数，以此作为该单元在特定时间步的激活强度数据。基于这些时间序列数据，研究团队应用了整合信息分解（Integrated Information Decomposition, ID）框架。这一框架能够将注意力头对之间的交互分解为「持续性协同」和「持续性冗余」等不同原子项。通过对所有注意力头对的协同值和冗余值进行排名并求差，研究者得到了一个关键指标：协同-冗余秩（Synergy-Redundancy Rank）。该指标能够清晰地标示出模型组件在处理信息时，究竟是倾向于进行独立的信号聚合，还是在进行跨单元的深度集成。跨模型的空间分布规律实验数据揭示了一个在不同架构模型中高度一致的空间组织规律。在归一化后的模型层深图中，协同分布呈现出显著的「倒 U 型」曲线 ：冗余外周（Redundant Periphery）：模型的早期层（靠近输入端）和末期层（靠近输出端）表现出极低的协同秩，信息处理以冗余模式为主。在早期层，这反映了模型在进行基本的解词元化（Detokenization）和局部特征提取；而在末期层，则对应着 Token 预测和输出格式化的过程。协同核心（Synergistic Core）：模型的中层则展现出极高的协同秩，形成了核心处理区。例如，在对 Gemma 3 4B 的热图分析中，中间层的注意力头之间表现出密集且强烈的协同交互，这正是模型进行高级语义集成和抽象推理的区域。架构差异与一致性值得注意的是，这种「协同核心」的涌现并不依赖于特定的技术实现。在 DeepSeek V2 Lite 模型中，研究者即使是以「专家模块」而非「注意力头」作为分析单位，依然观察到了相同的空间分布特征。这种跨架构的收敛性表明，协同处理可能是实现高级智能的一种计算必然，而非单纯的工程巧合。这种组织模式与人脑的生理结构形成了精确的映射：人脑的感官和运动区域同样表现出高冗余性，而负责复杂认知功能的联合皮层则处于高协同的「全局工作空间」中心。智能的涌现：学习驱动而非架构使然一个关键的问题在于：这种结构是 Transformer 架构自带的，还是通过学习习得的？研究人员通过分析 Pythia 1B 模型的训练过程发现，在随机初始化的网络中，这种「倒 U 型」的协同分布并不存在。随着训练步数的增加，这种组织架构才逐渐稳定形成。这意味着，协同核心是大模型获得能力的标志性产物。在拓扑性质上，协同核心具有极高的「全局效率」，有利于信息的快速集成；而冗余外周则表现出更强的「模块化」，适用于专门化处理。这种特征再次与人类大脑的网络架构形成了精确的平行关系。协同核心的功能验证为了验证协同核心是否真的驱动了模型行为，研究团队进行了两类干预实验：消融实验和微调实验。消融实验：研究发现，消融那些高协同性的节点，会导致模型出现灾难性的性能下降和行为背离，其影响远超随机消融或消融冗余节点。这证明协同核心是模型智能的核心驱动力。微调实验：在强化学习微调（RL FT）场景下，仅针对协同核心进行训练，获得的性能提升显著优于针对冗余核心或随机子集的训练。有趣的是，在监督微调（SFT）中这种差异并不明显。研究者认为，这反映了 RL 促进通用化而 SFT 更多倾向于记忆的特性。结语这项研究为大模型的可解释性开辟了新路径。它表明，我们可以从「自上而下」的信息论视角来理解模型，而不仅仅是「自下而上」地寻找特定的电路。对于 AI 领域，识别协同核心有助于设计更高效的压缩算法，或者通过更有针对性的参数更新来加速训练。对于神经科学，这提供了一种计算上的验证，预示着协同回路在强化学习和知识迁移中可能扮演着至关重要的角色。大模型虽然基于硅基芯片和反向传播算法，但在追求智能的过程中，它们似乎不约而同地走向了与生物大脑相似的组织模式。这种智能演化的趋同性，或许正是我们揭开通用智能奥秘的关键线索。更多详情请参阅原论文。