xiaohack's Blog - 神经网络
type: channel
link: https://blog.xiaohack.org/tag/e6b9b75b-4b37a8/
items: 烧 2 万亿美元却难用？Gary Marcus 狂喷 AI 赛道不靠谱：推理模型只是“模仿秀”，OpenAI 一年后倒闭？
items: 为什么所有主流LLM都使用SwiGLU？
items: 刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家 ｜
items: 大模型长脑子了？研究发现LLM中层会自发模拟人脑进化 ｜

烧 2 万亿美元却难用？Gary Marcus 狂喷 AI 赛道不靠谱：推理模型只是“模仿秀”，OpenAI 一年后倒闭？
type: item
date: 2026-01-27T11:33:59+08:00
description: 整理 | 华卫 “一圈又一圈的循环融资，投资回报率却不尽如人意，这些 AI 系统实际用起来也远没有想象中好用，或许方向本身就站不住脚。” 近日，知名 AI 专家、认知科学家 Gary Marcus 在一场访谈中愤愤表示，“整个世界都在全力押注神经网络，还在这个我始终觉得毫无道理的理念上投入了巨资，但大语言模型根本无法带我们抵达 AGI 这一终极目标。” 这场对话由曾因成功预测 2008 年金融危机而闻名的传奇投资人、华尔街最具影响力人物之一 Steve Eisman 发起，他与 Marcus 共同探讨了当下 AI 进展的方方面面，包括商业路径、社区现状和未来方向等。Marcus 认为，大语言模型已经达到了收益递减的阶段。并且，他指出，现在 AI 领域根本没有技术壁垒了，所有 AI 企业的研发思路基本一致。 对于大量人才从大厂离职去办初创公司的现象，Marcus 直言道，“如果 OpenAI 真的能在下周推出 AGI，谁会在这个即将改变世界的关键节点离职，去创办一家可能要花四年时间才能做出成果的小公司？显然没人会这么做，大家都会想留在公司见证这个时刻。”在他看来，这些企业内部的人也清楚，他们根本没有做出宣称的那种突破性成果。 值得一提的是，他认为，OpenAI 最终会成为 AI 领域的 WeWork，这家公司原本计划以 500 亿美元的巅峰估值风光上市、却在一夕之间破产。“我觉得最终 OpenAI 可能会被微软这样的企业收购。OpenAI 每个月的亏损大概有 30 亿美元，一年就是 300 多亿美元，即便最近完成了 400 亿美元的融资，也只够支撑一年的运营。” 谈及各家模型的未来，Marcus 的预测是，“大语言模型会成为一种标准化商品，各家的模型只会比上一年的版本稍有提升，差距微乎其微，最终品牌差异会变得无关紧要。当产品变成商品后，价格必然下跌。” 以下是详细对话内容，我们在不改变原意的基础上进行了翻译和删减，以飨读者。 2 万亿美元押注 Transformer，根本“毫无道理”？ Steve Eisman：大家好，我是 Steve Eisman。今天我们请到了一位特别的嘉宾，他就是 Gary Marcus。他是大语言模型的坚定质疑者，而大语言模型正是整个 AI 领域的核心根基。接下来，Gary 会和我们分享他的观点，聊聊大语言模型到底是什么。 Gary Marcus：谢谢你的邀请，也感谢一两个月前你在 CNBC 对我的盛赞。 Steve Eisman：不客气，这都是你应得的。在正式开始之前，我的观众大多还不了解你，不如先和大家说说你的背景，让大家知道你在这个领域发表观点是完全有底气的。 Gary Marcus：我这辈子几乎都在研究智能相关的问题。我 10 岁学会编程后，就开始涉足 AI 领域了。我的职业生涯中，很大一部分精力都用在研究自然智能上，比如人类的智能、还有孩子是如何学习语言这类问题。我在 MIT 的博士论文围绕两个方向展开，一个是儿童的语言学习机制，另一个就是神经网络。神经网络是 AI 领域的一种特定研究方法，也被用于人类思维的建模，它的设计灵感可以说和大脑有一点松散的关联。这其实是个很巧妙的营销说法，会让人觉得它是完全基于大脑研究的，但事实并非如此，二者只是浅层关联。早年间神经网络就曾风靡一时，我在上世纪 90 年代就研究过这类模型，发现它们并不能很好地模拟人类的思维方式，但我还是投入了大量精力，想弄清楚它们的实际工作原理。 2012 年深度学习重新兴起时，我当时就觉得，这些东西我早就研究过了，和我博士论文里的内容高度相似。我在 2001 年写过一本名为《The Algebraic Mind》的书，在书里我其实就预判到了如今大语言模型出现的幻觉问题，还有一些推理层面的缺陷，这些都是我们今天要探讨的话题。所以当深度学习再次成为热点时，我一眼就看出了其中的诸多问题，对我来说这些问题都很熟悉。2012 年，我在《The New Yorker》上发表了一篇文章，标题是《Is Deep Learning a Revolution in Artificial Intelligence?》，我在文中写道：“深度学习确实很有意思，我很佩服 Jeff Hinton，他能长期坚持自己的研究方向。” Steve Eisman：Jeff Hinton 是谁？ Gary Marcus：他是去年诺贝尔生理学或医学奖的得主，也是深度学习领域的核心奠基人之一。 Steve Eisman：原来如此。 Gary Marcus：他的一些学生，最近也开始认同我的观点了。Jeff Hinton 确实是这个领域的大人物，在神经网络一度无人问津的时期，是他一直坚守，这份坚持值得肯定。但当然，他的研究并非全无可议之处，我们这里就不细谈了。他让神经网络重获关注…

为什么所有主流LLM都使用SwiGLU？
type: item
date: 2026-01-18T22:04:41+08:00
description: 本文的目标是解释为什么现代LLM架构在前馈部分使用SwiGLU作为激活函数并且已经放弃了ReLU。神经网络本质上是一系列矩阵乘法，如果我们堆叠线性层而不使用任何激活函数：无论你堆叠多少层，它仍然只是一个线性变换，网络只能学习线性关系。激活函数引入了非线性，使网络能够逼近复杂的非线性函数，这是深度学习表达能力的基础。ReLU有什么问题？ReLU确实彻底改变了深度学习：它简单、快速，并且解决了sigmoid或tanh等函数存在的梯度消失等问题。虽然人们通常会列出使用ReLU时可能遇到的问题，比如神经元死亡等等，但这些问题要么是理论上的，要么在大多数情况下可以通过现代神经网络技术（批量归一化、自适应学习权重等）很好的避免。不过在进入SwiGLU之前，我们先来看一个激活函数 Swish，它是 SwiGLU 的组成部分。Swish是一个"自门控"激活函数：输入 (x) 乘以其自身的sigmoid σ(x)，它充当一个门，控制有多少输入能够通过。看看门的行为：当x非常负时：σ(x) ≈ 0，所以门是关闭的（抑制输出）当x非常正时：σ(x) ≈ 1，所以门是完全打开的（几乎原样通过输入）尽管公式稍微复杂一些，Swish的行为与ReLU非常相似。Swish比ReLU更好吗？Swish被发现比ReLU效果更好，但就像深度学习中的许多事情一样我们并不确切知道为什么Swish效果更好，不过倒是可以总结出以下的区别：没有硬梯度截断看上面的图，主要区别就是它们如何处理负输入：ReLU：在零处硬截断当x<0时：输出 = 0 且 梯度 = 0。这就是神经元死亡问题（尽管如前所述，通常可以通过BatchNorm等现代技术来避免）Swish：平滑、渐进地趋近于零对于负x：梯度渐近趋近于零，但对于有限值永远不会精确等于零/所以理论上神经元总是可以接收更新（尽管对于非常负的输入，更新可能可以忽略不计）平滑性ReLU在x=0处有不连续性（导数从0跳到1）。Swish在任何地方都是无限可微的，这意味着梯度景观是平滑的。这种平滑性是否有助于Swish的性能还不是100%清楚但它可能有助于优化什么是门控线性单元（GLU）？下面就是SwiGLU的另外一个组件。让我们来谈谈 GLU。其中：x是输入W 和 V 是权重矩阵b和c是偏置向量⊙ 是逐元素乘法σ 是sigmoid函数GLU使用门控机制在这方面与Swish有些相似。而它们区别在于GLU不是对所有特征应用相同的变换（恒等变换）然后用固定函数（sigmoid）进行门控，而是使用两个独立的线性投影：xW+ b 这只是取输入并对其进行变换。它通常被称为 内容路径σ(xV + c)：这第二部分说明每个特征的内容应该让多少通过，因此它被称为 门路径所以GLU实际上可以被认为是Swish` 的泛化逐元素乘法 ⊙ 允许门选择内容的哪些元素可以通过。当 σ(xV + c) 接近0时，门可以完全抑制某些特征，而当 σ(xV + c) 接近1时则完全让其他特征通过。门控的具体示例假设我们有一个4维向量 x = [1.0, -0.5, 2.0, 0.3]GLU对同一个输入应用2个变换：通过内容路径对内容进行变换：xW + b。假设它产生 [2.0, -1.5, 3.0, 0.5]1. 第2个变换应该扮演门的角色： σ(xV + c)。假设它产生 [0.9, 0.1, 0.95, 0.05]GLU输出是它们的逐元素乘积：GLU output = [2.0 × 0.9, -1.5 × 0.1, 3.0 × 0.95, 0.5 × 0.05] = [1.8, -0.15, 2.85, 0.025]得到的结果如下：特征1：内容为正（2.0），门值高（0.9）→ 强烈通过（1.8）特征2：内容为负（-1.5），门值低（0.1）→ 被阻挡（-0.15）特征3：内容为正（3.0），门值非常高（0.95）→ 完全通过（2.85）特征4：内容较小（0.5），门值非常低（0.05）→ 被抑制（0.025）这样网络学习了复杂的决策规则："对于像x这样的输入，放大特征1和3，但抑制特征2和4。"那么SwiGLU是什么？现在我们有了所有的组成部分，SwiGLU（Swish门控线性单元）简单地结合了Swish和GLU：它不是像GLU那样使用sigmoid作为门，而是使用Swish。这就是为什么它被称为 Swish + GLU。那么公式的每个部分做什么呢？这与GLU的逻辑完全相同，改变的只是门控函数。Swish(xW)：门——决定每个特征有多少可以通过xV：内容——正在传输的实际信息⊙：逐元素乘法——将门应用于内容为什么SwiGLU效果这么好？从经验上看，SwiGLU在LLM中优于其他激活函数（尽管目前还不确定VLM的情况）。但为什么呢？乘法交互创建特征组合考虑每种架构计算…

刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家 ｜
type: item
date: 2026-01-16T10:34:04+08:00
description: 刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家0%展开列表刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家今天腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍今天DeepSeek连发两篇论文背后，原来藏着一场学术接力今天仅需一个混频器的无线射频机器学习推理，登上Science Advances！今天国内首个可复现！萝博派对公开人形机器人 “从 0 到跑” 全开源方案01月15日联发科天玑9500s、8500发布：GPU、光追拉满，红米Turbo 5Max将搭载01月15日通用级PixVerse P1的技术突破，揣着进入平行世界的密码01月15日Mira公司内乱？CTO被开除，带团队回OpenAI，翁荔上推发言01月15日Nature丨清华等团队揭示AI科研双重效应：个人效率亦或是科学边界01月15日刚刚，喝到了千问APP给我点的奶茶01月15日人脸机器人登上Science Robotics封面：用AI教会仿生人脸机器人「开口说话」01月15日实测夸克「千问划词快捷指令」，这7个邪修Prompt，建议收藏01月15日已证实！清华姚班陈立杰全职加入OpenAI，保留伯克利教职01月15日解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估01月15日5分钟定制一个AI采购专家：讯飞发布“招采智能体工厂”，重新定义行业开发范式01月15日Agent时代，为什么多模态数据湖是必选项？01月15日大模型长脑子了？研究发现LLM中层会自发模拟人脑进化01月15日性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家刚刚，Geoffrey Hinton 正式成为历史上第二位 Google Scholar 引用量突破 100 万大关的计算机科学家。在他之前，只有他的老搭档、另一位「深度学习教父」Yoshua Bengio 达成了这一成就。目前，Hinton 的引用量仍在以惊人的速度增长，每一次引用都代表着他对人工智能领域不可磨灭的贡献。从反向传播算法的推广到 AlexNet 的惊艳问世，从获得图灵奖到斩获 2024 年诺贝尔物理学奖，Hinton 的职业生涯几乎就是一部现代 AI 的发展史。这一数字不仅是学术影响力的量化，更是对这位 78 岁长者一生执着探索的最高致敬。Geoffrey Hinton：来自学术世家的「教父」童年Geoffrey Everest Hinton，1947 年 12 月 6 日出生于英国伦敦的一个学术世家。他的中间名「Everest」来自他的叔祖父，也就是以其名字命名珠穆朗玛峰英文名的 George Everest。他的家族星光熠熠，曾祖父是布尔逻辑的创始人 George Boole，表姑是参与曼哈顿计划的核物理学家 Joan Hinton（寒春）。生在这样的家庭，压力与荣耀并存。Hinton 的母亲曾给他下过一道温和却严厉的「最后通牒」：「要么做个学者，要么就是个失败者（Be an academic or be a failure）」。这种高期待或许解释了他日后对学术的极致追求。他的童年充满了像电影《天才一族》般古怪而硬核的色彩。家里养过猫鼬，车库的坑里甚至养着毒蛇。8 岁那年，Hinton 曾挥舞着手帕逗弄坑里的毒蛇，结果一条蛇猛地扑向他的手，仅差一英寸就咬中了他，差点让他丧命。 8 岁的 Hinton 搂着一条蟒蛇家族的轶事甚至还涉及到了加拿大政坛。1961 年，他的父亲访华时带回了一打中国乌龟。在旅途中，老 Hinton 与未来的加拿大总理皮埃尔・特鲁多（Pierre Trudeau）住同一间酒店房间。据说老 Hinton 把乌龟都养在了浴缸里，导致特鲁多根本没法洗澡。求学之路然而，这位天才的学术之路并非一片坦途，但他对世界本质的好奇心早在 4 岁时就已萌芽。那时，他在一辆乡村巴士上发现了一个奇怪的现象：当巴士急刹车时，座位上的硬币并没有顺着惯性向前滑，而是反直觉地向后移动。这个违反物理常识的现象困扰了他整整十年，直到后来他才明白这是座位绒毛角度与振动共同作用的结果。对此，他曾说道：「有些人可以接受自己不理解的事物，但我不行。我无法接受有什么东西违反了我对世界的认知模型。」这种对「理解世界运作方式」的执念贯穿了他的求学生涯。在剑桥大学国王学院期间，他曾在物理学、哲学和心理学之间反复横跳。毕业后，在迷茫中他甚至曾短暂地做过一…

大模型长脑子了？研究发现LLM中层会自发模拟人脑进化 ｜
type: item
date: 2026-01-15T09:53:49+08:00
description: 大模型长脑子了？研究发现LLM中层会自发模拟人脑进化0%展开列表大模型长脑子了？研究发现LLM中层会自发模拟人脑进化今天性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统01月14日仅用10天？Anthropic最新智能体Cowork的代码竟然都是Claude写的01月14日AAAI 2026｜AP2O-Coder 让大模型拥有「错题本」，像人类一样按题型高效刷题01月14日用AI从常规病理切片重建空间蛋白图谱：基于H&E图像的高维蛋白质表达预测01月14日京东首届AI影视创作大赛启动 最高奖金10万元邀全民共创AI视频01月14日合合信息多模态文本智能产品“上新”，覆盖AI教育、AI健康、AI Infra多元场景01月14日500万次围观，1X把「世界模型」真正用在了机器人NEO身上01月14日跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述01月14日百川开源全球最强医疗大模型M3，「严肃问诊」定义AI医疗新能力01月14日相约AAAI 2026 | 上海AI实验室北极星 X 星启交流会（报名开启）01月13日视觉模型既懂语义，又能还原细节，南洋理工&商汤提出棱镜假说01月13日无需重新训练，即可学习新任务，Arc研究所开源单细胞基础模型Stack及细胞反应全景图谱01月13日不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？01月13日OpenAI的首款硬件：是AI耳机，今年销量要冲5000万01月13日华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能01月13日大模型中标TOP10里的黑马：中关村科金的应用攻坚之道01月13日大模型长脑子了？研究发现LLM中层会自发模拟人脑进化生物智能与人工智能的演化路径截然不同，但它们是否遵循某些共同的计算原理？最近，来自帝国理工学院、华为诺亚方舟实验室等机构的研究人员发表了一篇新论文。该研究指出，大型语言模型（LLM）在学习过程中会自发演化出一种协同核心（Synergistic Core）结构，有些类似于生物的大脑。论文标题：A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning论文地址：https://arxiv.org/abs/2601.06851研究团队利用部分信息分解（Partial Information Decomposition, PID）框架，对 Gemma、Llama、Qwen 和 DeepSeek 等模型进行了深度剖析。他们发现，这些模型的中层表现出极强的协同处理能力，而底层和顶层则更偏向于冗余处理。协同与冗余：LLM 的内部架构研究团队将大型语言模型视为分布式信息处理系统，其核心实验设计旨在量化模型内部组件之间交互的本质。为了实现这一目标，研究者选取了 Gemma 3、Llama 3、Qwen 3 8B 以及 DeepSeek V2 Lite Chat 等多种具有代表性的模型系列进行对比分析。实验方法与量化指标在实验过程中，研究者向模型输入了涵盖语法纠错、逻辑推理、常识问答等 6 个类别的认知任务提示词。针对每一个提示词，模型会生成一段 100 个 Token 的回答，实验设备则同步记录下每一层中所有注意力头或专家模块的激活值。具体而言，研究人员计算了这些输出向量的 L2 范数，以此作为该单元在特定时间步的激活强度数据。基于这些时间序列数据，研究团队应用了整合信息分解（Integrated Information Decomposition, ID）框架。这一框架能够将注意力头对之间的交互分解为「持续性协同」和「持续性冗余」等不同原子项。通过对所有注意力头对的协同值和冗余值进行排名并求差，研究者得到了一个关键指标：协同-冗余秩（Synergy-Redundancy Rank）。该指标能够清晰地标示出模型组件在处理信息时，究竟是倾向于进行独立的信号聚合，还是在进行跨单元的深度集成。跨模型的空间分布规律实验数据揭示了一个在不同架构模型中高度一致的空间组织规律。在归一化后的模型层深图中，协同分布呈现出显著的「倒 U 型」曲线 ：冗余外周（Redundant Periphery）：模型的早期层（靠近输入端）和末期层（靠近输出端）表现出极低的协同秩，信息处理以冗余模式为主。在早期层，这反映了模型在进行基本的解词元化（Detokenization）和局部特征提取；而在末期层…