生物智能与人工智能的演化路径截然不同，但它们是否遵循某些共同的计算原理？

最近，来自帝国理工学院、华为诺亚方舟实验室等机构的研究人员发表了一篇新论文。该研究指出，大型语言模型（LLM）在学习过程中会自发演化出一种协同核心（Synergistic Core）结构，有些类似于生物的大脑。

• 论文标题：A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning

• 论文地址：https://arxiv.org/abs/2601.06851

研究团队利用部分信息分解（Partial Information Decomposition, PID）框架，对 Gemma、Llama、Qwen 和 DeepSeek 等模型进行了深度剖析。

他们发现，这些模型的中层表现出极强的协同处理能力，而底层和顶层则更偏向于冗余处理。

协同与冗余：LLM 的内部架构

研究团队将大型语言模型视为分布式信息处理系统，其核心实验设计旨在量化模型内部组件之间交互的本质。为了实现这一目标，研究者选取了 Gemma 3、Llama 3、Qwen 3 8B 以及 DeepSeek V2 Lite Chat 等多种具有代表性的模型系列进行对比分析。

实验方法与量化指标

在实验过程中，研究者向模型输入了涵盖语法纠错、逻辑推理、常识问答等 6 个类别的认知任务提示词。

针对每一个提示词，模型会生成一段 100 个 Token 的回答，实验设备则同步记录下每一层中所有注意力头或专家模块的激活值。

具体而言，研究人员计算了这些输出向量的 L2 范数，以此作为该单元在特定时间步的激活强度数据。

基于这些时间序列数据，研究团队应用了整合信息分解（Integrated Information Decomposition, ID）框架。

这一框架能够将注意力头对之间的交互分解为「持续性协同」和「持续性冗余」等不同原子项。

通过对所有注意力头对的协同值和冗余值进行排名并求差，研究者得到了一个关键指标：协同-冗余秩（Synergy-Redundancy Rank）。该指标能够清晰地标示出模型组件在处理信息时，究竟是倾向于进行独立的信号聚合，还是在进行跨单元的深度集成。

跨模型的空间分布规律

实验数据揭示了一个在不同架构模型中高度一致的空间组织规律。在归一化后的模型层深图中，协同分布呈现出显著的「倒 U 型」曲线 ：

• 冗余外周（Redundant Periphery）：模型的早期层（靠近输入端）和末期层（靠近输出端）表现出极低的协同秩，信息处理以冗余模式为主。在早期层，这反映了模型在进行基本的解词元化（Detokenization）和局部特征提取；而在末期层，则对应着 Token 预测和输出格式化的过程。

• 协同核心（Synergistic Core）：模型的中层则展现出极高的协同秩，形成了核心处理区。例如，在对 Gemma 3 4B 的热图分析中，中间层的注意力头之间表现出密集且强烈的协同交互，这正是模型进行高级语义集成和抽象推理的区域。

架构差异与一致性

值得注意的是，这种「协同核心」的涌现并不依赖于特定的技术实现。

在 DeepSeek V2 Lite 模型中，研究者即使是以「专家模块」而非「注意力头」作为分析单位，依然观察到了相同的空间分布特征。

这种跨架构的收敛性表明，协同处理可能是实现高级智能的一种计算必然，而非单纯的工程巧合。

这种组织模式与人脑的生理结构形成了精确的映射：人脑的感官和运动区域同样表现出高冗余性，而负责复杂认知功能的联合皮层则处于高协同的「全局工作空间」中心。

智能的涌现：学习驱动而非架构使然

一个关键的问题在于：这种结构是 Transformer 架构自带的，还是通过学习习得的？

研究人员通过分析 Pythia 1B 模型的训练过程发现，在随机初始化的网络中，这种「倒 U 型」的协同分布并不存在。随着训练步数的增加，这种组织架构才逐渐稳定形成。

这意味着，协同核心是大模型获得能力的标志性产物。

在拓扑性质上，协同核心具有极高的「全局效率」，有利于信息的快速集成；而冗余外周则表现出更强的「模块化」，适用于专门化处理。这种特征再次与人类大脑的网络架构形成了精确的平行关系。

协同核心的功能验证

为了验证协同核心是否真的驱动了模型行为，研究团队进行了两类干预实验：消融实验和微调实验。

消融实验：研究发现，消融那些高协同性的节点，会导致模型出现灾难性的性能下降和行为背离，其影响远超随机消融或消融冗余节点。这证明协同核心是模型智能的核心驱动力。

微调实验：在强化学习微调（RL FT）场景下，仅针对协同核心进行训练，获得的性能提升显著优于针对冗余核心或随机子集的训练。有趣的是，在监督微调（SFT）中这种差异并不明显。研究者认为，这反映了 RL 促进通用化而 SFT 更多倾向于记忆的特性。

结语

这项研究为大模型的可解释性开辟了新路径。它表明，我们可以从「自上而下」的信息论视角来理解模型，而不仅仅是「自下而上」地寻找特定的电路。

对于 AI 领域，识别协同核心有助于设计更高效的压缩算法，或者通过更有针对性的参数更新来加速训练。对于神经科学，这提供了一种计算上的验证，预示着协同回路在强化学习和知识迁移中可能扮演着至关重要的角色。

大模型虽然基于硅基芯片和反向传播算法，但在追求智能的过程中，它们似乎不约而同地走向了与生物大脑相似的组织模式。这种智能演化的趋同性，或许正是我们揭开通用智能奥秘的关键线索。

更多详情请参阅原论文。

大语言模型（LLMs）的爆发式增长引领了人工智能领域的范式转移，取得了巨大的工程成功。然而，一个关键的悖论依然存在：尽管 LLMs 在实践中表现卓越，但其理论研究仍处于起步阶段，导致这些系统在很大程度上被视为难以捉摸的「黑盒」。

为了打破这一僵局，中国人民大学的研究者们采用了一种统一的基于生命周期的分类法，将 LLM 理论研究整合为六个阶段：数据准备、模型准备、训练、对齐、推理和评估。

本文系统综述了驱动 LLM 性能的底层理论与机制，深入分析了数据混合的数学依据、不同架构的表示极限以及对齐算法的优化动力学，并指出了合成数据自我提升、安全保证数学边界等前沿挑战。本综述旨在为 LLM 发展从工程启发式方法向严谨科学学科的转型提供结构化路线图。

• 论文标题：Beyond the Black Box: Theory and Mechanism of Large Language Models

• 论文链接：https://arxiv.org/abs/2601.02907

引言

近年来，ChatGPT、DeepSeek、Llama、Claude 等模型的涌现标志着 AI 领域的深刻变革。随着系统规模的扩大，LLMs 展现出类似人类推理的行为，正改变着人类与信息交互的方式。然而，正如核物理的发展经历了从爱因斯坦的质能方程到原子弹爆炸的 40 年跨度，AI 领域的理论与应用同步也存在显著滞后。

尽管工程上取得了巨大成功，LLM 的理论理解仍面临两大挑战：一是规模带来的前所未有的数学复杂度；二是模型展现出的诸多「涌现」现象（如幻觉、涌现能力、Scaling Laws 等）难以在统一框架下解释。

为了解决研究碎片化的问题，来自中国人民大学高瓴人工智能学院的研究团队发布了最新综述论文 《Beyond the Black Box: Theory and Mechanism of Large Language Models》。本文不仅是一份文献索引，更是一份试图将 LLM 研究从 「工程启发式」推向「严谨科学」的路线图。

本综述提出了涵盖六大阶段的生命周期路线图。

      ^{图表 1: 大语言模型理论与机制路线图。}

LLM 理论与机制的六大阶段

数据准备阶段 (Data Preparation)：探讨如何保证更好的数据利用率，并量化数据特征对模型最终能力的影响，分析数据混合策略 (Data Mixture)、去重与过滤机制以及记忆 (Memorization) 与模型能力之间的关系。

模型准备阶段 (Model Preparation)：从理论上评估架构能力，理解 Transformer 结构的表示能力极限、优化景观（如「河谷」假设）以及从展开优化视角设计新架构。

训练阶段 (Training)：研究简单的学习目标如何锻造出复杂的涌现能力，分析 Scaling Laws 的本质、预训练的获益机制以及参数高效微调（PEFT，如 LoRA）的机制。

对齐阶段 (Alignment)：探讨鲁棒对齐是否在数学上可实现，分析 RLHF（的动力学，研究「超级对齐」（Superalignment）与「弱到强泛化」 (Weak-to-Strong Generalization)。

推理阶段 (Inference)：解密冻结权重的模型如何在测试时模拟学习与算法执行，分析提示工程 (Prompt Engineering)、上下文学习 (In-Context Learning) 的机制以及推理时扩展 (Inference-Time Scaling) 带来的推理能力提升。

评估阶段 (Evaluation)：从理论上定义与衡量复杂的、主观的人类价值观，探讨基准测试的有效性、LLM-as-a-Judge 的可靠性以及安全性与透明度的形式化保证。

各个阶段代表性的研究内容如下所述。

1 数据准备阶段：智能的基础

      ^{图表 2: 数据准备阶段的理论概览。}

数据准备不仅仅是工程上的设计，而是决定模型能力的基石。研究者们从三个维度剖析了数据的理论机制：

• 数据混合的数学逻辑：研究者利用多源学习视角，证明了当多任务结构共享时，泛化界限不再取决于模型海量的原始参数，而是取决于总压缩编码长度。通过引入「数据混合定律」（Data Mixing Laws），小规模实验拟合验证损失函数，实现对大规模混合策略性能的预先计算。最终，研究者们使用各种不同的理论框架，动态寻找最优数据混合权重的前沿方法。

• 去重与过滤的理论保障：实证研究确认了去重能直接减少不必要的记忆，从而降低隐私风险。各种理论框架证明了高质量、高信息密度的网页数据甚至能超越人工精选语料。

• 记忆机制的量化分析：模型对数据的记忆并非简单的「死记硬背」。理解这种记忆机制是平衡知识获取与隐私保护的关键。研究者们认为模型通过整合模糊重复序列形成复杂记忆，也揭示了熵与记忆之间的相关性。

此外，这一阶段也存在着重要的前沿开放问题：

• 合成数据与自主进化：合成数据能否为模型带来理论上的性能提升？模型是否能够通过生成合成数据从而实现自主进化？

• 数据污染：训练与测试数据的泄漏为 LLM 的隐私问题带来了挑战，能否从理论上规避或者缓解这一问题？

2 模型准备阶段：架构的表示极限

      ^{图表 3: 模型准备阶段的理论概览。}

选择何种模型架构不仅关乎效率，更决定了信息的表示上限。研究者们通过以下视角探讨了架构的本质：

• 表示能力的边界：研究者们探讨了 Transformer 作为通用逼近器的数学证明，并分析了在无限精度下 Transformer 的图灵完备性。通过电路复杂度（Circuit Complexity）理论，研究者分析了 Transformer 等架构在处理层级结构语言时的表达上限与下限，揭示了模型宽度如何成为函数组合能力的通信瓶颈。

• 优化景观的几何特性：研究者们提出了诸如「河谷（River Valley）模型」等假设，解释了 Warmup-Stable-Decay 类学习率调度如何引导参数在复杂的函数空间中跨越「山坡」并在「河床」方向高效前进。

• 理论驱动的架构设计：从「展开优化（Unrolled Optimization）」和「测试时训练（TTT）」的视角，研究者将网络层等效为优化算法的迭代步骤，为理解前沿的模型架构提供了统一框架。

除此之外，研究者们也在关注模型架构的演进，并从理论视角对新架构进行设计与分析：

• 线性注意力模型：线性递归模型在提升效率的同时，是否存在无法逾越的表示瓶颈（如关联回想能力的缺失）？

• 循环模型与隐式推理：权重共享的循环架构是否能通过增加推断深度，在更少的参数量下实现更强的泛化？

3 训练阶段：模型能力的锻造炉

      ^{图表 4: 训练阶段的理论概览。}

训练阶段将静态架构转化为具备智能的实体。研究者们对预训练和微调的机制进行了深入解构：

• 预训练的收益机制：研究者论证了预训练本质上是学习数据的底层上下文结构，并提出了「压缩即智能」的观点，认为语言模型的目标是实现对海量数据的无损压缩。从信息论视角出发，论证了 LLM 作为强大的无损压缩器，其压缩效率与下游任务性能之间存在强线性关系。

• Scaling Laws 的本质：通过对计算、数据和参数规模的幂律关系分析，研究者探讨了能力「涌现」背后的连续性过程，并分析了流形假设下内在维度如何决定缩放指数。

• 微调的数学保障：针对 LoRA 等 PEFT 技术，研究者分析了其在低秩子空间中的优化动力学，证明了低秩适配器在对齐预训练特征梯度方面的有效性，并揭示了权重初始化（如 A 随机、B 置零）对收敛稳定性的关键影响。

此外，这一阶段也存在着优化层面的前沿探索：

• 超参数迁移：如何实现在小规模模型上寻找的最优超参数，能够「零样本」地直接应用于万亿级模型？

• 优化算法的演进：除了 Adam 等一阶优化器，矩阵敏感型优化器（如 Muon）如何利用 Hessian 结构的块对角特性加速收敛？

4 对齐阶段：安全与价值的数学边界

图表 5: 对齐阶段的理论概览。

对齐不仅是指令遵循，更是人类价值观的注入。研究者们从安全性与动力学视角进行了审视：

• 对齐的理论基础：研究者分析了安全对齐的数学边界，探讨了现有对齐方法是否只是「浅层防御」，以及对齐后的模型是否存在回复原始分布的「弹性」。研究者认为只要有害行为的概率不被完全消除，通过对抗性提示触发违规行为在数学上是不可避免的。

• 弱到强泛化（W2SG）：在超智能时代，弱监督者如何可靠地控制强受训者？研究者从偏差 - 方差分解等视角，分析了强模型纠正弱信号错误的机制，并界定了泛化增益。

• 强化学习的作用：研究者探讨了 RL 是激活了预训练中的潜在模式（如代码能力、数学推理能力），还是通过长期的策略复位真正扩张了推理边界。同时量化了对齐与预训练知识保持之间的权衡，并从变分信息瓶颈视角提出了缓解「Reward Hacking」的方法。

此外，对齐阶段还面临着深层次的开放挑战：

• 训练与对齐的关系：SFT 和 RL 在塑造模型行为上有何本质区别？为什么 RL 在泛化性上通常优于简单的行为克隆？

• RL 的前沿疆界：在缺乏验证器的开放领域，如何设计高效的奖励信号？

5 推理阶段：解密静态模型的前向过程

      ^{图表 6: 推理阶段的理论概览。}

推理是释放模型潜力的关键环节。研究者们解密了大模型推理中的「思维」过程：

• 提示工程与机制分析：研究者从任务重参数化角度理解 Prompt，利用 Token 分布动力学和归纳头（Induction Heads）机制，剖析了 Prompt 如何引导模型内部的信息路由。

• 上下文学习（ICL）的机制：研究者对比了「算法执行」与「任务定位」两种观点，探讨了 Transformer 是否在推断时隐式地运行了优化算法。

• 推理时扩展（Inference-Time Scaling）：研究者分析了 CoT 如何作为模型的 「深度扩展器」，证明思维链能显著提升 Transformer 的计算复杂度上限，并探讨了搜索算法如何通过外部计算换取推理质量。

此外，推理阶段也暴露了一些特殊的理论现象：

• 过度思考（Overthinking）：在推理时投入更多计算资源是否总是正向的？模型为何会在简单问题上陷入冗余推理？

• 隐式推理（Latent Reasoning）：模型能否在不输出显式 Token 的情况下，直接在隐空间中完成多路径的思维并行？

6 评估阶段：从基准测试到形式化保证

      ^{图表 7: 评估阶段的理论概览。}

评估是大模型进步的标准，但当前的评估手段正面临严峻挑战：

• 基准测试理论：研究者利用不同的理论框架分析了传统基准测试的饱和问题与捷径学习现象，并剖析了「LLM-as-a-Judge」模式中的系统性偏见。

• 安全性与透明度：研究者深入探讨了可解释性（如 Sparse Autoencoders），对模型内部特征进行解构，并利用计算不可解性证明了在任何可计算的 LLM 中，幻觉都是不可消除的理论必然。

• 抗误用机制：研究者通过水印（Watermarking）等技术，探讨了识别 AI 生成内容与保持文本质量之间的理论权衡。

此外，评估阶段也催生了关于模型内部表示的深刻讨论：

• 线性表示假设：语义概念（如真实性）在模型潜空间中是否真的以线性方向编码？

• 推理失效模式：如「逆转诅咒（Reversal Curse）」和「位置偏差（Lost-in-the-Middle）」，这些失败案例揭示了自回归模型在逻辑对称性上的本质缺陷。

结语：迈向 AGI 的未来

尽管我们已经迈出了从经验迈向科学的第一步，但随着 LLM 的不断发展，更多的前沿理论问题依然亟待解决。正如爱因斯坦所言：「科学的伟大目标是用最少数量的假设或公理推导出最大数量的经验事实。」我们希望为社区提供一份结构化的 LLM 理论研究路线图，共同揭开黑盒背后的真理。

作者介绍

刘勇，中国人民大学，长聘副教授，博士生导师，国家级高层次青年人才。长期从事机器学习基础理论研究，共发表论文 100 余篇，其中以第一作者 / 通讯作者发表顶级期刊和会议论文近 50 篇，涵盖机器学习领域顶级期刊 JMLR、IEEE TPAMI、Artificial Intelligence 和顶级会议 ICML、NeurIPS 等。获中国人民大学「杰出学者」、中国科学院「青年创新促进会」成员、中国科学院信息工程研究所「引进优青」等称号。主持国家自然科学面上 / 基金青年、北京市面上项目、中科院基础前沿科学研究计划、腾讯犀牛鸟基金、CCF - 华为胡杨林基金等项目。

甘泽宇，中国人民大学高瓴人工智能学院博士研究生，本科及硕士研究生毕业于中国人民大学信息学院。当前主要研究方向包括大模型机理分析。