xiaohack's Blog - 模型压缩
type: channel
link: https://blog.xiaohack.org/tag/5cde70ec-ea7182/
items: 大模型剪枝新范式：先浓缩，再剪枝——DenoiseRotator技术解读
items: 学界大佬吵架金句不断，智谱和 MiniMax 太优秀被点名，Agent 竟然能写 GPU 内核了？！
items: 腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍 ｜

大模型剪枝新范式：先浓缩，再剪枝——DenoiseRotator技术解读
type: item
date: 2026-01-24T22:40:16+08:00
description: 论文原文：https://arxiv.org/abs/2505.23049项目地址：https://github.com/Axel-gu/DenoiseRotator视频解读（B 站）：https://www.bilibili.com/video/BV1XDUYBTEjr在大语言模型（LLM）快速发展的今天，庞大的参数规模带来高昂的推理存储成本和回复时延，已成为实际应用中的关键挑战。特别是在面向人机对话的应用场景，模型推理效率直接影响到对话体验。在推理优化方法中，参数剪枝作为一项经典的模型压缩技术，旨在通过剔除模型中“不重要”的权重来实现参数量的显著降低与计算效率的提升。然而，传统的“剪枝-微调”范式或直接的后训练剪枝方法，往往带来明显的模型性能损失，特别是在硬件友好的半结构化稀疏（如 2:4 稀疏）场景下，该问题尤为突出。这使得应用中的模型效果和推理效率，呈现一个“鱼和熊掌”的两难局面。面对这项挑战，美团 LongCat Interaction 团队联合上海交通大学听觉认知与计算声学实验室，以及香港科技大学的研究者，共同完成了大模型剪枝方法的创新研究，提出了名为 DenoiseRotator 的新技术。通过首先对参数矩阵进行变换，“浓缩”对结果有影响力的参数，再对重要性最低的参数进行剪枝，实现了大模型剪枝的新范式。DenoiseRotator 能够与现有的剪枝算法快速集成，有效缓解模型压缩带来的性能损失。这一研究成果已在 2025 年的 NeurIPS 会议上发表。01 动机：传统剪枝的局限性——密集训练与稀疏推理的隐式冲突传统后训练剪枝的一般流程可概括为：对一个已训练好的 稠密模型，基于某种启发式准则（如权重幅值或 Wanda、SparseGPT 等算法）为每个参数赋予“重要性分数”，随后根据预设的稀疏度阈值，移除分数较低的一部分权重。 尽管流程清晰，该方法存在一个本质局限：其整个剪枝过程建立在 固定不变的参数空间 上，本质上是一种 被动的筛选机制。这进一步凸显了以下深层冲突：密集训练 的本质是隐式地激励模型 充分利用每一个参数。每个参数都承载了一定的知识或推理能力，并通过参数间的协同工作共同支撑模型的整体表达能力。稀疏推理 则要求模型仅基于 被保留的部分参数 完成推理任务，并保持高性能。这种训练目标与推理机制之间的内在不一致，意味着 直接裁剪必然会导致部分知识或推理能力的丢失，从而破坏原有参数间协同工作的平衡，引发性能下降。02 技术方案：DenoiseRotator——从“被动筛选”到“主动优化”的范式转变针对上述挑战，我们重新思考剪枝范式：能否在剪枝前先对模型进行 稀疏性引导的优化，使其 自身结构更易于被剪枝？基于此，我们提出了“重要性浓缩”的全新思路，并开发了 DenoiseRotator 框架予以实现。2.1 核心思想：重要性浓缩我们的核心目标是在执行剪枝 之前，将原本分散在众多参数上的重要性，尽可能地 集中到一个较小的参数子集中。这样，在后续剪枝过程中，被移除权重所包含的关键信息将大幅减少，从而显著增强剪枝的鲁棒性。 为量化并优化“浓缩”效果，我们引入了 信息熵 作为衡量指标。通过将参数重要性分数归一化为概率分布，其熵值直接反映了重要性的集中程度：熵越低，表明重要性越集中于少数参数。因此，我们的优化目标明确为 最小化归一化重要性分布的熵。2.2 实现机制：可学习的正交变换DenoiseRotator 通过向 Transformer 层中引入 可学习的正交矩阵，实现重要性分布的熵减与浓缩。如上图所示，我们在 Transformer 层的特定位置（例如 Attention 模块的 Value 和 Output 投影层前后）插入正交矩阵。这些矩阵对原始权重进行“旋转”变换，在 保持模型输出完全不变（得益于正交变换的计算不变性）的前提下，重新分配参数的重要性。2.3 关键优势训练与剪枝解耦：DenoiseRotator 采用 模块化设计，正交矩阵的优化与具体剪枝方法完全独立。我们首先利用校准数据，以最小化重要性熵为目标训练这些正交矩阵；训练完成后，将其合并回原始权重。此时，我们获得了一个“易于剪枝”的优化版稠密模型，可 无缝对接 任何现有剪枝工具（如 SparseGPT、Wanda）进行后续操作。优化过程稳定：正交变换具有保范数特性，确保在重新分布重要性时，既不会人为引入也不会丢失总重要性量，从而保证了优化过程的稳定性，不影响原始模型性能。下图直观展示了 DenoiseRotator 的有效性。以 LLaMA-3-8B 模型首层输出投影层为例，经我们的方法变换后，参数重要性分布从分散趋于高度集中，为后续剪枝奠定了坚实基础。03 实验验证在前文中，我们介绍了 DenoiseRotator 的核心思想——通过重要性浓缩提升…

学界大佬吵架金句不断，智谱和 MiniMax 太优秀被点名，Agent 竟然能写 GPU 内核了？！
type: item
date: 2026-01-23T20:23:53+08:00
description: “如果一个 AI 能解 IMO，但解决不了任何现实问题，那它不是通用人工智能。”这是卡内基梅隆大学助理教授、艾伦人工智能研究所研究科学家，蒂姆·德特默斯对 AGI 给出的判断，他用一篇文章 《通用人工智能为何不会成为现实》 直接把 AGI 从神坛上拽了下来。有意思的是，几天后，加州大学圣地亚哥分校助理教授、Together AI 内核副总裁丹·傅，给出了完全相反的判断。他写了一篇 《通用人工智能终将成为现实》，说 我们也许早就已经实现了 AGI。于是，两篇文章，一场关于 “AGI ” 的争论，被带进了播客现场。这场讨论并非空谈，两位嘉宾都是同时深耕学术界与产业界的一线研究者。蒂姆·德特默斯长期深耕深度学习量化领域，即模型压缩，如何在更低精度、更少算力下，让模型保持可用性能。在蒂姆·德特默斯看来，判断 AGI 是否成立，首先要回到一个常被忽略的前提：计算是物理的。在他看来，内存迁移、带宽、延迟，以及冯·诺依曼瓶颈，决定了算力不可能无限扩张。他说 “几乎所有指数增长，最终都会撞上资源和物理极限”。 所以，指数增长终将放缓，Scaling Law 也不例外。但丹·傅显然不这么看。在他看来，现在谈“算力见顶”，还太早了。丹·傅每天都在和 GPU 内核、算力利用率打交道，在他看来，“我们甚至还没真正用好上一代硬件。”在现实系统中，算力其实被严重低估和浪费了， 大量性能消耗在内核调度、系统开销和工程细节上。更关键的是，人们今天评测和使用的“最强模型”，往往是基于一到两年前的算力集群训练出来的，它们并不能代表当下硬件和大规模集群所能达到的真实上限。他因此提出了一个直观的估算思路，用来说明算力增长的潜力来自多个维度的叠加：新一代硬件 带来约 2–3 倍 的性能提升；系统与工程优化 将算力利用率提升 约 3 倍；更大规模的集群 再带来 约 10 倍 的规模效应。这三者相乘，意味着可用算力在理论上可以提升接近 90 倍。这并不是纸面上的推算，而是正在产业中逐步发生、逐步兑现的现实潜力。有意思的是，当争论继续推进，两人反而在一个问题上开始靠拢：AGI 到底是什么？关于 AGI 的定义，大致有两种主流视角：一种从认知能力出发，看模型能否覆盖足够多的认知任务；另一种则从经济角度出发，看它是否真的改变了生产方式。这一点上，双方达成一个共识：AGI 是什么并不重要，重要的是，它有没有改变我们工作的方式。在访谈后后半部分，大家从未来拉回到了现实，Agent 成为了关键话题。丹·傅在节目中提到一个有趣的时间点：2025 年 6 月， 那是他第一次意识到，Agent 可能真的越过了拐点。他当时发现机器学习工程中最难的技能之一、编程领域的终极难题——“GPU 内核编程” 被代码智能体啃下来了。他自己亲测：原本一个 GPU 内核功能开发得磨一周，那天靠着代码智能体，一天就搞定了三四个，工作效率直接提升了 5 倍。而他的团队用上后，那些原本需要整支团队耗数月的复杂系统开发，也变得轻装上阵。这让丹·傅想起了自己对自动驾驶的态度变化，从长期怀疑到真正坐上 Waymo，他意识到技术的突破可能藏在某个猝不及防的瞬间。针对 Agent 的爆发式潜力，蒂姆·德特默斯曾发布了一篇掷地有声的文章 《要么善用 Agent，要么被时代淘汰》。在他看来，代码 Agent 本身就是高度通用的 Agent，因为代码几乎可以描述和解决所有数字化问题。他甚至直言，“超过 90% 的代码和文本，本就应该由 Agent 来生成。但同时他也强调，“人类必须对最终结果承担责任，而非盲目依赖 AI 的输出。”两人将 Agent 形象地比作“需要精细化管理的实习生”，只要给它明确背景信息、拆解任务边界、设定执行约束，人类无需过度干预其执行过程，而是把注意力聚焦在把控方向上，用专业判断力校验结果。而在 Agent 时代，真正吃到红利的将是有深厚积累的专家，其专业基础越深厚，Agent 能为其创造的效率增量就越显著。在节目的最后，关乎对 AI 行业未来的预判，双方抛出了一系列深刻洞见。在他们看来，小模型会成为行业新热点、开源模型会进一步飞跃；新硬件、多模态、端侧 AI 都会有进一步发展。其中，硬件赛道将走向多元化发展，模型训练与推理环节的专业化分化会进一步加剧。更值得关注的是，Transformer 架构独霸天下的时代会落幕，各类新架构会登上时代舞台。他们还特别提到了中国的 GLM-4.7、MiniMax、DeepSeek 等优秀模型，对中国大模型的快速进步表达了高度认可。在他们看来，相比技术路线相对集中的美国，中国团队反而更敢于探索多种可能性，比如状态空间模型、线性注意力以及混合架构等，通过架构创新或极致性能，让开源模型脱颖而出。同时，他们也指出，中国的模型团队在技术路线上更 务实。与“先做出最强模型，再等待应…

大模型剪枝新范式：先浓缩，再剪枝——DenoiseRotator技术解读
type: item
date: 2026-01-19T20:59:43+08:00
description: 论文原文：https://arxiv.org/abs/2505.23049项目地址：https://github.com/Axel-gu/DenoiseRotator视频解读（B 站）：https://www.bilibili.com/video/BV1XDUYBTEjr在大语言模型（LLM）快速发展的今天，庞大的参数规模带来高昂的推理存储成本和回复时延，已成为实际应用中的关键挑战。特别是在面向人机对话的应用场景，模型推理效率直接影响到对话体验。在推理优化方法中，参数剪枝作为一项经典的模型压缩技术，旨在通过剔除模型中“不重要”的权重来实现参数量的显著降低与计算效率的提升。然而，传统的“剪枝-微调”范式或直接的后训练剪枝方法，往往带来明显的模型性能损失，特别是在硬件友好的半结构化稀疏（如 2:4 稀疏）场景下，该问题尤为突出。这使得应用中的模型效果和推理效率，呈现一个“鱼和熊掌”的两难局面。面对这项挑战，美团 LongCat Interaction 团队联合上海交通大学听觉认知与计算声学实验室，以及香港科技大学的研究者，共同完成了大模型剪枝方法的创新研究，提出了名为 DenoiseRotator 的新技术。通过首先对参数矩阵进行变换，“浓缩”对结果有影响力的参数，再对重要性最低的参数进行剪枝，实现了大模型剪枝的新范式。DenoiseRotator 能够与现有的剪枝算法快速集成，有效缓解模型压缩带来的性能损失。这一研究成果已在 2025 年的 NeurIPS 会议上发表。01 动机：传统剪枝的局限性——密集训练与稀疏推理的隐式冲突传统后训练剪枝的一般流程可概括为：对一个已训练好的 稠密模型，基于某种启发式准则（如权重幅值或 Wanda、SparseGPT 等算法）为每个参数赋予“重要性分数”，随后根据预设的稀疏度阈值，移除分数较低的一部分权重。 尽管流程清晰，该方法存在一个本质局限：其整个剪枝过程建立在 固定不变的参数空间 上，本质上是一种 被动的筛选机制。这进一步凸显了以下深层冲突：密集训练 的本质是隐式地激励模型 充分利用每一个参数。每个参数都承载了一定的知识或推理能力，并通过参数间的协同工作共同支撑模型的整体表达能力。稀疏推理 则要求模型仅基于 被保留的部分参数 完成推理任务，并保持高性能。这种训练目标与推理机制之间的内在不一致，意味着 直接裁剪必然会导致部分知识或推理能力的丢失，从而破坏原有参数间协同工作的平衡，引发性能下降。02 技术方案：DenoiseRotator——从“被动筛选”到“主动优化”的范式转变针对上述挑战，我们重新思考剪枝范式：能否在剪枝前先对模型进行 稀疏性引导的优化，使其 自身结构更易于被剪枝？基于此，我们提出了“重要性浓缩”的全新思路，并开发了 DenoiseRotator 框架予以实现。2.1 核心思想：重要性浓缩我们的核心目标是在执行剪枝 之前，将原本分散在众多参数上的重要性，尽可能地 集中到一个较小的参数子集中。这样，在后续剪枝过程中，被移除权重所包含的关键信息将大幅减少，从而显著增强剪枝的鲁棒性。 为量化并优化“浓缩”效果，我们引入了 信息熵 作为衡量指标。通过将参数重要性分数归一化为概率分布，其熵值直接反映了重要性的集中程度：熵越低，表明重要性越集中于少数参数。因此，我们的优化目标明确为 最小化归一化重要性分布的熵。2.2 实现机制：可学习的正交变换DenoiseRotator 通过向 Transformer 层中引入 可学习的正交矩阵，实现重要性分布的熵减与浓缩。如上图所示，我们在 Transformer 层的特定位置（例如 Attention 模块的 Value 和 Output 投影层前后）插入正交矩阵。这些矩阵对原始权重进行“旋转”变换，在 保持模型输出完全不变（得益于正交变换的计算不变性）的前提下，重新分配参数的重要性。2.3 关键优势训练与剪枝解耦：DenoiseRotator 采用 模块化设计，正交矩阵的优化与具体剪枝方法完全独立。我们首先利用校准数据，以最小化重要性熵为目标训练这些正交矩阵；训练完成后，将其合并回原始权重。此时，我们获得了一个“易于剪枝”的优化版稠密模型，可 无缝对接 任何现有剪枝工具（如 SparseGPT、Wanda）进行后续操作。优化过程稳定：正交变换具有保范数特性，确保在重新分布重要性时，既不会人为引入也不会丢失总重要性量，从而保证了优化过程的稳定性，不影响原始模型性能。下图直观展示了 DenoiseRotator 的有效性。以 LLaMA-3-8B 模型首层输出投影层为例，经我们的方法变换后，参数重要性分布从分散趋于高度集中，为后续剪枝奠定了坚实基础。03 实验验证在前文中，我们介绍了 DenoiseRotator 的核心思想——通过重要性浓缩提升…

大模型剪枝新范式：先浓缩，再剪枝——DenoiseRotator技术解读
type: item
date: 2026-01-16T14:27:22+08:00
description: 论文原文：https://arxiv.org/abs/2505.23049项目地址：https://github.com/Axel-gu/DenoiseRotator视频解读（B 站）：https://www.bilibili.com/video/BV1XDUYBTEjr在大语言模型（LLM）快速发展的今天，庞大的参数规模带来高昂的推理存储成本和回复时延，已成为实际应用中的关键挑战。特别是在面向人机对话的应用场景，模型推理效率直接影响到对话体验。在推理优化方法中，参数剪枝作为一项经典的模型压缩技术，旨在通过剔除模型中“不重要”的权重来实现参数量的显著降低与计算效率的提升。然而，传统的“剪枝-微调”范式或直接的后训练剪枝方法，往往带来明显的模型性能损失，特别是在硬件友好的半结构化稀疏（如 2:4 稀疏）场景下，该问题尤为突出。这使得应用中的模型效果和推理效率，呈现一个“鱼和熊掌”的两难局面。面对这项挑战，美团 LongCat Interaction 团队联合上海交通大学听觉认知与计算声学实验室，以及香港科技大学的研究者，共同完成了大模型剪枝方法的创新研究，提出了名为 DenoiseRotator 的新技术。通过首先对参数矩阵进行变换，“浓缩”对结果有影响力的参数，再对重要性最低的参数进行剪枝，实现了大模型剪枝的新范式。DenoiseRotator 能够与现有的剪枝算法快速集成，有效缓解模型压缩带来的性能损失。这一研究成果已在 2025 年的 NeurIPS 会议上发表。01 动机：传统剪枝的局限性——密集训练与稀疏推理的隐式冲突传统后训练剪枝的一般流程可概括为：对一个已训练好的 稠密模型，基于某种启发式准则（如权重幅值或 Wanda、SparseGPT 等算法）为每个参数赋予“重要性分数”，随后根据预设的稀疏度阈值，移除分数较低的一部分权重。 尽管流程清晰，该方法存在一个本质局限：其整个剪枝过程建立在 固定不变的参数空间 上，本质上是一种 被动的筛选机制。这进一步凸显了以下深层冲突：密集训练 的本质是隐式地激励模型 充分利用每一个参数。每个参数都承载了一定的知识或推理能力，并通过参数间的协同工作共同支撑模型的整体表达能力。稀疏推理 则要求模型仅基于 被保留的部分参数 完成推理任务，并保持高性能。这种训练目标与推理机制之间的内在不一致，意味着 直接裁剪必然会导致部分知识或推理能力的丢失，从而破坏原有参数间协同工作的平衡，引发性能下降。02 技术方案：DenoiseRotator——从“被动筛选”到“主动优化”的范式转变针对上述挑战，我们重新思考剪枝范式：能否在剪枝前先对模型进行 稀疏性引导的优化，使其 自身结构更易于被剪枝？基于此，我们提出了“重要性浓缩”的全新思路，并开发了 DenoiseRotator 框架予以实现。2.1 核心思想：重要性浓缩我们的核心目标是在执行剪枝 之前，将原本分散在众多参数上的重要性，尽可能地 集中到一个较小的参数子集中。这样，在后续剪枝过程中，被移除权重所包含的关键信息将大幅减少，从而显著增强剪枝的鲁棒性。 为量化并优化“浓缩”效果，我们引入了 信息熵 作为衡量指标。通过将参数重要性分数归一化为概率分布，其熵值直接反映了重要性的集中程度：熵越低，表明重要性越集中于少数参数。因此，我们的优化目标明确为 最小化归一化重要性分布的熵。2.2 实现机制：可学习的正交变换DenoiseRotator 通过向 Transformer 层中引入 可学习的正交矩阵，实现重要性分布的熵减与浓缩。如上图所示，我们在 Transformer 层的特定位置（例如 Attention 模块的 Value 和 Output 投影层前后）插入正交矩阵。这些矩阵对原始权重进行“旋转”变换，在 保持模型输出完全不变（得益于正交变换的计算不变性）的前提下，重新分配参数的重要性。2.3 关键优势训练与剪枝解耦：DenoiseRotator 采用 模块化设计，正交矩阵的优化与具体剪枝方法完全独立。我们首先利用校准数据，以最小化重要性熵为目标训练这些正交矩阵；训练完成后，将其合并回原始权重。此时，我们获得了一个“易于剪枝”的优化版稠密模型，可 无缝对接 任何现有剪枝工具（如 SparseGPT、Wanda）进行后续操作。优化过程稳定：正交变换具有保范数特性，确保在重新分布重要性时，既不会人为引入也不会丢失总重要性量，从而保证了优化过程的稳定性，不影响原始模型性能。下图直观展示了 DenoiseRotator 的有效性。以 LLaMA-3-8B 模型首层输出投影层为例，经我们的方法变换后，参数重要性分布从分散趋于高度集中，为后续剪枝奠定了坚实基础。03 实验验证在前文中，我们介绍了 DenoiseRotator 的核心思想——通过重要性浓缩提升…

腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍 ｜
type: item
date: 2026-01-16T10:26:45+08:00
description: 腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍0%展开列表腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍今天DeepSeek连发两篇论文背后，原来藏着一场学术接力今天仅需一个混频器的无线射频机器学习推理，登上Science Advances！今天国内首个可复现！萝博派对公开人形机器人 “从 0 到跑” 全开源方案01月15日联发科天玑9500s、8500发布：GPU、光追拉满，红米Turbo 5Max将搭载01月15日通用级PixVerse P1的技术突破，揣着进入平行世界的密码01月15日Mira公司内乱？CTO被开除，带团队回OpenAI，翁荔上推发言01月15日Nature丨清华等团队揭示AI科研双重效应：个人效率亦或是科学边界01月15日刚刚，喝到了千问APP给我点的奶茶01月15日人脸机器人登上Science Robotics封面：用AI教会仿生人脸机器人「开口说话」01月15日实测夸克「千问划词快捷指令」，这7个邪修Prompt，建议收藏01月15日已证实！清华姚班陈立杰全职加入OpenAI，保留伯克利教职01月15日解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估01月15日5分钟定制一个AI采购专家：讯飞发布“招采智能体工厂”，重新定义行业开发范式01月15日Agent时代，为什么多模态数据湖是必选项？01月15日大模型长脑子了？研究发现LLM中层会自发模拟人脑进化01月15日性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统01月14日腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍随着大模型步入规模化应用深水区，日益高昂的推理成本与延迟已成为掣肘产业落地的核心瓶颈。在 “降本增效” 的行业共识下，从量化、剪枝到模型蒸馏，各类压缩技术竞相涌现，但往往难以兼顾性能损耗与通用性。在此背景下，投机采样作为一种 “另辟蹊径” 的推理加速范式，正凭借其近乎无损的加速效果成为业界新宠。腾讯混元近日升级的 AngelSlim 训练框架，首次将这一技术的潜力拓展至 LLM、VLM 及语音的全模态场景，实现了从 “可加速” 到 “善加速” 的关键跃迁。其核心在于独创的 Eagle3 训练架构，通过让小模型学会 “前瞻性” 地为大模型起草多步候选 token，再由大模型并行验证，一举将大模型解码阶段的算力冗余转化为提速动能，实测最高可带来 1.9 倍的推理速度飙升。这不仅是一次技术升级，更是对下一代高效推理基础设施的重要定义，为多模态 AI 应用的实时化、普惠化铺平了道路。一、AngelSlim + 投机采样投机采样是一种通过小模型多步预测 + 大模型一步验证的推理加速技术，其核心思想是：使用一个轻量级的草稿模型生成多个候选 token，由目标模型对候选结果进行并行验证是否接受，以此来并行解码加速，在有效利用大模型解码阶段的算力冗余，提升推理吞吐并降低单请求延迟。AngelSlim 是一款集成了包括量化、投机采样等压缩算法，面向全模态的大模型压缩算法工具包。此次对投机采样训练进行了重磅升级，支持了大语言、多模态理解、语音等不同模态大模型投机采样草稿模型训练能力。AngelSlim 以 “Eagle3 训练即部署” 为设计核心，提供从数据处理、模型封装到投机采样算法训练的完整链路，帮助开发在不侵入现有模型结构的前提下，显著降低推理时延与计算成本，各模态、各类大模型加速可达 1.4-1.9 倍。Github 开源地址：https://github.com/Tencent/AngelSlim二、核心亮点1. 覆盖从文生文、多模态理解到语音的全模态投机采样训练AngelSlim 是一个从设计之初就支持全模态的投机采样训练框架，通过统一的训练接口，不同模态之间共享核心算法与工程能力，避免重复造轮子。2. 面向部署AngelSlim 并不止步于 “能训”，而是强调训出来就能用。AngelSlim 训练产出的模型可以无缝用于 vLLM/Sglang 等框架进行部署。三、核心训练组件解析1. 数据处理模块数据处理模块为投机采样训练多个模态提供稳定、可复用的数据基础，主要包括：a. 数据重采样：针对分布外数据集重新采样，生成分布内数据集用以训练。b. 数据预处理…