xiaohack's Blog - 多模态模型
type: channel
link: https://blog.xiaohack.org/tag/%E5%A4%9A%E6%A8%A1%E6%80%81%E6%A8%A1%E5%9E%8B/
items: 智能体来了！2026 AI 元年：在全新赛道上重构人类生产力边界
items: 阶跃星辰开源多模态模型 Step3‑VL‑10B，小模型实现大模型能力；华为或将发布首款 AI 眼镜，支持同传拍照 丨日报
items: 大模型低价趋势延续！智象未来姚霆：B 端、C 端界限模糊，API 不够、逼出 “按结果付费”
items: 产业级 Agent 如何破局？百度吴健民：通用模型难“通吃”，垂直场景才是出路
items: 科技爱好者周刊（第 381 期）：中国 AI 大模型领导者在想什么
items: 腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍 ｜
items: GLM-Image 正式上线并开源！
items: Kimi K2-VL 视觉语言模型可能要来了
items: 21 行代码自部署 Qwen3-VL-8B-Instruct-FP8 成功

智能体来了！2026 AI 元年：在全新赛道上重构人类生产力边界
type: item
date: 2026-01-29T19:30:51+08:00
description: 前言：如果说 2023 年是“大模型”的破壳时刻，那么 2026 年则被科技界正式定义为 “智能体（AI Agent）元年”。这一年，AI 完成了从“只会聊天的计算器”到“能办事的数字员工”的跨越。一场关于行动力、自主权与新赛道的产业革命已然拉开序幕。一、 范式跃迁：从“静态生成”到“动态执行”2026 年，我们正见证 AI 逻辑的根本性扭转。过去，大模型以“知”见长，而现在的智能体以“行”取胜。自主决策的闭环： 智能体不再是被动等待指令的对话框，而是具备目标感知、环境交互与任务规划能力的“数字生命”。具身智能的延伸： 通过多模态模型的融合，智能体开始走出屏幕，深入到自动驾驶、智能制造以及复杂的个人事务处理中，实现了从“辅助工具”到“行动主体”的质变。二、 赛道开辟：2026 产业生态的三大爆发点在这一条全新的赛道上，三根核心支柱正支撑起万亿级的市场空间：1. 智能体原生市场的形成如同当年的 App Store 改变了移动互联网，2026 年的“智能体市场”成为了新的流量入口。开发者不再仅仅提供算法，而是发布具备专业技能（如理财顾问、代码架构师、健康管家）的独立智能单元。2. 跨系统协同的“数字劳动力”智能体之间开始学会“对话”。通过标准化的协作协议，不同的智能体可以像人类部门一样相互配合，完成从市场调研到方案落地的一站式自动化办公。3. 可信治理与责任伦理随着 AI 拥有了代理权，2026 年也成为了“AI 治理元年”。全球范围内关于智能体身份认证、行为审计与权限分级的法律框架基本成型，为新赛道的狂飙突进安上了“安全阀”。三、 角色再造：人类从“操作员”转型为“协调者”智能体的普及并非对人的取代，而是对人类价值的重新定义。在 2026 年的工作流中，人类的角色发生了以下转变：人类设定目标（What to do）- 智能体规划路径（How to do）人类判断价值（Why it matters）- 智能体执行交付（Get it done）未来的核心竞争力，不再是你会不会写代码或画图，而是你是否具备“智能体调度能力”——即如何高效地管理一群 AI 智能体来达成复杂的商业目标。四、 结语：开辟者，终将定义未来2026 年，大幕已启。智能体来了，它带来的不仅是技术的迭代，更是一次文明层面的协作升级。在这条新赛道上，先行者正在重塑行业逻辑，而跟随者也将在 AI 原民的时代找到新的生态位。这或许就是“智能体元年”最深刻的启示：技术的终点，永远是人的升华。（本文章和图片由AI负责生成）

阶跃星辰开源多模态模型 Step3‑VL‑10B，小模型实现大模型能力；华为或将发布首款 AI 眼镜，支持同传拍照 丨日报
type: item
date: 2026-01-22T12:50:06+08:00
description: 开发者朋友们大家好：这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。本期编辑：@瓒an、@鲍勃01有话题的技术1、阶跃星辰开源 Step3‑VL‑10B：10B 模型对标 200B 能力昨天，阶跃星辰宣布正式开源旗下 10B 参数量多模态模型 Step3‑VL‑10B。该模型在多项核心基准测试中达到同规模 SOTA 水平，部分能力甚至超越 10–20 倍体量的大模型。Step3‑VL‑10B 主打「小模型实现大模型能力」，在视觉感知、逻辑推理、数学竞赛题、多模态对话等任务中表现突出。阶跃星辰称，Step3‑VL‑10B 的性能已接近甚至超越部分百亿级开源模型（如 GLM‑4.6V 106B‑A12B、Qwen3‑VL‑Thinking 235B‑A22B），并在部分场景中达到顶级闭源旗舰模型（如 Gemini 2.5 Pro、Seed‑1.5‑VL）水平。官方强调，该模型的关键突破来自三项核心设计：全参数端到端多模态联合预训练：在 1.2T 高质量多模态数据上训练，实现视觉与语言的深度对齐；大规模多模态强化学习：经历超过 1,400 次迭代，使模型在识别、推理与对话能力上持续提升；并行协调推理机制：通过并行探索与证据聚合提升复杂任务的准确度，尤其在数学推理、OCR、计数与空间拓扑任务中效果显著。Step3‑VL‑10B 同时提供 SeRe（顺序推理）与 PaCoRe（并行推理）两种范式，覆盖 STEM 推理、OCR、GUI Grounding、空间理解与代码等多项能力维度。当前，Step3‑VL‑10B 已开放 Base 与 Thinking 两个版本，社区可在 HuggingFace 与 ModelScope 获取模型并进行微调。项目主页：https://stepfun-ai.github.io/Step3-VL-10B/Hugging Face:https://huggingface.co/collections/stepfun-ai/step3-vl-10bModelScope:https://modelscope.cn/collections/stepfun-ai/Step3-VL-10B论文链接：https://arxiv.org/pdf/2601.09668（@阶跃星辰、@APPSO）2、showlab 开源 whisperVideo：集成 SAM3 与 TalkNet 实现长视频「音视对齐」的说话人转录showlab 近期开源了名为 whisperVideo 的项目，专门致力于解决长视频场景下「谁在说话」的身份归属难题。该工具打破了传统方案仅依赖音频的局限，通过融合视听双重特征，实现了语音内容与画面特定人脸的精准对齐。为了突破纯音频方案在多人混响或近距离交谈时常见的识别漂移问题，whisperVideo 构建了一套紧密的多模态级联架构。它集成了 WhisperX 负责语音转录、Pyannote.audio 处理声纹分离，并引入 SAM3 进行人脸分割以及 TalkNet 判定主动说话人。这种组合拳方式，确保了机器能像人类一样同时「听」和「看」，从而做出更准确的判断。针对小时级素材中常见的跨场景挑战，工具特别引入了「长时身份一致性」机制。利用视觉嵌入与轨迹聚类技术，系统能在漫长的视频时间轴上记住每一张脸，确保同一说话人的 ID 在不同场景切换中始终保持稳定。在工作流设计上，whisperVideo 追求全自动化体验。内置的 SceneDetect 能够自动进行场景切割与分段处理，无需人工干预即可完成时间戳、文本与视觉 ID 的三方对齐。最终生成的成果不仅包括带说话人 ID 的字幕，还支持可视化的面板模式，并将底层数据以 。pckl 格式开放给开发者。目前，项目已在 GitHub 开源，需使用 CUDA GPU 环境，依赖 HuggingFace Token 调用 Diarization 模型，支持 Python 命令行一键推理。GitHub:https://github.com/showlab/whisperVideo( @aigclink\@X)3、Bolna 获 630 万美元种子轮融资：自研 SLM 语音智能体，支持「印式英语」混说总部位于班加罗尔的初创公司「Bolna」近日完成了由 General Catalyst 领投的 630 万美元种子轮融资。这家公司致力于通过自研的专用小模型（SLM）技术，打破多语言环境下的自动化通信瓶颈。为了适应印度极其复杂的语言生态，…

大模型低价趋势延续！智象未来姚霆：B 端、C 端界限模糊，API 不够、逼出 “按结果付费”
type: item
date: 2026-01-20T15:27:45+08:00
description: 本文为《2025 年度盘点与趋势洞察》系列内容之一，由 InfoQ 技术编辑组策划。本系列覆盖大模型、Agent、具身智能、AI Native 开发范式、AI 工具链与开发、AI+ 传统行业等方向，通过长期跟踪、与业内专家深度访谈等方式，对重点领域进行关键技术进展、核心事件和产业趋势的洞察盘点。内容将在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。我们采访了智象未来联合创始人姚霆，他指出在多模态领域，深度 Scaling up 模型能力提升收益放缓，而广度 Scaling up 会带来更多惊喜，多模态能力也在重塑大模型推理过程。另外，2025 年的模型价格战倒逼厂商三大加速：研发新模型抢占短暂的版本优势、提升推理速度、升级高性价比架构降本。他认为，低价趋势 2026 年将延续，核心原因是市场远未饱和。结合公司情况，姚霆表示模型商业模式从卖 API、积分制转向“按结果付费”。下面是详细对话内容，以飨读者。多模态大模型的 Scaling upInfoQ：Scaling up 是否仍是最佳路线？姚霆： 对于多模态大模型而言，Scaling up 有深度和广度。深度 scaling up 就是类似于单一多模态任务的纯粹模型参数 scaling up 过程，我们会发现这种 scaling up 下模型能力提升收益放缓，并不是指数级的增长，与之搭配的还需要高质量数据和架构的“Scaling up”，而且盲目扩增模型参数也会对推理 cost 带来极大地负担，所以我们在深度 scaling up 过程中除了模型性能之外更多地会去考虑训练和推理的 cost，期望达到极致的性能 - 效率平衡。而广度 scaling up 指的是从垂域场景和商业化落地的视角下去看 scaling up，即不同多模态任务之间的 scaling up，我们发现这种广度上的 scaling up 会带来更大的惊喜，例如在联合架构中去实现多模态理解和生成任务的统一，以及视频生成和音频生成任务的统一，衍生出类似音画同步的特色。InfoQ：MoE 架构为什么会成为 2025 年的主流架构？其在参数效率与推理成本间的平衡能力，是否彻底改变了大模型的开发与部署逻辑？非 MoE 路线的企业如何构建差异化竞争力？姚霆： 稀疏 MoE 架构的一大优势是较高的推理效率，尽管其模型参数量很大，但在推理过程中只有部分参数被激活，这样既保持了高参数量带来的模型学习能力，也在部署推理过程中表现出较高的效率。而对于非 MoE 架构，也就是参数稠密型的模型，虽然推理的性价比会比 MoE 架构低，但是对于垂域任务，稠密型模型由于总参数量更小，部署更加灵活，也可以体现出较好的效果。多模态大模型的代表性发展InfoQ：2025 年多模态能力取得了哪些飞跃性发展？Nano Banana Pro 代表的图片生成模型、OpenAI Sora、Google Veo 3 代表的视频生成模型，分别做了哪些优化得到了不错的效果？姚霆：2025 年多模态大模型能力有几个代表性的发展：音画同步生成，让视频从默片时代进入了有声时代；主体参考的一致性，实现了从片段化到连贯叙事的转变，AI 漫剧因此迎来了井喷的爆发；运镜表达、表情演绎，让视频生成更具备影视表达，从“形似”到“神似”。Veo 3 就在音画同步上做的很出彩，而 Nano Banana Pro 则将主体参考一致性发挥到新的高度，因为都是闭源模型，所以只能猜测在技术上不会局限于单一的 DiT 架构，例如借助多模态推理和生成的统一（VLLM+DiT）实现更精准的多模态内容编辑，而将更多不同模态的 token（文本、图像、视频、语音等）融入到统一的架构中则能端到端实现类似音画同步的能力。InfoQ：多模态能力是否会重塑推理？跨模态推理是否也成为必答题？预计推理能力的突破方向在哪里？姚霆：2025 年 多模态能力已经在重塑大模型推理过程，从 DeepSeek OCR 中使用图片来进行长文本压缩，到 Nano Banana 中直接生成解题过程的图片，多模态能力已经成为大模型推理能力中不可或缺的一部分。多模态数据往往能提供比纯文本数据更稠密、直观和具备逻辑关联的信息。目前多模态数据越来越多的引入，对于大模型结构、训练方法以及数据三方面都会带来新的挑战。其中，大模型结构要尽可能支持原生多模态的输入或者输出，对于模型的参数量上提出了更高的要求；训练方法上需要去平衡各种不同的任务，保证模型在不同任务上都达到一定的收敛程度；数据上则对数据的广度和精度上又有了进一步的要求，广度上需要尽可能涵盖需要的多模态推理任务，同时高质量精品数据可以在训练后期提升推理能力。InfoQ：从语言模型到多模态模型，再到世界模型，这个演进的本质是什么？您认为世界模型未来发展趋势如何？姚霆： 从语言模型到多模…

产业级 Agent 如何破局？百度吴健民：通用模型难“通吃”，垂直场景才是出路
type: item
date: 2026-01-20T15:18:58+08:00
description: 本文为《2025 年度盘点与趋势洞察》系列内容之一，由 InfoQ 技术编辑组策划。本系列覆盖大模型、Agent、具身智能、AI Native 开发范式、AI 工具链与开发、AI+ 传统行业等方向，通过长期跟踪、与业内专家深度访谈等方式，对重点领域进行关键技术进展、核心事件和产业趋势的洞察盘点。内容将在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。我们采访了百度智能云平台产品事业部算法架构师、千帆策略部负责人吴健民，他指出，Agentic 模型训练最大卡点不是模型，是真实环境复刻，外部接口、数据库、登录依赖等真实链路的稳定访问，技术实现门槛极高。在当前，通用全能的 Agentic 模型现阶段不可能实现，业务场景、工具、环境差异过大，通用模型泛化性有限，针对垂直场景的模型定制和持续学习或是破局关键。在多模态模型发展方面，吴健民指出，视觉生成主流为 模型框架从 Diffusion Model 发展到 Flow Matching，效果、稳定性碾压前代方案，视觉理解模型仍以 ViT Encoder 嫁接语言模型的主流方案，模型能力迭代的主要聚焦在垂直方向的数据合成。虽然工业和学术界有很多尝试，当前未真正实现多模态理解和生成的统一建模，目前分开独立优化效果依旧优于融合建模。下面是详细对话内容，以飨读者。“没有模型可以支持所有 Agent 场景”InfoQ：如何让大模型更好支持 Agent 应用？技术有哪些瓶颈？吴健民：目前我们的研发目标，是让模型能够在各类 垂直 Agent 场景中更好地发挥作用。其中，最核心、发展也最快的场景是 Coding Agent，包括通用编程以及面向网页开发或特定垂直领域的 Agent 应用。现阶段，我们的工作重点之一就是更具体地聚焦在网页开发相关的 Agent 能力上。在这一过程中，有一个重要的问题需要回答：SOTA 的通用模型是否能在各种垂直 Agent 场景下都能达到工业级的效果。就目前来看，具备这种能力的通用模型还没有出现。原因在于，不同 垂直 Agent 所处的场景设定、可使用的工具集合以及运行环境差异极大，而当前的通用模型尚不足以在如此多样的场景中实现稳定泛化。因此，围绕具体应用场景定制模型，反而更容易形成优势。此外，不同场景对效果的评估标准也存在显著差异，即 Reward 的定义并不通用。如果一个场景能够清晰地定义 Reward，并且该 Reward 判断能够高效自动地完成，那么针对这一场景通过强化学习在通用基座模型上定制训练的 Agentic 模型，往往可以显著超过现有通用模型。第二个难点在于环境的复杂性。以代码场景为例，其运行环境不仅涉及代码本身，还包括外部接口调用、工具使用、数据库依赖，以及登录、扫码等一系列真实应用中的外部依赖。在训练过程中，这些依赖都必须能够被高并发、稳定地访问，这对技术实现提出了很高要求。第三个挑战在于强化学习系统本身。当前业内已形成共识，即要实现模型在特定场景中的持续迭代，必须依赖一套在该场景下运行顺畅、具备高效率和高吞吐能力的强化学习系统。﻿由于强化学习系统本身的架构复杂性，也出现了不少 RLaaS 的平台产品，把算法复杂性封装在平台内，业务仅需要聚焦在业务场景定义，Reward 评估方案制定和迭代。这也是百度千帆平台 26 年的重点业务方向。InfoQ：那现在有没有比较通用、效果较好的强化学习框架？吴健民：目前开源社区中已有不少强化学习框架，例如 OpenRLHF、TRL 以及 VeRL 等，它们基本覆盖了强化学习流程中的主要环节。但在工业级应用中，这些框架仍然不够成熟，﻿特别是涉及多轮工具调用的 Agentic 场景，往往需要进行深度定制和打磨。打磨方向主要在两个方面：首先是模型规模支持，严肃应用往往依赖参数量较大的 SOTA 模型，例如百度文心或 DeepSeek 开源的模型，强化框架能否高效支撑这类大模型至关重要；其次是 Agent 训练能力，早期的强化学习多集中于单步任务，例如数学推理，而代码类、客服、DeepReasearch 等 Agent 更依赖多轮工具调用的复杂交互，这就要求强化训练框架能够配合一整套稳定、高效的脚手架系统。此外，工业级 Agentic 模型的 研发对整体技术栈的要求极高，包括沙盒环境以及高性能、高并发的调度运行能力；若涉及联网搜索，还需要稳定的高并发搜索 API 支持。因此，具备云计算或搜索基础能力的团队往往更具优势。InfoQ：要在基座模型上增强 Agentic 能力，需要哪些技术支持？吴健民：这一问题的核心仍然在于强化学习如何在基座模型之上更好地服务于具体场景。强化训练的本质并不是创造全新的能力，而是激发和稳定模型在特定场景中的既有能力。因此，首要前提是基座模型本身在目标场景上具备优势。这种优势通常来源于预训练阶段的数据分…

科技爱好者周刊（第 381 期）：中国 AI 大模型领导者在想什么
type: item
date: 2026-01-16T14:14:31+08:00
description: 这里记录每周值得分享的科技内容，周五发布。本杂志开源，欢迎投稿。另有《谁在招人》服务，发布程序员招聘信息。合作请邮件联系（[email protected]）。封面图刚刚运营的北京通州站位于地下，为了充分利用自然光，屋顶采用了透光的膜结构，上方还有一个风帆形状的保护架。（via）中国 AI 大模型领导者在想什么上周六（1月10日），北京有一场"AGI-Next 前沿峰会"，由清华大学基础模型实验室主办。中国顶尖的 AI 大模型领导者，很多都出席了。 唐杰：清华大学教授，智谱创始人 杨植麟：月之暗面 Kimi 创始人 林俊旸：阿里 Qwen 技术负责人 姚顺雨：OpenAI 前核心研究者、腾讯 AI 新部门负责人 他们谈了对大模型和中国 AI 发展的看法，网上有发言实录。内容非常多，有意思的发言也很多，下面是我摘录的部分内容。一、唐杰的发言1、智谱的起源2019年，我们开始研究，能不能让机器像人一样思考，当时就从清华成果转化，在学校的大力支持下，成立了智谱这么一家公司，我现在是智谱的首席科学家。那个时候，我们实验室在图神经网络、知识图谱方面，在国际上做的还行，但我们坚定地把这两个方向暂停了，暂时不做了，所有的人都转向做大模型。2、泛化和 Scaling我们希望机器有泛化能力，我教它一点点，它就能举一反三。就和人一样，教小孩子的时候，我们总希望教三个问题，他就会第四个、第十个，甚至连没教过的也会。怎么让机器拥有这种能力？目前为止，我们主要通过 Scaling（规模化）达到这个目标，在不同层面提高泛化能力。（1）我们最早期用 Transformer 训练模型，把所有的知识记忆下来。训练数据越多、算力越多，模型的记忆能力就越强，也就是说，它把世界上所有的知识都背下来了，并且有一定的泛化能力，可以抽象，可以做简单的推理。比如，你问中国的首都是什么？这时候模型不需要推理，它只是从知识库里拿出来。（2）第二层是把模型进行对齐和推理，让它有更复杂的推理能力，以及理解我们的意图。我们需要持续的 Scaling SFT（Supervised Fine-Tuning，监督式微调），甚至强化学习。通过人类大量的数据反馈，不断 Scaling 反馈数据，可以让模型变得更聪明、更准确。（3）今年是 RLVR（强化学习与可验证奖励）爆发年。这里的"可验证"是什么意思？比如，数学可以验证、编程可能可以验证，但更广泛地，网页好不好看，就不大好验证了，它需要人来判断。这就是为什么这个事情很难做，我们原来只能通过人类反馈数据来做，但人类反馈的数据里面噪音也非常多，而且场景也非常单一。如果我们有一个可验证的环境，这时候我们可以让机器自己去探索、自己去发现这个反馈数据，自己来成长。这是我们面临的一个挑战。3、从 Chat 到做事：新范式的开始大家可能会问，是不是不停地训练模型，智能就越来越强？其实也不是。2025年初，DeepSeek 出来，真是横空出世。大家原来在学术界、产业界都没有料到 DeepSeek 会突然出来，而且性能确实很强，一下子让很多人感到很震撼。我们当时就想一个问题，也许在 DeepSeek 这种范式下，Chat（对话）差不多算是解决了。也就是说我们做得再好，在 Chat 上可能做到最后跟 DeepSeek 差不多。或许我们可以再个性化一点，变成有情感的 Chat，或者再复杂一点，但是总的来讲，这个范式可能基本到头了，剩下更多的反而是工程和技术的问题。那么，AI 下一步朝哪个方向发展？我们当时的想法是，让每个人能够用 AI 做一件事情，这可能是下一个范式，原来是 Chat，现在是真的做事了。当时有两个方向，一个是编程，做 Coding、做 Agent；另一个是用 AI 来帮我们做研究，类似于 DeepResearch，甚至写一个复杂的研究报告。我们现在的选择是把 Coding、Agentic、Reasoning 这三个能力整合在一起。二、林俊旸的发言4、千问是怎么开源的千问的开源模型比较多，很多人问这是为什么？这起源于2023年8月3日，我们开源了一个小模型，它是我们内部用来做实验的 1.8B 模型。我们做预训练，资源毕竟有限，你做实验的话不能通通用 7B 的模型来验，就拿 1.8B 的来验。当时我的师弟跟我说，我们要把这个模型开源出去。我非常不理解，我说这个模型在2023年几乎是一个不可用的状态，为什么要开源出去？他跟我说 7B 很消耗机器资源，很多硕士生和博士生没有机器资源做实验，如果 1.8B 开源出去的话，很多同学就有机会毕业了，这是很好的初心。干着干着，手机厂商跑来跟我们说 7B 太大，1.8B 太小，能不能给我们干一个 3B 或 4B 的，这个容易，没有什么很难的事情。一路干下来，型号类型越来越多，跟服务大家多多少少有一点关系。5、我们的…

腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍 ｜
type: item
date: 2026-01-16T10:26:45+08:00
description: 腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍0%展开列表腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍今天DeepSeek连发两篇论文背后，原来藏着一场学术接力今天仅需一个混频器的无线射频机器学习推理，登上Science Advances！今天国内首个可复现！萝博派对公开人形机器人 “从 0 到跑” 全开源方案01月15日联发科天玑9500s、8500发布：GPU、光追拉满，红米Turbo 5Max将搭载01月15日通用级PixVerse P1的技术突破，揣着进入平行世界的密码01月15日Mira公司内乱？CTO被开除，带团队回OpenAI，翁荔上推发言01月15日Nature丨清华等团队揭示AI科研双重效应：个人效率亦或是科学边界01月15日刚刚，喝到了千问APP给我点的奶茶01月15日人脸机器人登上Science Robotics封面：用AI教会仿生人脸机器人「开口说话」01月15日实测夸克「千问划词快捷指令」，这7个邪修Prompt，建议收藏01月15日已证实！清华姚班陈立杰全职加入OpenAI，保留伯克利教职01月15日解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估01月15日5分钟定制一个AI采购专家：讯飞发布“招采智能体工厂”，重新定义行业开发范式01月15日Agent时代，为什么多模态数据湖是必选项？01月15日大模型长脑子了？研究发现LLM中层会自发模拟人脑进化01月15日性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统01月14日腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍随着大模型步入规模化应用深水区，日益高昂的推理成本与延迟已成为掣肘产业落地的核心瓶颈。在 “降本增效” 的行业共识下，从量化、剪枝到模型蒸馏，各类压缩技术竞相涌现，但往往难以兼顾性能损耗与通用性。在此背景下，投机采样作为一种 “另辟蹊径” 的推理加速范式，正凭借其近乎无损的加速效果成为业界新宠。腾讯混元近日升级的 AngelSlim 训练框架，首次将这一技术的潜力拓展至 LLM、VLM 及语音的全模态场景，实现了从 “可加速” 到 “善加速” 的关键跃迁。其核心在于独创的 Eagle3 训练架构，通过让小模型学会 “前瞻性” 地为大模型起草多步候选 token，再由大模型并行验证，一举将大模型解码阶段的算力冗余转化为提速动能，实测最高可带来 1.9 倍的推理速度飙升。这不仅是一次技术升级，更是对下一代高效推理基础设施的重要定义，为多模态 AI 应用的实时化、普惠化铺平了道路。一、AngelSlim + 投机采样投机采样是一种通过小模型多步预测 + 大模型一步验证的推理加速技术，其核心思想是：使用一个轻量级的草稿模型生成多个候选 token，由目标模型对候选结果进行并行验证是否接受，以此来并行解码加速，在有效利用大模型解码阶段的算力冗余，提升推理吞吐并降低单请求延迟。AngelSlim 是一款集成了包括量化、投机采样等压缩算法，面向全模态的大模型压缩算法工具包。此次对投机采样训练进行了重磅升级，支持了大语言、多模态理解、语音等不同模态大模型投机采样草稿模型训练能力。AngelSlim 以 “Eagle3 训练即部署” 为设计核心，提供从数据处理、模型封装到投机采样算法训练的完整链路，帮助开发在不侵入现有模型结构的前提下，显著降低推理时延与计算成本，各模态、各类大模型加速可达 1.4-1.9 倍。Github 开源地址：https://github.com/Tencent/AngelSlim二、核心亮点1. 覆盖从文生文、多模态理解到语音的全模态投机采样训练AngelSlim 是一个从设计之初就支持全模态的投机采样训练框架，通过统一的训练接口，不同模态之间共享核心算法与工程能力，避免重复造轮子。2. 面向部署AngelSlim 并不止步于 “能训”，而是强调训出来就能用。AngelSlim 训练产出的模型可以无缝用于 vLLM/Sglang 等框架进行部署。三、核心训练组件解析1. 数据处理模块数据处理模块为投机采样训练多个模态提供稳定、可复用的数据基础，主要包括：a. 数据重采样：针对分布外数据集重新采样，生成分布内数据集用以训练。b. 数据预处理…

科技爱好者周刊（第 381 期）：中国 AI 大模型领导者在想什么
type: item
date: 2026-01-16T08:16:57+08:00
description: 这里记录每周值得分享的科技内容，周五发布。本杂志开源，欢迎投稿。另有《谁在招人》服务，发布程序员招聘信息。合作请邮件联系（[email protected]）。封面图刚刚运营的北京通州站位于地下，为了充分利用自然光，屋顶采用了透光的膜结构，上方还有一个风帆形状的保护架。（via）中国 AI 大模型领导者在想什么上周六（1月10日），北京有一场"AGI-Next 前沿峰会"，由清华大学基础模型实验室主办。中国顶尖的 AI 大模型领导者，很多都出席了。 唐杰：清华大学教授，智谱创始人 杨植麟：月之暗面 Kimi 创始人 林俊旸：阿里 Qwen 技术负责人 姚顺雨：OpenAI 前核心研究者、腾讯 AI 新部门负责人 他们谈了对大模型和中国 AI 发展的看法，网上有发言实录。内容非常多，有意思的发言也很多，下面是我摘录的部分内容。一、唐杰的发言1、智谱的起源2019年，我们开始研究，能不能让机器像人一样思考，当时就从清华成果转化，在学校的大力支持下，成立了智谱这么一家公司，我现在是智谱的首席科学家。那个时候，我们实验室在图神经网络、知识图谱方面，在国际上做的还行，但我们坚定地把这两个方向暂停了，暂时不做了，所有的人都转向做大模型。2、泛化和 Scaling我们希望机器有泛化能力，我教它一点点，它就能举一反三。就和人一样，教小孩子的时候，我们总希望教三个问题，他就会第四个、第十个，甚至连没教过的也会。怎么让机器拥有这种能力？目前为止，我们主要通过 Scaling（规模化）达到这个目标，在不同层面提高泛化能力。（1）我们最早期用 Transformer 训练模型，把所有的知识记忆下来。训练数据越多、算力越多，模型的记忆能力就越强，也就是说，它把世界上所有的知识都背下来了，并且有一定的泛化能力，可以抽象，可以做简单的推理。比如，你问中国的首都是什么？这时候模型不需要推理，它只是从知识库里拿出来。（2）第二层是把模型进行对齐和推理，让它有更复杂的推理能力，以及理解我们的意图。我们需要持续的 Scaling SFT（Supervised Fine-Tuning，监督式微调），甚至强化学习。通过人类大量的数据反馈，不断 Scaling 反馈数据，可以让模型变得更聪明、更准确。（3）今年是 RLVR（强化学习与可验证奖励）爆发年。这里的"可验证"是什么意思？比如，数学可以验证、编程可能可以验证，但更广泛地，网页好不好看，就不大好验证了，它需要人来判断。这就是为什么这个事情很难做，我们原来只能通过人类反馈数据来做，但人类反馈的数据里面噪音也非常多，而且场景也非常单一。如果我们有一个可验证的环境，这时候我们可以让机器自己去探索、自己去发现这个反馈数据，自己来成长。这是我们面临的一个挑战。3、从 Chat 到做事：新范式的开始大家可能会问，是不是不停地训练模型，智能就越来越强？其实也不是。2025年初，DeepSeek 出来，真是横空出世。大家原来在学术界、产业界都没有料到 DeepSeek 会突然出来，而且性能确实很强，一下子让很多人感到很震撼。我们当时就想一个问题，也许在 DeepSeek 这种范式下，Chat（对话）差不多算是解决了。也就是说我们做得再好，在 Chat 上可能做到最后跟 DeepSeek 差不多。或许我们可以再个性化一点，变成有情感的 Chat，或者再复杂一点，但是总的来讲，这个范式可能基本到头了，剩下更多的反而是工程和技术的问题。那么，AI 下一步朝哪个方向发展？我们当时的想法是，让每个人能够用 AI 做一件事情，这可能是下一个范式，原来是 Chat，现在是真的做事了。当时有两个方向，一个是编程，做 Coding、做 Agent；另一个是用 AI 来帮我们做研究，类似于 DeepResearch，甚至写一个复杂的研究报告。我们现在的选择是把 Coding、Agentic、Reasoning 这三个能力整合在一起。二、林俊旸的发言4、千问是怎么开源的千问的开源模型比较多，很多人问这是为什么？这起源于2023年8月3日，我们开源了一个小模型，它是我们内部用来做实验的 1.8B 模型。我们做预训练，资源毕竟有限，你做实验的话不能通通用 7B 的模型来验，就拿 1.8B 的来验。当时我的师弟跟我说，我们要把这个模型开源出去。我非常不理解，我说这个模型在2023年几乎是一个不可用的状态，为什么要开源出去？他跟我说 7B 很消耗机器资源，很多硕士生和博士生没有机器资源做实验，如果 1.8B 开源出去的话，很多同学就有机会毕业了，这是很好的初心。干着干着，手机厂商跑来跟我们说 7B 太大，1.8B 太小，能不能给我们干一个 3B 或 4B 的，这个容易，没有什么很难的事情。一路干下来，型号类型越来越多，跟服务大家多多少少有一点关系。5、我们的…

GLM-Image 正式上线并开源！
type: item
date: 2026-01-14T10:25:43+08:00
description: GLM-Image 技术报告：GLM-Image: Auto-regressive for Dense-knowledge and High-fidelity Image Generation模型基于昇腾 Atlas 800T A2 设备和昇思 MindSpore AI 框架完成从数据到训练的全流程，是首个在国产芯片上完成全程训练的 SOTA 多模态模型。GLM-Image 采用自主创新的「自回归 + 扩散解码器」混合架构，实现了图像生成与语言模型的联合，是我们面向以 Nano Banana Pro 为代表的新一代「认知型生成」技术范式的一次重要探索。新一代图像生成模型 GLM-Image 正式上线并开源！这一次，图像生成不只 “好看”，更 “写对”核心亮点：强理解 × 准文字：理解复杂指令，文字绘制更精准，特别适合海报、插画等知识密集型场景架构革新：面向以 Nano Banana Pro 为代表的新一代技术范式打造硬核突破：首个在国产芯片上完成全程训练的 SOTA 图像模型极致性价比：API 生成一张图仅 0.1 元Bigmodel 已就位，欢迎大家上手体验，一起玩出新高度详情 i3z.cc/v-8na7u消息转发自官方开发者社群📌 转载信息来源： https://linux.do/t/topic/1444933原作者： zhongruan转载时间： 2026/1/14 10:25:43

Kimi K2-VL 视觉语言模型可能要来了
type: item
date: 2026-01-06T18:53:18+08:00
description: 据科创板日报报道，一款代号为 “Kiwi-do” 的神秘模型已现身 LMArena，并通过了被标注为 “月之暗面 K2.1” 的 VPCT 基准测试。多位分析人士指出，这极有可能正是 月之暗面 备受期待的多模态升级版本 ——K2-VL。若消息属实，这将构成一个关键拐点：Kimi，正在从 “会思考”，走向 “能感知”。📌 转载信息来源： https://linux.do/t/topic/1412186转载时间： 2026/1/6 18:53:13

21 行代码自部署 Qwen3-VL-8B-Instruct-FP8 成功
type: item
date: 2026-01-06T12:02:56+08:00
description: 准备：modal secret create qwen-auth QWEN_API_KEY=sk-123abc modal secret create huggingface-secret HF_TOKEN=hf_… import modal, os MODEL_ID = "Qwen/Qwen3-VL-8B-Instruct-FP8" MODEL_DIR = "/data/model" vol = modal.Volume.from_name("qwen-storage", create_if_missing=True) image = (modal.Image.debian_slim().apt_install("ffmpeg", "libsm6", "libxext6").run_commands("pip install -U pip").pip_install("vllm>=0.7.0").pip_install("huggingface_hub", "hf_transfer", "decord","torch-c-dlpack-ext").env({"HF_HUB_ENABLE_HF_TRANSFER": "1","PYTORCH_CUDA_ALLOC_CONF": "expandable_segments:True"})) app = modal.App("qwen-vl-volume") @app.function("/data": vol},timeout=1800,secrets=[modal.Secret.from_name("huggingface-secret")]) def download_model_to_volume(): from huggingface_hub import snapshot_download snapshot_download(MODEL_ID,local_dir=MODEL_DIR,ignore_patterns=["*.pt", "*.bin"]) vol.commit() @app.cls(gpu="l4", image=image, volumes={"/data": vol}, scaledown_window=180, timeout=600, secrets=[modal.Secret.from_name("qwen-auth")]) class QwenServer: @modal.web_server(port=8000, startup_timeout=600) def serve(self): import subprocess, sys if not os.path.exists(MODEL_DIR): return api_key = os.environ.get("QWEN_API_KEY", "sk-default") cmd = [sys.executable, "-m", "vllm.entrypoints.openai.api_server","--model", MODEL_DIR,"--served-model-name", MODEL_ID,"--trust-remote-code","--tensor-parallel-size", "1","--api-key", api_key,"--gpu-memory-utilization", "0.90", "--max-model-len", "8192", "--kv-cache-dtype", "auto","--limit-mm-per-prompt", '{"image": 16, "video": 4}',"--port", "8000"] subprocess.Popen(cmd, stdout=sys.stdout, stderr=sys.stderr) 效果：原图：29.0 tok/s📌 转载信息来源： https://linux.do/t/topic/1409725原作者： Clancy转载时间： 2026/1/6 12:02:52