xiaohack's Blog - 强化学习
type: channel
link: https://blog.xiaohack.org/tag/f14f5e7d-1346d6/
items: 强化学习比你想象的还要更为低效...
items: AAAI 2026
items: 通义 DeepResearch：开源 AI 智能体的新纪元
items: 阶跃星辰开源多模态模型 Step3‑VL‑10B，小模型实现大模型能力；华为或将发布首款 AI 眼镜，支持同传拍照 丨日报
items: 普通人该如何学习智能体
items: 产业级 Agent 如何破局？百度吴健民：通用模型难“通吃”，垂直场景才是出路
items: 美团 LongCat-Flash-Thinking-2601 发布，工具调用能力登顶开源 SOTA！
items: R-HORIZON：探索长程推理边界，复旦NLP&美团LongCat联合提出LRMs能力评测新框架
items: 科技爱好者周刊（第 381 期）：中国 AI 大模型领导者在想什么

强化学习比你想象的还要更为低效...
type: item
date: 2026-01-30T10:27:42+08:00
description: 编者按： 为什么在强化学习（RL）中，模型往往需要消耗比有监督学习多出数个数量级的计算资源，却只能换来看似微薄的性能提升，且常常陷入训练不稳定的泥潭？本文从信息论角度出发，对比了有监督学习与强化学习在单位样本中可获取信息量的根本差异：前者通过明确的正确标签直接提供高信息密度的学习信号，而后者仅依赖二元的成功/失败反馈，其信息熵在通过率极低或极高时趋近于零。作者进一步指出，只有当模型的“通过率”处于约 50% 的“金发姑娘区”时，RL 才能高效学习，而这通常只出现在训练末期。此外，文章还剖析了 RL 中梯度估计方差巨大、容易被简单启发式策略主导、难以培养通用推理能力等深层问题，并反思了人类学习机制与当前 model-free RL 的本质差距。这篇文章提醒我们：若想让强化学习真正释放其潜力，不能仅靠堆算力，而必须重新思考如何设计更密集、更结构化的反馈机制 —— 否则，我们可能只是在用极其昂贵的方式，重复确认一个早已写在预训练权重里的答案。作者 | Dwarkesh Patel编译 | 岳扬最近，人们[1]一直在讨论[2]：在强化学习（RL）中生成单个样本所需的计算量（FLOPs）远高于有监督学习（supervised learning）。在预训练阶段，模型对每一个用于训练的 token 都能立即获得一个学习信号；而在 RL 中，必须展开一整条长达数万 tokens 的推理思维链，才能在最后得到一个奖励信号（例如，我写的代码单元测试是否通过？这道数学题的答案是否正确？等等）。但这只是问题的一半。这里有一种简单的方法可以比较强化学习与有监督学习的学习效率：Bits/FLOP = Samples/Flop × Bits/Sample我还没听到有人讨论我们公式中的这一项：Bits/Sample（每个样本包含多少有用信息）。而且在训练的大部分阶段，强化学习的每一个样本所包含的“有效学习信息量”比有监督学习要低得多。01 用大白话来说在有监督学习（也就是预训练）中，模型只是在疯狂吸收信息（bits）。每一个 token 都像是一条线索，它不仅能帮你理解语言本身的构造，还能让你窥见创造这段语言的思维过程，以及那个思维所感知的现实世界。在训练初期，当你用一个完全随机初始化的模型时，你对这些内容都处于最大程度的不确定状态。因此，每个 token 都会让你“恍然大悟”。而且你会立刻得到一个精确的信号，知道自己对正确答案的预测错得多离谱，以及需要调整哪些参数来减少错误。假设你从一个随机初始化的模型开始，并启动训练。如果你使用有监督学习对 “The sky is” 这个短语做 next-token-prediction，那么训练循环会这样工作：“正确答案其实是 ‘blue’。你预测 ‘blue’ 的概率只有 0.001%。现在，请大幅加强那些本该指向 ‘blue’ 的连接权重。好了，下一个 token。”而在使用策略梯度（policy gradient）的强化学习中，你会增加所有回答正确的轨迹的权重，并降低所有回答错误的轨迹的权重。但问题是，一个还没怎么学会东西的模型，几乎不可能凭运气就答对。如果你用 RL 来做“The sky is”的 next-token-prediction，训练循环大概会是这样：“好吧，‘halcyon’ 是错的，别再做导致输出‘halcyon’的操作了…… 好吧，‘serendipity’ 也是错的……” 然后就这样反复试错，猜错的次数差不多得有词汇表总量那么多（约 10 万次）。02 详细分析让我们思考一下：随着通过率（p）的变化，每个样本所能获得的最大信息量（bits/sample）会如何变化。这里的“通过率”指的是你给出正确答案的概率。 为简化起见，我们假设答案长度只有一个词元。那么，对于一个完全未经训练的模型，其通过率仅仅是 1/（词汇表大小）。在有监督学习中，每个样本都会明确告诉你正确标签是什么。你学到的新信息量，取决于你看到正确答案时有多“惊讶” —— 你的通过率越低（即正确答案的先验概率越小），你从这个标签中学到的东西就越多。信息熵的基本公式告诉我们：在有监督学习中，你从每个样本中最多可以学到 -log(p) bits 的信息。而在强化学习中，你只会被告知答案是否正确。你能从中提取的信息量，受限于你对这个二元结果（对/错）的不确定性。如果你几乎总是通过（p ≈ 1）或几乎总是失败（p ≈ 0），那么每次试验都很难让你感到意外。当通过的概率像抛硬币一样时（p ≈ 0.5），你学到的东西最多。 对于一个二元随机变量，其信息量的上限由熵公式给出：在 RL 中，你从每个样本中最多能学到 Entropy(p) = -p log(p) - (1-p) log(1-p)1 bits 的信息。好，我们来画图。看起来还不算太糟。…

AAAI 2026
type: item
date: 2026-01-24T20:00:52+08:00
description: AAAI 是人工智能领域顶级的国际学术会议，本文精选了美团技术团队被收录的 8 篇学术论文（附下载链接），覆盖大模型推理、 退火策略、过程奖励模型、强化学习、视觉文本渲染等多个技术领域，希望这些论文能对大家有所帮助或启发。01 Promoting Efficient Reasoning with Verifiable Stepwise Reward论文类型：Poster论文下载：PDF论文简介：大推理模型通过强化学习提升了链式推理能力，但输出冗长，导致推理开销增大和用户体验下降，即「过度思考」问题。针对这一现象，本文提出了可验证的过程奖励机制（VSRM），通过奖励有效步骤、惩戒无效步骤，优化模型推理过程。VSRM 首先通过特殊 token 划分推理步骤，并结合三条规则保证每个步骤的内容可读性。各步骤通过插入 token 生成子轨迹，模型根据每步前后正确率变化分配步骤级奖励。为避免奖励信号稀疏，引入前瞻窗口机制，通过折扣因子传播未来正确率变化，使奖励更密集。实验表明，VSRM 能大幅缩减输出长度，且在多种数学 benchmark 和不同模型、算法下保持甚至提升性能。消融实验证明前瞻窗口机制有效，显式长度惩罚对 VSRM 无益。VSRM 机制可与各类强化学习算法无缝结合，有效抑制无效步骤，鼓励有效推理，是解决过度思考问题、提升模型推理效率的有效方法。02 Scaling and Transferability of Annealing Strategies in Large Language Model Training论文类型：Long Paper论文下载：PDF论文简介：本文深入研究了大型语言模型训练过程中退火策略（Annealing Strategies）对模型性能的影响，提出了一个新的缩放法则公式来预测不同训练配置下的损失曲线。研究发现，即使在相同的训练 token 数量和模型规模下，不同的批次大小（batch size）和学习率调度器也会导致显著不同的训练曲线。为此，作者提出了一个改进的缩放法则公式：其中 S 表示学习率对训练步数的积分（前向效应），M 表示动量对训练步数的积分（退火动量项），N 代表模型规模。论文的核心贡献包括：(1) 证明在特定情况下，训练步数比训练 token 数更适合作为追踪损失曲线的指标；(2) 发现最优退火比率（Ropt）随总训练步数增加而减小，遵循幂律关系；(3) 验证了最优退火比率在训练集和验证集上保持一致；(4) 通过在 Dense 模型和 MoE（Mixture-of-Experts）模型上的大量实验，证明小模型可以作为优化大模型训练动态的可靠代理。该研究为大规模语言模型的训练提供了更精确的理论指导，有助于优化训练效率和模型性能。03 From Mathematical Reasoning to Code: Generalization of Process Reward Models in Test-Time Scaling论文类型：Long Paper （Oral）论文下载：PDF论文简介：本文系统研究了过程奖励模型（Process Reward Models, PRMs）在提升大型语言模型推理能力方面的作用，特别关注其从数学推理到代码生成任务的跨域泛化能力。研究从训练方法、可扩展性和泛化能力等多个维度对 PRMs 进行了深入分析。论文的核心发现包括： - 训练计算资源的影响：研究发现随着 PRM 模型规模的增大，性能提升呈现边际递减效应，强调了在模型规模和计算成本之间寻找平衡的重要性。同时，训练数据集的多样性显著影响 PRM 性能，作者提出的 ASLAF（自动步骤级标注与过滤）方法在多个基准测试中表现优异。 - 测试时扩展策略：论文评估了 Best-of-N 采样、束搜索、蒙特卡洛树搜索（MCTS）和多数投票等多种搜索策略。结果表明，在计算资源充足时 MCTS 效果最佳，而在资源受限情况下 Best-of-N 采样是实用的替代方案。 - 跨域泛化能力：令人惊讶的是，在数学数据集上训练的 PRMs 在代码生成任务上的表现与专门针对代码训练的模型相当，展现出强大的跨域适应能力。通过梯度分析，研究还发现 PRMs 倾向于选择具有相似底层推理模式的响应，这为理解其优化机制提供了新视角。该研究为优化大规模语言模型的训练和部署提供了重要的理论指导和实践参考。04 Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective论文类型：Poster论文下载：PDF论文简介：本文对强化学习（RL）中的问题采样策略进…

通义 DeepResearch：开源 AI 智能体的新纪元
type: item
date: 2026-01-22T14:35:50+08:00
description: 相关点击访问：githubHUGGINGFACEMODELSCOPESHOWCASEgithub从 Chatbot 到 Autonomous Agent通义DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。在多个极高难度的信息检索和推理任务中，通义DeepResearch 取得了最先进的（SOTA）成绩：Humanity’s Last Exam (HLE)：32.9BrowseComp‑EN：43.4BrowseComp‑ZH：46.7xBench‑DeepSearch：75.0全面超越了目前所有的闭源及开源 Deep Research 智能体（Agent）。不仅如此，我们还完整分享了一套可落地的高水平Agent构建方法论，详细介绍了从数据合成、Agentic 增量预训练（CPT）、有监督微调（SFT）冷启动，到强化学习（RL）的全套流程。在 RL 环节，我们提供了算法创新、自动化数据构建与高稳定性基础设施的全栈解决方案。在推理阶段，基础的 ReAct 模式无需任何提示工程即可充分展现模型固有能力，而深度模式（test‑time‑scaling） 则展示了其在复杂推理与规划能力上的上限。基于合成数据的增量预训练和后训练增量预训练数据我们提出在Agent模型训练中加入智能体增量预训练（Agentic Continual Pre‑training, Agentic CPT）阶段，从而为后训练提供一个强大的Agent基座模型。为此，我们提供了一套支持大规模持续扩展的智能体预训练数据合成方案AgentFounder，并与后训练过程中源源不断生产的数据形成数据飞轮。数据重组和问题构建 基于广泛收集和持续更新的知识文档、公开可用的爬虫数据、知识图谱以及后训练数据生产和训练中产生的轨迹数据和工具调用返回结果（例如，搜索结果和网页访问记录）等，我们构建了一个以实体为锚定的开放世界知识记忆。进一步，我们基于采样的实体和相关知识构造多风格的（问题，答案）对，以尽可能涵盖智能体所面临的真实场景。动作合成 基于多风格问题和历史轨迹数据，我们分别构建了三种类型的动作数据，包含单步的规划、推理动作和多步的决策动作合成。我们的方法能够在离线环境下大规模、全面地探索潜在的推理‑动作空间，从而消除了对额外商业工具 API 调用的需求。例如，对于决策动作合成，我们将原始轨迹中的步骤进行扩展，并最终建模成多步骤决策过程数据，以激发模型的探索能力和决策能力。后训练数据High‑quality QA我们开发了一套端到端的合成数据生成解决方案。这一全自动流程无需人工干预即可构建超越人类质量的数据集，旨在突破智能体的性能极限。经过长期的探索和迭代——从早期的网页点击流逆向工程Benchmark（WebWalker）到基于图谱的合成方法（WebSailor 和 WebSailor‑V2），再到形式化的任务建模（WebShaper），我们的方法确保了卓越的数据质量和强大的可扩展性，突破了模型能力的上限。为了解决复杂且高度不确定的问题，我们通过一种新颖的流程合成基于 Web 的问答数据。该流程首先通过在高度互联的知识图谱随机游走和基于表格数据融合同构表构建，将来自真实网站数据整合，并确保信息结构的真实性；然后，我们对子图和子表进行采样，生成初始问题和答案，关键步骤是通过策略性地混淆或模糊问题中的信息来增加问题难度。该方法基于一个组合泛化的理论框架，我们将问答难度正式建模为一系列可控的“原子操作”（例如，合并具有相似属性的实体），这些操作基于实体关系，使我们能够系统地增加复杂性。为了进一步减少问答系统的信息结构与推理结构之间的不一致性，提高推理难度和结构扩展能力，我们提出了一种基于集合论的信息搜索问题形式化建模，基于这种建模，我们开发了能够以可控方式扩展问题的智能体，并最大限度地减少了推理捷径和结构冗余，从而进一步提升了问题质量，此外，这种形式还能高效地验证问答的正确性，有效解决了信息搜索合成数据难以验证的挑战。我们还开发了一个自动化学术数据构建流程，以扩大博士级研究问题的规模。该引擎基于多学科知识库，生成需要多源推理的“种子”问答对；然后，每个种子都会进入一个自我引导的“迭代复杂性升级”循环，其中，一个问题构建代理配备了一套强大的工具，包括网络搜索、学术检索和 Python 执行环境。在每次迭代中，代理都会扩展知识边界，深化概念抽象，甚至构建计算任务，从而形成一个演化循环，上一轮的输出成为下一轮更复杂的输入，确保任务难度的可控且系统地升级。融合多样推理模式，激发智能体潜能为激发模型的初始能力，我们基于 ReAct 和 IterResearch 框架，通过拒绝采样的方式…

阶跃星辰开源多模态模型 Step3‑VL‑10B，小模型实现大模型能力；华为或将发布首款 AI 眼镜，支持同传拍照 丨日报
type: item
date: 2026-01-22T12:50:06+08:00
description: 开发者朋友们大家好：这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。本期编辑：@瓒an、@鲍勃01有话题的技术1、阶跃星辰开源 Step3‑VL‑10B：10B 模型对标 200B 能力昨天，阶跃星辰宣布正式开源旗下 10B 参数量多模态模型 Step3‑VL‑10B。该模型在多项核心基准测试中达到同规模 SOTA 水平，部分能力甚至超越 10–20 倍体量的大模型。Step3‑VL‑10B 主打「小模型实现大模型能力」，在视觉感知、逻辑推理、数学竞赛题、多模态对话等任务中表现突出。阶跃星辰称，Step3‑VL‑10B 的性能已接近甚至超越部分百亿级开源模型（如 GLM‑4.6V 106B‑A12B、Qwen3‑VL‑Thinking 235B‑A22B），并在部分场景中达到顶级闭源旗舰模型（如 Gemini 2.5 Pro、Seed‑1.5‑VL）水平。官方强调，该模型的关键突破来自三项核心设计：全参数端到端多模态联合预训练：在 1.2T 高质量多模态数据上训练，实现视觉与语言的深度对齐；大规模多模态强化学习：经历超过 1,400 次迭代，使模型在识别、推理与对话能力上持续提升；并行协调推理机制：通过并行探索与证据聚合提升复杂任务的准确度，尤其在数学推理、OCR、计数与空间拓扑任务中效果显著。Step3‑VL‑10B 同时提供 SeRe（顺序推理）与 PaCoRe（并行推理）两种范式，覆盖 STEM 推理、OCR、GUI Grounding、空间理解与代码等多项能力维度。当前，Step3‑VL‑10B 已开放 Base 与 Thinking 两个版本，社区可在 HuggingFace 与 ModelScope 获取模型并进行微调。项目主页：https://stepfun-ai.github.io/Step3-VL-10B/Hugging Face:https://huggingface.co/collections/stepfun-ai/step3-vl-10bModelScope:https://modelscope.cn/collections/stepfun-ai/Step3-VL-10B论文链接：https://arxiv.org/pdf/2601.09668（@阶跃星辰、@APPSO）2、showlab 开源 whisperVideo：集成 SAM3 与 TalkNet 实现长视频「音视对齐」的说话人转录showlab 近期开源了名为 whisperVideo 的项目，专门致力于解决长视频场景下「谁在说话」的身份归属难题。该工具打破了传统方案仅依赖音频的局限，通过融合视听双重特征，实现了语音内容与画面特定人脸的精准对齐。为了突破纯音频方案在多人混响或近距离交谈时常见的识别漂移问题，whisperVideo 构建了一套紧密的多模态级联架构。它集成了 WhisperX 负责语音转录、Pyannote.audio 处理声纹分离，并引入 SAM3 进行人脸分割以及 TalkNet 判定主动说话人。这种组合拳方式，确保了机器能像人类一样同时「听」和「看」，从而做出更准确的判断。针对小时级素材中常见的跨场景挑战，工具特别引入了「长时身份一致性」机制。利用视觉嵌入与轨迹聚类技术，系统能在漫长的视频时间轴上记住每一张脸，确保同一说话人的 ID 在不同场景切换中始终保持稳定。在工作流设计上，whisperVideo 追求全自动化体验。内置的 SceneDetect 能够自动进行场景切割与分段处理，无需人工干预即可完成时间戳、文本与视觉 ID 的三方对齐。最终生成的成果不仅包括带说话人 ID 的字幕，还支持可视化的面板模式，并将底层数据以 。pckl 格式开放给开发者。目前，项目已在 GitHub 开源，需使用 CUDA GPU 环境，依赖 HuggingFace Token 调用 Diarization 模型，支持 Python 命令行一键推理。GitHub:https://github.com/showlab/whisperVideo( @aigclink\@X)3、Bolna 获 630 万美元种子轮融资：自研 SLM 语音智能体，支持「印式英语」混说总部位于班加罗尔的初创公司「Bolna」近日完成了由 General Catalyst 领投的 630 万美元种子轮融资。这家公司致力于通过自研的专用小模型（SLM）技术，打破多语言环境下的自动化通信瓶颈。为了适应印度极其复杂的语言生态，…

普通人该如何学习智能体
type: item
date: 2026-01-20T18:52:13+08:00
description: 摘要本文为普通人设计了从认知到应用、无代码到有代码、单一到复杂的智能体渐进式学习路径，分 8 个核心板块明确各阶段学习目标、实操方法、工具资源与避坑要点，同时通过高频 QA 解答零基础适配、学习时间投入、场景化学习重点等关键疑问，搭配可直接落地的 12 周学习计划，让不同基础、不同学习场景的学习者都能以 “先实践后理论” 为核心，从搭建简单智能体逐步进阶到开发落地化、甚至商业化的智能体系统，核心学习逻辑为以真实问题驱动实践，按需补充理论知识，快速积累可落地的智能体开发能力。普通人学习智能体，应遵循 “从认知到应用、从无代码到有代码、从单一到复杂” 的渐进路径，先明确概念与应用场景，再通过零代码平台快速上手，逐步掌握核心技术并进阶实战，最终形成可落地的能力与作品。以下是分阶段的详细指南：一、认知筑基（1-2 周）：先懂 “是什么” 再动手1. 核心概念理解明确智能体定义：具备感知、决策、执行能力，能自主完成目标的 AI 系统，区别于普通聊天机器人（后者无长期记忆与工具调用能力）。掌握关键术语：提示词工程、思维链（CoT）、工具调用、记忆机制、多智能体协作等。了解应用场景：办公自动化、客服、数据分析、游戏 AI、科研辅助等，结合自身需求选择切入点。2. 资源推荐入门读物：《AI 智能体入门与实践》《智能体时代：从对话到协作》，快速建立认知框架。课程：吴恩达《机器学习专项课程》（Coursera）、DeepMind 强化学习入门视频，夯实 AI 基础。社区：GitHub Awesome Agentic AI、知乎 “智能体” 话题，跟踪前沿动态与案例。二、零代码实践（2-4 周）：快速做出第一个智能体1. 平台选择（从易到难）平台特点适合场景推荐指数扣子（Coze）国内主流，可视化流程，插件丰富办公助手、知识库问答★★★★★CrewAI无代码搭建多智能体，协作流程简单团队任务分工、项目管理★★★★☆LangGraph社区活跃，灵活度高，支持复杂工作流进阶开发、自定义逻辑★★★★☆Dify开源低代码，支持本地部署企业级应用、数据隐私需求★★★☆☆2. 实战项目（从简到繁）​个人助理​：用扣子平台搭建日程管理、邮件总结、文档问答智能体，集成日历、邮箱插件，掌握提示词编写与工具调用。​知识库助手​：上传 PDF/Word 文档到平台，搭建企业规章制度、产品手册问答智能体，解决实际业务问题。​多智能体协作​：用 CrewAI 创建 “写作 - 编辑 - 翻译” 团队，分工完成文案生产，理解任务拆分与角色定义。3. 核心技能提示词工程：学会写清晰指令（如 “总结收件箱中含‘会议纪要’的邮件，生成三点待办并添加到日历”），提升智能体执行效率。工具集成：熟悉常用插件（API、数据库、办公软件），掌握参数配置与调试方法。记忆管理：设置上下文窗口、长期记忆存储，确保智能体 “记住” 历史交互。三、代码入门（4-8 周）：从调用 API 到自定义开发1. 技术栈准备编程语言：Python（必备），推荐《Python 编程：从入门到实践》快速上手。基础库：OpenAI API、LangChain、Streamlit（快速搭建前端）。数学基础：线性代数（矩阵运算）、概率论（贝叶斯定理）、基础微积分，理解模型原理。2. 实战项目（代码驱动）​API 调用型智能体​：用 OpenAI Assistants API 开发文档分析工具，实现上传文件 → 提取信息 → 生成报告的自动化流程。​强化学习小实验​：用 OpenAI Gym+PyTorch 训练 CartPole 平衡智能体，理解状态、动作、奖励机制。​自定义工作流​：用 LangChain+Streamlit 搭建论文写作助手，集成文献搜索、大纲生成、内容撰写功能。3. 避坑指南先调通 API 再优化逻辑，避免过早陷入复杂算法。善用社区代码模板（GitHub Gist、LangChain Cookbook），减少重复开发。用 Streamlit 快速做前端，专注核心逻辑而非界面设计。四、进阶深化（8-12 周）：掌握核心技术与多智能体协作1. 核心技术突破思维链（CoT）与计划执行（Plan-and-Execute）：优化提示词，让智能体拆解复杂任务（如 “写一篇市场分析报告”→“调研行业数据 → 分析竞品 → 撰写结论”）。工具调用优化：设计工具选择逻辑，解决 “调用哪个工具”“何时调用” 的问题。记忆与知识库：用向量数据库（Pinecone、Chroma）存储长文本，实现高效检索与上下文关联。2. 多智能体系统实战​团队协作模型​：用 AutoGen 搭建 “产品经理 - 开发 - 测试” 智能体团队，完成小型软件项目的需求分析、代码编写、Bug 修复。​复杂任务处理​：开发 “科研助手” 系统，集…

产业级 Agent 如何破局？百度吴健民：通用模型难“通吃”，垂直场景才是出路
type: item
date: 2026-01-20T15:18:58+08:00
description: 本文为《2025 年度盘点与趋势洞察》系列内容之一，由 InfoQ 技术编辑组策划。本系列覆盖大模型、Agent、具身智能、AI Native 开发范式、AI 工具链与开发、AI+ 传统行业等方向，通过长期跟踪、与业内专家深度访谈等方式，对重点领域进行关键技术进展、核心事件和产业趋势的洞察盘点。内容将在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。我们采访了百度智能云平台产品事业部算法架构师、千帆策略部负责人吴健民，他指出，Agentic 模型训练最大卡点不是模型，是真实环境复刻，外部接口、数据库、登录依赖等真实链路的稳定访问，技术实现门槛极高。在当前，通用全能的 Agentic 模型现阶段不可能实现，业务场景、工具、环境差异过大，通用模型泛化性有限，针对垂直场景的模型定制和持续学习或是破局关键。在多模态模型发展方面，吴健民指出，视觉生成主流为 模型框架从 Diffusion Model 发展到 Flow Matching，效果、稳定性碾压前代方案，视觉理解模型仍以 ViT Encoder 嫁接语言模型的主流方案，模型能力迭代的主要聚焦在垂直方向的数据合成。虽然工业和学术界有很多尝试，当前未真正实现多模态理解和生成的统一建模，目前分开独立优化效果依旧优于融合建模。下面是详细对话内容，以飨读者。“没有模型可以支持所有 Agent 场景”InfoQ：如何让大模型更好支持 Agent 应用？技术有哪些瓶颈？吴健民：目前我们的研发目标，是让模型能够在各类 垂直 Agent 场景中更好地发挥作用。其中，最核心、发展也最快的场景是 Coding Agent，包括通用编程以及面向网页开发或特定垂直领域的 Agent 应用。现阶段，我们的工作重点之一就是更具体地聚焦在网页开发相关的 Agent 能力上。在这一过程中，有一个重要的问题需要回答：SOTA 的通用模型是否能在各种垂直 Agent 场景下都能达到工业级的效果。就目前来看，具备这种能力的通用模型还没有出现。原因在于，不同 垂直 Agent 所处的场景设定、可使用的工具集合以及运行环境差异极大，而当前的通用模型尚不足以在如此多样的场景中实现稳定泛化。因此，围绕具体应用场景定制模型，反而更容易形成优势。此外，不同场景对效果的评估标准也存在显著差异，即 Reward 的定义并不通用。如果一个场景能够清晰地定义 Reward，并且该 Reward 判断能够高效自动地完成，那么针对这一场景通过强化学习在通用基座模型上定制训练的 Agentic 模型，往往可以显著超过现有通用模型。第二个难点在于环境的复杂性。以代码场景为例，其运行环境不仅涉及代码本身，还包括外部接口调用、工具使用、数据库依赖，以及登录、扫码等一系列真实应用中的外部依赖。在训练过程中，这些依赖都必须能够被高并发、稳定地访问，这对技术实现提出了很高要求。第三个挑战在于强化学习系统本身。当前业内已形成共识，即要实现模型在特定场景中的持续迭代，必须依赖一套在该场景下运行顺畅、具备高效率和高吞吐能力的强化学习系统。﻿由于强化学习系统本身的架构复杂性，也出现了不少 RLaaS 的平台产品，把算法复杂性封装在平台内，业务仅需要聚焦在业务场景定义，Reward 评估方案制定和迭代。这也是百度千帆平台 26 年的重点业务方向。InfoQ：那现在有没有比较通用、效果较好的强化学习框架？吴健民：目前开源社区中已有不少强化学习框架，例如 OpenRLHF、TRL 以及 VeRL 等，它们基本覆盖了强化学习流程中的主要环节。但在工业级应用中，这些框架仍然不够成熟，﻿特别是涉及多轮工具调用的 Agentic 场景，往往需要进行深度定制和打磨。打磨方向主要在两个方面：首先是模型规模支持，严肃应用往往依赖参数量较大的 SOTA 模型，例如百度文心或 DeepSeek 开源的模型，强化框架能否高效支撑这类大模型至关重要；其次是 Agent 训练能力，早期的强化学习多集中于单步任务，例如数学推理，而代码类、客服、DeepReasearch 等 Agent 更依赖多轮工具调用的复杂交互，这就要求强化训练框架能够配合一整套稳定、高效的脚手架系统。此外，工业级 Agentic 模型的 研发对整体技术栈的要求极高，包括沙盒环境以及高性能、高并发的调度运行能力；若涉及联网搜索，还需要稳定的高并发搜索 API 支持。因此，具备云计算或搜索基础能力的团队往往更具优势。InfoQ：要在基座模型上增强 Agentic 能力，需要哪些技术支持？吴健民：这一问题的核心仍然在于强化学习如何在基座模型之上更好地服务于具体场景。强化训练的本质并不是创造全新的能力，而是激发和稳定模型在特定场景中的既有能力。因此，首要前提是基座模型本身在目标场景上具备优势。这种优势通常来源于预训练阶段的数据分…

美团 LongCat-Flash-Thinking-2601 发布，工具调用能力登顶开源 SOTA！
type: item
date: 2026-01-20T09:52:11+08:00
description: 近日，美团 LongCat 团队正式对外发布并开源 LongCat-Flash-Thinking-2601。作为已发布的 LongCat-Flash-Thinking 模型的升级版，LongCat-Flash-Thinking-2601 在 Agentic Search（智能体搜索）、Agentic Tool Use（智能体工具调用）、TIR（工具交互推理）等核心评测基准上，均达到开源模型 SOTA 水平。该模型尤其在工具调用上表现出卓越的泛化能力，在依赖工具调用的随机复杂任务中性能超越了 Claude，可大幅度降低真实场景下新工具的适配训练成本；同时它是首个完整开源并支持在线免费体验「重思考模式」的模型，同时启动 8 个大脑飞速运转，确保思考周全、决策可靠。目前该功能已经可以在 https://longcat.ai 网站免费体验（仅选择深度思考功能时会触发重思考模式）。01 创新的「重思考」模式：让模型学会“深思熟虑”全新升级的「重思考」模式，让模型学会了“深思熟虑”再行动，遇到高难度问题时，模型会把思考过程拆成并行思考和总结归纳两步来做：并行思考阶段，模型会同时独立梳理出好几条推理路径，就跟人面对难题时会琢磨不同解法一个道理，还会特意保证思路的多样性，生怕漏掉最优解；总结归纳阶段，对多条路径进行梳理、优化与合成，并将优化结果重新输入，形成闭环迭代推理，推动思考持续深化。除此之外，我们还专门设计了额外的强化学习环节，针对性打磨模型的总结归纳能力，让 LongCat-Flash-Thinking-2601 真正实现“想清楚再行动”。02 智能体工具调用能力登顶开源 SOTA经过全面严谨的评估显示，LongCat-Flash-Thinking-2601 模型在编程、数学推理、智能体工具调用、智能体搜索维度表现全面领先：编程能力：LongCat-Flash-Thinking-2601 在 LCB 评测中取得 82.8 分，OIBench EN 评测获 47.7 分，成绩处于同类模型第一梯队，展现出扎实的代码基础能力。数学推理能力：在开启重思考模式后表现突出，LongCat-Flash-Thinking-2601 在 AIME-25 评测中获 100.0 分（满分），IMO-AnswerBench 中以 86.8 分达到当前 SOTA。智能体工具调用能力：在 τ²-Bench 评测中拿到 88.2 分，VitaBench 评测中获得 29.3 分，均获得开源 SOTA 水平，在多领域工具调用场景下表现优异，适配实际应用需求。智能体搜索能力：在 BrowseComp 任务中取得 73.1 分（全模型最优），RW Search 评测获 79.5 分，LongCat-Flash-Thinking-2601 具备强劲的信息检索与场景适配能力，达到开源领先水平。同时，为了更好的测试智能体模型的泛化能力，我们提出了一种全新的评测方法——通过构建一套自动化任务合成流程，支持用户基于给定关键词，为任意场景随机生成复杂任务。每个生成的任务都配备了对应的工具集与可执行环境。由于这类环境中的工具配置具有高度随机性，我们通过评估模型在该类环境中的性能表现，来衡量其泛化能力。实验结果表明，LongCat-Flash-Thinking-2601 在绝大多数任务中保持领先性能，印证了其在智能体场景下强大的泛化能力。03 核心技术突破：既能“打硬仗”也能“抗干扰”3.1 环境扩展与多环境强化学习 ：从“靶场”到“实战”传统智能体大多只在几个简单模拟环境里训练，就像士兵只练过靶场，到了真实“战场”就掉链子。而基于“环境扩展+多环境强化学习”核心技术，为模型打造了多样化的“高强度练兵场”，构建了多套高质量训练环境，每套集成 60 余种工具并形成密集依赖关系图谱与复杂联动，支撑起高度复杂的任务场景。实验证明，训练环境越丰富，模型在未知场景中的泛化能力越强。得益于这套方案，LongCat-Flash-Thinking-2601 在智能体搜索、智能体工具调用等核心基准测试中稳居前列。尤其在复杂随机的分布外任务中性能优于 Claude。同时我们针对性扩展 自研强化学习基础设施（DORA），在保留原有高效异步训练特性的基础上实现大规模多环境智能体的稳定并行训练，通过均衡搭配多环境任务、按难度与训练进度智能分配算力，最大化提升训练效率与资源利用率，筑牢能力根基。此外，我们还从复杂度、多样性双维度严控训练任务，配套专属数据库及优化方案，杜绝模型“偏科”与训练漏洞，让这套全流程方案持续赋能模型，稳居智能体能力第一梯队。3.2 噪声环境下的稳健训练：让智能体更“抗造”现实世界的智能体环境充满不确定性，API 调用失败、返回异常信息、观测数据不完整等“噪声”问题，极易导致模型决策失误。为…

R-HORIZON：探索长程推理边界，复旦NLP&美团LongCat联合提出LRMs能力评测新框架
type: item
date: 2026-01-19T22:20:55+08:00
description: 一、推理模型⾯临的新挑战随着 OpenAI o1 、 DeepSeek-R1 等大型推理模型（LRMs）的问世， AI 推理能力迎来了「测试时扩展」的新阶段。这些模型通过长链思维（Long Chain-of-Thought, CoT）在数学推理、代码生成、智能体任务等领域展现出强大能力。然而，现有评测体系存在一个关键盲区：主流基准测试（如 MATH500 、AIME）主要关注独立的单一问题，每个问题相互隔离，模型只需「—问—答」即可。但现实应用场景往往大相径庭：软件开发中需要连续处理多个关联代码模块数学证明需要基于前序推导逐步构建后续结论智能助手往往需要在多轮交互逐步完成复杂任务这些真实场景要求模型具备跨任务的长链推理能力——不仅要解决单个子问题，更要在多个关联任务间保持推理—致性、合理分配计算资源、实现跨步骤的反思与纠错。核心问题：当前大型推理模型的长链推理能力边界到底在哪里？由于现有评测无法回答这—问题，传统训练数据也难以培养这种能力（如图所示，模型在长程推理场景下表现明显退化）。复旦大学与美团 LongCat 联合推出 R-HORIZON——首个系统性评估与增强 LRMs 长链推理能力的评测框架与训练方法。论文标题： R-HORIZON: How Far Can Your Large Reasoning Model Really Go in Breadth and Depth?论文地址： https://arxiv.org/abs/2510.08189项目主页： https://reasoning-horizon.github.io代码地址：https://github.com/meituan-longcat/R-HORIZON 数据集：https://huggingface.co/collections/meituan-longcat/r-horizon二、方法论：Query Composition 范式核心创新R-HORIZON 提出了问题组合（Query Composition）方法，通过构建问题间的依赖关系，将孤立任务转化为复杂的多步骤推理链。以数学任务为例，该方法包含三个步骤：1. 信息提取：从独立问题中提取核心数值、变量等关键信息 2. 依赖构建：将前序问题的答案嵌入到后续问题的条件中 3. 链式推理：模型必须顺序解决所有子问题才能获得最终答案方法优势灵活扩展：可自由控制推理链长度（n = 2, 4, 8…）精确可控：可灵活设定问题间的依赖强度高效低成本：基于现有数据集构建，无需额外人工标注基于此方法，我们构建了 R-HORIZON Benchmark 用于系统性评估 LRMs 的多步推理能力，同时生成了长链推理训练数据，通过强化学习（RLVR）提升模型性能。三、评测基准：R-HORIZON Benchmark数据集构成基于 Query Composition 方法，我们构建了涵盖 6 个代表性数据集的 R-HORIZON Benchmark：评测发现：性能断崖现象我们评测了 20+ 个主流 LRMs（包括 o4-mini 、Claude-Sonnet-4 、 DeepSeek-R1 等顶级商业模型及开源模型），揭示了—个重要现象。顶级推理模型在长链推理场景下均出现显著性能下降！主要发现：普遍性能退化：所有模型随问题数量增加均出现明显性能下降。DeepSeek-R1 在 AIME25 单问题场景准确率达 87.3%，但在 5 个组合问题场景下骤降至 24.6%。规模效应：更大规模的模型对多步推理挑战表现出更强的鲁棒性。任务差异：代码生成任务相比数学任务表现出更陡峭的性能衰退；多数推理模型在网页搜索场景中丧失工具调用能力。四、机制分析：推理模型的三大瓶颈为深入理解性能断崖的成因，我们进行了系统的机制分析，识别出当前 LRMs 的三个关键瓶颈：瓶颈 1：有效推理长度受限随着相互依赖问题数量增加，LRMs 难以维持原有性能水平。实际准确率与理论准确率之间的差距显著扩大。深入分析显示：模型错误集中在特定上下文范围内7B 模型的主要错误范围在 (4-6K tokens)32B 模型将范围扩展到 (8-10K tokens)更大模型具有更长的有效推理边界瓶颈 2： 反思机制高度局部化对模型「反思」行为的分析发现发现：模型反思频率随问题数量增加而上升并趋于收敛。超过半数复杂任务 完全缺乏 长程反思 （跨越当前问题的反思）。当前 LRMs 的反思机制 高度局部化，无法支撑长链场景需求。瓶颈 3：思考预算分配失衡最令人意外的发现：包括 DeepSeek-R1 在内的主流 LRMs 无法有效分配思考预算！模型倾向于过度分配 tokens 给早期推理阶段未能合理分配资源给后续关键问题这种失衡严重影响整体推理链的完成质量五、 训练方…

AAAI 2026
type: item
date: 2026-01-19T20:48:51+08:00
description: AAAI 是人工智能领域顶级的国际学术会议，本文精选了美团技术团队被收录的 8 篇学术论文（附下载链接），覆盖大模型推理、 退火策略、过程奖励模型、强化学习、视觉文本渲染等多个技术领域，希望这些论文能对大家有所帮助或启发。01 Promoting Efficient Reasoning with Verifiable Stepwise Reward论文类型：Poster论文下载：PDF论文简介：大推理模型通过强化学习提升了链式推理能力，但输出冗长，导致推理开销增大和用户体验下降，即「过度思考」问题。针对这一现象，本文提出了可验证的过程奖励机制（VSRM），通过奖励有效步骤、惩戒无效步骤，优化模型推理过程。VSRM 首先通过特殊 token 划分推理步骤，并结合三条规则保证每个步骤的内容可读性。各步骤通过插入 token 生成子轨迹，模型根据每步前后正确率变化分配步骤级奖励。为避免奖励信号稀疏，引入前瞻窗口机制，通过折扣因子传播未来正确率变化，使奖励更密集。实验表明，VSRM 能大幅缩减输出长度，且在多种数学 benchmark 和不同模型、算法下保持甚至提升性能。消融实验证明前瞻窗口机制有效，显式长度惩罚对 VSRM 无益。VSRM 机制可与各类强化学习算法无缝结合，有效抑制无效步骤，鼓励有效推理，是解决过度思考问题、提升模型推理效率的有效方法。02 Scaling and Transferability of Annealing Strategies in Large Language Model Training论文类型：Long Paper论文下载：PDF论文简介：本文深入研究了大型语言模型训练过程中退火策略（Annealing Strategies）对模型性能的影响，提出了一个新的缩放法则公式来预测不同训练配置下的损失曲线。研究发现，即使在相同的训练 token 数量和模型规模下，不同的批次大小（batch size）和学习率调度器也会导致显著不同的训练曲线。为此，作者提出了一个改进的缩放法则公式：其中 S 表示学习率对训练步数的积分（前向效应），M 表示动量对训练步数的积分（退火动量项），N 代表模型规模。论文的核心贡献包括：(1) 证明在特定情况下，训练步数比训练 token 数更适合作为追踪损失曲线的指标；(2) 发现最优退火比率（Ropt）随总训练步数增加而减小，遵循幂律关系；(3) 验证了最优退火比率在训练集和验证集上保持一致；(4) 通过在 Dense 模型和 MoE（Mixture-of-Experts）模型上的大量实验，证明小模型可以作为优化大模型训练动态的可靠代理。该研究为大规模语言模型的训练提供了更精确的理论指导，有助于优化训练效率和模型性能。03 From Mathematical Reasoning to Code: Generalization of Process Reward Models in Test-Time Scaling论文类型：Long Paper （Oral）论文下载：PDF论文简介：本文系统研究了过程奖励模型（Process Reward Models, PRMs）在提升大型语言模型推理能力方面的作用，特别关注其从数学推理到代码生成任务的跨域泛化能力。研究从训练方法、可扩展性和泛化能力等多个维度对 PRMs 进行了深入分析。论文的核心发现包括： - 训练计算资源的影响：研究发现随着 PRM 模型规模的增大，性能提升呈现边际递减效应，强调了在模型规模和计算成本之间寻找平衡的重要性。同时，训练数据集的多样性显著影响 PRM 性能，作者提出的 ASLAF（自动步骤级标注与过滤）方法在多个基准测试中表现优异。 - 测试时扩展策略：论文评估了 Best-of-N 采样、束搜索、蒙特卡洛树搜索（MCTS）和多数投票等多种搜索策略。结果表明，在计算资源充足时 MCTS 效果最佳，而在资源受限情况下 Best-of-N 采样是实用的替代方案。 - 跨域泛化能力：令人惊讶的是，在数学数据集上训练的 PRMs 在代码生成任务上的表现与专门针对代码训练的模型相当，展现出强大的跨域适应能力。通过梯度分析，研究还发现 PRMs 倾向于选择具有相似底层推理模式的响应，这为理解其优化机制提供了新视角。该研究为优化大规模语言模型的训练和部署提供了重要的理论指导和实践参考。04 Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective论文类型：Poster论文下载：PDF论文简介：本文对强化学习（RL）中的问题采样策略进…

科技爱好者周刊（第 381 期）：中国 AI 大模型领导者在想什么
type: item
date: 2026-01-19T16:13:42+08:00
description: 这里记录每周值得分享的科技内容，周五发布。本杂志开源，欢迎投稿。另有《谁在招人》服务，发布程序员招聘信息。合作请邮件联系（[email protected]）。封面图刚刚运营的北京通州站位于地下，为了充分利用自然光，屋顶采用了透光的膜结构，上方还有一个风帆形状的保护架。（via）中国 AI 大模型领导者在想什么上周六（1月10日），北京有一场"AGI-Next 前沿峰会"，由清华大学基础模型实验室主办。中国顶尖的 AI 大模型领导者，很多都出席了。 唐杰：清华大学教授，智谱创始人 杨植麟：月之暗面 Kimi 创始人 林俊旸：阿里 Qwen 技术负责人 姚顺雨：OpenAI 前核心研究者、腾讯 AI 新部门负责人 他们谈了对大模型和中国 AI 发展的看法，网上有发言实录。内容非常多，有意思的发言也很多，下面是我摘录的部分内容。一、唐杰的发言1、智谱的起源2019年，我们开始研究，能不能让机器像人一样思考，当时就从清华成果转化，在学校的大力支持下，成立了智谱这么一家公司，我现在是智谱的首席科学家。那个时候，我们实验室在图神经网络、知识图谱方面，在国际上做的还行，但我们坚定地把这两个方向暂停了，暂时不做了，所有的人都转向做大模型。2、泛化和 Scaling我们希望机器有泛化能力，我教它一点点，它就能举一反三。就和人一样，教小孩子的时候，我们总希望教三个问题，他就会第四个、第十个，甚至连没教过的也会。怎么让机器拥有这种能力？目前为止，我们主要通过 Scaling（规模化）达到这个目标，在不同层面提高泛化能力。（1）我们最早期用 Transformer 训练模型，把所有的知识记忆下来。训练数据越多、算力越多，模型的记忆能力就越强，也就是说，它把世界上所有的知识都背下来了，并且有一定的泛化能力，可以抽象，可以做简单的推理。比如，你问中国的首都是什么？这时候模型不需要推理，它只是从知识库里拿出来。（2）第二层是把模型进行对齐和推理，让它有更复杂的推理能力，以及理解我们的意图。我们需要持续的 Scaling SFT（Supervised Fine-Tuning，监督式微调），甚至强化学习。通过人类大量的数据反馈，不断 Scaling 反馈数据，可以让模型变得更聪明、更准确。（3）今年是 RLVR（强化学习与可验证奖励）爆发年。这里的"可验证"是什么意思？比如，数学可以验证、编程可能可以验证，但更广泛地，网页好不好看，就不大好验证了，它需要人来判断。这就是为什么这个事情很难做，我们原来只能通过人类反馈数据来做，但人类反馈的数据里面噪音也非常多，而且场景也非常单一。如果我们有一个可验证的环境，这时候我们可以让机器自己去探索、自己去发现这个反馈数据，自己来成长。这是我们面临的一个挑战。3、从 Chat 到做事：新范式的开始大家可能会问，是不是不停地训练模型，智能就越来越强？其实也不是。2025年初，DeepSeek 出来，真是横空出世。大家原来在学术界、产业界都没有料到 DeepSeek 会突然出来，而且性能确实很强，一下子让很多人感到很震撼。我们当时就想一个问题，也许在 DeepSeek 这种范式下，Chat（对话）差不多算是解决了。也就是说我们做得再好，在 Chat 上可能做到最后跟 DeepSeek 差不多。或许我们可以再个性化一点，变成有情感的 Chat，或者再复杂一点，但是总的来讲，这个范式可能基本到头了，剩下更多的反而是工程和技术的问题。那么，AI 下一步朝哪个方向发展？我们当时的想法是，让每个人能够用 AI 做一件事情，这可能是下一个范式，原来是 Chat，现在是真的做事了。当时有两个方向，一个是编程，做 Coding、做 Agent；另一个是用 AI 来帮我们做研究，类似于 DeepResearch，甚至写一个复杂的研究报告。我们现在的选择是把 Coding、Agentic、Reasoning 这三个能力整合在一起。二、林俊旸的发言4、千问是怎么开源的千问的开源模型比较多，很多人问这是为什么？这起源于2023年8月3日，我们开源了一个小模型，它是我们内部用来做实验的 1.8B 模型。我们做预训练，资源毕竟有限，你做实验的话不能通通用 7B 的模型来验，就拿 1.8B 的来验。当时我的师弟跟我说，我们要把这个模型开源出去。我非常不理解，我说这个模型在2023年几乎是一个不可用的状态，为什么要开源出去？他跟我说 7B 很消耗机器资源，很多硕士生和博士生没有机器资源做实验，如果 1.8B 开源出去的话，很多同学就有机会毕业了，这是很好的初心。干着干着，手机厂商跑来跟我们说 7B 太大，1.8B 太小，能不能给我们干一个 3B 或 4B 的，这个容易，没有什么很难的事情。一路干下来，型号类型越来越多，跟服务大家多多少少有一点关系。5、我们的…