xiaohack's Blog - 开源模型
type: channel
link: https://blog.xiaohack.org/tag/%E5%BC%80%E6%BA%90%E6%A8%A1%E5%9E%8B/
items: 学界大佬吵架金句不断，智谱和 MiniMax 太优秀被点名，Agent 竟然能写 GPU 内核了？！
items: 8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
items: 微软开源 VibeVoice-ASR 模型，支持一小时长音频处理；苹果首款 AI 设备：AirTag 尺寸胸针，双摄三麦 丨日报
items: 阶跃星辰开源多模态模型 Step3‑VL‑10B，小模型实现大模型能力；华为或将发布首款 AI 眼镜，支持同传拍照 丨日报
items: 飞书联手安克发布首款硬件 AI 录音豆；ElevenLabs 新一轮融资估值或达 110 亿美元丨日报
items: 美团 LongCat-Flash-Thinking-2601 发布，工具调用能力登顶开源 SOTA！
items: 美团发布 LongCat-Image 图像生成模型，编辑能力登顶开源 SOTA
items: 美团 LongCat-Video-Avatar 正式发布，实现开源 SOTA 级拟真表现
items: 美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？ ｜

学界大佬吵架金句不断，智谱和 MiniMax 太优秀被点名，Agent 竟然能写 GPU 内核了？！
type: item
date: 2026-01-23T20:23:53+08:00
description: “如果一个 AI 能解 IMO，但解决不了任何现实问题，那它不是通用人工智能。”这是卡内基梅隆大学助理教授、艾伦人工智能研究所研究科学家，蒂姆·德特默斯对 AGI 给出的判断，他用一篇文章 《通用人工智能为何不会成为现实》 直接把 AGI 从神坛上拽了下来。有意思的是，几天后，加州大学圣地亚哥分校助理教授、Together AI 内核副总裁丹·傅，给出了完全相反的判断。他写了一篇 《通用人工智能终将成为现实》，说 我们也许早就已经实现了 AGI。于是，两篇文章，一场关于 “AGI ” 的争论，被带进了播客现场。这场讨论并非空谈，两位嘉宾都是同时深耕学术界与产业界的一线研究者。蒂姆·德特默斯长期深耕深度学习量化领域，即模型压缩，如何在更低精度、更少算力下，让模型保持可用性能。在蒂姆·德特默斯看来，判断 AGI 是否成立，首先要回到一个常被忽略的前提：计算是物理的。在他看来，内存迁移、带宽、延迟，以及冯·诺依曼瓶颈，决定了算力不可能无限扩张。他说 “几乎所有指数增长，最终都会撞上资源和物理极限”。 所以，指数增长终将放缓，Scaling Law 也不例外。但丹·傅显然不这么看。在他看来，现在谈“算力见顶”，还太早了。丹·傅每天都在和 GPU 内核、算力利用率打交道，在他看来，“我们甚至还没真正用好上一代硬件。”在现实系统中，算力其实被严重低估和浪费了， 大量性能消耗在内核调度、系统开销和工程细节上。更关键的是，人们今天评测和使用的“最强模型”，往往是基于一到两年前的算力集群训练出来的，它们并不能代表当下硬件和大规模集群所能达到的真实上限。他因此提出了一个直观的估算思路，用来说明算力增长的潜力来自多个维度的叠加：新一代硬件 带来约 2–3 倍 的性能提升；系统与工程优化 将算力利用率提升 约 3 倍；更大规模的集群 再带来 约 10 倍 的规模效应。这三者相乘，意味着可用算力在理论上可以提升接近 90 倍。这并不是纸面上的推算，而是正在产业中逐步发生、逐步兑现的现实潜力。有意思的是，当争论继续推进，两人反而在一个问题上开始靠拢：AGI 到底是什么？关于 AGI 的定义，大致有两种主流视角：一种从认知能力出发，看模型能否覆盖足够多的认知任务；另一种则从经济角度出发，看它是否真的改变了生产方式。这一点上，双方达成一个共识：AGI 是什么并不重要，重要的是，它有没有改变我们工作的方式。在访谈后后半部分，大家从未来拉回到了现实，Agent 成为了关键话题。丹·傅在节目中提到一个有趣的时间点：2025 年 6 月， 那是他第一次意识到，Agent 可能真的越过了拐点。他当时发现机器学习工程中最难的技能之一、编程领域的终极难题——“GPU 内核编程” 被代码智能体啃下来了。他自己亲测：原本一个 GPU 内核功能开发得磨一周，那天靠着代码智能体，一天就搞定了三四个，工作效率直接提升了 5 倍。而他的团队用上后，那些原本需要整支团队耗数月的复杂系统开发，也变得轻装上阵。这让丹·傅想起了自己对自动驾驶的态度变化，从长期怀疑到真正坐上 Waymo，他意识到技术的突破可能藏在某个猝不及防的瞬间。针对 Agent 的爆发式潜力，蒂姆·德特默斯曾发布了一篇掷地有声的文章 《要么善用 Agent，要么被时代淘汰》。在他看来，代码 Agent 本身就是高度通用的 Agent，因为代码几乎可以描述和解决所有数字化问题。他甚至直言，“超过 90% 的代码和文本，本就应该由 Agent 来生成。但同时他也强调，“人类必须对最终结果承担责任，而非盲目依赖 AI 的输出。”两人将 Agent 形象地比作“需要精细化管理的实习生”，只要给它明确背景信息、拆解任务边界、设定执行约束，人类无需过度干预其执行过程，而是把注意力聚焦在把控方向上，用专业判断力校验结果。而在 Agent 时代，真正吃到红利的将是有深厚积累的专家，其专业基础越深厚，Agent 能为其创造的效率增量就越显著。在节目的最后，关乎对 AI 行业未来的预判，双方抛出了一系列深刻洞见。在他们看来，小模型会成为行业新热点、开源模型会进一步飞跃；新硬件、多模态、端侧 AI 都会有进一步发展。其中，硬件赛道将走向多元化发展，模型训练与推理环节的专业化分化会进一步加剧。更值得关注的是，Transformer 架构独霸天下的时代会落幕，各类新架构会登上时代舞台。他们还特别提到了中国的 GLM-4.7、MiniMax、DeepSeek 等优秀模型，对中国大模型的快速进步表达了高度认可。在他们看来，相比技术路线相对集中的美国，中国团队反而更敢于探索多种可能性，比如状态空间模型、线性注意力以及混合架构等，通过架构创新或极致性能，让开源模型脱颖而出。同时，他们也指出，中国的模型团队在技术路线上更 务实。与“先做出最强模型，再等待应…

8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
type: item
date: 2026-01-23T14:06:18+08:00
description: 1 月 20 日，由清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 开源社区联合研发的 8B 端侧写作智能体 AgentCPM-Report 正式开源。 在当前深度研究场景中，企业与科研人员常面临两难抉择：依赖云端大模型虽能获得顶级调研能力，却需承担核心数据泄密风险；选择断网或本地小模型保障安全，又往往因性能局限导致报告逻辑浅薄、实用性不足。 为此，AgentCPM-Report 以端侧模型为核心，来实现本地化部署与 SOTA 性能的双重突破，力求无需昂贵算力集群，也无需上传任何信息，即可在本地构建专家级调研助手。 据悉，该智能体的核心亮点集中在两大维度。 第一，极致效能与“以小博大”的突破：通过平均 40 轮深度检索与近 100 轮思维链推演，AgentCPM-Report 以仅 8B 的参数规模，实现了对复杂信息的全方位挖掘与重组，能够产出逻辑严密、洞察深刻的万字长文，在深度调研任务上性能对标顶级闭源系统。 第二，物理隔绝的本地安全保障：专为高隐私场景设计，支持完全离线的敏捷部署，彻底杜绝云端泄密风险；依托开源的 UltraRAG 框架，可高效挂载并理解本地私有知识库，让核心机密数据在"不出域"的前提下，转化为高价值的专业决策报告。 在 DeepResearch Bench、Deep Consult、DeepResearch Gym 三大主流深度调研评测基准中，其综合评分达到甚至超越顶级闭源系统：在最考验核心能力的洞察性指标上排名第一，全面性指标位居第一梯队，仅次于基于 Claude 的复杂写作框架。其中在 DeepResearch Gym 评测中，AgentCPM-Report 以 98.48 的综合得分领跑，在深度、广度、洞察力等关键维度均斩获满分。官方展示的实战场景中，该智能体可基于《三体》原文知识库，完成从线索挖掘、大纲规划到万字长文撰写的全流程，精准生成"面壁计划"深度调查报告。 部署便捷性方面，AgentCPM-Report 支持 Docker 一键启动，无需编写代码即可通过拖拽方式将 PDF、TXT 等本地文档导入后台，系统自动完成切片与向量化索引，用户输入研究课题后，即可生成结构化、带引用的专业报告，实现沉浸式深度调研体验。 技术层面，两大创新支撑其“以弱胜强”的表现：一是“写作即推理”模式，通过“起草-深化”两阶段循环与渐进式优化，将长篇写作拆解为微小目标，避免小模型逻辑崩塌；二是“多阶段智能体学习”，拆解智能检索、流畅写作、科学规划、精准决策四大核心能力，通过有监督微调、原子能力强化、全流程优化三阶段训练，实现端到端全链路能力提升。 目前，AgentCPM-Report 已在 GitHub、HuggingFace、ModelScope、GitCode、魔乐社区等多个平台开源，UltraRAG 框架也同步开放获取。 UltralRAG 框架开源地址：https://github.com/OpenBMB/UltraRAGGitHub：https://github.com/OpenBMB/AgentCPMHuggingFace：https://huggingface.co/openbmb/AgentCPM-ReportModelScope：https://modelscope.cn/models/OpenBMB/AgentCPM-ReportGitCode：https://gitcode.com/OpenBMB/AgentCPM魔乐社区：https://modelers.cn/models/OpenBMB/AgentCPM-Report

微软开源 VibeVoice-ASR 模型，支持一小时长音频处理；苹果首款 AI 设备：AirTag 尺寸胸针，双摄三麦 丨日报
type: item
date: 2026-01-23T11:33:02+08:00
description: 开发者朋友们大家好：这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。本期编辑：@瓒an、@鲍勃01 有话题的技术1、Microsoft 开源 VibeVoice-ASR 语音识别模型：支持 60 分钟单次长音频处理，集成 64K 上下文与热词自定义Microsoft 发布「VibeVoice-ASR」语音识别模型，突破了传统 ASR 依赖短音频切片的限制，支持单次处理长达 60 分钟的连续音频。该模型通过 64K token 上下文窗口，在单一推理过程中联合完成识别、说话人日志与时间戳生成。60 分钟单次推理能力：放弃传统的短音频切片模式，避免了因切片导致的全局语义丢失和跨片段说话人追踪失败问题。64K Token 级长上下文支持：利用超长上下文窗口，实现 ASR、Diarization（说话人日志）与 Timestamping（时间戳）的端到端联合输出，生成包含「Who， When， What」的结构化转录文本。Customized Hotwords 动态引导：允许用户在识别时注入特定专有名词、技术术语或背景词汇，显著提升特定领域或低频词的识别准确率。DER 与 cpWER 综合性能优化：通过联合训练，模型在说话人错误率和带时间戳的字错误率等指标上具备竞争优势。标准化部署环境：支持 NVIDIA PyTorch Container（验证版本 24.07 至 25.12），核心计算依赖 Flash-Attention 以优化超长序列的推理效率。已在 Hugging Face 开源并提供测试 Demo，采用 MIT 开源协议。HuggingFace:https://huggingface.co/microsoft/VibeVoice-ASRGitHub:https://github.com/microsoft/VibeVoice( @GitHub)2、FlashLabs 发布 Chroma 1.0：开源原生 Speech-to-Speech 模型，TTFT 降低至 135msFlashLabs 推出「Chroma 1.0」开源端到端的 Speech-to-Speech 大模型。该模型跳过了传统的语音识别（ASR）与合成（TTS）阶段，直接在音频 Token 维度完成推理，为开发者提供了一个可私有化部署的 OpenAI Realtime 模型替代方案。原生端到端语音架构：弃用「ASR → LLM → TTS」的级联管道，采用单一闭环处理音频 Token。该架构原生支持全双工中断，并能完整保留对话中的语调、情感和节奏。135ms 极低响应延迟：模型 TTFT（首字音频延迟）小于 150ms；在启用 「SGLang」 优化后，TTFT 进一步降低至 135ms，实时系数保持在 0.47–0.51 之间，推理速度达实时语速的 2 倍以上。4B 参数量与高保真克隆：模型基于 「Qwen 2.5-Omni-3B」 与 「Mimi」 构建，仅需数秒音频样本即可实现高保真语音克隆。其相似度指标 SIM 达到 0.817，较人类基准（0.73）提升约 11%。集成双层 RAG 架构：内置双层 RAG 机制，可直接挂载向量数据库与知识图谱，实现由智能体驱动的事实检索与语音生成分离，提升对话准确性。模型权重（Chroma-4B）与推理代码已在 Hugging Face 和 GitHub 全面开源，支持通过 FlashAI 平台直接部署。相关链接：https://www.flashlabs.ai/flashai-voice-agentsHuggingFace:https://huggingface.co/FlashLabs/Chroma-4B( @flashlabsdotai\@X)3、Inworld AI 发布 TTS-1.5 语音模型：P90 延迟降至 130ms，推理成本仅为同类产品 1/25「Inworld AI」正式推出 TTS-1.5 语音合成模型，旨在解决实时语音交互中的延迟与成本瓶颈。通过优化强化学习算法，该版本在显著提升表现力的同时，将 P90 延迟压缩至 250ms 以内，并实现了极低廉的定价策略，直接面向大规模商用语音智能体市场。生产级实时延迟：TTS-1.5 Mini 模型的 P90 首包延迟低于 130ms，Max 模型低于 250ms，响应速度较前代提升约 4 倍，突破了人类自然对话约 300ms 的感知间隔。稳定性与表现力优化：通过规模化强化学习训练，词错率降低 40%，大幅减少…

阶跃星辰开源多模态模型 Step3‑VL‑10B，小模型实现大模型能力；华为或将发布首款 AI 眼镜，支持同传拍照 丨日报
type: item
date: 2026-01-22T12:50:06+08:00
description: 开发者朋友们大家好：这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。本期编辑：@瓒an、@鲍勃01有话题的技术1、阶跃星辰开源 Step3‑VL‑10B：10B 模型对标 200B 能力昨天，阶跃星辰宣布正式开源旗下 10B 参数量多模态模型 Step3‑VL‑10B。该模型在多项核心基准测试中达到同规模 SOTA 水平，部分能力甚至超越 10–20 倍体量的大模型。Step3‑VL‑10B 主打「小模型实现大模型能力」，在视觉感知、逻辑推理、数学竞赛题、多模态对话等任务中表现突出。阶跃星辰称，Step3‑VL‑10B 的性能已接近甚至超越部分百亿级开源模型（如 GLM‑4.6V 106B‑A12B、Qwen3‑VL‑Thinking 235B‑A22B），并在部分场景中达到顶级闭源旗舰模型（如 Gemini 2.5 Pro、Seed‑1.5‑VL）水平。官方强调，该模型的关键突破来自三项核心设计：全参数端到端多模态联合预训练：在 1.2T 高质量多模态数据上训练，实现视觉与语言的深度对齐；大规模多模态强化学习：经历超过 1,400 次迭代，使模型在识别、推理与对话能力上持续提升；并行协调推理机制：通过并行探索与证据聚合提升复杂任务的准确度，尤其在数学推理、OCR、计数与空间拓扑任务中效果显著。Step3‑VL‑10B 同时提供 SeRe（顺序推理）与 PaCoRe（并行推理）两种范式，覆盖 STEM 推理、OCR、GUI Grounding、空间理解与代码等多项能力维度。当前，Step3‑VL‑10B 已开放 Base 与 Thinking 两个版本，社区可在 HuggingFace 与 ModelScope 获取模型并进行微调。项目主页：https://stepfun-ai.github.io/Step3-VL-10B/Hugging Face:https://huggingface.co/collections/stepfun-ai/step3-vl-10bModelScope:https://modelscope.cn/collections/stepfun-ai/Step3-VL-10B论文链接：https://arxiv.org/pdf/2601.09668（@阶跃星辰、@APPSO）2、showlab 开源 whisperVideo：集成 SAM3 与 TalkNet 实现长视频「音视对齐」的说话人转录showlab 近期开源了名为 whisperVideo 的项目，专门致力于解决长视频场景下「谁在说话」的身份归属难题。该工具打破了传统方案仅依赖音频的局限，通过融合视听双重特征，实现了语音内容与画面特定人脸的精准对齐。为了突破纯音频方案在多人混响或近距离交谈时常见的识别漂移问题，whisperVideo 构建了一套紧密的多模态级联架构。它集成了 WhisperX 负责语音转录、Pyannote.audio 处理声纹分离，并引入 SAM3 进行人脸分割以及 TalkNet 判定主动说话人。这种组合拳方式，确保了机器能像人类一样同时「听」和「看」，从而做出更准确的判断。针对小时级素材中常见的跨场景挑战，工具特别引入了「长时身份一致性」机制。利用视觉嵌入与轨迹聚类技术，系统能在漫长的视频时间轴上记住每一张脸，确保同一说话人的 ID 在不同场景切换中始终保持稳定。在工作流设计上，whisperVideo 追求全自动化体验。内置的 SceneDetect 能够自动进行场景切割与分段处理，无需人工干预即可完成时间戳、文本与视觉 ID 的三方对齐。最终生成的成果不仅包括带说话人 ID 的字幕，还支持可视化的面板模式，并将底层数据以 。pckl 格式开放给开发者。目前，项目已在 GitHub 开源，需使用 CUDA GPU 环境，依赖 HuggingFace Token 调用 Diarization 模型，支持 Python 命令行一键推理。GitHub:https://github.com/showlab/whisperVideo( @aigclink\@X)3、Bolna 获 630 万美元种子轮融资：自研 SLM 语音智能体，支持「印式英语」混说总部位于班加罗尔的初创公司「Bolna」近日完成了由 General Catalyst 领投的 630 万美元种子轮融资。这家公司致力于通过自研的专用小模型（SLM）技术，打破多语言环境下的自动化通信瓶颈。为了适应印度极其复杂的语言生态，…

飞书联手安克发布首款硬件 AI 录音豆；ElevenLabs 新一轮融资估值或达 110 亿美元丨日报
type: item
date: 2026-01-20T11:16:48+08:00
description: 开发者朋友们大家好：这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。本期编辑：@瓒an、@鲍勃01 有话题的技术1、无界方舟 AutoArk-AI 发布 GPA 语音大模型：0.3B 轻量化架构实现 ASR/TTS/VC 统一建模在克隆参考音频样本的音色的同时，从文本合成语音。无界方舟 AutoArk-AI 正式推出通用音频模型「GPA」。该模型基于统一的自回归 Transformer 架构，在单一的大语言模型框架下，集成了语音识别（ASR）、语音合成（TTS）和语音转换（VC）三大核心任务。该模型的设计初衷在于改变传统语音系统碎片化的 Pipeline 设计模式。通过 0.3B 的轻量化参数量级，GPA 旨在实现端侧的高效部署以及跨任务的泛化能力。在技术架构上，GPA 放弃了任务特定的输出头，转而采用统一的离散音频 Token 空间。这一设计将理解、生成与编辑任务收敛至单一自回归模型中，从而减少了跨任务处理过程中的性能损耗。交互方式上，模型采用指令驱动机制，通过文本指令来引导任务行为。它支持零样本语音克隆，用户无需调整架构或进行针对性微调，即可在 ASR、TTS 和 VC 之间进行动态切换。针对边缘计算场景，官方提供了优化的 0.3B 参数版本。该版本兼容性广泛，支持 vLLM、llama.cpp、SGLang、MLX-LM 以及端侧硬件框架 RKNN。在流式推理的延迟指标方面，测试数据显示：在 TTS 任务中，单并发平均 TTFC（首包延迟）为 258.8ms，RTF（实时率）为 0.197；在 ASR 任务中，单并发平均 TTFT（首 Token 延迟）为 157.5ms，能够支持高并发吞吐场景。在性能对标测试中，针对中文 SEED 数据集的 TTS 零样本测试显示，GPA-0.3B 的 CER（字符错误率）为 0.95%。数据显示，该成绩优于同参数量级的 F5-TTS 模型。目前，该模型的代码已开源，相关论文与 Demo 即将上线。使用许可方面，模型目前仅供学术研究与个人教育使用。GitHub:https://github.com/AutoArk/GPA( @GitHub)2、ElevenLabs 洽谈新一轮融资：估值或达 110 亿美元，有望成英国最有价值 AI 初创公司据英国《金融时报》报道，AI 语音生成公司 ElevenLabs 正洽谈新一轮融资，计划从投资者处募集数亿美元资金。若交易达成，其估值或将在数月内翻倍至 110 亿美元。这一跃升将使 ElevenLabs 超越估值约 80 亿美元的自动驾驶公司 Wayve，成为英国最有价值的人工智能初创公司；同时，也将使其跻身欧洲顶尖行列，逼近法国 AI 模型公司 Mistral 约 120 亿美元的估值水平。此次融资谈判距离公司上一次二级股份出售仅过去四个月，当时的估值为 66 亿美元。据悉，目前的会谈仍处于早期阶段，具体情况可能存在变数。ElevenLabs 于 2022 年由波兰企业家 Mati Staniszewski 和 Piotr Dabkowski 在伦敦创立，目前已获得红杉资本（Sequoia）、Iconiq、Andreessen Horowitz、NEA 及 FT Ventures 等多家知名风投机构的支持。为了便于获取美国资本，公司已在美国注册，并在伦敦和纽约设有双总部。在业务层面，ElevenLabs 专注于利用 AI 生成逼真的语音，广泛应用于客服、文本转语音及多语言配音等场景。公司业绩增长迅猛，去年年度经常性收入（ARR）已达到 3.3 亿美元，较 9 月份公布的 2 亿美元有显著提升。宏观来看，尽管全球投资者对 AI 初创企业的兴趣持续高涨，但欧洲公司在募资规模上仍滞后于美国。作为对比，美国巨头 OpenAI 据传估值已达 5000 亿美元，并正商谈最高达 800 亿美元的新一轮融资，投后估值可能突破 8000 亿美元。( @Benchmark Studio)3、红杉资本「覆盖赛道」押注 Anthropic，新一轮融资目标约 250 亿美元，预计最快今年 IPO据《金融时报》报道，红杉资本计划加入对 AI 初创公司 Anthropic 的新一轮重磅融资。此举打破了风险投资界通常避免在同一领域支持竞争对手的传统惯例，因为红杉此前已同时投资了 OpenAI 和埃隆·马斯克的 xAI。本轮融资由新加坡政府投资公司（GIC）和美国投资机构科图（Coatue）领投。 据报道，两家机构各出资 150 亿美元…

美团 LongCat-Flash-Thinking-2601 发布，工具调用能力登顶开源 SOTA！
type: item
date: 2026-01-20T09:52:11+08:00
description: 近日，美团 LongCat 团队正式对外发布并开源 LongCat-Flash-Thinking-2601。作为已发布的 LongCat-Flash-Thinking 模型的升级版，LongCat-Flash-Thinking-2601 在 Agentic Search（智能体搜索）、Agentic Tool Use（智能体工具调用）、TIR（工具交互推理）等核心评测基准上，均达到开源模型 SOTA 水平。该模型尤其在工具调用上表现出卓越的泛化能力，在依赖工具调用的随机复杂任务中性能超越了 Claude，可大幅度降低真实场景下新工具的适配训练成本；同时它是首个完整开源并支持在线免费体验「重思考模式」的模型，同时启动 8 个大脑飞速运转，确保思考周全、决策可靠。目前该功能已经可以在 https://longcat.ai 网站免费体验（仅选择深度思考功能时会触发重思考模式）。01 创新的「重思考」模式：让模型学会“深思熟虑”全新升级的「重思考」模式，让模型学会了“深思熟虑”再行动，遇到高难度问题时，模型会把思考过程拆成并行思考和总结归纳两步来做：并行思考阶段，模型会同时独立梳理出好几条推理路径，就跟人面对难题时会琢磨不同解法一个道理，还会特意保证思路的多样性，生怕漏掉最优解；总结归纳阶段，对多条路径进行梳理、优化与合成，并将优化结果重新输入，形成闭环迭代推理，推动思考持续深化。除此之外，我们还专门设计了额外的强化学习环节，针对性打磨模型的总结归纳能力，让 LongCat-Flash-Thinking-2601 真正实现“想清楚再行动”。02 智能体工具调用能力登顶开源 SOTA经过全面严谨的评估显示，LongCat-Flash-Thinking-2601 模型在编程、数学推理、智能体工具调用、智能体搜索维度表现全面领先：编程能力：LongCat-Flash-Thinking-2601 在 LCB 评测中取得 82.8 分，OIBench EN 评测获 47.7 分，成绩处于同类模型第一梯队，展现出扎实的代码基础能力。数学推理能力：在开启重思考模式后表现突出，LongCat-Flash-Thinking-2601 在 AIME-25 评测中获 100.0 分（满分），IMO-AnswerBench 中以 86.8 分达到当前 SOTA。智能体工具调用能力：在 τ²-Bench 评测中拿到 88.2 分，VitaBench 评测中获得 29.3 分，均获得开源 SOTA 水平，在多领域工具调用场景下表现优异，适配实际应用需求。智能体搜索能力：在 BrowseComp 任务中取得 73.1 分（全模型最优），RW Search 评测获 79.5 分，LongCat-Flash-Thinking-2601 具备强劲的信息检索与场景适配能力，达到开源领先水平。同时，为了更好的测试智能体模型的泛化能力，我们提出了一种全新的评测方法——通过构建一套自动化任务合成流程，支持用户基于给定关键词，为任意场景随机生成复杂任务。每个生成的任务都配备了对应的工具集与可执行环境。由于这类环境中的工具配置具有高度随机性，我们通过评估模型在该类环境中的性能表现，来衡量其泛化能力。实验结果表明，LongCat-Flash-Thinking-2601 在绝大多数任务中保持领先性能，印证了其在智能体场景下强大的泛化能力。03 核心技术突破：既能“打硬仗”也能“抗干扰”3.1 环境扩展与多环境强化学习 ：从“靶场”到“实战”传统智能体大多只在几个简单模拟环境里训练，就像士兵只练过靶场，到了真实“战场”就掉链子。而基于“环境扩展+多环境强化学习”核心技术，为模型打造了多样化的“高强度练兵场”，构建了多套高质量训练环境，每套集成 60 余种工具并形成密集依赖关系图谱与复杂联动，支撑起高度复杂的任务场景。实验证明，训练环境越丰富，模型在未知场景中的泛化能力越强。得益于这套方案，LongCat-Flash-Thinking-2601 在智能体搜索、智能体工具调用等核心基准测试中稳居前列。尤其在复杂随机的分布外任务中性能优于 Claude。同时我们针对性扩展 自研强化学习基础设施（DORA），在保留原有高效异步训练特性的基础上实现大规模多环境智能体的稳定并行训练，通过均衡搭配多环境任务、按难度与训练进度智能分配算力，最大化提升训练效率与资源利用率，筑牢能力根基。此外，我们还从复杂度、多样性双维度严控训练任务，配套专属数据库及优化方案，杜绝模型“偏科”与训练漏洞，让这套全流程方案持续赋能模型，稳居智能体能力第一梯队。3.2 噪声环境下的稳健训练：让智能体更“抗造”现实世界的智能体环境充满不确定性，API 调用失败、返回异常信息、观测数据不完整等“噪声”问题，极易导致模型决策失误。为…

美团发布 LongCat-Image 图像生成模型，编辑能力登顶开源 SOTA
type: item
date: 2026-01-19T21:54:55+08:00
description: 当前 AI 图像生成技术需求旺盛，但行业陷入 “两难困境”：闭源大模型性能强劲但无法自行部署或二次定制开发，开源方案普遍存在轻量化与模型性能难以兼顾、面向商用专项能力不足的痛点，制约商业创作与技术普惠。为此，美团 LongCat 团队正式发布并开源 LongCat-Image 模型，通过高性能模型架构设计、系统性的训练策略和数据工程，以6B参数规模，成功在文生图和图像编辑的核心能力维度上逼近更大尺寸模型效果，为开发者社区与产业界提供了 “高性能、低门槛、全开放” 的全新选择。技术亮点LongCat-Image 采用文生图与图像编辑同源的架构设计，并结合渐进式学习策略，在仅 6B 的紧凑参数规模下，实现了指令遵循精准度、生图质量与文字渲染能力的高效协同提升。尤其在单图编辑的可控性和文字生成的汉字覆盖度方面独具优势。亮点一：图像编辑高度可控LongCat-Image 在图像编辑领域的多个重要基准测试中（如GEdit-Bench、ImgEdit-Bench）均达到开源SOTA水平，实现性能突破的背后在于一套紧密协同的训练范式和数据策略。为有效继承文生图模型的知识和美感，同时避免文生图后训练阶段收窄的状态空间对编辑指令多样性的限制，基于文生图Mid-training阶段模型进行初始化，并采用指令编辑与文生图多任务联合学习机制，深化对复杂多样化指令的理解。此外通过预训练阶段的多源数据及指令改写策略，以及SFT阶段引入人工精标数据，最终实现了指令遵循精准度、泛化性和编辑前后视觉一致性的共同提升。亮点二：中文文字生成精准覆盖针对中文文本渲染这一行业痛点，LongCat-Image 通过课程学习策略来提升字符覆盖度和渲染精准度：预训练阶段基于千万量级合成数据学习字形，覆盖通用规范汉字表的8105个汉字；SFT 阶段引入真实世界文本图像数据，提升在字体、排版布局上的泛化能力；RL 阶段融入 OCR 与美学双奖励模型，进一步提升文本准确性与背景融合自然度。此外通过对 prompt 中指定渲染的文本采用字符级编码，大幅降低模型记忆负担，实现文字生成学习效率的跨越式提升。通过该项能力加持，有效支持海报设计、商业广告作图场景中复杂笔画结构汉字的渲染，以及古诗词插图、对联、门店招牌、文字Logo等设计场景的生僻字渲染。此外，LongCat-Image通过系统性的数据筛选与对抗训练框架，实现了出图纹理细节和真实感的提升。预训练和中期训练阶段严格过滤AIGC数据，避免陷入“塑料感”纹理的局部最优；在SFT阶段，所有数据均经过人工精筛来对齐大众审美；在RL阶段，创新性地引入AIGC内容检测器作为奖励模型，利用其对抗信号逆向引导模型学习真实世界的物理纹理、光影和质感。性能验证客观基准评测全面的客观基准测试充分验证了 LongCat-Image 的核心竞争力：图像编辑任务中，ImgEdit-Bench（4.50分）、 GEdit-Bench 中英文得分（7.60⁄7.64分）分别达到开源SOTA水平，且逼近头部闭源模型水平；文字渲染方面，ChineseWord 评测以 90.7 分的成绩大幅领先所有参评模型，实现常用字、生僻字的全量精准覆盖；文生图任务上，GenEval 0.87 分、DPG-Bench 86.8 分的表现，使其在生图基础能力上相比头部开源与闭源模型依然具备强竞争力。综合主观评测在衡量模型的通用能力时，我们始终将用户的真实体验放在首位。为此，我们采用业界公认的主观评价方法，对LongCat-Image在“文生图”与“图像编辑”两大核心场景下的表现进行了系统评估。在文生图方面采用大规模的人工主观评分（MOS）方法，核心覆盖 文本-图像对齐、视觉合理度、视觉真实度、美学质量4个维度，LongCat-Image 的真实度相比主流开闭源模型表现出色，同时在文本-图像对齐与合理度上也达到开源SOTA水平。在图像编辑方面采用严格的并列对比评估（Side-by-Side, SBS）方法，聚焦于综合编辑质量、视觉一致性这两个用户体验的维度，评测结果表明，LongCat-Image 虽然与 Nano Banana、Seedream 4.0 等商业模型存在一定差距，但显著超越了其他开源方案。开源开放为了构建一个更透明、开放、协作的开源生态系统，我们全面开源文生图的多阶段模型（Mid-training、Post-training）和图像编辑模型，旨在无缝支持从前沿研究到商业应用的全流程。我们坚信，真正的技术进步源于社区的集体智慧。诚邀广大开发者体验模型、参与共建，让我们共同基于这个高效能模型，探索视觉生成的更多可能。🔗 资源链接：| Hugging Face: https://huggingface.co/meituan-longcat/LongCat-Image| G…

美团 LongCat-Video-Avatar 正式发布，实现开源 SOTA 级拟真表现
type: item
date: 2026-01-19T20:55:19+08:00
description: 今年 8 月，美团开源的 InfiniteTalk 项目凭借无限长度生成能力与精准的唇形、头部、表情及姿态同步表现，迅速成为语音驱动虚拟人领域的主流工具，吸引全球数万名开发者的使用。10月底，LongCat 团队开源了 LongCat-Video 视频生成模型，尤其在长视频生成领域具备显著优势。在 InfiniteTalk 和 LongCat-Video 基座的良好基础上，LongCat 团队针对实际场景中的核心痛点持续优化，正式发布并开源 SOTA 级虚拟人视频生成模型 ——LongCat-Video-Avatar。该模型基于 LongCat-Video 基座打造，延续 “一个模型支持多任务” 的核心设计，原生支持 Audio-Text-to-Video（AT2V）、Audio-Text-Image-to-Video（ATI2V）及视频续写等核心功能，同时在底层架构上全面升级，实现动作拟真度、长视频稳定性与身份一致性三大维度的显著突破，为开发者提供更稳定、高效、实用的创作解决方案。点击查看产品介绍视频开源地址：GitHub：https://github.com/meituan-longcat/LongCat-VideoHugging Face：https://huggingface.co/meituan-longcat/LongCat-Video-AvatarProject：https://meigen-ai.github.io/LongCat-Video-Avatar/一、技术亮点1.1 开源 SOTA 拟真度：让虚拟人“活”起来告别“僵硬”，迎接“鲜活”。还记得以前那些虚拟人吗？只有嘴巴在动，头和身体却像没通电，看起来既尴尬又不自然。全新的 LongCat-Video-Avatar 彻底改变了这一点。它像一位全能导演，不仅指挥嘴型，还同步指挥眼神、表情和肢体动作，实现丰富饱满的情感表达，让虚拟人真正“演”了起来。点击查看效果对比连“不说话”的时候，都很像人： 真人说话是有停顿和呼吸的。我们通过一种独特的训练方法 Disentangled Unconditional Guidance（解耦无条件引导），让模型明白了“静音”不等于“死机”。现在，哪怕是在说话的间歇，虚拟人也会像你我一样，自然地眨眼、调整坐姿、放松肩膀。这种技术让 LongCat-Video-Avatar 成为首个同时支持文字、图片、视频三种生成模式的全能选手。从口型精准到全身生动，虚拟人从此有了真正的生命力。1.2 长时序高质量生成：让视频“稳”下来上一代 InfiniteTalk 在长视频生成中会出现视觉质量退化的现象，而VAE 的反复编解码是正是视觉质量退化的主要原因。现有方法通常将上一段生成结果解码为像素，再将末尾帧重新编码为潜变量，作为下一段的条件——这一“解码→再编码”循环会持续引入累积误差，导致色彩偏移与细节模糊。点击查看效果对比LongCat-Video-Avatar提出了Cross-Chunk Latent Stitching（跨片段隐空间拼接） 训练策略以根本性解决此问题。在训练阶段，我们从同一视频中采样两个连续且部分重叠的片段，在隐空间内直接进行特征替换，让模型学会在潜空间中无缝衔接上下文。在推理时，系统直接将前一段生成的 latent 序列末尾部分作为下一段的 context latent，全程无需解码到像素域。该设计不仅消除 VAE 循环带来的画质损失，还显著提升推理效率，并有效弥合训练与推理之间的流程差异（train-test gap）。实验显示，LongCat-Video-Avatar 在生成5分钟约 5000 帧视频时仍保持稳定色彩与清晰细节。1.3 商用级一致性：精准锚定角色，让演绎生动自如点击查看效果对比为维持长视频中的身份（ID）一致性， InfiniteTalk 采用注入参考帧的方式，但有时会导致色彩偏移（color shift）或动作僵化（“复制-粘贴”效应）。LongCat-Video-Avatar 从以下两方面进行系统升级：基座升级：视频基础模型迁移到 LongCat-Video，后者在大规模长视频预训练中具备了更强的身份保持与色彩一致性先验。参考机制创新：我们引入了带位置编码的参考帧注入模式。推理时，用户可通过指定RoPE中的索引位置，灵活控制参考帧在生成块中的插入位置。更重要的是，我们设计了Reference Skip Attention机制，在参考帧相邻的时间步，屏蔽参考帧对注意力计算的直接影响，仅允许其提供身份语义先验，而不主导具体动作生成。这套机制在确保ID一致性的同时，有效抑制了动作的重复与僵化，使长视频既稳定又富有变化。二、模型性能2.1 客观基准评测在 HDTF、CelebV-HQ 、EMTD 和 …

美团发布 LongCat-Image 图像生成模型，编辑能力登顶开源 SOTA
type: item
date: 2026-01-18T12:45:16+08:00
description: 当前 AI 图像生成技术需求旺盛，但行业陷入 “两难困境”：闭源大模型性能强劲但无法自行部署或二次定制开发，开源方案普遍存在轻量化与模型性能难以兼顾、面向商用专项能力不足的痛点，制约商业创作与技术普惠。为此，美团 LongCat 团队正式发布并开源 LongCat-Image 模型，通过高性能模型架构设计、系统性的训练策略和数据工程，以6B参数规模，成功在文生图和图像编辑的核心能力维度上逼近更大尺寸模型效果，为开发者社区与产业界提供了 “高性能、低门槛、全开放” 的全新选择。技术亮点LongCat-Image 采用文生图与图像编辑同源的架构设计，并结合渐进式学习策略，在仅 6B 的紧凑参数规模下，实现了指令遵循精准度、生图质量与文字渲染能力的高效协同提升。尤其在单图编辑的可控性和文字生成的汉字覆盖度方面独具优势。亮点一：图像编辑高度可控LongCat-Image 在图像编辑领域的多个重要基准测试中（如GEdit-Bench、ImgEdit-Bench）均达到开源SOTA水平，实现性能突破的背后在于一套紧密协同的训练范式和数据策略。为有效继承文生图模型的知识和美感，同时避免文生图后训练阶段收窄的状态空间对编辑指令多样性的限制，基于文生图Mid-training阶段模型进行初始化，并采用指令编辑与文生图多任务联合学习机制，深化对复杂多样化指令的理解。此外通过预训练阶段的多源数据及指令改写策略，以及SFT阶段引入人工精标数据，最终实现了指令遵循精准度、泛化性和编辑前后视觉一致性的共同提升。亮点二：中文文字生成精准覆盖针对中文文本渲染这一行业痛点，LongCat-Image 通过课程学习策略来提升字符覆盖度和渲染精准度：预训练阶段基于千万量级合成数据学习字形，覆盖通用规范汉字表的8105个汉字；SFT 阶段引入真实世界文本图像数据，提升在字体、排版布局上的泛化能力；RL 阶段融入 OCR 与美学双奖励模型，进一步提升文本准确性与背景融合自然度。此外通过对 prompt 中指定渲染的文本采用字符级编码，大幅降低模型记忆负担，实现文字生成学习效率的跨越式提升。通过该项能力加持，有效支持海报设计、商业广告作图场景中复杂笔画结构汉字的渲染，以及古诗词插图、对联、门店招牌、文字Logo等设计场景的生僻字渲染。此外，LongCat-Image通过系统性的数据筛选与对抗训练框架，实现了出图纹理细节和真实感的提升。预训练和中期训练阶段严格过滤AIGC数据，避免陷入“塑料感”纹理的局部最优；在SFT阶段，所有数据均经过人工精筛来对齐大众审美；在RL阶段，创新性地引入AIGC内容检测器作为奖励模型，利用其对抗信号逆向引导模型学习真实世界的物理纹理、光影和质感。性能验证客观基准评测全面的客观基准测试充分验证了 LongCat-Image 的核心竞争力：图像编辑任务中，ImgEdit-Bench（4.50分）、 GEdit-Bench 中英文得分（7.60⁄7.64分）分别达到开源SOTA水平，且逼近头部闭源模型水平；文字渲染方面，ChineseWord 评测以 90.7 分的成绩大幅领先所有参评模型，实现常用字、生僻字的全量精准覆盖；文生图任务上，GenEval 0.87 分、DPG-Bench 86.8 分的表现，使其在生图基础能力上相比头部开源与闭源模型依然具备强竞争力。综合主观评测在衡量模型的通用能力时，我们始终将用户的真实体验放在首位。为此，我们采用业界公认的主观评价方法，对LongCat-Image在“文生图”与“图像编辑”两大核心场景下的表现进行了系统评估。在文生图方面采用大规模的人工主观评分（MOS）方法，核心覆盖 文本-图像对齐、视觉合理度、视觉真实度、美学质量4个维度，LongCat-Image 的真实度相比主流开闭源模型表现出色，同时在文本-图像对齐与合理度上也达到开源SOTA水平。在图像编辑方面采用严格的并列对比评估（Side-by-Side, SBS）方法，聚焦于综合编辑质量、视觉一致性这两个用户体验的维度，评测结果表明，LongCat-Image 虽然与 Nano Banana、Seedream 4.0 等商业模型存在一定差距，但显著超越了其他开源方案。开源开放为了构建一个更透明、开放、协作的开源生态系统，我们全面开源文生图的多阶段模型（Mid-training、Post-training）和图像编辑模型，旨在无缝支持从前沿研究到商业应用的全流程。我们坚信，真正的技术进步源于社区的集体智慧。诚邀广大开发者体验模型、参与共建，让我们共同基于这个高效能模型，探索视觉生成的更多可能。🔗 资源链接：| Hugging Face: https://huggingface.co/meituan-longcat/LongCat-Image| G…

美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？ ｜
type: item
date: 2026-01-16T19:19:45+08:00
description: 美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？0%展开列表面向临床的心电图AI，上智院、复旦等提出CLEAR-HUG框架实现诊断性能与可解释性双突破今天神同步OpenAI！中国团队Deep Principle领衔发布LLMs for Science评测，引爆外网今天美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？今天失去三个联创后，Mira公司危机持续：又有两人要出走今天不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化今天支付宝携手千问App、淘宝闪购等发布中国首个AI商业协议ACT今天刚刚，Geoffrey Hinton成为第二位引用量破百万的科学家今天腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍今天DeepSeek连发两篇论文背后，原来藏着一场学术接力今天仅需一个混频器的无线射频机器学习推理，登上Science Advances！今天国内首个可复现！萝博派对公开人形机器人 “从 0 到跑” 全开源方案01月15日联发科天玑9500s、8500发布：GPU、光追拉满，红米Turbo 5Max将搭载01月15日通用级PixVerse P1的技术突破，揣着进入平行世界的密码01月15日Mira公司内乱？CTO被开除，带团队回OpenAI，翁荔上推发言01月15日Nature丨清华等团队揭示AI科研双重效应：个人效率亦或是科学边界01月15日刚刚，喝到了千问APP给我点的奶茶01月15日人脸机器人登上Science Robotics封面：用AI教会仿生人脸机器人「开口说话」01月15日实测夸克「千问划词快捷指令」，这7个邪修Prompt，建议收藏01月15日已证实！清华姚班陈立杰全职加入OpenAI，保留伯克利教职01月15日解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估01月15日美团又上新模型，8个Thinker齐开工，能顶个诸葛亮？编辑｜Panda、杨文临近春节，各家 AI 厂商进入冲刺阶段，纷纷亮出最新大模型成果。1 月 15 日，美团也重磅更新自家模型 ——LongCat-Flash-Thinking-2601。这是一款强大高效的大规模推理模型，拥有 5600 亿个参数，基于创新的 MoE 架构构建。该模型引入了强大的重思考模式（Heavy Thinking Mode），能够同时启动 8 路思考并最终总结出一个更全面、更可靠的结论。目前重思考模式已在 LongCat AI 平台正式上线，人人均可体验。 仅选择「深度思考」时才会触发重思考模式。体验链接：https://longcat.ai模型地址：https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking-2601GitHub：https://github.com/meituan-longcat/LongCat-Flash-Thinking-2601不仅如此，该模型的智能体能力还获得了重大提升：在智能体工具调用、智能体搜索和工具集成推理等基准测试中达到顶尖性能，而且在任意的 OOD（分布外）真实智能体场景中实现了泛化能力的显著提升。研究团队还专门提出了一种全新的智能体模型泛化能力评测方法。通过构建自动化的环境和任务合成流程，基于给定关键词，随机生成任意的复杂任务。每个生成的任务都配备对应的工具集与可执行环境。这种高度随机化的评测方式，能够更真实地检验模型在未知场景下的适应能力。实验结果表明，LongCat-Flash-Thinking-2601 在该评测中始终保持领先性能。接下来，我们就把模型拉到真实场景里实测一番。一手实测：这只龙猫有点强我们先来试试数理逻辑推理，顺便看看这个重思考模式到底是怎么一回事。「运动会招募志愿者，第一次招募了不到 100 人，其中男女比例为 11:7；补招若干女性志愿者后，男女比例为 4:3。问最多可能补招了多少名女性志愿者？」在 longcat.ai 上开启「深度思考」后，便进入了重思考模式，此时 8 个 Thinker 同时开工，每个都表现出不同的思考风格。有的按常规解题，有的则直接写了个 Python 脚本。大部分 Thinker 给出了答案 5，其中 3 号和 6 号 Thinker 还写出详细的推导过程。待 8 个 Thinker 执行完任务后，模型再验证不同 Thinker 的思考过程，形成最终答案。整个过程就像一个团队开会讨论问题，最后达成共识，最终给出的解答也更靠谱得多。下面是道逻辑推理题。「A 的手机号码最后 5 位，由五个不同的数字组成。B 说：我猜它是 84261。C 说：我猜它是 26048。D 说：我猜它是 49280。A 说：巧…