时光奔流，我们即将与 2025 年挥手作别。感谢这一路上，每一位伙伴的并肩前行与坚定支持。

今年，美团技术团队在持续深耕中涌现出不少值得分享的实践与开源产品&服务。我们从中精选了18篇具有代表性的技术文章，内容涵盖大模型开源、研发技能、产品服务三大方向。值得一提的是，美团 LongCat 团队今年在大模型开源领域成果显著，陆续发布了涵盖基座模型、图像、视频、语音等多个方向的开源产品与工具，期望能够持续推动AI技术分享与生态共建。

希望这些开源的大模型产品、服务及凝结一线技术实战经验的内容，能为大家带来启发和帮助，陪伴同学们在技术前行的道路上扎实成长。愿我们在新年里，继续向下扎根、向上生长，迎着光，奔赴更高、更远的山海。2026，期待继续同行！

大模型开源

01 | 美团正式发布并开源 LongCat-Flash-Chat，动态计算开启高效 AI 时代

9月初，美团正式发布并开源 LongCat-Flash-Chat。LongCat-Flash 采用创新性混合专家模型（Mixture-of-Experts, MoE）架构，总参数 560 B，激活参数 18.6B~31.3B（平均 27B），实现了计算效率与性能的双重优化。

根据多项基准测试综合评估，作为一款非思考型基础模型，LongCat-Flash-Chat 在仅激活少量参数的前提下，性能比肩当下领先的主流模型，尤其在智能体任务中具备突出优势。并且，因为面向推理效率的设计和创新，LongCat-Flash-Chat 具有明显更快的推理速度，更适合于耗时较长的复杂智能体应用。

目前，已在 Github、Hugging Face 平台同步开源，同时你也可以访问官网 https://longcat.ai/，与 LongCat-Flash-Chat 开启对话。（阅读全文）

开源地址：Hugging Face | Github

02 | LongCat-Flash-Thinking 正式发布，更强、更专业，保持极速！

9月，美团 LongCat 团队正式发布全新高效推理模型 LongCat-Flash-Thinking。在保持了 LongCat-Flash-Chat 极致速度的同时，全新发布的 LongCat-Flash-Thinking 更强大、更专业。综合评估显示，LongCat-Flash-Thinking 在逻辑、数学、代码、智能体等多个领域的推理任务中，达到了全球开源模型的先进水平。

同时，LongCat-Flash-Thinking 不仅增强了智能体自主调用工具的能力，还扩展了形式化定理证明能力，成为国内首个同时具备「深度思考+工具调用」与「非形式化+形式化」推理能力相结合的大语言模型。我们发现，尤其在超高复杂度的任务（如数学、代码、智能体任务）处理上， LongCat-Flash-Thinking 具备更显著的优势。目前， 该模型已在HuggingFace、Github全面开源。（阅读全文）

开源地址：Hugging Face | Github

03 | LongCat-Video 视频生成模型正式发布，探索世界模型的第一步

要让人工智能真正理解、预测甚至重构真实世界，“世界模型”（World Model）已成为通往下一代智能的核心引擎。作为能够建模物理规律、时空演化与场景逻辑的智能系统，世界模型赋予AI“看见”世界运行本质的能力。而视频生成模型有望成为构建世界模型的关键路径——通过视频生成任务压缩几何、语义、物理等多种形式的知识，AI得以在数字空间中模拟、推演乃至预演真实世界的运行。

基于这一关键目标，10月，美团 LongCat 团队正式发布 LongCat-Video 视频生成模型 —— 不仅以统一模型在文生、图生视频基础任务上达到开源先进水平，更依托原生视频续写任务预训练，实现分钟级长视频连贯生成，从根源上保障跨帧时序一致性与物理运动合理性，尤其在长视频生成领域具备显著优势。

作为一款视频生成模型，LongCat-Video 凭借其精准重构真实世界运行状态的能力，正在成为美团探索世界模型的第一步，也是关键的一步。同时，这也为后续支撑更多自动驾驶、具身智能等深度交互业务场景，夯实了技术基础。（阅读全文）

开源地址：GitHub | Hugging Face | Project Page

04 | LongCat-Flash-Omni 正式发布并开源：开启全模态实时交互时代

11月，LongCat-Flash-Omni 正式发布并开源。LongCat-Flash-Omni 以 LongCat-Flash 系列的高效架构设计为基础（ Shortcut-Connected MoE，含零计算专家），同时创新性集成了高效多模态感知模块与语音重建模块。即便在总参数 5600 亿（激活参数 270 亿）的庞大参数规模下，仍实现了低延迟的实时音视频交互能力，为开发者的多模态应用场景提供了更高效的技术选择。

综合评估结果表明，LongCat-Flash-Omni 在全模态基准测试中达到开源先进水平，同时在文本、图像、视频理解及语音感知与生成等关键单模态任务中，均展现出极强的竞争力。LongCat-Flash-Omni 是业界首个实现 “全模态覆盖、端到端架构、大参数量高效推理” 于一体的开源大语言模型，首次在开源范畴内实现了全模态能力对闭源模型的对标，并凭借创新的架构设计与工程优化，让大参数模型在多模态任务中也能实现毫秒级响应，解决了行业内推理延迟的痛点。模型已同步开源，欢迎体验。（阅读全文）

开源地址：Hugging Face | Github

05 | 美团开源 LongCat-Audio-Codec，高效语音编解码器助力实时交互落地

语音大语言模型（Speech LLM）想落地，绕不开一个死结：既要快速理解语音里的语义，又要说出自然的音色，还得实时响应。比如智能音箱 “听不懂” 语音，车载助手 “说” 得像机器人，实时翻译延迟卡半秒。深究根源，全在 “语音 Token 化”：作为拆分语音为 Speech LLM “离散单元” 的关键步骤，传统方案始终没平衡好 —— 要么缺语义、要么丢声学、要么延迟高，刚好卡了 Speech LLM 落地的 “死结”。

针对 Speech LLM 落地中的音频处理难题，11月，美团 LongCat 团队正式开源专用语音编解码方案 LongCat-Audio-Codec。它提供了一套一站式的 Token 生成器（Tokenizer）与 Token 还原器（DeTokenizer）工具链，其核心功能是将原始音频信号映射为语义与声学并行的 token 序列，实现高效离散化，再通过解码模块重构高质量音频，为 Speech LLM 提供从信号输入到输出的全链路音频处理支持。通过创新的架构设计与训练策略，LongCat-Audio-Codec 在语义建模、声学重建、流式合成三大维度实现突破。（阅读全文）

开源地址：Github | Hugging Face

06 | 美团发布 LongCat-Image 图像生成模型，编辑能力登顶开源SOTA

12月初，美团发布 LongCat-Image 图像生成模型。当前 AI 图像生成技术需求旺盛，但行业陷入 “两难困境”：闭源大模型性能强劲但无法自行部署或二次定制开发，开源方案普遍存在轻量化与模型性能难以兼顾、面向商用专项能力不足的痛点，制约商业创作与技术普惠。

为此，美团 LongCat 团队正式发布并开源 LongCat-Image 模型，通过高性能模型架构设计、系统性的训练策略和数据工程，以 6B 参数规模，成功在文生图和图像编辑的核心能力维度上逼近更大尺寸模型效果，为开发者社区与产业界提供了 “高性能、低门槛、全开放” 的全新选择。（阅读全文）

开源地址：Hugging Face | GitHub

07 | 美团 LongCat-Video-Avatar 发布，实现开源SOTA级拟真表现

今年 8 月，美团开源的 InfiniteTalk 项目凭借无限长度生成能力与精准的唇形、头部、表情及姿态同步表现，迅速成为语音驱动虚拟人领域的主流工具，吸引全球数十万名开发者的使用。10月底，LongCat 团队开源了 LongCat-Video 视频生成模型，尤其在长视频生成领域具备显著优势。

在 InfiniteTalk 和 LongCat-Video 基座的良好基础上，LongCat 团队针对实际场景中的核心痛点持续优化，12月正式发布并开源 SOTA 级虚拟人视频生成模型 —— LongCat-Video-Avatar。

该模型基于 LongCat-Video 基座打造，延续 “一个模型支持多任务” 的核心设计，原生支持 Audio-Text-to-Video（AT2V）、Audio-Text-Image-to-Video（ATI2V）及视频续写等核心功能，同时在底层架构上全面升级，实现动作拟真度、长视频稳定性与身份一致性三大维度的显著突破，为开发者提供更稳定、高效、实用的创作解决方案。（阅读全文）

开源地址：GitHub | Hugging Face | Project

研发技能

08 | MTGR：美团外卖生成式推荐Scaling Law落地实践

美团外卖推荐算法团队基于HSTU提出了MTGR框架以探索推荐系统中Scaling Law。MTGR对齐传统模型特征体系，并对多条序列利用Transformer架构进行统一建模。通过极致的性能优化，样本前向推理FLOPs提升65倍，推理成本降低12%，训练成本持平。MTGR离在线均取得近2年迭代最大收益，且于2025年4月底在外卖推荐场景全量。本文系相关工作的实践与经验总结，希望能给从事相关方向研究的同学带来一些帮助。（阅读全文）

09 | JDK高版本特性总结与ZGC实践

美团信息安全技术团队核心服务升级JDK 17后，性能与稳定性大幅提升，机器成本降低了10%。高版本JDK与ZGC技术令人惊艳，且Java AI SDK最低支持JDK 17。本文总结了JDK 17的主要特性，然后重点分享了JDK 17+ZGC在安全领域的一些实践，希望能对大家有所帮助或启发。（阅读全文）

10 | 鸿蒙应用签名实操及机制探究

华为鸿蒙单框架操作系统HarmonyOS NEXT已于2024年10月23日正式发布Release版。HarmonyOSNEXT仅支持鸿蒙原生应用，不再兼容安卓。本文对鸿蒙公开资料进行了深入分析和解读，梳理了鸿蒙单框架应用的签名机制，拆解每一步的实操过程和背后的实现原理，并对源码分析整理签名的校验机制。从中管中窥豹，探究鸿蒙系统的安全设计思路，给从事鸿蒙研发的同学提供一些借鉴。（阅读全文）

11 | 预测技术在美团弹性伸缩场景的探索与应用

管理企业大规模服务的弹性伸缩场景中，往往会面临着两个挑战：第一个挑战是精准的负载预测，由于应用实例的启动需要一定预热时间，被动响应式伸缩会在一段时间内影响服务质量；第二个挑战是高效的资源分配，即在保障服务质量的同时控制资源成本。为了解决这些挑战，美团与中国人民大学信息学院柴云鹏教授团队展开了“预测技术在弹性伸缩场景的应用”科研合作，相关论文《PASS: Predictive Auto-Scaling System for Large-scale Enterprise Web Applications》在具有国际影响力的会议The Web Conference 2024（CCF-A类会议）上作为Research Full Paper发表。（阅读全文）

12 | 从0到1建设美团数据库容量评估系统

美团数据库团队推出了数据库容量评估系统，旨在解决数据库容量评估与变更风险防控等领域难题。本文介绍了系统架构和主要功能：系统使用线上流量在沙盒环境回放验证变更安全，结合倍速回放技术探测集群性能瓶颈，构建容量运营体系实现集群容量观测与治理闭环。系统具备数据操作安全、结果真实可靠、灵活高效赋能等特点，有效提升数据库稳定性与资源利用率。（阅读全文）

13 | AI Coding与单元测试的协同进化：从验证到驱动

AI生成代码质量难以把控！本文分享来自美团的技术实践，三大策略破解AI编程痛点。单测快速验证逻辑正确性，安全网保护存量代码演进，TDD模式精准传递需求。告别「看起来没问题」的错觉，构建AI时代的代码质量保障体系。（阅读全文）

14 | LongCat-Flash：如何使用SGLang部署美团Agentic模型

SGLang 团队是业界专注于大模型推理系统优化的技术团队，提供并维护大模型推理的开源框架SGLang。近期，美团M17团队与SGLang团队一起合作，共同实现了LongCat-Flash模型在SGLang上的优化，并产出了一篇技术博客《LongCat-Flash: Deploying Meituan’s Agentic Model with SGLang》，文章发表后，得到了很多技术同学的认可，因此我们将原文翻译出来，并添加了一些背景知识，希望更多同学能够从LongCat-Flash的系统优化中获益。（阅读全文）

15 | 可信实验白皮书系列：从0到1的方法论与实践指南

增长与优化是企业永恒的主题。面对未知的策略价值，数据驱动的AB实验已经成为互联网企业在策略验证、产品迭代、算法优化、风险控制等方向必备的工具。越来越多的岗位，如数据科学家、算法工程师、产品经理以及运营人员等，要求候选人了解AB实验相关知识。然而，许多从业者由于缺乏有效的学习渠道，对AB实验的理解仍停留在初级阶段，甚至存在一些误解。我们希望通过系统性地分享和交流AB实验的理论基础、基本流程、核心要素及其应用优势，能够帮助更多相关人员深入了解实验，提升实验文化的普及度，最终辅助企业在更多领域做出精确数据驱动决策。

除了广泛传播实验文化外，该白皮书在深度上也可给实验研究人员，提供复杂业务制约下进行可信实验设计与科学分析评估的参考经验和启发。从美团履约技术团队、美团外卖业务的实践来看，实验者常常面临多种复杂的实验制约和难题，例如，在美团履约业务中，实验往往需要应对小样本、溢出效应（即实验单元间互相干扰）以及避免引发公平性风险等多重约束，需设计科学复杂的实验方案以克服相应挑战。通过撰写白皮书，我们系统性地总结和分享应对复杂实验约束的研究经验，进而能够促进实验技术的传播与升级，推动实验科学持续进步。

本白皮书以AB实验为中心，涵盖AB实验概述与价值、实验方法基础原理与案例剖析以及配套SDK代码分析等，内容丰富且易于理解和应用。适合从事AB实验研究的数据科学家、系统开发人员，以及需要实验驱动策略决策的业务和产研团队，同时也适合对数据驱动增长和数据科学等领域感兴趣的读者。（阅读全文）

产品服务

16 | 无需代码！美团 NoCode 像聊天一样轻松搭建你的专属网站

这是一款由美团技术团队打造的 AI 编程类产品——NoCode，可以像聊天一样轻松搭建你的专属网站、游戏、各种小工具等等，当然还有更多的隐藏功能等你发现，文末我们还准备了2项互动奖励，期待跟大家一起，开启全新的 AI 编程之旅。（阅读全文）

17 | 美团首款 AI IDE 产品 CatPaw 开启公测

Meituan CatPaw （以下统一使用“CatPaw”）是美团推出的 AI IDE，以 Agent & 人协作为核心，通过 Agent 智能驱动编程，辅以代码补全、项目预览调试等功能，结合美团自研的基于编程场景特训的 LongCat 模型，并支持多种模型混合调用，让编码过程更专注，项目交付更高效！

CatPaw 早在 2023 年就在美团内部以编辑器插件形态正式上线，此次完成全新升级后进行公开测试。目前在美团内部研发渗透率超 95%，增量代码 AI 生成率超 50%。（阅读全文）

18 | 美团 LongCat 上线 AI 生图！精准高效，AI 创作不设限

美团 LongCat 全新上线 AI 生图功能，该功能基于LongCat系列模型「LongCat-Image」打造而成。不仅在文生图任务中实现了“快、真、准” ：出图快速响应、达到摄影棚拍摄质感、中文渲染精准度高；更在图像编辑任务上做到了精准便捷，无需复杂指令，可以用自然语言对图像进行二次编辑。

无论是追求高效出图的普通用户，还是需要精准落地创意的专业创作者，LongCat 都以 “轻量化模型 + 流畅体验” ，让 AI 生图真正成为人人可用的创作工具。目前，AI 生图功能已在LongCat APP和 https://longcat.ai/ 同步上线，轻松解锁高效创作新方式。（阅读全文）

AAAI 是人工智能领域顶级的国际学术会议，本文精选了美团技术团队被收录的 8 篇学术论文（附下载链接），覆盖大模型推理、 退火策略、过程奖励模型、强化学习、视觉文本渲染等多个技术领域，希望这些论文能对大家有所帮助或启发。

01 Promoting Efficient Reasoning with Verifiable Stepwise Reward

论文类型：Poster

论文下载：PDF

论文简介：大推理模型通过强化学习提升了链式推理能力，但输出冗长，导致推理开销增大和用户体验下降，即「过度思考」问题。针对这一现象，本文提出了可验证的过程奖励机制（VSRM），通过奖励有效步骤、惩戒无效步骤，优化模型推理过程。VSRM 首先通过特殊 token 划分推理步骤，并结合三条规则保证每个步骤的内容可读性。各步骤通过插入 token 生成子轨迹，模型根据每步前后正确率变化分配步骤级奖励。为避免奖励信号稀疏，引入前瞻窗口机制，通过折扣因子传播未来正确率变化，使奖励更密集。

实验表明，VSRM 能大幅缩减输出长度，且在多种数学 benchmark 和不同模型、算法下保持甚至提升性能。消融实验证明前瞻窗口机制有效，显式长度惩罚对 VSRM 无益。VSRM 机制可与各类强化学习算法无缝结合，有效抑制无效步骤，鼓励有效推理，是解决过度思考问题、提升模型推理效率的有效方法。

02 Scaling and Transferability of Annealing Strategies in Large Language Model Training

论文类型：Long Paper

论文下载：PDF

论文简介：本文深入研究了大型语言模型训练过程中退火策略（Annealing Strategies）对模型性能的影响，提出了一个新的缩放法则公式来预测不同训练配置下的损失曲线。研究发现，即使在相同的训练 token 数量和模型规模下，不同的批次大小（batch size）和学习率调度器也会导致显著不同的训练曲线。为此，作者提出了一个改进的缩放法则公式：

其中 S 表示学习率对训练步数的积分（前向效应），M 表示动量对训练步数的积分（退火动量项），N 代表模型规模。

论文的核心贡献包括：(1) 证明在特定情况下，训练步数比训练 token 数更适合作为追踪损失曲线的指标；(2) 发现最优退火比率（Ropt）随总训练步数增加而减小，遵循幂律关系；(3) 验证了最优退火比率在训练集和验证集上保持一致；(4) 通过在 Dense 模型和 MoE（Mixture-of-Experts）模型上的大量实验，证明小模型可以作为优化大模型训练动态的可靠代理。该研究为大规模语言模型的训练提供了更精确的理论指导，有助于优化训练效率和模型性能。

03 From Mathematical Reasoning to Code: Generalization of Process Reward Models in Test-Time Scaling

论文类型：Long Paper （Oral）

论文下载：PDF

论文简介：本文系统研究了过程奖励模型（Process Reward Models, PRMs）在提升大型语言模型推理能力方面的作用，特别关注其从数学推理到代码生成任务的跨域泛化能力。研究从训练方法、可扩展性和泛化能力等多个维度对 PRMs 进行了深入分析。

论文的核心发现包括：
- 训练计算资源的影响：研究发现随着 PRM 模型规模的增大，性能提升呈现边际递减效应，强调了在模型规模和计算成本之间寻找平衡的重要性。同时，训练数据集的多样性显著影响 PRM 性能，作者提出的 ASLAF（自动步骤级标注与过滤）方法在多个基准测试中表现优异。
- 测试时扩展策略：论文评估了 Best-of-N 采样、束搜索、蒙特卡洛树搜索（MCTS）和多数投票等多种搜索策略。结果表明，在计算资源充足时 MCTS 效果最佳，而在资源受限情况下 Best-of-N 采样是实用的替代方案。
- 跨域泛化能力：令人惊讶的是，在数学数据集上训练的 PRMs 在代码生成任务上的表现与专门针对代码训练的模型相当，展现出强大的跨域适应能力。通过梯度分析，研究还发现 PRMs 倾向于选择具有相似底层推理模式的响应，这为理解其优化机制提供了新视角。该研究为优化大规模语言模型的训练和部署提供了重要的理论指导和实践参考。

04 Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective

论文类型：Poster

论文下载：PDF

论文简介：本文对强化学习（RL）中的问题采样策略进行了系统性研究，当前主流采样策略大多直接依赖单步通过率（Pass Rate） 作为问题难度指标，存在 1）对问题难度的估计不够稳定；2）无法有效捕捉模型能力与问题难度的对齐关系的问题。

针对这些问题，本文提出了 CDAS（Competence-Difficulty Alignment Sampling）：一种将模型能力与问题难度显式建模并对齐的动态采样方法。CDAS 不依赖单步通过率，而是通过累积历史表现差异来构建更稳定的难度估计；同时定义模型能力，并以不动点系统确保两者在训练过程中共同收敛。基于能力—难度差值构建对齐指标，再通过对称采样策略，选取最匹配模型当前能力的问题，从而提升有效梯度比例与训练效率。CDAS 在数学推理和代码生成场景中均通过 RL 训练 验证，结果显示 CDAS 显著提升了采样效率与模型性能，击败了多种主流采样策略。

05 ViType: High-Fidelity Visual Text Rendering via Glyph-Aware Multimodal Diffusion

论文类型：Oral

论文下载：PDF

论文简介：随着文生图模型在电商营销等领域的广泛应用，视觉文本渲染的准确性已成为制约生成质量的核心瓶颈。现有模型因缺乏字形级理解能力，难以精确刻画多语言字符结构，导致海报、商品图等商业场景中文字乱码、字形失真等问题频发，严重阻碍了 AIGC 在智能设计中的实际落地。

针对这一关键挑战，我们提出 ViType 三阶段对齐增强框架：首先通过视觉问答机制实现文本-字形显式对齐，将字符视觉结构注入大语言模型语义空间；其次创新性地将预对齐字形嵌入与文本 token 同步输入多模态扩散 Transformer，通过联合训练建立跨模态特征协同；最后基于高质量图文对进行美学精调，确保生成图像的版式和谐与视觉美感。该框架使字符准确率提升 15%以上，为电商海报、营销物料等高精度视觉内容创作提供了可靠的技术支撑。

06 DSCF: Dual-Source Counterfactual Fusion for High-Dimensional Combinatorial Interventions

论文类型：Poster

论文下载：PDF

论文简介：在个性化推荐、数字营销和医疗健康等领域，基于观测数据预测反事实结果对科学决策至关重要。在这些应用场景中，决策过程往往涉及高维组合干预策略，例如多渠道资源捆绑投放或产品组合推荐。面向这类场景，无论是历史策略的效果评估还是新策略的优化，都需要模型能够对历史数据中很少出现甚至从未出现过的策略组合效果进行准确预测。此外，观测数据中源于历史分配策略和倾向性投放的选择偏差会进一步加剧数据稀疏问题，从而影响反事实推断的准确性。

为此，本文提出双源反事实融合模型（Dual-Source Counterfactual Fusion，DSCF），该可扩展框架通过双专家混合架构联合建模观测数据和代理反事实样本，并采用领域引导融合机制，在有效平衡偏差消除与信息多样性的同时，还能自适应地泛化到反事实输入场景。在合成和半合成数据集上的大量实验表明，DSCF 框架能够显著提升高维组合干预场景下的预测准确性，并在不同情境下展现出优异的鲁棒性表现。

07 Compress-then-Rank: Faster and Better Listwise Reranking with Large Language Models via Ranking-Aware Passage Compression

论文类型：Poster

论文下载：PDF

论文简介：基于大型语言模型（LLMs）的列表重排序（listwise reranking）已经成为最先进的方法，在段落重排序任务中不断创下新的性能基准。然而，其实际应用面临两个关键挑战：处理长序列时高昂的计算开销和高延迟，以及由于“迷失在中间”等现象导致的长上下文性能下降。

为了解决这些问题，我们提出了一种高效的框架压缩后排序（Compress-then-Rank, C2R），该框架不是直接对原始段落进行列表重排序，而是对其紧凑的多向量代理进行操作。这些代理可以预先计算并缓存，适用于语料库中的所有段落。C2R 的有效性依赖于三项关键创新。首先，压缩模型通过结合文本恢复和文本延续目标进行预训练，生成高保真的压缩向量序列，从而减轻了单向量方法中常见的语义损失问题。其次，一种新颖的输入方案将每个序数索引的嵌入添加到其对应的压缩向量序列前，这不仅划定了段落边界，还引导重排序 LLM 生成排序列表。最后，压缩模型和重排序模型通过联合优化，使压缩过程对排序目标具有排序感知能力。在主要重排序基准上的广泛实验表明，C2R 在提供显著加速的同时，能够实现与全文重排序方法相当甚至更优的排序性能。

08 Multi-Aspect Cross-modal Quantization for Generative Recommendation

论文类型：Oral

论文下载：PDF

论文简介：本文提出一种基于多模态融合的生成式推荐框架（MACRec），旨在解决现有生成式推荐方法因模态信息利用不足和跨模态交互缺失导致的性能瓶颈。

针对文本与视觉模态的量化难题，MACRec 引入跨模态量化与多角度对齐机制，通过两阶段技术路线实现优化：1）跨模态残差量化：将对比学习融入分层量化过程，生成兼具语义层次性与模态兼容性的物品标识符，显著降低多模态表征冲突；2）跨模态协同对齐：通过显式-隐式协同对齐策略，分别建模文本与视觉模态的共享特征和互补特征，增强生成式推荐的多模态理解能力。在亚马逊电商推荐数据集上的实验结果表明，MACRec 相较基准模型在推荐性能上有显著提升；各模态的码本分布更均衡、利用率更低，充分验证了跨模态量化与对齐机制在提升生成式推荐有效性方面的优势。

1 背景

近来，随着 App 的功能愈发复杂，UI（用户界面）的交互逻辑也随之多样化。为了保障用户体验，针对 UI 的功能测试一直是质量保障中的重要环节。传统的 UI 功能测试往往依赖于人工编写的测试脚本或规则体系：通过手动编写校验逻辑来验证交互是否正确。这种方式虽然精确，但成本高昂，维护困难。

对美团而言， 一个 App 就有可能包含上千种 UI 界面、数万个交互操作。随着业务快速迭代、界面频繁调整、底层平台（如 Android、iOS、HarmonyOS NEXT）的更新，基于规则的测试脚本常常失效。每当脚本失效，测试工程师都需要花费大量时间重新绑定元素、修复规则脚本，极大地提升了测试自动化的开销。此外，当下的 UI 功能缺陷通常并不表现为崩溃，而是更复杂的响应逻辑异常：例如图 1 中点击“全部已读”却清空了消息列表等。这类问题严重影响用户体验，但难以通过简单规则概括，限制了传统 UI 测试自动化的覆盖率与效率。

考虑到 UI 功能缺陷虽表现各异，但共性是 App 的响应偏离用户预期。因此，若能实现对用户预期的模拟，就能以此作为测试准则（Oracle）、自动化的检测 UI 功能性异常。即无需人工逐页面编写规则，从而大幅提升自动化的程度与测试覆盖率。由于大语言模型（LLM）经过海量通用知识训练，具备一定的模拟人类常识与预期的能力，恰好契合模拟用户预期的需求，且无需针对特定应用 / 功能单独适配，天然具备泛化性。因此，通过分析 UI 功能缺陷的共性，我们提出了一个全新的思路：能否基于大模型理解“人类对 UI 交互的常识预期”，并以此自动判断交互是否正确？

基于这一理念，我们与复旦大学计算与智能创新学院 周扬帆教授团队 展开联合研究，设计并实现了 KuiTest —— 一套基于 大众通识 的 无规则（Rule-free）UI 功能测试系统。KuiTest 能够像人一样，理解按钮、图标等交互组件的含义，预测点击后的合理结果，并据此自动校验实际界面反馈是否符合预期，从而在无需手工脚本的情况下完成功能测试。该工作已在美团 App 的多个业务中落地应用，并产出论文《KuiTest: Leveraging Knowledge in the Wild as GUI Testing Oracle for Mobile Apps》，已被国际顶级软件工程会议 ICSE 2025（CCF-A 类会议）的 Software In Practice Track（软件工程应用实践）收录。

2. 设计思路与实现过程

2.1 总体流程

KuiTest 的核心是检查 UI 交互后的响应是否符合一般用户的 常识性预期，其中：识别交互组件的功能和常识性预期生成是需要两项关键能力。考虑到通用大模型具备图文理解能力且从海量的训练数据中习得了常识性推理能力，因此天然地适合模拟大众的认知和交互预期。至此，KuiTest 的核心挑战是提升大模型在执行 UI 功能测试的 性能和可靠性。考虑到通用大模型通常并未接受过 UI 测试领域数据的训练，因此缺少 UI 认知与测试的经验，直接让它识别 UI 功能和缺陷是十分困难的。所以我们借鉴人工测试的操作流程，将测试流程拆分以降低 LLM 的任务难度：

• 可交互组件功能识别：理解每个可交互组件（如按钮、图标）的功能含义、预测交互后的响应。
• 交互响应验证：在执行交互后，验证界面响应是否符合预期。

具体来说，如上图 2 所示，在测试开始时，首先选择需要交互的组件，KuiTest 会基于 GUI 截图分析和组件库匹配获取该组件的功能，并预测与之交互后的 UI 响应；随后执行交互，根据组件的预期功能以及交互后的页面信息判断实际响应是否符合预期。

2.2 UI 组件功能识别

为了提升大模型预测 UI 组件功能的可靠性，KuiTest 整合了多种 UI 页面相关信息输入：首先，我们获取结构化组件树并结合 Vision-UI 模型^[1]从截图中识别所有可交互组件，再用 SoM（Set-of-Mark）策略^[2]为每个组件添加 bounding box 标记并分配唯一 ID，形成带标记的 UI 截图，让大模型能快速分辨图中存在的 UI 组件。接着，针对有文本的组件，通过 OCR 提取文字内容并按“组件 ID - 文本”结构化整理；针对无文本的图标类组件，则利用 CLIP（Contrastive Language–Image Pre-training）模型^[3]从积累的图标库（含历史识别失败图标及人工标注的功能描述）中检索相似图标，如果存在相似图标，则将库中图标的功能信息补充至输入来辅助大模型理解组件。最后，将上述所有信息整合进 Prompt，让大模型识别指定组件的功能，并预测交互后 UI 界面的响应。这一过程有效缓解了通用多模态大模型 UI 视觉信息理解薄弱的瓶颈，并为后续交互验证提供 Oracle。

2.3 交互响应验证

交互后响应验证是 KuiTest 判断 UI 功能是否存在 Bug 的核心环节，流程分为状态比对和 LLM 决策两步：KuiTest 在模拟用户交互后，先通过像素对比判断交互前后 UI 是否有视觉变化，若无变化则直接标记为 “UI 交互无响应”；若有变化，则让多模态模型判断实际 UI 响应是否符合前述预测。至此，KuiTest 完成了从 UI 功能语义测试到通用推理能力任务的转换，既规避了传统基于规则测试繁杂的开发和维护成本，也提升了大模型在 UI 测试领域的决策的可靠性，降低误报率。

3. 实验测试

KuiTest 的实验设计以验证其对解决工业级 UI 功能的测试能力为核心，在美团实际场景中筛选真实数据构造数据集，并且设计针对性基线对比方案。在验证技术有效性的同时为业务落地提供数据支撑，下文将继续介绍实验设计、设置以及结果分析。

3.1 实验设计

实验围绕三个关键问题（RQ）进行，目标是验证 KuiTest 设计的有效性与合理性，以及是否满足工业落地要求。针对 LLM 在 UI 理解领域能力不足的问题，设置 RQ1 从误报率和成本的角度验证任务分解（拆分为 “组件功能识别 + 交互后响应验证”）的综合性能。此外，设置 RQ2 评估多模态输入 + 图标库的方案是否能提高 LLM 的组件识别能力。最后，针对工业场景对 “高召回、低误报” 的刚需，设置 RQ3 验证 KuiTest 在美团 App 中的落地能力，重点评估决定缺陷覆盖度的召回率以及直接影响人工排查成本的误报率。

3.2 实验数据与对照方法

实验使用的基准数据集自美团的核心业务线（外卖、酒店、旅行等），这些业务线的 UI 风格、交互规则均有差异，因此具备对真实的工业测试场景的代表性。具体而言，RQ1 数据集含 150 个 UI 交互操作（25 个历史 Bug+125 个正常用例），bug 比例 16.7%，对应新功能测试场景；RQ2 数据集涵盖 250 个可交互 UI 组件（含文本与无文本类型），确保组件多样性；RQ3 数据集含 100 个真实 UI 页面（4664 个组件、150 个注入 Bug），Bug 占比仅 3.2%，与工业场景 Bug 稀疏的实际情况一致。

我们为各实验设置了基线方法作为对照：RQ1 设无分解（直接让大模型判断）与三步分解（单独提取交互后页面语义）对照，前者验证是否需要分解，后者验证分解步数合理性；RQ2 设纯 LLM（仅截图）、图片 + 文本（无图标库）、SoM + 文本（无图标库）对照，分别验证文本信息、组件标记以及图标库的价值，排除单一变量干扰；RQ3 虽无外部工具对照，但通过覆盖美团内 10 种业务线，以验证 KuiTest 的现实泛化性。

3.3 实验结果

RQ1：任务分解的合理性

任务分解对比结果显示，有分解的方案比无分解的方案在准确率和召回率上都有明显提高，并且 KuiTest 的两步分解方案（组件识别 + 响应验证）表现最优：平均准确率 86%、召回率 85%。

这一结果印证了任务分解合理性。对于三步分解的方案效果会略差于两步分解的结果，我们分析发现三步分解额外语义提取步骤，虽能提升页面类型理解，但会让 LLM 忽略图标颜色变化等细节，导致非跳转类 UI 功能 Bug 漏检（如点击收藏按钮后按钮应该从空心变为实心），且增加计算成本。这说明分解并非步骤越多越好，需贴合大模型能力边界，找到可靠性和效率平衡点，而两步分解恰好成为实现这一目标的最优解。

RQ2：组件功能识别的有效性

组件功能识别结果显示，KuiTest 方案的平均识别准确率达 95.5%，其中文本组件准确率 96%，无文本图标准确率 95%；而对照方案中，纯 LLM 的无文本图标准确率仅 13%，图片 + 文本和 SoM + 文本的方案准确率也未突破 20%。

这一数据表明对 UI 图像进行标记以及对 UI 组件语义信息的额外补充，能够显著提高 LLM 的 UI 组件功能识别能力。LLM 视觉理解能力薄弱，纯截图输入无法识别无文本图标，而 OCR 文本 + 组件标记能补充组件的文本语义，提升文本组件识别准确率。借助图标库为无文本组件补充功能描述，直接将其识别准确率从 13% 提升至 95%。并且这一图标库并不是全量的，说明仅通过业务线常用图标即可覆盖大部分场景，兼顾准确性与成本。

RQ3：对于真实 UI 功能异常识别的有效性

在美团 10 大业务线的真实场景测试中，KuiTest 整体召回率 86%、精确率 71%、误报率 1.2%，且各业务线表现稳定。这些实验结果表明 KuiTest 具备实际落地能力。86% 的召回率意味着能覆盖绝大多数真实 UI 功能 bug，避免漏检关键缺陷。1.2% 的误报率有效避免导致测试工程师进行无效排查，大幅降低人工成本。71% 的精确率虽看似不高，但因实验中 Bug 占比仅 3.2%（与真实场景一致），在 Bug 稀疏环境下已属优秀。实验结果证明了 KuiTest 在真实测试场景中能平衡覆盖度与准确性。

4. 应用效果

目前，KuiTest 已在美团的多类业务场景中落地应用，过去 6 个月有 20 个业务方向使用，总执行 21 万+Cases、8000 多个 Jobs，近期周均触发 5000 多个 Cases；在多个实测项目如鸿蒙适配、神会员地理传参巡检、酒店商家多语言适配等，KuiTest 发现了百余例有效的 UI 功能缺陷。

4.1 HarmonyOS NEXT 平台遍历

传统的 GUI 测试脚本的设计依赖于 App 的 UI 逻辑，但是不同操作系统上同一 App 的有所差异，这种差异会导致在一个系统上设计的脚本在另一个系统上失效，因此使得跨平台的测试十分困难，需要测试人员手动调整甚至重新设计测试脚本，适配成本较大。

美团 App 在 Android/iOS 平台的测试脚本较为完善，但是在 HarmonyOS NEXT 平台的测试脚本仍在完善之中，大量页面仍处于未测试状态。因此，KuiTest 被率先部署于该平台的稳定性巡检中，根据指定业务起始页面，自动地进行跨页面遍历，识别并验证崩溃、报错、功能不符合预期的情况，以减少重新设计测试脚本的成本。

项目中覆盖首批适配的 3 项业务，项目交付周期总体累计运行 1230 小时、共 4 万+个自动化测试用例，发现 34 个有效异常。

4.2 大前端回归巡检

由于美团 App 的更新速度十分快速，因此每周都需要进行回归巡检。传统的测试脚本的方法由于人力消耗过大，往往只能覆盖 App 中的核心业务区域，但是其他区域的 Bug 实际也会影响用户体验。而 KuiTest 能够测试一张页面的所有可交互组件，以一种低成本的方式提高测试覆盖率。因此，我们将 KuiTest 运用在美团的大前端回归巡检当中：截至目前，KuiTest 已经超一年稳定运行，累计检测出了 140+有效异常。

5. 认知与展望

KuiTest 作为无规则的移动应用 GUI 功能测试工具，标志着软件测试领域向智能化、自动化方向迈出的探索一步。该工具通过合理的任务拆解与多模态 UI 组件功能识别将大模型通识作为测试预言，利用其广泛的知识模拟用户期望，成功突破了传统基于规则测试方法的局限性，切实提升了 LLM 在 GUI 测试场景中的可靠性和实用性。

当前 KuiTest 主要聚焦于单步交互的功能验证，这是出于对测试可靠性和效率的权衡考虑。然而，向多步交互场景扩展是一个自然且必要的发展趋势，真实用户场景中存在大量需要多步操作才能触发的复杂功能 bug，例如，在执行操作序列“查看订单列表 → 点击 “待付款” 订单 → 选择退款 → 确认退款原因”时发现点击“待付款”后，页面却显示“退款订单”。

未来研究应当探索如何将测试能力扩展到长链路交互场景。针对长链路 Bug 分析，需要建立状态追踪机制来记录每一步交互后的 UI 状态变化，通过对比预期状态与实际状态的差异来识别异常节点，同时利用 LLM 的推理能力建立操作步骤之间的因果关系链，当检测到功能异常时能够回溯定位是哪一步操作导致了错误，这种因果推断能力对于复杂交互序列中的 Bug 定位至关重要。同时，可以引入基于历史 Bug 数据的学习机制, 分析过往发现的长链路 Bug 模式，自动生成类似的高风险测试路径，优先探索容易出现问题的操作序列组合。这种智能化的路径生成不仅能提高测试效率，还能显著提升对复杂功能 Bug 的检测能力。

6. 合作方简介

复旦大学周扬帆教授团队致力于新型软件系统的性能优化与故障排查研究，近年团队在软件系统领域的重要会议如 OSDI、SOSP、ICSE、FSE 等发表了多篇高影响力论文。最近，该团队以解决 UI 自动化测试中的复杂问题为核心，将大模型应用于 UI 功能认知与 UI 交互规划，以一系列创新方法显著提高了解决方案的适应性和稳定性。团队注重科研成果的实际应用，积极与企业及相关机构合作，共建实用工具和系统，推动研究成果的落地，助力合作伙伴提升技术能力并实现业务价值。

注释

• [1] vision-ui 模型：美团视觉 UI 分析工具
• [2] SoM（Set-of-Mark）策略：Yang J, Zhang H, Li F, et al. Set-of-mark prompting unleashes extraordinary visual grounding in gpt-4v [J]. arXiv preprint arXiv: 2310.11441, 2023.
• [3] CLIP（Contrastive Language–Image Pre-training）模型：Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision [C]//International conference on machine learning. PMLR, 2021: 8748-8763.