全球首个具身智能大规模真机评测平台 RoboChallenge,上线数月便迅速积累了超过 4 万余次真实机器人测试数据,成为开发者社区观察 AI“动手”能力的一个关键窗口。近日,基于这份测试数据,RoboChallenge 正式发布了其首份年度报告。报告基于公开且可复现的真机数据,客观呈现了当前技术能稳定完成的任务边界,更关键地揭示了那些模型频繁失手、需要集中攻坚的共性瓶颈。

量化“基准线”

这份报告的价值,源于其对平台海量测试数据的深度挖掘,尤其是对最终榜单的系统性分析。报告通过一组来自榜单的核心数据,首先校准了整个行业对技术成熟度的认知。

榜单清晰显示,即便是最优模型,在面对 Table30 所涵盖的刚体、软体及长程等综合任务时,其端到端执行成功率也仅为 51%。这个数字像一道分水岭,直观地衡量出实验室智能与物理世界可用性之间依然存在的巨大落差。

更具揭示性的数据来自对模型泛化能力的评估。报告指出,同一基座模型在专攻单一任务时成功率可达 42.67%,但当其作为通用模型应对多样化任务时,成功率会骤降至 17.67%。这明确指出了当前技术的一个核心局限,即模型仍难以将其在特定任务上学到的技能,有效整合并迁移到一个更广泛、更复杂的任务集合中。
这些数据所揭示的普遍困境,促使我们审视其背后评测体系的设计逻辑。首先是过程分机制的引入。它确保即便任务最终失败,模型执行过程中的有效进展也能被量化记录,使失败数据从结果标注转变为可归因的诊断依据。
同时,评测体系有意将完成速度与模型大小排除在了核心计分之外。这一选择表明,评测关注的重点始终是模型完成任务的根本可靠性,而非引导研发陷入“更快”或“更大”的指标竞赛。正是这种对核心能力的聚焦,确保了所有模型都能够在公平维度上接受检验,也让随之暴露出的能力缺口,具备了被清晰界定和讨论的基础。

定义“真问题”

完成能力校准后,报告展开了更深层的技术归因。依据模型表现,报告建立了一个清晰的分析框架,将任务划分为三个梯队。第一梯队是已被充分掌握的 “Hello World”级任务,如 “堆碗”、“堆色块”这类 Top 3 模型成功率均达到 100% 的任务。第二梯队则是如“放鞋上架”“寻找绿盒子”等对大多数头部模型较为友好的 “简单任务”。 而真正的挑战与行业瓶颈,几乎全部集中在第三梯队。这类任务通常涉及复杂的物理交互或长程逻辑,因其极低的通过率,在报告中被称为“叹息之墙”。

首先被明确的是物理层面的交互瓶颈。在最具代表性的“叠抹布”任务中,上榜模型的最佳成功率仅为 30%。报告分析指出,失败的根源是算法无法预测和适应布料在抓取、折叠过程中发生的连续形变与力学反馈。这也是目前行业公认的难点,即如何在非刚性物体的交互中实现精确的物理状态感知与实时控制,特别是在动态变化的接触条件下稳定把握操作力度与定位。
其次是认知层面的规划瓶颈,这集中体现在长程任务上。“做素三明治”与“给盆栽浇水”是两类代表性任务,二者成功率均为于 0%,但揭示了规划能力的不同短板。“做素三明治”失败揭示了当前模型在应对“低容错率顺序任务”时的脆弱性。任务要求按照固定的“面包、蔬菜、番茄、面包”序列操作,任何一步的抓取失误或顺序错乱都会导致全盘崩溃。这反映了此类任务对执行链条精确性与一致性的极端要求。
而“给盆栽浇水”任务的失败则暴露了模型在时间维度上维持目标一致性的内在困难。报告显示,模型能够完成抓壶、移动的前半段,却常在最终阶段出现目标遗忘,未能将水壶放回原位,甚至产生类似“幻觉”的随机动作。报告将其归因为“时序依赖缺失”与“状态丢失”,这更直接地体现了模型长程工作记忆或状态维持机制的不足。
在物理交互与认知规划这两大瓶颈之外,报告还指出了一个更为基础且普遍存在的系统性挑战,即在高精度、多步骤操作中维持端到端稳定性的能力严重不足。报告显示,“整理书籍”任务的最高成功率仅有 10%,失败根源在于模型初始抓取的微小偏差在后续操作中被不断放大。“排列纸杯”任务则更为典型,模型能够精准完成前四步的杯子抓取与套叠,却会在最后一步放置杯塔时因毫厘之差推倒杯塔宣告任务失败。
显然,当前技术面临的不仅是单一环节的能力缺陷,更是整个感知、决策与控制闭环在长时间、高精度协同工作时,维持系统稳定性的能力。这种稳定性的缺失,成为了制约复杂物理交互可靠性的关键瓶颈。
当“真问题”被具体标定后,行业的关注点与研发资源便能够从宽泛的技术竞赛,转向对关键能力的聚焦攻关。而如何构建有效的协作生态以加速这一进程,则成为报告揭示现状之后,自然浮现的下一个命题。

共建“新考场”

报告在洞察技术瓶颈的同时,也揭示了解决问题的路径。RoboChallenge 通过对 Table30 全量数据集及每一次测试完整日志与录像的彻底开源,形成了“开源数据与真实评测”为核心的行业协作范式,将原本孤立的实验室研究牵引至一个共同定义问题、共享进展、公开验证的开放轨道上。

以此为基础,一个开放且可信的具身智能开发者社区已快速形成。从顶尖研究机构到头部科技公司,多元力量在此验证与迭代模型。而来自社区的集体反馈正在发挥更重要的作用,直接推动着平台规划下一阶段的技术发展路径。一个关键例证是,报告在社区反馈部分指出,未来将引入可移动障碍、变化的目标位置等动态元素,以及发布厨房、仓储等更复杂环境。这些基于社区实践的反馈影响着社区的演进方向,也反映出行业的共识变化。
同时,这一变化也将深度牵引技术研发的重点。它预示着未来的技术攻坚,需要从追求在固定条件下的完美执行,转向构建能够应对目标位置变动、突发干扰出现等不确定性的新型能力。可以预见,未来的评测将从 “静态”的流程执行,转向“动态”的环境交互。评估的关键将不再局限于“在设定好的桌面上能否成功”,而会更多地检验“在条件发生变化时,能否持续、稳定地达成目标”。

可以看到,社区通过一线实践提出前瞻需求,平台则将这些共识沉淀为下一代评测标准,进而引导整个领域的技术攻坚方向。在这个循环中,平台的角色从“出题者”演变为“共建者”。技术突破的路径,正与一个能够敏锐捕捉并转化行业共识的开放生态的成熟深度绑定。当动态场景从社区诉求变为平台规划,并最终成为标准配置时,具身智能的研发才真正从“展示能力”到“交付能力”的下一阶段。

标签: none

添加新评论