GPT-6 Astra上真机,RoboChallenge这次跑出了新东西
两项任务成功率达100%。 作者 | 周加琦 编辑 | 漠影 VLA一直是具身智能领域主流的技术路线之一。 它的逻辑是:给模型输入图像、语言指令,再利用大规模机器人示范数据训练模型直接预测动作。随着机器人数据规模的扩大,VLA可以完成抓取、整理等复杂的真实操作任务。 同时,通用大模型在多模态理解、空间推理和复杂任务规划能力的也在持续提升,一个新的问题随之出现: 如果利用它这些已有能力,不用VLA模型,能不能参与并完成机器人的真实操作? 近日,原力灵机做了一次这样的实验。 该团队将 GPT-6 Astra 接入真机评测平台 RoboChallenge Table30 V2 ,在Aloha、DOS-W1、ARX5和UR5四种机器人本体上分别测试四项真实操作任务。 从最终结果来看,四项任务中, GPT-6 Astra有两项成功率达到100% 。 在真实执行的过程中,通用大模型不只是单纯地“输出动作”,而是会试探环境、理解操作结果、发现异常并修正。 01 . 从屏幕走向真机, 原力灵机搭建真实评测闭环 验证通用大模型能不能真正参与机器人操作,光看模型在视觉理解、空间推理等Benchmark上的成绩不够。 机器人一旦进入真实环境,面对的不只是“看懂一张图”、“规划一个任务”。相机视角会变,目标可能被遮挡,抓取可能失败。 所以,模型不仅要知道下一步该如何做,还要根据真实执行结果不断重新判断当前状态。 因此,原力灵机团队选择直接上真机测试。 此次测试使用的是RoboChallenge中的Table30 V2真机Benchmark。 RoboChallenge由原力灵机联合Hugging Face发起 ,希望通过统一的真实机器人环境,对不同模型的操作能力进行测试。 Table30 V2共包含30个真实世界操作任务,覆盖双臂DOS-W1、Aloha和单臂ARX5、UR5四种机型,涉及物体整理、装箱、工具使用和双臂协作等任务。 与仿真环境测试不同,RoboChallenge让参评模型直接连接真实机器人。测试中,平台通过远程API与用户部署的模型推理服务交互,模型持续获取机器人图像和状态,生成动作并下发执行。 一次动作执行结束后,模型还会重新获取机器人图像和状态,并据此决定下一步如何操作。这样,模型面对的不是固定的输入,而是一个会因为自身动作不断变化的真实物理环境。 该团队在四种机器人本体上各选择了一项任务。其中 Aloha完成“盖章定位” ,需要一只机械臂固定纸张,另一只机械臂拿起印章、蘸取印泥并完成盖章; DOS-W1执行“叠碗” ,按顺序将不同颜色的碗套叠起来。 ARX5完成“寻找绿块” ,需要从场景中找到两个绿色方块,并依次放入指定篮子; UR5则操作“碎纸” ,抓取纸张并送入碎纸机完成碎纸。四项任务分别涉及双臂协作、物体关系判断、目标搜索和工具使用等不同操作能力。 每项任务进行10次真机Rollout,按照平台记录的状态和步骤分,统计最终成功率与得分。 02 . 四项真机测试,两项任务成功率达100% 四项任务中,GPT-6 Astra在 “叠碗”和“寻找绿块” 任务中的 成功率均达到 100% , “盖章定位”和“碎纸” 任务成功率分别为 80%、70% 。 在RoboChallenge Table30 V2公开运行记录中,后两个任务的最高成功率均为50%,而GPT-6 Astra在这两项任务上的成功率分别高出30%和20%。 不过,成功率并不等于执行过程更优。GPT-6 Astra在“叠碗”、“寻找绿块”和“碎纸”上的得分均低于对应公开最高分。例如碎纸任务中,机器人虽然最终完成任务,但部分执行曾误夹起支架并因此被扣分;叠碗过程中也出现过多次重试。 当然,这也反映出GPT-6 Astra 并不是“一次做对” ,而是依靠持续观察和调整,把已经出现偏差的任务继续做完。 03 . 不只执行动作, GPT-6 Astra还会根据结果动态调整 首先,GPT-6 Astra会通过实际动作不断 补全对空间关系的理解 。 在UR5碎纸任务中,该团队并没有向GPT-6 Astra提供显式的相机标定信息。模型一开始并不知道机械臂沿某个方向移动后,在不同相机画面中会产生怎样的变化。 实际执行时,Astra会先做几个小幅试探动作,再对比动作前后的图像变化,逐步判断机械臂的运动方向,以及夹爪与目标之间的相对位置。也就是说,它不是依赖预先给定的空间映射,而是在操作过程中,通过 “动作—观察—再判断” 建立局部的视觉与运动对应关系。 除了补全空间关系,Astra也会 根据场景变化调整原来的操作顺序 。 在“寻找绿块”任务中,当绿色目标受到其他方块遮挡时,模型不会持续重复原来的抓取动作,而是先处理遮挡物。测试中,Astra会先夹走紫方块,等第二个绿色方块暴露后,再调整
发表评论