GOAI 双臂策略训练与仿真评测

00 / 场景与目标

围绕多相机视觉语言动作策略，完成接口适配、训练部署、本地闭环评测与失败分析。

01我的贡献

• 适配头部与双腕三路图像、语言指令及 14 维机器人状态和动作接口。
• 配置动作头微调与后续多任务训练，管理检查点、归一化设置和版本冻结。
• 联通策略 WebSocket 服务与多环境仿真执行，整理运行恢复和评测护栏。
• 组织两版完整评测、候选检查点筛选及按任务失败分析，保留可追溯结果与视频索引。

02系统流程

1. 01三路图像与机器人状态
2. 02视觉语言动作策略
3. 03WebSocket 策略服务
4. 0414 维动作与仿真执行
5. 05逐任务评测与失败分析

03已有结果

• 稳定基线为 33/600，20k 微调为 28/600；各覆盖 24 项任务，两版累计 1,200 回合。
• 后续 Candidate C 的 60k、80k、100k 检查点共做 45 回合筛选，各为 0/15，没有完成完整 600 回合复评。
• 诊断材料覆盖 29 个代表回合和 87 段三相机视频索引。

04验证范围与限制

结果应与测量对象和验证条件一同阅读。历史记录、主机检查与真实设备验证分别说明。

• StarVLA、QwenOFT、XPolicyLab 与 RoboDojo 为上游基础；个人贡献是适配、配置、集成、运行修复和分析。
• 以上均为本地仿真记录，没有确认的官方成绩；20k 总体观测值低于基线，不宣称性能提升。
• 45 回合筛选不能与完整 600 回合直接排名，100k 候选没有已证实的性能优势。
• 归档期未重跑 GPU 训练或完整仿真；20k 原始回合、完整 ACT 源码及部分历史测试对应实现仍有缺口。

05公开材料