视觉与多模态交互四轴机械臂

00 / 场景与目标

让桌面机械臂识别物品、响应指令，并通过人的反馈完成拟猫式试探与纠错。

01我的贡献

• 训练并部署三类桌面物品的 YOLOv8 检测模型，组织图像采集与目标定位流程。
• 使用 OpenCV 完成相机内参标定、畸变校正和工作平面单应映射。
• 集成 Vosk 中文语音、键盘输入和 MediaPipe 手部检测，组织随机试探、反馈纠错与奖励动作。
• 将检测、坐标转换和交互决策对接团队的机械臂执行接口，串联抓取与放置。

02系统流程

1. 01相机图像
2. 02三类目标检测
3. 03标定与平面坐标映射
4. 04指令与反馈决策
5. 05机械臂动作执行

03已有结果

• 历史训练 CSV 的最佳验证 mAP@0.5 为 86.21%，衡量目标检测表现。
• 历史相机标定重投影 RMS 为 0.704 px；8 点单应拟合 RMS 为 7.145 mm。
• 实体项目已完成并上交；公开归档保留应用源码、标定文件与训练记录。

04验证范围与限制

结果应与测量对象和验证条件一同阅读。历史记录、主机检查与真实设备验证分别说明。

• 团队完成整机；本人贡献集中于视觉、交互和集成，不认领全部机构、电路与底层驱动。
• 检测与标定指标不等于抓取成功率，尚无固定协议的实物重复性评测。
• 归档期只做离线主机检查，未重新训练、推理或驱动实物；权重、数据及厂商 DLL 未随包提供。

05公开材料