Ego 遥操作灵巧手与手势识别

鹿明机器人科技（深圳）有限公司

时长：3周报名人数：3-5人

项目结业证书、作品集成果、能力标签、达标后可进入岗位推荐池

具身智能工业自动化机器人动作控制运动控制项目交付

实验室里，一只 12 关节灵巧手已经接入仿真环境，RViz 中的点云手正在等待指令。项目组希望摆脱笨重的数据手套，让操作员只凭摄像头识别到的人手动作，就能远程驱动机械手完成抓取。你的任务是把关节控制、手势识别、重定向映射、滤波平滑和抓取判定全部串起来，让“人手一捏，机械手跟着捏住目标球”真正跑通。

项目概览

具备 Python + NumPy 基础与 ROS2 命令行操作能力

熟悉 Ubuntu 22.04、ROS2 Humble 环境

开始前确保 RViz 仿真链路可用，能正常加载灵巧手模型并发送关节指令

理解关节空间控制、运动学重定向基本原理

三种手型齐以及维度，各手型稳态误差，手型切换轨迹，RViz截图，退出码运行日志README

人手关键点检测，重定向，平滑后最大帧间跳变，RViz截图，README.md

指尖半径模型，跟随延迟，RViz截图，README.md

工单式推进 · 每步留证据

灵巧手项目首训，聚焦PD控制律，通过调节Kp、Kd使12关节机械手实现“张开→捏合→抓握”三种手型切换，兼顾响应速度与稳态精度。学员在RViz中实时观察手型变换，记录切换过程与稳态误差（1001步最大0.031rad），为后续遥操作与闭环抓取奠定控制基础。

交付物：灵巧手关节控制_学生动手.py、output_任务一、退出码 0 截图、README.md

卡点技能：灵巧手关节控制

让灵巧手学会“模仿”——模拟 MediaPipe 检测 21 个人手关键点，用指尖到指根距离估算弯曲量，重定向映射到 12 关节灵巧手，生成 open → pinch → power 手势序列并滤波平滑。对比滤波前后关节跳变，看噪声怎么影响手势平滑度。

交付物：手势识别与重定向_学生动手.py、output_任务二、退出码 0 截图、README.md

卡点技能：手势识别与重定向

这轮做闭环抓取——模拟带噪人手手势（open→pinch），经置信度加权 + 滤波后映射到 4 指灵巧手，闭环跟踪目标。指尖到球心距离均值 < 0.5 即抓取成功。对比 alpha = 0.1 / 0.3 / 0.8，观察平滑与响应的权衡：alpha 太小响应慢，太大抖得厉害。

交付物：闭环遥操作抓取_学生动手.py、运行日志、退出码 0 截图、README.md（含 alpha 取舍分析）

卡点技能：闭环遥操作抓取（综合）

已加入 2 人

算

算法工程师（TL）

已加入

实

实训智能助手

已加入

空位