Ego 遥操作灵巧手与手势识别
实验室里，一只 12 关节灵巧手已经接入仿真环境，RViz 中的点云手正在等待指令。项目组希望摆脱笨重的数据手套，让操作员只凭摄像头识别到的人手动作，就能远程驱动机械手完成抓取。你的任务是把关节控制、手势识别、重定向映射、滤波平滑和抓取判定全部串起来，让“人手一捏，机械手跟着捏住目标球”真正跑通。
为什么要完成这项工作模拟？
欢迎加入我们的项目！我们非常高兴你能来。
实验室里，一只 12 关节灵巧手已经接入仿真环境，RViz 中的点云手正在等待指令。项目组希望摆脱笨重的数据手套，让操作员只凭摄像头识别到的人手动作，就能远程驱动机械手完成抓取。你的任务是把关节控制、手势识别、重定向映射、滤波平滑和抓取判定全部串起来，让“人手一捏，机械手跟着捏住目标球”真正跑通。
- 精通灵巧手多关节控制与人手运动学重定向，掌握 MuJoCo 动力学仿真与闭环自适应抓取控制技术。
我们希望这个项目不仅能增强您的技术技能，提升您的简历，还能让您对在 鹿明机器人科技（深圳）有限公司 的潜在职业发展有更深入的了解。
- ✓三种手型齐以及维度，各手型稳态误差，手型切换轨迹，RViz截图，退出码运行日志README
- ✓人手关键点检测，重定向，平滑后最大帧间跳变，RViz截图，README.md
- ✓指尖半径模型，跟随延迟，RViz截图，README.md
- ·根据预先录制的视频和示例答案完成任务。
- ·获得证书，并将其作为课外活动添加到您的简历和求职个人资料中。
- ·在申请中脱颖而出。自信地回答面试问题，并解释为什么你适合我们的团队。
实训工单清单与任务分解
点击左侧工单即可切换右侧交付详情，了解核对前要求、培养目标与交付物。
Intro & Scenario
欢迎加入鹿明机器人！作为灵巧手控制算法工程师，请认真阅读实训指引。
实训培养目标与交付路线
本次实训结合人机交互与仿真控制，分为两个关键任务阶段：
- 任务 1 · 视觉手势跟踪：基于 MediaPipe 提取 21 个空间 3D 关键点，搭建低通平滑滤波器消除抖动与丢帧；
- 任务 2 · 运动学重定向：建立人手关节向量到灵巧手多电机驱动自由度的非线性映射，在 MuJoCo 动力学仿真中实现抓握物体闭环控制。
所有任务均提供官方脚手架代码模板，仅需提交单一核心实现文件，并支持标答自查闭环。
你的职场身份与带教导师
实训平台不仅是技能学习，更是一次真实的工程师入职测试与角色代入。
灵巧手控制算法工程师
- 基于 MediaPipe 实现单目人手 21 个 3D 关键点实时跟踪，完成关键点高频平滑滤波。
- 建立人手骨骼到多自由度灵巧手的运动学重定向映射算法，在仿真环境中实现稳定自适应抓取。
- 精通灵巧手多关节控制与人手运动学重定向，掌握 MuJoCo 动力学仿真与闭环自适应抓取控制技术。
鹿明机器人·具身工程实验室负责人
主攻多自由度灵巧手运动学建模、手势视觉捕捉重定向与闭环抓取控制，主导灵巧手在复杂工业装配场景的工程落地。
评论
“太酷炫了！用单目摄像头识别 21 个手部关键点，再重定向到 12 关节灵巧手。以前直接映射手抖得跟抽搐一样，做完任务二的一阶低通滤波，跳变直接从 0.81 rad 压到 0.12 rad，RViz 里的机械手反应如丝般顺滑！”
天津大学 · 智能与计算学部 · 张晋恺
“任务三闭环抓取小球变红的那一刻太有成就感了！24ms 的端到端超低时延，alpha 参数调节的折线图非常直观。做完提交成果物，官方标准答案里的指尖包络球模型让我大开眼界。”
北京邮电大学 · 人工智能学院 · 袁曼婷
“灵巧手控制与第一人称手势重定向结合得天衣无缝，整个任务从浅入深，真正做到了让理论在机械手上动起来。五星好评必须奉上！”
吉林大学 · 计算机科学与技术学院 · 高天宇
