多模态感知与手眼标定
抓取产线要上线了，感知组给机械臂装上了 RGB-D 相机。眼睛有了，可机械臂「听不懂」相机的话：相机说物体在 (0.1, 0.2, 0.3)，机械臂只认自己的基座坐标系。中间隔着三件事——把深度像素变成 3D 点云、把相机和手臂对齐、把看到的物体变成机械臂能去的位姿。今天，由你亲手打通这条感知链。
为什么要完成这项工作模拟？
欢迎加入我们的项目！我们非常高兴你能来。
抓取产线要上线了，感知组给机械臂装上了 RGB-D 相机。眼睛有了，可机械臂「听不懂」相机的话：相机说物体在 (0.1, 0.2, 0.3)，机械臂只认自己的基座坐标系。中间隔着三件事——把深度像素变成 3D 点云、把相机和手臂对齐、把看到的物体变成机械臂能去的位姿。今天，由你亲手打通这条感知链。
- 掌握 3D 点云处理核心算法与手眼标定数学原理，能独立完成多传感器标定与位姿估计系统开发，将标定误差控制在工程公差内。
我们希望这个项目不仅能增强您的技术技能，提升您的简历，还能让您对在 鹿明机器人科技（深圳）有限公司 的潜在职业发展有更深入的了解。
- ✓RGB-D 反投影,体素降采样去噪减点数,RANSAC 平面分割,深度有效占比,运行日志,退出码，README
- ✓RANSAC 平面分割,轴角表示,手眼标定,运行日志
- ✓坐标链的连乘,PnP 思想,手眼标定误差影响,位姿误差,运行日志、退出码截图、README.md
- ·根据预先录制的视频和示例答案完成任务。
- ·获得证书，并将其作为课外活动添加到您的简历和求职个人资料中。
- ·在申请中脱颖而出。自信地回答面试问题，并解释为什么你适合我们的团队。
实训工单清单与任务分解
点击左侧工单即可切换右侧交付详情，了解核对前要求、培养目标与交付物。
Intro & Scenario
欢迎加入鹿明机器人！作为机器人 3D 感知算法工程师，请认真阅读实训指引。
实训培养目标与交付路线
本次实训深入几何与三维视觉底层，分为三个关键任务阶段：
- 任务 1 · 点云重建与分割：解析 RGB-D 深度图并反投影生成空间 3D 点云，使用 RANSAC 算法完成平面拟合与工件点云聚类；
- 任务 2 · 手眼标定求解：推导经典的 AX=XB 标定矩阵方程，求解相机坐标系与机械臂基座坐标系之间的齐次变换矩阵；
- 任务 3 · 抓取位姿估计：结合点云主轴与表面法向量分析，解算目标物体的空间 6D 抓取位姿。
所有任务均提供官方脚手架代码模板，仅需提交单一核心实现文件，并支持标答自查闭环。
你的职场身份与带教导师
实训平台不仅是技能学习，更是一次真实的工程师入职测试与角色代入。
机器人 3D 感知算法工程师
- 负责 RGB-D 深度图到 3D 点云的反投影重建，利用体素降采样与 RANSAC 算法完成目标物体平面分割。
- 构建机械臂手眼标定方程（Ax=xB），完成相机坐标系到机械臂基座坐标系的高精度位姿变换求解。
- 掌握 3D 点云处理核心算法与手眼标定数学原理，能独立完成多传感器标定与位姿估计系统开发，将标定误差控制在工程公差内。
鹿明机器人·具身工程实验室负责人
精通 3D 视觉点云处理、眼在手外/眼在手上（Eye-in/to-Hand）高精度手眼标定与基于多模态感知的位姿估计。
评论
“手眼标定 AX=XB 曾经是我科研中最大的痛点，网上的代码版本鱼龙混杂。这个实训直接采用 Park-Martin 解析算法，从 15 组姿态数据中提取相对变换，最终手眼标定平移残差只有 1.1mm！配合 RANSAC 桌面分割，整个视觉抓取链路彻底跑通！”
华中科技大学 · 人工智能与自动化学院 · 何楚尧
“多模态点云反投影和体素降采样部分非常干净利落，处理后的 PLY 点云在 Open3D 里展示得非常漂亮。基座系齐次变换链的数学推导注释极具参考价值。”
东南大学 · 自动化学院 · 陆雨辰
“做完任务三的坐标转换，看着 pose_transform.png 里相机系和基座系完美对齐，综合误差不到 1.2mm，瞬间对具身感知有了十足的信心！”
西北工业大学 · 航海学院自主水下机器人团队 · 唐子墨
