多模态感知与手眼标定

鹿明机器人科技（深圳）有限公司

时长：1周报名人数：1-3人

项目结业证书、作品集成果、能力标签、达标后可进入岗位推荐池

OpenCVPython3D视觉RAG点云

抓取产线要上线了，感知组给机械臂装上了 RGB-D 相机。眼睛有了，可机械臂「听不懂」相机的话：相机说物体在 (0.1, 0.2, 0.3)，机械臂只认自己的基座坐标系。中间隔着三件事——把深度像素变成 3D 点云、把相机和手臂对齐、把看到的物体变成机械臂能去的位姿。今天，由你亲手打通这条感知链。

项目概览

你需要理解旋转矩阵、平移向量、齐次坐标

同时能够启动节点、查看TF树、在RViz中加载可视化插件——每个实验都配套RViz实时展示，需会基本操作

还要了解矩阵乘法、求逆、SVD分解（手眼标定求解涉及）、最小二乘（PnP求解涉及）

RGB-D 反投影,体素降采样去噪减点数,RANSAC 平面分割,深度有效占比,运行日志,退出码，README

RANSAC 平面分割,轴角表示,手眼标定,运行日志

坐标链的连乘,PnP 思想,手眼标定误差影响,位姿误差,运行日志、退出码截图、README.md

工单式推进 · 每步留证据

感知组新接了 RGB-D 相机，原始深度图一帧几十万个点，直接送规划又慢又噪。本任务把深度图变成干净点云：先亲手反投影出彩色 3D 点云，再体素降采样压点数，最后用 RANSAC 把桌面平面分割出来——只给下游留有用的点，RViz 里实时可见

交付物：补全后的学生动手 .py（不含 pass）、output_任务一,退出码截图、README.md

卡点技能：点云处理

相机装到了机械臂工作区旁，但相机说"物体在 (0.1, 0.2, 0.3)"机械臂根本听不懂——它只认基座系。本任务采集多组"臂位姿 ↔ 相机观测"数据对，用 RANSAC 找标定板平面、梯度下降求旋转、最小二乘求平移，解出手眼变换矩阵，让眼和手说同一种话

交付物：补全后的学生动手 .py（不含 pass）、output_任务二、退出码截图、README.md

卡点技能：手眼标定

抓取上线前最后一步：把相机看到的物体变成机械臂能去的位姿。本任务用模拟 PnP 估计物体在相机系下的位姿，再用任务二解出的手眼矩阵转换到基座系，最后量化位姿误差——位置差几毫米、姿态差几度必须交出数字，RViz 里目标立方体落位正确才算闭环

交付物：补全后的学生动手 .py（不含 pass）、output_任务三、退出码截图、README.md

卡点技能：目标位姿估计与坐标转换

已加入 2 人

算

算法工程师（TL）

已加入

实

实训智能助手

已加入

空位