(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210869748.X (22)申请日 2022.07.22 (71)申请人 奕目 （上海） 科技有限公司 地址 200240 上海市闵行区剑川路951号1 幢1206室 (72)发明人 李浩天　徐青岚　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 胡亮　张颖玲 (51)Int.Cl. G06T 7/73(2017.01) B25J 9/16(2006.01) (54)发明名称 手眼标定方法、 视觉机器人、 手眼标定设备 和存储介质 (57)摘要 本申请实施例公开了一种手眼标定方法， 方 法包括： 获得标定物中确定的参考点阵中的任一 参考标定点， 在标定物坐标系下的三维物理坐 标； 控制视觉机器人的机械手运动， 获得机械手 在至少两个位姿下， 通过视觉机器人的光场相机 拍摄参考点阵得到的光场图像； 基于至少两个光 场图像和参考点阵中所有参考标定点对应的三 维物理坐标， 得到标定物相对于光场相机的目标 位姿变换关系； 基于目标位姿变换关系对视觉机 器人进行手眼标定。 本申请实施例同时还公开了 一种视觉机器人、 手眼标定设备和存 储介质。 权利要求书3页 说明书21页 附图8页 CN 115272466 A 2022.11.01 CN 115272466 A 1.一种手眼标定方法， 其特 征在于， 所述方法包括： 获得标定物中确定的参考点阵中的任一参考标定点， 在标定物坐标系下的三维物理坐 标； 控制视觉机器人的机械手运动， 获得所述机械手在至少两个位姿下， 通过所述视觉机 器人的光场相机拍摄所述 参考点阵得到的光场图像； 基于至少两个光场图像和所述参考点阵中所有参考标定点对应的三维物理坐标， 得到 所述标定物相对于所述 光场相机的目标位姿变换关系； 基于所述目标位姿变换关系对所述视 觉机器人进行手眼标定 。 2.根据权利要求1所述的手眼标定方法， 其特征在于， 所述基于至少两个光场图像和所 述参考点阵中所有参考标定点对应的三 维物理坐标， 得到所述标定物相对于所述光场相机 的目标位姿变换关系， 包括： 通过光场渲染算法对所述至少两个光场图像中每一光场图像进行渲染处理， 得到所述 每一光场图像对应的多视角图像， 其中， 所述多视角图像包括中心视角图像； 通过外极线图像算法对所述每一光场图像对应的多视角图像进行处理， 得到所述每一 光场图像对应的视 差图像； 基于所述中心视角图像中所述所有参考标定点， 对所述视差图像中的标定点进行定 位， 得到所述视 差图像中的目标 标定点； 基于所述目标标定点在图像像素坐标系下的第 一像素位置， 得到所述目标标定点在相 机坐标系下的三维点云坐标； 基于所有目标标定点对应的三维点云坐标， 与对应位置的参考标定点对应的三维物 理 坐标， 得到所述目标位姿变换关系。 3.根据权利要求2所述的手眼标定方法， 其特征在于， 所述基于所述中心视角图像 中所 述所有参考标定点， 对所述视差图像中的标定点进行定位， 得到所述视差图像中的目标标 定点， 包括： 获得所述所有参 考标定点中每一 参考标定点在图像 像素坐标系下的第二像素位置； 确定所述视差图像在所述图像像素坐标系下， 与 所述第二像素位置对应的标定点为所 述目标标定点。 4.根据权利要求2所述的手眼标定方法， 其特征在于， 所述基于所述目标标定点在图像 像素坐标系下的第一像素位置， 得到所述目标标定点在相机坐标系下的第二三维点云坐 标， 包括： 获得所述视差图像中的每一目标 标定点的视 差值； 基于所述第一像素位置和所述视 差值， 得到所述 三维点云坐标。 5.根据权利要求1所述的手眼标定方法， 其特征在于， 所述基于至少两个光场图像和所 述参考点阵中所有参考标定点对应的三 维物理坐标， 得到所述标定物相对于所述光场相机 的目标位姿变换关系， 包括： 获取通过 所述光场相机拍摄纯色标定物所获得 纯色图像； 对所述纯色图像进行标定处理， 得到所述光场相机的微透镜阵列中每一微透镜的中心 于所述光场相机的传感器平面的进行投影时， 在图像坐标系下的投影中心的第三像素位 置；权　利　要　求　书 1/3 页 2 CN 115272466 A 2针对所有投影中心， 基于获得的第一预设窗口， 确定每一光场图像中任一参考标定点 在所述传感器平面中， 对应所述第三像素位置的点状特征 的第四像素位置， 得到所述所有 投影中心对应的所有点状特征在所述图像坐标系 下的第四像素位置； 其中， 所述第一预设 窗口用于包括所述 参考标定点对应的所述所有投影中心； 基于所述所有投影中心的第 三像素位置和所述所有点状特征的第四像素位置， 确定所 述参考标定点对应的弥散圆特 征； 基于所述所有参考标定点对应的弥散圆特征和所述所有参考标定点对应的三维物理 坐标， 得到所述目标位姿变换关系。 6.根据权利要求5所述的手眼标定方法， 其特征在于， 所述光场图像是经过灰度处理 的 图像， 所述基于获得 的第一预设窗口， 确定每一光场图像中任一参考标定点在所述传感器 平面中， 对应所述第三像素位置的点状特 征的第四像素位置， 包括： 在所述光场图像中框定以所述第 三像素位置为中心， 确定具有所述第 一预设窗口的第 一区域； 从所述第一区域的所有像素中， 确定像素特征满足特征选择条件的像素为第一目标 点； 在所述光场图像中框定以所述第一目标点为中心， 确定具有第二预设窗口的第二区 域； 其中， 所述第二预设窗口 的大小小于所述第一预设窗口 的大小； 基于对所述第 二区域的所有像素的像素位置进行灰度加权平均， 得到所述点状特征的 第四像素位置 。 7.根据权利要求6所述的手眼标定方法， 其特征在于， 所述像素特征满足特征选择条 件， 包括： 所述第一区域内像素 的亮度值大于亮度阈值且所述像素 的亮度值大于或等于相 邻像素的亮度值， 以及所述像素与所述第三像素位置对应的投影中心之间的距离最短。 8.根据权利要求5所述的手眼标定方法， 其特征在于， 所述基于所述所有参考标定点对 应的弥散圆特征和所述所有参考标定点对应的三维物理坐标， 得到所述目标位姿变换关 系， 包括： 基于所述弥散圆特征和所述所有参考标定点对应的三维物理坐标， 采用非线性方程组 最小二乘法， 确定所述标定物坐标系与所述相机坐标系之 间的初始 位姿变换关系和所述光 场相机的内部参数初始值； 构建非线性优化模型， 将所述初始位姿变换关系和所述内部参数初始值输入至所述非 线性优化模型中， 得到所述非线性优化模型输出的目标位姿变换关系。 9.一种视 觉机器人， 其特 征在于， 所述视 觉机器人包括： 光场相机， 用于拍摄光场图像； 机器人本体， 所述机器人本体具有基座， 以及设置在所述基座上的机械手， 所述机械手 用于固定待拍摄物体； 控制装置， 用于获得标定物中确定的参考点阵中的任一参考标定点， 在标定物坐标系 下的三维物理坐标； 控制视觉机器人的机械手运动， 获得所述机械手在至少两个位姿 下， 通 过所述视觉机器人的光场相机拍摄所述参考点阵得到的光场图像； 基于至少两个光场图像 和所述参考点阵中所有参考标定点对应的三 维物理坐标， 得到所述标定物相对于所述光场 相机的目标位姿变换关系； 基于所述目标位姿变换关系对所述视 觉机器人进行手眼标定 。权　利　要　求　书 2/3 页 3 CN 115272466 A 3