(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211106319.3 (22)申请日 2022.09.11 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 张会清　杨永建　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/44(2017.01) G06T 7/13(2017.01) G06T 5/50(2006.01) G06T 5/40(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于自适应直方图均衡化的视觉定位 方法 (57)摘要 本发明公开了一种基于自适应直方图均衡 化的视觉定位方法， 在离线阶段， 采集测试场景 的视频影像， 将图像输入图像增强模块， 基于图 像分块的直方图， 在限制对比度的条件下调整图 像的像素灰度值分布， 增强图像动态范围。 然后 利用图像的深度信息设计一种二进制掩膜剔除 场景中的动态目标和遮挡的干扰。 接着利用编码 器‑解码器网络结构的二分支网络： 位姿估计网 络和深度估计网络分别提取图像的深度信息和 相邻图像帧的位姿信息， 在训练过程中通过光度 一致性损失、 边缘平滑损失和深度一致性损失监 督网络的位姿估计结果。 本发明能提取主要的相 邻图像帧的时空特征， 通过图像深度信息保证网 络的位姿估计具有尺度一致的特征， 能够准确进 行实时位置估计 。 权利要求书2页 说明书5页 附图2页 CN 115482280 A 2022.12.16 CN 115482280 A 1.一种基于自适应直方图均衡化的视 觉定位方法， 其特 征在于， 包括下述 步骤： 离线定位阶段， 将收集到的场景视频输入待训练的定位模型； 对原始输入图像进行基 于对比度限制的直方图均衡化增强图像的边 缘纹理信息； 通过基于Resnet的编码器网络提取 连续视频帧的运动信息和深度信息； 通过相邻图像帧的深度信息， 基于视 图合成原理获得相邻图像帧的深度信息差异， 并 将此深度信息 差异生成二进制掩膜； 基于编码器得到的视觉特征， 基于转置卷积， 通过四层卷积层逐层上采样得到六自由 度位姿和深度图， 基于光度一致性损失、 边缘平滑损失和深度一致性损失监督模型 的权重 更新； 在线定位阶段， 采集测试场景的视频数据， 导入已训练完毕的模型， 模型通过对场景信 息编码提取场景边缘纹理信息， 通过不同的解码 器得到六自由度位姿实时估计和深度图估 计。 2.根据权利要求1所述的一种基于自适应直方图均衡化的视觉定位方法， 其特征在于， 所述基于直方图均衡化的图像增强方法， 包括： 对于图像的分块填充， 然后基于直方图均衡化策略对每个分块计算映射关系， 基于得 到的映射关系进行对比度限制， 最后通过双线性插值得到增强 图像； 利用限制对比度的直 方图均衡化方法对图像的边缘和纹理信息进 行增强， 改善图像中过亮或过暗区域的目标物 体显示。 3.根据权利要求1所述的一种基于自适应直方图均衡化的视觉定位方法， 其特征在于， 所述视觉特征提取方法， 包括： 对于输入的图像， 通过编码器 ‑解码器网络提取图像高级视觉特征， 在解码器部分， 基 于3x3卷积核， 利用经典网络ResNet通过四层下采样卷积提取视觉特征， 其中位姿估计网络 解码器采用ResNet ‑18， 编码器采用PoseResNet设计 四层卷积层得到6自由度预测位姿， 深 度估计网络解码器采用ResNet ‑50， 采用DispResNet作为解码器， 通过逐层上采样将图像时 空特征恢复采用DispResNet作为 解码器， 通过 逐层上采样 将图像时空特 征恢复为深度图。 4.根据权利要求1所述的一种基于自适应直方图均衡化的视觉定位方法， 其特征在于， 所述基于遮挡掩码的二进制掩膜， 包括： 基于视图合成原理将目标视图翻转到源视图中得到合成的目标深度图， 视图合成原 理 通过下式表征： 其中υij表示目标图像Ii(x)和翻转源图像 之间的像素值差异， 翻转源图像通过目 标图像和源图像之间的位姿变换信息及深度信息获得， 其中位姿变换信息通过 下式得到： 其中K为相机内参， 是目标图像到源图像的位姿变换矩阵， 是目标图像的深 度信息， 由深度预测网络得到； 基于目标图像深度图Dj(xj)和源图像深度图Di(xi)， 基于尺 度一致性的掩膜可以通过 下式计算得到：权　利　要　求　书 1/2 页 2 CN 115482280 A 2其中thre根据经验设置为0.25， Di‑＞j(x)表示两幅图像之间的深度信息差异， 具体通过 下式计算： 5.根据权利要求1所述的一种基于自适应直方图均衡化的视觉定位方法， 其特征在于， 所述深度网络损失函数设计， 包括： 损失函数由三部分构成， 在训练阶段对二分支网络进行联合训练， 整体损 失函数由三 部分组成： Lc＝α Lphoto+β Lsmooth+γLdepth 第一部分是光度一 致性损失， 用于约束相邻图像帧之间的光度损失： 其中Ii(x)和 表示参考图像和翻转源图像的灰度值； 第二部分是边 缘平滑度损失， 用于弥补场景在低纹 理或单一平面区域的预测精度： 其中▽表示空间方向的一阶导数； 第三部分是尺度一致性损失， 借助图深度信 息约束网络在长序列位姿估计中保持位姿 的尺度一 致性； 其中SSIM(Ii‑Ij)表示两幅图像的结构相似性差异。 6.根据权利要求1所述的一种基于自适应直方图均衡化的视觉定位方法， 其特征在于， 所述模型在线推理阶段， 包括： 基于直方图均衡化对图像进行边缘增 强， 通过Resnet编码器提取图像视觉特征， 基于 DispNet解码器计算出图像深度图， 基于图像位姿和深度信息， 通过PoseNet解码器得到6自 由度位姿。权　利　要　求　书 2/2 页 3 CN 115482280 A 3