(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211183744.2 (22)申请日 2022.09.27 (71)申请人 北京易航远智科技有限公司 地址 100015 北京市朝阳区酒仙桥北路7号 60幢一层0 30 (72)发明人 殷佳豪　刘志励　范圣印　李雪　 (74)专利代理 机构 北京庚致知识产权代理事务 所(特殊普通 合伙) 11807 专利代理师 孙敬霞　韩德凯 (51)Int.Cl. G06V 10/764(2022.01) G06V 20/10(2022.01) G06T 7/246(2017.01) G01S 19/42(2010.01) (54)发明名称 场景检索方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种场景检索方法、 装置、 电 子设备及存储介质。 本公开实施例中， 场景检索 方法可以包括： 获取至少两幅观测图像及其观测 视角； 获取每幅所述观测图像的深度信息； 根据 所述观测图像的相机参数、 所述观测图像的观测 视角及所述观测图像的深度信息， 构建每幅所述 观测图像的视角锥； 确定所述至少两幅观测图像 中观测图像的视角锥的3D交并比， 所述3D交并比 表示观测图像间的场景观测相似度。 本公开能够 高效准确地确定图像间的场景观测相似度。 权利要求书3页 说明书15页 附图4页 CN 115512157 A 2022.12.23 CN 115512157 A 1.一种场景检索方法， 其特 征在于， 包括： 获取至少两幅观测图像及其观测视角； 获取每幅所述观测图像的深度信息； 根据所述观测图像的相机参数、 所述观测图像的观测视角及所述观测图像的深度信 息， 构建每幅所述观测图像的视角锥； 确定所述至少两幅观测图像 中观测图像的视角锥的3D交并比， 所述3D交并比表示观测 图像间的场景观测相似度。 2.根据权利要求1所述的场景检索方法， 其特征在于， 所述观测图像的深度信息包括： 所述观测图像的平均深度、 最大深度和所述观测图像中深度值小于预定深度阈值的特征点 比例。 3.根据权利要求1所述的场景检索方法， 其特征在于， 获取每幅所述观测图像的深度信 息， 包括： 提取观测图像的关键点； 对所述观测图像的关键点执 行均匀化处 理； 对所述观测图像进行深度估计以获得所述观测图像的深度图， 将所述均匀化处理后的 关键点映射到所述深度图上， 以确定各关键点的深度值； 根据各关键点的深度值确定所述观测图像的平均深度、 最大深度和所述观测图像 中深 度值小于预定深度阈值的特 征点比例。 4.根据权利要求1或2所述的场景检索方法， 其特征在于， 所述构建每幅所述观测图像 的视角锥， 包括： 所述观测图像 中深度值小于预定深度阈值的特征点比例大于预定比例阈值 时， 基于所 述观测图像的平均深度确定 视角锥的观测深度； 所述观测图像中深度值小于预定深度阈值的特征点比例小于或等于所述预定比例阈 值时， 基于所述观测图像的最大深度确定 视角锥的观测深度。 5.根据权利要求4所述的场景检索方法， 其特征在于， 所述构建每幅所述观测图像的视 角锥， 还包括： 根据所述观测图像对应的相机内参确定所述视角锥的视野角度值； 根据所述观测图像对应的相机位置确定所述视角锥的顶点 坐标和视角方向。 6.根据权利要求1或5所述的场景检索方法， 其特征在于， 所述估算所述至少两幅观测 图像中观测图像的视角锥3D交并比， 包括： 对两幅观测图像的视角锥分别提取轴对齐包围盒最小外包围框； 对两幅观测图像的视角锥的轴 对齐包围盒最小外包围框进行碰撞检测， 以判断两幅观 测图像的视角锥的轴对齐包围盒最小外包围框是否存在交叠； 在两幅观测图像的视角锥的轴 对齐包围盒最小外包围框存在交叠时， 合并两个视角锥 的轴对齐包围盒最小外包围框， 基于视角锥的空间分布函数和蒙特卡洛算法对得到的合并 外包围框计算3D交并比； 其中， 所述两幅观测图像由两个相机拍摄； 优选地， 所述基于视角锥的空间分布函数为符号距离函数SDF， SDF根据所述视角锥的 参数构建， 所述视角锥的参数包括： 视角锥的顶点坐标、 视角锥的视角方向、 视角锥的观测权　利　要　求　书 1/3 页 2 CN 115512157 A 2深度、 视角锥的视野角度值； 优选地， 所述3D交并比指示所述两个相机的相交观测区域在所述两个相机的相并观测 区域中的占比； 优选地， 还包括： 根据 所述至少两幅观测图像 中观测图像的视角锥的3D交并比， 获得基 于图像的回环检测、 图像场景检索或视频场景检索的结果； 优选地， 还包括： 根据所述至少两幅观测图像中各观测图像的视角锥 的3D交并比训练 场景检索深度学习模型， 所述场景检索深度学习模型用于获得基于图像的回环检测、 图像 场景检索或视频场景检索的结果； 优选地， 所述场景检索深度学习模型的损失函数为： 其中， desi、 desj分别为两幅观测图像对应的全局描述子； Fovi， j为两幅观测图像的视角 锥的3D交并比， η代 表指定间隔， dis表示距离函数。 7.一种场景检索装置， 其特 征在于， 包括： 第一获取 单元， 用于获取至少两幅观测图像及其观测视角； 第二获取 单元， 用于获取每幅所述观测图像的深度信息； 视角锥构建单元， 用于根据所述观测图像的相机参数、 所述观测图像的观测视角及所 述观测图像的深度信息， 构建每幅所述观测图像的视角锥； 相似度估算单元， 用于确定所述至少两幅观测图像中观测图像的视角锥 的3D交并比， 所述3D交并比表示观测图像间的场景观测相似度。 8.根据权利要求7所述的场景检索装置， 其特征在于， 所述观测图像的深度信息包括： 所述观测图像的平均深度、 最大深度和所述观测图像中深度值小于预定深度阈值的特征点 比例； 优选地， 所述第二获取 单元， 具体用于： 提取观测图像的关键点； 对所述观测图像的关键点执 行均匀化处 理； 对所述观测图像进行深度估计以获得所述观测图像的深度图， 将所述均匀化处理后的 关键点映射到所述深度图上， 以确定各关键点的深度值； 根据各关键点的深度值确定所述观测图像的平均深度、 最大深度和所述观测图像 中深 度值小于预定深度阈值的特 征点比例。 优选地， 所述视角锥构建单 元， 具体用于： 所述观测图像 中深度值小于预定深度阈值的特征点比例大于预定比例阈值 时， 基于所 述观测图像的平均深度确定 视角锥的观测深度； 所述观测图像中深度值小于预定深度阈值的特征点比例小于或等于所述预定比例阈 值时， 基于所述观测图像的最大深度确定 视角锥的观测深度。 优选地， 所述视角锥构建单 元， 具体用于： 根据所述观测图像对应的相机内参确定所述视角锥的视野角度值； 根据所述观测图像对应的相机位置确定所述视角锥的顶点 坐标和视角方向。 优选地， 所述相似度估算单 元， 具体用于：权　利　要　求　书 2/3 页 3 CN 115512157 A 3