(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211122367.1 (22)申请日 2022.09.15 (71)申请人 齐丰科技股份有限公司 地址 210000 江苏省南京市江宁区东 山国 际企业研发园兴苑路108号01幢 (72)发明人 欧啸天　李清　苗林　吴保成　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 蒋昱 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/73(2017.01) G06T 17/00(2006.01) G06V 10/75(2022.01) (54)发明名称 基于三维重建的变电站云台相机的预置位 偏移纠正方法 (57)摘要 本发明提出了基于三维重建的变电站云台 相机的预置位偏移纠正方法， 通过使用运动恢复 结构算法(SFM)对标注图片做预处理， 创建场景 的三维结构； 对云台相机做预置位纠正时， 使用 当前图片和预先创建的三维结构， 计算角度偏 差， 从而确定 预置位是否偏移， 以及修正参数。 三 维结构的创建依赖于基于机器学习的特征点检 测模型和特 征点匹配模型。 权利要求书2页 说明书7页 附图4页 CN 115471573 A 2022.12.13 CN 115471573 A 1.基于三维重建的变电站云台相机的预置位偏移纠正方法， 其特征在于： 包括如下步 骤： S1： 预置位配置和场景重建： S11： 采集标准图片， 控制云台相机， 依次对准每个预置位， 拍摄一张标准图片Ii， 并记录当前云台相机的位 置参数Pi， 得到所有的标准图片I和相应位置参数P； S12： 初始化云台相机参数， 步骤S11中的参数P可根据云台相机型号直接输入， 也可由程序读取所有的标准图片I， 从文件信息中获取； S13： 特征点提取， 对每一张标准图片 Ii提取特征关键点， 得到一组特征点集Si， 每个特征关键点都包含其 在标准图像上的坐标(x,y)和特 征向量F； S14： 特征点匹配， 对每一张 图像Ii， 取其特征点集Si， 与其他每一张 图像Ij及其特征点集Sj， 计算得到2个 特征点集Si之间的对应关系， 即， 若点A∈Si， 点B∈Sj， 且A和B为场景中的同一个点， 则A与B 为图像Ii和Ij上的对应点， 由于两张图像Ii和Ij的对应关系的对称性， 若标准图像有n张， 则 存在 个图像对， 每 个图像对中都存在0个或多个对应点； S15： 创建特 征点轨迹， 遍历步骤S14中得到的所有图像对， 把所有对应的特征关键点合并， 构成一个轨迹， 则 可以得到一组轨 迹集合， 每一条轨 迹的数据格式为 S16： 选取最优初始标准图像对， 对每一组匹配的图像， 即两张图中对应点的数量大于0， 使用最小二乘法和RANSAC采样 法计算旋转矩阵M， 记图像对Ii和Ij中的对应的特征点集为Si和Sj， 并用所得的旋转矩阵对 两张图中的对应点集进行旋转匹配， 则Si在Ij上的重投影为 对于第k组对应 点， 重投影误差为 记投影误差小于阈值的点为内点， 大于阈值的点为外 点， 选择内点数量多、 且外点数量 最大的一组图像对作为重建的初始图像对； S17： 三角测量法求 解对应点 三维坐标， 分别为三维场景中的两个真实点， Pi0为真实点 在图像Ii上的投影点(即图像 上的点)， Ri， ti为场景在图像Ii上的旋转矩阵和平移矩阵， 2个矩阵联合构成了Ii的投影矩 阵。 通过解方程组 只要有足够多的对应点， 可得每张图像的投影矩阵<Ri,权　利　要　求　书 1/2 页 2 CN 115471573 A 2ti>和对应点在三维场景中的坐标集 合 S18： 三维重建， 对初始图像对应用三角测量法进行三维重建， 然后添加一张新的图像， 应用Bundle   Adjustment算法， 优化三维重建的结果， 如此循环， 直到所有的图片都被添加， 最终得到场 景几何信息 C， 即场景的三维点云和云台相机估计参数； S2： 云台相机纠偏的步骤： S21： 记目标 预置位为a， 选取目标位置的标准图像Ia及其位置参数Pa＝( αa, βa,ka)； S22： 控制云台相机转动到位置Pa， 并采集图片Ib， 由于存在的误差， 此时云台相机的实 际位置参数为Pb， Pb≠Pa， Ib≠Ia； S23： 参照S1中步骤S13， 对图片Ib做缩放和归一化操作， 再输入到 特征检测模型， 得到 特 征点集Sb； S24： 参照S1中步骤S14， 计算 Ib的特征点集Sb与所有标准图像的特 征点集的对应关系； S25： 把Ib添加到使用标准图像重建的三维场景C中， 应用Bundle  Adjustment优化重建 结果， 得到新的场景 S26： 从三维场景 中获取当前位置图像Ib与标准图像Ia的单应矩阵M， 将其分解为平移 矩阵MT和旋转矩阵MR， 则当前云台相机的位置偏差E为旋 转误差ER＝sum(AEuler)， AEuler＝( θ1, θ2, θ3)为由旋转矩阵MR确定的欧拉角； S27： 若综合误差E大于阈值， 则按照旋转矩阵MR的参数控制云台相机旋转到新的位置 并重复步骤S21 ‑S26， 若综合误差小于阈值， 则当前云台的位置已经到 达预置位， 纠偏完成。 2.根据权利要求1所述的基于三维重建的变电站云台相机的预置位偏移纠正方法， 其 特征在于： 在步骤S11中位置参数Pi包括云台相机水平旋转角度、 云台相机俯仰角度、 云台 相机变焦倍数及其 他云台相机当前的已知参数。 3.根据权利要求1所述的基于三维重建的变电站云台相机的预置位偏移纠正方法， 其 特征在于： 在步骤S13中： 标准图片Ii提取特征关键点 的方法不限于传统图像特征， 或者基 于深度神经网络模型的特 征。 4.根据权利要求1所述的基于三维重建的变电站云台相机的预置位偏移纠正方法， 其 特征在于： 在步骤S14中： 计算得到2个特征点集Si之间的对应关系的计算方法不限于传统 的基于特征向量相似度度量和最优投影矩阵的匹配算法， 或者是基于深度神经网络模型的 算法。 5.根据权利要求1所述的基于三维重建的变电站云台相机的预置位偏移纠正方法， 其 特征在于： 在步骤S15中： 创建轨迹的步骤为： 遍历 每一组对应的特征关键点， 若两个特征关 键点中任意一个出现在已有轨迹中， 则把另一个特征关键点加入该轨迹， 否则就新建一条 轨迹， 并把这两个特 征关键点加入该轨 迹。权　利　要　求　书 2/2 页 3 CN 115471573 A 3