(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210443753.4 (22)申请日 2022.04.26 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 徐晓苏　钟敏　姚逸卿　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于 FCN和BP神经网络的视觉特征点提 取与匹配优化方法 (57)摘要 本发明公开了一种基于FCN和BP神经网络的 视觉特征点提取与匹配优化方法， 包括步骤S1： 构造和训练FCN神经网络， 对图像帧中的动态物 体进行语义分割和像素剔除； 步骤S2： 对 图像灰 度共生矩阵进行分析， 结合ORB特征提取算法中 的对比度阈值来构造BP神经网络的训练集数据， 以拟合特征点数量、 图像灰度共生矩阵及图像对 比度与对比度阈值之间的非线性 关系， 实现对图 像特征点数量与分布的控制； 步骤S3： 利用特征 位姿偏移稳定性来对特征点匹配结果进行优化， 控制匹配特征点在图像中的像素位置范围； 步骤 S4： 将训练好的FCN和BP神经网络移植到算法框 架中， 加速特征点提取和 匹配过程， 减少特征提 取过程中不必要的特征点提取与描述子计算， 实 现ORB‑SLAM算法计算效率的提高。 权利要求书2页 说明书7页 附图3页 CN 114723964 A 2022.07.08 CN 114723964 A 1.一种基于FCN和BP神经网络的视觉特征点提取与匹配优化方法， 其特征在于， 包括以 下几个步骤： S1， 构造和训练FCN神经网络： 所述FCN神经网络共包含五个卷积层、 五个池化层、 三个 全连接层和三个上采样层， 并将第二、 三池化层的输出结果作为上采样的输入参与上采样 过程， 针对输入的图像序列， 对图像帧中的动态物体进 行语义分割和像素剔除， 仅 将剔除了 动态物体的像素 范围作为特 征检测算法的操作区域； S2， 控制图像特征点数量与分布： 对图像灰度共生矩阵进行分析， 结合ORB特征提取算 法中的对比度阈值来构造BP神经网络的训练集数据， 以拟合特征点数量、 图像灰度共生矩 阵及图像对比度与对比度阈值之间的非线性关系， 实现对图像特征点数量与分布的控制， 具体定义如下： Thζ＝f( ψ, ζ,s) 其中： Thζ表示对比度阈值； ψ表示图像复杂度； ζ表示图像对比度； s表示给定的特征点数 目范围； 图像对比度 ζ 为： 其中： ζ表示一帧图像的对比度值； w表示图像像素点总数； xi表示第i个像素的灰度值； 表示图像 像素灰度值的平均数； S3， 结果优化： 利用特征位姿偏移稳定性来对特征点匹配结果进行优化， 对同时满足下 式的匹配点进行保留， 控制匹配特 征点在图像中的像素位置范围； 其中： M为两帧图像匹配点的集合,共有n对； Thr表示约束范围； (xi,yi)和(x′i,y′i)分别 表示一对匹配点在两帧图像中的像素坐标值； l和m 分别表示图像 像素的行 数与列数； S4， 执行： 将构造好的FCN和BP神经网络加入以ORB特征点为主要跟踪对象的SLAM算法 跟踪模块中， 进行 执行。 2.如权利要求1所述的一种基于FCN和BP神经网络的视觉特征点提取与匹配优化方法， 其特征在于： 所述步骤S2中： 图像复杂度ψ由图像的信息熵ξ、 相关度χ和能量ε三个指标决 定， 具体为：权　利　要　求　书 1/2 页 2 CN 114723964 A 2其中k表示图像所具有的灰度级的数量， nl指第l个灰度级的总数量， N代表图像的总像 素数； p(i,j)表示灰度共生矩阵中第(i,j)个值； 其中， 3.如权利要求1或2所述的一种基于FCN和BP神经网络的视觉特征点提取与匹配优化方 法， 其特征在于： 所述步骤S2中， BP神经网络隐含层 共设置9个节 点， 输出设置9个节 点， 采用 二进制(0,1)来表示对比度阈值， 训练误差精度设置为0.251， 同时对所有的输入进行归一 化处理。 4.如权利要求3所述的一种基于FCN和BP神经网络的视觉特征点提取与匹配优化方法， 其特征在于： 所述步骤S3中， 约束范围Thr根据图像像素大小来进行设置， 取图像对角线像 素长度的10％。权　利　要　求　书 2/2 页 3 CN 114723964 A 3