(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210613568.5 (22)申请日 2022.05.31 (71)申请人 清华大学 地址 100084 北京市海淀区双清路3 0号清 华大学清华园北京 100084-82信箱 (72)发明人 郭红领　周颖　方东平　罗柱邦　 林啸　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 苗青盛 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/80(2017.01) G06T 7/70(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/762(2022.01) G06T 7/194(2017.01) G06V 40/20(2022.01) G06V 10/774(2022.01) (54)发明名称 图像处理方法、 装置、 设备、 存储介质及程序 产品 (57)摘要 本发明涉及图像处理技术领域， 尤其涉及一 种图像处理方法、 装置、 设备、 存储介质及程序产 品。 方法包括： 获取连续的至少两帧点云图像， 其 中， 点云图像是以点云数据形式存储的图像， 每 一帧点云图像 分别包含至少一个动态障碍物； 从 每一帧点云图像中， 提取每一个动态障碍物分别 对应的至少一种特征的特征值； 基于特征值， 构 建动态障碍物的组合特征矩阵； 对组合特征矩阵 中的特征值进行聚类， 根据聚类结果获取每一个 动态障碍物分别在每一帧点云图像中对应的位 置信息。 本发 明用以解决现有技术中对复杂场景 中的动态障碍物进行位置跟踪时可靠性较差的 缺陷， 实现高可靠性的位置跟踪。 权利要求书3页 说明书22页 附图11页 CN 114972433 A 2022.08.30 CN 114972433 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取连续的至少两帧点云图像， 其中， 所述点云图像是以点云数据 形式存储的图像， 每 一帧所述 点云图像分别包 含至少一个动态障碍物； 从每一帧所述点云图像中， 提取每一个所述动态障碍物分别对应的至少一种特征的特 征值； 基于所述特 征值， 构建所述动态障碍物的组合特 征矩阵； 对所述组合特征矩阵中的特征值进行聚类， 根据聚类结果获取每一个所述动态障碍物 分别在每一帧所述 点云图像中对应的位置信息 。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述获取连续的至少两帧点云图 像之后， 还 包括： 获取至少两帧所述 点云图像中的至少一个点云孔洞； 对每一个所述点云孔洞分别进行如下处理： 通过与所述点云孔洞所在帧相邻的所述点 云图像， 修复所述 点云孔洞。 3.根据权利要求1所述的图像处理方法， 其特征在于， 所述获取连续的至少两帧点云图 像之后， 还 包括： 分别对每一帧所述 点云图像作如下处 理： 通过预设大小的图像窗口， 遍历所述点云图像， 获得所述点云图像基于对比度的局部 直方图， 其中， 所述局部直方图的纵轴为对比度， 横轴为所述图像窗口划分的各个局部图 像； 判断所述局部直方图中， 每一个所述局部 图像对应的对比度与对比度阈值的差值， 是 否大于差值阈值； 若是， 将所述局部直方图中超出所述对比度阈值部分的面积， 平均至每一个所述局部 图像， 重新判断平均后的所述局部直方图中， 所述差值是否大于所述差值阈值； 若否， 基于平均后的所述局部直方图， 调整所述 点云图像的对比度。 4.根据权利要求1所述的图像处理方法， 其特征在于， 所述获取连续的至少两帧点云图 像之后， 还 包括： 分别对每一帧所述 点云图像作如下处 理： 将所述点云图像分别 输入预设的前景分割 模型， 获得所述前景分割模型输出的所述点 云图像中每一个所述动态障碍物所在的分割区域， 其中， 所述分割区域为所述动态障碍物 所在的最小矩形区域， 所述前景分割模型为通过样本图像对原始神经网络模型进 行训练得 到； 所述从每一帧所述点云图像中， 提取每一个所述动态障碍物分别对应的至少一种特征 的特征值， 包括： 基于每一帧所述点云图像中的所述分割区域， 提取每一个所述动态障碍物分别对应的 至少一种特 征的所述特 征值。 5.根据权利要求1所述的图像处理方法， 其特征在于， 所述从每一帧所述点云图像中， 提取每一个所述动态障碍物分别对应的至少一种特 征的特征值， 包括： 确定所述动态障碍物的至少一个属性， 其中， 每一个所述属性对应至少一个所述特征， 其中， 所述属性包括颜色、 位置、 动作姿态和/或高度；权　利　要　求　书 1/3 页 2 CN 114972433 A 2分别从每一帧所述 点云图像中， 提取每一个所述特 征的特征值。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述基于所述特征值， 构建所述 动态障碍物的组合特 征矩阵， 包括： 分别将每一种所述特征对应的特征值作为所述组合特征矩阵的每一列， 分别将每一帧 所述点云图像中的每一个所述动态障碍物对应的特 征值作为所述组合特 征矩阵的每一行； 对每一列分别进行如下处理： 基于所述特征值中的最大特征值和最小特征值， 对每一 个所述特 征值进行归一 化转换； 基于归一 化转换后的每一个所述特 征值， 构建所述动态障碍物的所述组合特 征矩阵。 7.根据权利要求6所述的图像处理方法， 其特征在于， 所述基于所述特征值， 构建所述 动态障碍物的组合特 征矩阵之后， 还 包括： 计算每一列所述特征值的特征缺失率， 其中， 所述特征缺失率为一列所述特征值中， 存 在缺失值的行数与组合特征矩阵总行数的比值； 将所述特征缺失率大于缺失率阈值的至少 一列所述特 征值剔除； 和/或， 计算每一列所述特征值的特征发散值， 其中， 所述特征发散值为一列所述特征 值的方差； 将所述特征发散值最大 的一列所述特征值剔除， 以及将所述特征发散值最小的 一列所述特 征值剔除； 和/或， 计算每两列所述特征值之间的相关系数， 其中， 所述相关系统基于两列所述特 征值之间的协方差获得； 确定任意两列所述特征值的所述相关系 数大于相关性阈值时， 将 两列所述特 征值中的一列所述特 征值剔除； 基于剔除处 理后的所述组合特 征矩阵， 获得主 要特征矩阵； 所述对所述组合特 征矩阵中的特 征值进行聚类， 包括： 对所述主 要特征矩阵中的特 征值进行聚类。 8.根据权利要求1所述的图像处理方法， 其特征在于， 所述对所述组合特征矩阵中的特 征值进行聚类， 根据聚类结果获取每一个所述动态障碍物分别在每一帧所述点云图像中对 应的位置信息， 包括： 确定任意一帧所述点云图像中， K个所述动态障碍物分别对应的K行所述特征值， 并将 所述K行所述特征值作为K个初始聚类中心， 其中， K为大于1的整数； 基于所述K个初始聚类 中心， 对所述组合特征矩阵中的每一行所述特征值进行聚类， 获 得K个类簇； 计算每一个所述类簇中所述特征值的平均值， 并将每一个所述类簇对应的平均值作为 新聚类中心； 判断所述初始聚类中心与所述 新聚类中心的欧氏距离， 是否小于距离阈值； 若否， 将所述新聚类中心更新为所述初始聚类中心， 重新对所述组合特征矩阵中的每 一行所述特征值进 行聚类， 重新 获得K个类簇， 重新计算每一个所述类簇中所述特征值的平 均值， 并将每一个所述类簇对应的平均值作为 新聚类中心； 若是， 逐帧判断所述点云图像 中的所述动态障碍物所属类簇是否重复， 若是， 为所属类 簇重复的所述动态障碍物重新确定所属类簇， 若否， 分别获取每一个所述类簇对应的所述 动态障碍物， 在每一帧所述 点云图像中对应的位置信息 。 9.一种图像处 理装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 114972433 A 3