(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116282.2 (22)申请日 2022.09.14 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 宋霄罡　崔永新　唐俊杰　宁靖宇　 张鹏飞　庞欣超　张冬冬　黑新宏　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 徐瑶 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06T 5/30(2006.01) G06T 7/11(2017.01) G06V 10/762(2022.01) (54)发明名称 一种基于图像处理技术的混凝土振捣点定 位方法 (57)摘要 本发明公开了一种基于图像处理技术的混 凝土振捣点定位方法， 具体包括如下步骤： 步骤 1， 处理图片中的工人中心及其振捣点； 步骤2， 将 振捣点进行聚类， 合并同一类振捣点； 步骤3， 检 验振捣点是否合格； 这种方法解决了工人在振捣 过程中对振捣时间和距离把控不准确的问题， 通 过对振捣点标注颜色信息形成振捣不合格区域， 来协助工地监管人员的工作， 降低安全隐患事故 的发生。 权利要求书3页 说明书6页 附图4页 CN 115393342 A 2022.11.25 CN 115393342 A 1.一种基于 图像处理技术的混凝土振捣点定位方法， 其特征在于， 具体按以下步骤实 施： 步骤1， 输入原图， 处 理图片中的工人中心及其振捣点； 步骤2， 将振捣点进行聚类， 合并同一类振捣点； 步骤3， 检验 振捣点是否合格。 2.根据权利要求1所述的一种基于图像处理技术的混凝土振捣点定位方法， 其特征在 于， 所述步骤1中处 理图片中的工人中心及其振捣点具体按以下步骤实施： 步骤1.1， 输入原图， 使用伪装物体分割模型对所有振捣棒进行识别， 输出伪装物体识 别结果二值图P1； 步骤1.2， 输入原图， 使用人体姿态估计模型对人体关键点进行识别， 输出人体各个关 键点坐标； 步骤1.3， 输入工人身体框的位置信息， 将经步骤1.2 获取的人体关键点进行过滤， 若检 测到人体手部 关键点， 则输出人手 关键点坐标； 若 未检测到人体手部 关键点， 则输出工人身 体框左右两侧中间点 位置坐标， 代替人手关键点 坐标； 步骤1.4， 计算步骤1.1中识别到的所有振捣棒的端点坐标， 过滤工人身体框内的振捣 点； 步骤1.5， 将步骤1.4获取到的振捣点与工人中心坐标进行绑定形成字典形式； 步骤1.6， 根据视频 前后帧合并工人振捣点。 3.根据权利要求2所述的一种基于图像处理技术的混凝土振捣点定位方法， 其特征在 于， 所述步骤1.4中识别所有振捣棒的端点坐标， 过滤工人身体框内的振捣点具体按以下步 骤实施： 步骤1.4.1， 将步骤1.1中伪装物 体识别的结果二值图P1进行开运算， 即先对 二值图进行 腐蚀操作， 再进行膨胀操作， 去除伪装物体识别结果中的噪点， 得到伪装物体识别的结果二 值图P2； 步骤1.4.2， 输入步骤1.4.1中伪装物体识别结果二值图P2， 遍历所有振捣棒轮廓， 计算 两两轮廓之间最小距离是否大于20像素， 若大于20像素， 则保留原来轮廓； 若小于20像素， 则在两轮廓之间填充一个15像素半径的白色实心圆， 即将两个轮廓间的间隙像素值改为 255， 然后输出伪装物体识别结果 二值图P3； 步骤1.4.3， 输入工人手部关键点以及工人身体框的平均宽度L， 遍历有左右方向的人 手关键点， 以关键点为中心， 纵向画一条长为2*L的黑色线段， 将经过伪装物体识别的振捣 棒分为靠 近左手边部分和靠 近右手边部分， 输出分割后的伪装物体识别结果 二值图P4； 步骤1.4.4， 输入伪装物体识别结果二值图P4中所有的振捣棒外形轮廓， 计算轮廓最小 外接矩形， 若 ①外接矩形宽≤15像素或≥120像素， 返回False； ②外接矩形长≤50像素或≥ 400像素， 返回False； ③外接矩形长宽比例大于0.5， 返回False； ④外接矩形与横轴的倾斜 角度小于15度， 返回False； 否则返回True， 然后将返回值为True的振捣棒外形轮廓保留， 输 出伪装物体识别结果 二值图P5； 步骤1.4.5， 输入伪装物体识别 结果二值图P5以及工人身体框位置坐标V1， V2， V3， V4， 获 取每个振捣棒的外形轮廓边界点坐标， 通过计算每个边界点坐标和与振捣棒对应的左右手 坐标的距离S来判断振捣点， S最大的判定为振捣点， 如果振捣点在工人身体框内， 则滤除掉权　利　要　求　书 1/3 页 2 CN 115393342 A 2该振捣点。 4.根据权利要求2或3所述的一种基于图像处理技术的混凝土振捣 点定位方法， 其特征 在于， 所述步骤1.5中把振捣点与工人中心坐标进行绑定形成字典形式具体按以下步骤实 施： 将步骤1.4.5中的振捣点和人手坐标绑定为字典形式并把振捣点映射到原图上， 得到 图片W； 输入工人身体框位置坐标V1， V2， V3， V4， 人手关键点位置坐标和振捣点位置坐标， 遍 历人手关键点， 初始 化字典增加键为工人中心 坐标、 值为空列表的元素， 生 成与人手关键点 列表等长的工人中心坐标列表， 即将人手关键点与工人中心坐标建立对应关系； 遍历振捣 点， 通过振捣点所带 的人手关键点索引找到工人中心坐标， 将该振捣点坐标添加到键为对 应工人中心坐标的字典值中， 其中工人中心坐标为(V1+V3)/2。 5.根据权利要求2所述的一种基于图像处理技术的混凝土振捣点定位方法， 其特征在 于， 所述步骤1.6中根据视频 前后帧合并工人振捣点具体按以下步骤实施： 将步骤1.5中得到的具有振捣点的当前帧图片W与上一帧图片W0进行合并， 合并步骤如 下：①若当前帧工人振捣点为空， 则返回上一帧工人振捣点， ②给当前帧工人振捣点加上帧 号，③若上一帧工人振捣点为空， 则返回当前帧工人振捣点， ④合并当前帧与上一帧工人振 捣点字典， ⑤遍历工人中心 坐标， 将两点距离小于50像素的工人中心 点坐标合并， 合并后的 工人中心点对应的振捣点 坐标为原来未合并工人中心点对应的振捣点 坐标。 6.根据权利要求1所述的一种基于图像处理技术的混凝土振捣点定位方法， 其特征在 于， 所述步骤2中将振捣点进行聚类， 合并同一类振捣点具体按以下步骤实施： 步骤2.1， 将数量前二的工人中心点对应的振捣点 坐标合并； 步骤2.2， 若步骤2.1中的振捣点数量＜10， 则返回空， 然后使用DBSCAN算法对振捣点进 行聚类， 核心点最小距离为1/4网格距离， 最少核心 点数量为3， 再将振捣点根据聚类结果分 类存储， 并丢弃离群点， 其中网格距离表示用边长为50像素的正方形网格划分图像， 边长 即 为网格距离； 步骤2.3， 输入步骤2.2中得到的聚类后的振捣点， 获得该类振捣点的起始帧号和结束 帧号， 计算帧差除帧率得振捣时间， 然后计算该类振捣点的外形轮廓中心坐标， 若点数小于 5则取第一个点 为中心坐标。 7.根据权利要求6所述的一种基于图像处理技术的混凝土振捣点定位方法， 其特征在 于， 所述步骤2.2中DBSCAN 算法具体按以下步骤实施： 输入振捣点位置信息、 扫描半径R为1/4网格距离、 最小包含点数为3， 任选一个未被访 问的振捣点， 找出与其距离在R之内的所有振捣点， 若附近振捣点数量num≥3， 则当前振捣 点与其附近振捣点形成一个簇， 并且出发点标记为已访问， 然后用相同的方式处理簇内其 他未被标记的振捣点， 实现对簇进 行扩展， 若附近振捣点数量＜3， 则将该点标记为噪点， 若 簇内的所有振捣点均已访问， 然后用相同的算法处 理其余未被访问的振捣点。 8.根据权利要求1所述的一种基于图像处理技术的混凝土振捣点定位方法， 其特征在 于， 所述步骤3中检验 振捣点是否合格具体按以下步骤实施： 将邻近距离＜30像素的振捣点合并， 然后把最终得到的振捣点绘制到原图上， 距离不 合格的振捣点为红色， 时间小于20秒的为黄色， 其余为绿色， 并统计红色振捣点数量， 最后 将红色振捣点连接起来， 形成振捣不合格区域； 其中距离不合格判定条件为： 以每个振捣点权　利　要　求　书 2/3 页 3 CN 115393342 A 3