(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210480313.6 (22)申请日 2022.05.05 (71)申请人 北京容联易 通信息技 术有限公司 地址 100000 北京市朝阳区广顺北 大街33 号院1号楼13层一单 元1601室 (72)发明人 杨坤　曾国卿　许志强　孙昌勋　 李威　刘佳宁　朱新潮　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 时嘉鸿 (51)Int.Cl. G06V 20/00(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06F 40/30(2020.01) G06F 40/289(2020.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于机器视觉的非法广告检测方法及 系统 (57)摘要 本发明提供了一种基于机器视觉的非法广 告检测方法及系统， 包括： 采集目标区域的街景 图片， 利用目标检测算法， 识别所述街景图片中 的图片区域和文字区域； 分别对 所述图片区域和 文字区域进行广告检测， 确定图片广告和文字广 告； 当检测到所述图片广告和文字广告不处于合 法位置， 确定为非法广告， 对所述非法广告的位 置进行标定并报警； 本发明能有效地检测出非法 广告的类型和区域， 实现对非法广告的有效监控 和管理。 权利要求书3页 说明书11页 附图2页 CN 114758216 A 2022.07.15 CN 114758216 A 1.一种基于 机器视觉的非法广告检测方法， 其特 征在于， 包括： 步骤1： 采集目标区域的街景图片， 利用目标检测算法， 识别所述街景图片中的疑似图 片广告区域和疑似文字广告区域； 步骤2： 分别对所述疑似图片广告区域和疑似文字广告区域进行广告检测， 确定图片广 告和文字广告； 步骤3： 当检测到所述图片广告和文字广告不处于合法位置时， 确定为非法广告， 对所 述非法广告的位置进行 标定并报警。 2.根据权利要求1所述的一种基于机器视觉的非法广告检测方法， 其特征在于， 步骤1 中， 采集目标区域的街景图片包括： 根据所述目标区域的图文密集度确定对所述目标区域的采集次数和采集角度； 根据所述采集次数和采集角度， 对所述目标区域进行图像采集， 得到图像数据； 基于所述目标区域的建筑物特 征、 道路特 征， 确定所述目标区域的坐标 数据； 将所述图像数据和坐标 数据进行识别匹配， 得到街景图片。 3.根据权利要求1所述的一种基于机器视觉的非法广告检测方法， 其特征在于， 步骤1 中， 利用目标检测算法， 识别所述街景图片 中的疑似图片广告区域和疑似文字广告区域包 括： 对预先获取的图片数据集进行 标注， 作为训练集， 训练得到目标检测模型； 将所述街景图片输入至所述目标检测模型中， 输出所述街景图片中的位置信息， 并对 所述位置信息添加类别标签； 基于所述位置信 息和类别标签， 确定所述街景图片中的疑似图片广告区域和疑似文字 广告区域。 4.根据权利要求1所述的一种基于机器视觉的非法广告检测方法， 其特征在于， 步骤2 中， 对所述疑似图片广告区域进行广告检测， 确定图片广告包括： 对预先获取的广告图片和非广告图片进行 标注， 根据标注结果， 训练得到二分类模型； 将所述疑似图片广告区域输入所述二分类模型中， 确定所述疑似图片广告区域是否为 图片广告。 5.根据权利要求1所述的一种基于机器视觉的非法广告检测方法， 其特征在于， 步骤2 中， 对所述疑似文字广告区域进行广告检测， 确定文字广告包括： 对预设文字广告 进行特征提取， 获取文本集中文本区域包 含像素值之间的关系特 征； 对所述疑似文字广告区域进行二值化处理， 得到二值化图片， 并对所述二值化图片进 行遍历， 截取满足所述关系特 征的矩形框； 基于所述矩形框在所述 二值化图片的面积占比， 设定文字广告的文本面积占比阈值； 对所述矩形框中的文本信息进行识别， 得到文本内容， 对所述文本内容进行分词处理 得到若干词向量， 将所述若干词向量输入语义识别 分类器中， 将所述若干词向量分为不同 的语义类型， 并对在同一语义类型 下的词向量进行 特征提取， 获得 特征词向量序列； 基于所述疑似文字广告区域中语义类型的出现次数， 对所述语义类型设置重要程度， 基于所述重要程度， 确定所述特 征词向量序列的重要程度值； 基于所述文本面积占比阈值、 所述特征词向量序列及其对应的重要程度值， 确定所述 疑似文字广告区域的第一整体特 征；权　利　要　求　书 1/3 页 2 CN 114758216 A 2获取所述疑似文字广告区域与预设文字广告中语义类型相同的相似特征词向量序列， 基于所述特征词向量序列及其对应的重要程度值， 确定所述疑似文字广告区域第一部 分特 征， 获取所述疑似文字广告区域与预设文字广告中语义类型不相同的无关特征词向量序 列， 基于所述无关特 征词向量序列， 确定所述疑似文字广告区域的第二部分特 征； 基于所述第一部分特 征、 第二部分特 征得到所述疑似文字广告区域的第二整体特 征； 将所述第一整体特征输入文本广告格式识别模型中， 确定所述疑似文字广告区域是否 满足文字广告格式； 对所述第二整体特征进行语义分析， 并根据语义分析结果， 确定所述第二整体特征是 否满足文字广告语义 规则； 当所述第一整体特征满足文字广告格式， 且所述第 二整体特征满足文字广告语义规则 时， 确定所述疑似文字广告区域 为文字广告。 6.根据权利要求5所述的一种基于机器视觉的非法广告检测方法， 其特征在于， 基于所 述第一部分特 征、 第二部分特 征得到所述疑似文字广告区域的第二整体特 征包括： 基于所述第 一部分特征确定所述疑似文字广告区域与 预设文字图片的相似特征， 基于 所述第二部 分特征确定所述疑似文字广告区域与预设文字图片的差异特征， 并确定所述相 似特征与差异特 征之间的占比特 征； 根据所述相似特征、 差异特征、 占比特征， 得到所述疑似文字广告区域的第二整体特 征。 7.根据权利要求4所述的一种基于机器视觉的非法广告检测方法， 其特征在于， 对预先 获取的广告图片和非广告图片进行 标注， 根据标注结果， 训练得到二分类模型包括： 对预设模型建立 参数配置， 建立预训练模型； 将对预先获取的广告图片进行第一标注， 对非广告图片进行第二标注； 将所述广告图片和非广告图片作为训练集， 对所述预训练模型进行训练， 直到经过第 一标注的图片从第一分类口输出的数量大于预设阈值， 且经过第二标注的图片从第二分类 口输出的数量大于预设阈值， 得到所述 二分类模型。 8.根据权利要求1所述的一种基于机器视觉的非法广告检测方法， 其特征在于， 步骤3 中， 当检测到所述图片广告和文字广告不处于合法位置， 确定为 非法广告， 对所述 非法广告 的位置进行 标定并报警包括： 获取所述图片广告和文字广告在所述街景图片的第 一区域， 对所述第 一区域进行特征 点提取， 并确定所述特 征点的单个属性和所述特 征点之间的关联属性； 获取所述第 一区域的地址信 息， 从街景图片集中获取存在所述地址信 息的相关街景图 片， 并从所述相关街景图片中获取所述地址信息所在的第二区域， 其中， 所述第二区域为多 个， 表示不同视角下的第一区域； 基于所述第 二区域建立场景分布中的决策树， 并利用所述单个属性和关联属性对所述 决策树进 行遍历， 其中所述决策树包括多个节点， 每个节点对应所述特征点的相关测试， 确 定所述特 征点的检测值； 基于所述特征点的检测值确定所述第 一区域的置信度， 并判断所述置信度是否大于预 设置信阈值； 若是， 将所述第一区域作为目标区域；权　利　要　求　书 2/3 页 3 CN 114758216 A 3