(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210235550.6 (22)申请日 2022.03.11 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 陈逸凡　范学峰　李国洪　高菲　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 丁芸　马敬 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 30/10(2022.01) G06F 16/35(2019.01)G06K 9/62(2022.01) (54)发明名称 基于图像的搜索方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种基于图像的搜索方法、 装 置、 电子设备及存储介质， 涉及人工智 能技术领 域， 尤其涉及智 能推荐、 搜索以及深度学习等技 术领域。 具体实现方案为： 获取用户输入的待搜 索图像； 对 所述待搜索图像进行主要搜索意图的 识别， 得到所述待搜索图像的主要搜索意图； 对 所述待搜索图像进行多搜索意图的识别， 得到所 述待搜索图像的多个搜索意图； 对 所述主要搜索 意图和所述多个搜索意图进行融合处理， 得到所 述待搜索图像的多个候选搜索意图； 对所述多个 候选搜索意图进行调整， 得到所述待搜索图像的 多个目标搜索意图； 分别输出各所述目标搜索意 图的搜索结果， 实现了用户图像的准确搜索。 权利要求书3页 说明书11页 附图4页 CN 114647756 A 2022.06.21 CN 114647756 A 1.一种基于图像的搜索方法， 包括： 获取用户输入的待搜索图像； 对所述待搜索图像进行主 要搜索意图的识别， 得到所述待搜索图像的主 要搜索意图； 对所述待搜索图像进行多搜索意图的识别， 得到所述待搜索图像的多个搜索意图； 对所述主要搜索意图和所述多个搜索意图进行融合处理， 得到所述待搜索图像的多个 候选搜索意图； 对所述多个候选 搜索意图进行调整， 得到所述待搜索图像的多个目标搜索意图； 分别输出 各所述目标搜索意图的搜索结果。 2.根据权利要求1所述的方法， 其中， 所述对所述待搜索图像进行主要搜索意图的识 别， 得到所述待搜索图像的主 要搜索意图， 包括： 利用预先训练 的单标签多分类模型对所述待搜索图像进行主要搜索意图的识别， 得到 所述待搜索图像的主 要搜索意图。 3.根据权利要求1所述的方法， 其中， 所述对所述待搜索图像进行多搜索意图的识别， 得到所述待搜索图像的多个搜索意图， 包括： 利用预先训练 的多标签分类模型对所述待搜索图像进行多搜索意图的识别， 得到所述 待搜索图像的多个搜索意图。 4.根据权利要求3所述的方法， 其中， 所述多个搜索意图中各所述搜索意图对应有重要 程度分数值； 所述对所述主要搜索意图和所述多个搜索意图进行融合处理， 得到所述待搜索图像的 多个候选 搜索意图， 包括： 将所述多个搜索意图中与所述主 要搜索意图相同的搜索意图删除； 对所述多个搜索意图按照重要程度分数值降序排序， 得到 搜索意图序列； 将所述主 要搜索意图添加到所述搜索意图序列的头 部， 得到多个候选 搜索意图。 5.根据权利要求4所述的方法， 其中， 所述对所述多个候选搜索意图进行调整， 得到所 述待搜索图像的多个目标搜索意图， 包括： 在所述待搜索图像中文本区域的面积占比不大于预设面积阈值的情况下， 针对所述多 个候选搜索意图中的每一候选搜索意图， 按照该候选搜索意图的第i个子搜索意图对所述 待搜索图像进行检索， 其中， i的初始值 为1； 在检索到该候选搜索意图的第i个子搜索意图的检索结果的情况下， 将该候选搜索意 图的第i个子 搜索意图作为该候选 搜索意图对应的目标搜索意图； 在未检索到该候选搜索意图的第i个子搜索意图的检索结果的情况下， 将i增加1， 返回 步骤： 按照该候选 搜索意图的第i个子 搜索意图对所述待搜索图像进行检索， 继续执 行。 6.根据权利要求4所述的方法， 其中， 所述对所述多个候选搜索意图进行调整， 得到所 述待搜索图像的多个目标搜索意图， 包括： 在所述待搜索图像中文本区域的面积占比大于预设面积阈值的情况下， 将所述多个候 选搜索意图中文字类型的候选搜索意图排列到非文字类型的候选搜索意图的前面， 得到所 述待搜索图像的多个目标搜索意图， 其中， 一种搜索意图对应一种检索类型。 7.根据权利要求4所述的方法， 其中， 所述对所述多个候选搜索意图进行调整， 得到所 述待搜索图像的多个目标搜索意图， 包括权　利　要　求　书 1/3 页 2 CN 114647756 A 2在所述待搜索图像只包含文字的情况下， 对所述待搜索图像中的文字进行识别， 得到 文本信息； 对所述文本信息进行分类， 得到所述文本信息对应的文本类型； 将所述多个候选搜索意图中与所述文本类型相同的搜索意图， 调整到所述多个候选搜 索意图的最前面， 得到所述待搜索图像的多个目标搜索意图， 其中， 一种搜索意图对应一种 检索类型。 8.一种基于图像的搜索装置， 包括： 图像获取模块， 用于获取用户输入的待搜索图像； 第一识别模块， 用于对所述待搜索图像进行主要搜索意图的识别， 得到所述待搜索图 像的主要搜索意图； 第二识别模块， 用于对所述待搜索图像进行多搜索意图的识别， 得到所述待搜索图像 的多个搜索意图； 意图融合模块， 用于对所述主要搜索意图和所述多个搜索意图进行融合处理， 得到所 述待搜索图像的多个候选 搜索意图； 意图确定模块， 用于对所述多个候选搜索意图进行调整， 得到所述待搜索图像的多个 目标搜索意图； 结果输出模块， 用于分别输出 各所述目标搜索意图的搜索结果。 9.根据权利要求8所述的装置， 其中， 所述第一识别模块， 具体用于： 利用预先训练的单 标签多分类模型对所述待搜索图像进 行主要搜索意图的识别， 得到所述待搜索图像的主要 搜索意图。 10.根据权利要求8所述的装置， 其中， 所述第二识别模块， 具体用于： 利用预先训练的 多标签分类模型对所述待搜索图像进 行多搜索意图的识别， 得到所述待搜索图像的多个搜 索意图。 11.根据权利要求10所述的装置， 其中， 所述多个搜索意图中各所述搜索意图对应有重 要程度分数值； 所述意图融合模块， 具体用于： 将所述多个搜索意图中与 所述主要搜索意图相同的搜索意图删除； 对所述多个搜索意 图按照重要程度分数值降序排序， 得到搜索意图序列； 将所述主要搜索意图添加到所述搜 索意图序列的头 部， 得到多个候选 搜索意图。 12.根据权利要求1 1所述的装置， 其中， 所述 意图确定模块， 具体用于： 在所述待搜索图像中文本区域的面积占比不大于预设面积阈值的情况下， 针对所述多 个候选搜索意图中的每一候选搜索意图， 按照该候选搜索意图的第i个子搜索意图对所述 待搜索图像进行检索， 其中， i的初始值 为1； 在检索到该候选搜索意图的第i个子搜索意图的检索结果的情况下， 将该候选搜索意 图的第i个子 搜索意图作为该候选 搜索意图对应的目标搜索意图； 在未检索到该候选搜索意图的第i个子搜索意图的检索结果的情况下， 将i增加1， 返回 执行： 按照该候选 搜索意图的第i个子 搜索意图对所述待搜索图像进行检索。 13.根据权利要求1 1所述的装置， 其中， 所述 意图确定模块， 具体用于： 在所述待搜索图像中文本区域的面积占比大于预设面积阈值的情况下， 将所述多个候权　利　要　求　书 2/3 页 3 CN 114647756 A 3