(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210445280.1 (22)申请日 2022.04.26 (71)申请人 北京字跳网络技 术有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼2层0207 (72)发明人 石其鑫　李彬　 (74)专利代理 机构 北京中知法苑知识产权代理 有限公司 1 1226 专利代理师 李明 (51)Int.Cl. G06F 11/36(2006.01) G06V 10/44(2022.01) G06T 7/11(2017.01) G06T 7/62(2017.01) G06T 7/66(2017.01)G06T 7/90(2017.01) G06F 9/451(2018.01) (54)发明名称 一种用户界面测试的方法、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了一种用户界面测试的方法、 装 置、 电子设备及存储介质。 本公开包括： 获取待测 试图像， 以及预设特效对应的预设颜色信息； 根 据预设颜色信息， 对待测试图像进行识别， 确定 待测试图像中与预设特效对应的特效区域 以及 特效区域的轮廓信息； 确定位于轮廓信息对应的 轮廓内的点击位置序列； 点击位置序列包括至少 一个点击位置； 在待测试图像上的至少一个点击 位置上生 成点击操作， 以实现对目标对象的点击 测试。 本公开与现有图像识别算法通过对待检测 用户界面控件截图的方式相比， 通过图像颜色的 使用， 克服了分辨率对测试成功率的不良影响， 解决了现有图像识别算法无法识别带有发光特 效的用户界面控 件的问题， 提高了测试成功率。 权利要求书2页 说明书10页 附图3页 CN 115391169 A 2022.11.25 CN 115391169 A 1.一种用户界面测试的方法， 其特 征在于， 包括： 获取待测试图像， 以及预设特效对应的预设颜色信息； 所述待测试图像中包括目标对 象， 所述预设特效与所述目标对象关联； 根据所述预设颜色信息， 对所述待测试图像进行识别， 确定所述待测试图像中与所述 预设特效对应的特效区域以及所述特效区域的轮廓信息； 确定位于所述轮廓信 息对应的轮廓内的点击位置序列； 所述点击位置序列包括至少一 个点击位置； 在所述待测试图像上的至少一个点击位置上生成点击操作， 以实现对所述目标对象的 点击测试。 2.根据权利要求1所述的方法， 其特征在于， 所述确定位于所述轮廓信 息对应的轮廓内 的点击位置序列， 包括： 确定位于所述轮廓信息对应的轮廓内的至少一个预测点击区域； 分别计算每 个所述预测点击区域对应的色彩单调度信息； 利用各个所述预测点击区域对应的色彩单调度信 息， 生成包括各个预测点击区域对应 的点击位置的点击位置序列。 3.根据权利要求1或2所述的方法， 其特征在于， 所述根据所述预设颜色信息， 对所述待 测试图像进行识别， 确定所述待测试图像中与所述预设特效对应的特效区域以及所述特效 区域的轮廓信息， 包括： 根据所述待测试图像的尺寸信息， 确定所述待测试图像中的待识别区域； 从所述待识别区域中识别出与所述预设颜色信息相匹配的至少一个特效子区域； 利用各个特效子区域与所述待识别区域的位置关系， 确定所述待测试图像中与所述预 设特效对应的特效区域以及所述特效区域的轮廓信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述利用各个特效子区域与所述待识别区 域的位置关系， 确定所述待测试图像中与所述预设特效对应的特效区域以及所述特效区域 的轮廓信息， 包括： 分别确定各个所述特效子区域的轮廓面积和质心； 按照轮廓 面积从大到小的顺序， 将对应的所述特效子区域进行排序， 并将前N个特效子 区域作为 候选特效子区域； 其中， N 为大于0的正整数； 将质心位于所述待识别区域内的候选特效子区域作为目标 特效子区域； 将所述待测试图像中， 包括各个目标特效子区域的区域作为所述特效区域， 并确定所 述特效区域的轮廓信息 。 5.根据权利要求1所述的方法， 其特征在于， 所述特效区域包括至少一个目标特效子区 域的轮廓外 接矩形； 所述目标 特效子区域是 所述待测图像中的所述预设特效对应的区域。 6.根据权利要求2所述的方法， 其特征在于， 所述利用各个所述预测点击区域对应的色 彩单调度信息， 生成包括各个预测点击区域对应的点击位置的点击位置序列， 包括： 在所述特效区域的颜色多样性高于待识别区域的颜色多样性的情况下， 按照色彩单调 度信息对应的色彩单调 度从小到大的顺序， 将对应的所述预测点击区域的中心 点的位置进 行排序， 得到所述 点击位置序列。 7.根据权利要求1所述的方法， 其特征在于， 所述在所述待测试图像上的至少一个点击权　利　要　求　书 1/2 页 2 CN 115391169 A 2位置上生成点击操作， 以实现对所述目标对象的点击测试， 包括： 按照点击位置序列中各个点击位置的排序次序， 依次在所述待测试图像中触发各个点 击位置， 直到点击 到所述目标对象， 并展示所述目标对象点击测试成功的提 示信息。 8.根据权利要求7所述的方法， 其特征在于， 所述按照 点击位置序列中各个点击位置的 排序次序， 依次在所述待测试图像中触发各个点击位置， 直到点击到所述目标对象， 并展示 所述目标对象点击测试成功的提 示信息， 包括： 按照各个点击位置的排序次序， 在触发次数小于预设次数的情况下， 依次触发各个点 击位置， 直到点击 到所述目标对象， 并展示所述目标对象点击测试成功的提 示信息。 9.根据权利要求1所述的方法， 其特征在于， 所述在所述待测试图像上的至少一个点击 位置上生成点击操作， 以实现对所述目标对象的点击测试， 包括： 按照所述点击位置序列中各个点击位置的排序次序， 依次在所述待测试图像中触发各 个点击位置， 并在触发次数大于或等于预设次数 的情况下， 展示 目标对象测试失败的提示 信息。 10.一种用户界面测试的装置， 其特 征在于， 包括： 获取模块， 用于获取待测试图像， 以及预设特效对应的预设颜色信 息； 所述待测试图像 中包括目标对象， 所述预设特效与所述目标对象关联； 识别模块， 用于根据 所述预设颜色信 息， 对所述待测试图像进行识别， 确定所述待测试 图像中与所述预设特效对应的特效区域以及所述特效区域的轮廓信息； 定位模块， 用于确定位于所述轮廓信息对应的轮廓内的点击位置序列； 所述点击位置 序列包括至少一个点击位置； 点击模块， 用于在所述待测试图像上的至少一个点击位置上生成点击操作， 以实现对 所述目标对象的点击测试。 11.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总 线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至9任一项 所述的用户界 面测试的方法的步骤。 12.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求1至9任一项 所述的用户界面测试的方法 的步骤。权　利　要　求　书 2/2 页 3 CN 115391169 A 3