(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084313 0.6 (22)申请日 2022.07.18 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 朱敏昭　刘乐遥　孔涛　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 范彦扬 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) (54)发明名称 模型训练方法、 实例分割方法、 装置、 设备及 介质 (57)摘要 本公开实施例涉及一种模型训练方法、 实例 分割方法、 装置、 设备及介质， 其中该模 型训练方 法包括： 获取样本图像； 获取样本图像的初始标 签； 其中， 初始标签包括目标点所属的语义类别 和实例类别， 样本图像中每个物体 分别标注有一 个目标点， 且物 体标注的目标点为物体中所包含 的一个点； 基于初始标签生 成样本图像的扩展 标 签； 其中， 扩展标签包括目标点的关联点所属的 语义类别和实例类别， 且关联点所属的语义类别 和实例类别是基于目标点所属的语义类别和实 例类别确定的； 基于初始标签和扩展标签对初始 的神经网络模 型进行训练， 并将训练结束时的神 经网络模型作为实例分割模型。 本公开实施例可 有效节约训练模型 所需的标注成本 。 权利要求书3页 说明书11页 附图3页 CN 115115923 A 2022.09.27 CN 115115923 A 1.一种模型训练方法， 其特 征在于， 包括： 获取样本图像； 获取所述样本 图像的初始标签； 其中， 所述初始标签包括目标点所属的语义类别和实 例类别， 所述样本图像中每个物体分别标注有一个目标点， 且所述物体标注的目标点为所 述物体中所包 含的一个点； 基于所述初始标签生成所述样本 图像的扩展标签； 其中， 所述扩展标签包括所述目标 点的关联点所属的语义类别和实例类别， 且所述关联点所属的语义类别和实例类别是基于 所述目标点所属的语义类别和实例类别确定的； 基于所述初始标签和所述扩展标签对初始的神经网络模型进行训练， 并将训练结束时 的所述神经网络模型作为实例分割模型。 2.根据权利要求1所述的方法， 其特征在于， 基于所述初始标签生成所述样本图像的扩 展标签的步骤， 包括： 获取所述样本图像的低级特 征； 根据所述低级特征对所述样本图像进行分割处理， 基于分割结果得到所述目标点的关 联点； 将所述目标点所属的语义类别和实例类别分别作为所述关联点所属的语义类别和实 例类别， 得到所述样本图像的扩展标签。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述低级特征对所述样本图像进行分 割处理， 基于分割结果得到所述目标点的关联点的步骤， 包括下述至少一项： 在所述样本图像为二维图像的情况下， 根据 所述低级特征对所述样本图像进行超像素 分割处理， 基于分割结果得到所述目标点的关联点； 在所述样本图像为三维图像的情况下， 根据 所述低级特征对所述样本图像进行超体素 分割处理， 基于分割结果得到所述目标点的关联点。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 基于所述初始标签和所述扩展标 签对预设的神经网络模型进行训练， 并将训练结束时的所述神经网络模型作为实例分割模 型的步骤， 包括： 基于所述初始标签和所述扩展标签对初始的神经网络模型进行第 一训练， 将达到第 一 训练结束条件时的神经网络模型作为第一神经网络模型； 获取所述第 一神经网络模型针对所述样本图像中每个待测点的输出结果， 基于所述输 出结果生成伪标签； 所述伪标签包括所述样本图像中每个所述待测点所属的语义类别和实 例类别； 基于所述伪标签对所述第 一神经网络模型进行第 二训练， 并将达到第 二训练结束条件 时的第一神经网络模型作为实例分割模型。 5.根据权利要求4所述的方法， 其特征在于， 所述输出结果包括实例特征值、 语义概率 和偏移向量； 基于所述输出 结果生成伪标签的步骤， 包括： 基于所述样本 图像中每个所述待测点的实例特征值、 语义概率和偏移向量， 以及所述 目标点所属的语义类别和实例类别， 采用预设聚类算法生成伪标签。 6.根据权利要求5所述的方法， 其特征在于， 采用预设聚类算法生成伪标签的步骤， 包 括：权　利　要　求　书 1/3 页 2 CN 115115923 A 2将所述目标点作为预设聚类算法中的初始聚类中心， 基于所述初始聚类中心和所述样 本图像中每 个所述待测点的实例特 征值、 语义 概率和偏移向量进行聚类处 理； 根据聚类结果以及所述目标点所属的语义类别和实例类别， 得到所述样本图像中每个 所述待测点所属的语义类别和实例类别。 7.根据权利要求6所述的方法， 其特征在于， 基于所述初始聚类中心和所述样本图像中 每个所述待测点的实例特 征值、 语义 概率和偏移向量进行聚类处 理的步骤， 包括： 在首次聚类处理时， 基于所述样本 图像中每个所述待测点的实例特征值、 语义概率和 偏移向量， 得到每个所述待测点与所述初始 聚类中心之间的第一相似度， 根据所述第一相 似度确定新的聚类中心； 在非首次聚类处理时， 基于所述样本 图像中每个所述待测点的实例特征值、 语义概率 和偏移向量， 得到每个所述待测点与上一次聚类处理所得 的聚类中心之间的第二相似度， 根据所述第二相似度确定新的聚类中心， 直至聚类中心不再改变时结束聚类处 理。 8.根据权利要求6所述的方法， 其特征在于， 根据聚类结果以及所述目标点所属的语义 类别和实例类别， 得到所述样本图像中每个所述待测点所属的语义类别和实例类别的步 骤， 包括： 根据聚类结果获取所述目标点的同簇点； 其中， 所述同簇点为所述样本 图像中与所述 目标点同属一个类簇的所述待测点， 所述聚类结果中的类簇与所述样本图像中的物体一一 对应； 将所述目标点所属的语义类别和实例类别分别作为所述同簇点的语义类别和实例类 别。 9.一种实例分割方法， 其特 征在于， 包括： 获取目标图像； 将所述目标图像输入至预先训练得到的实例分割模型； 其中， 所述实例分割模型是采 用权利要求1至8任一项所述的模型训练方法得到的； 获取所述实例分割模型输出的实例分割结果； 所述实例分割结果包括所述目标图像中 每个点所属的语义类别和实例类别。 10.一种模型训练装置， 其特 征在于， 包括： 样本获取模块， 用于获取样本图像； 初始标签获取模块， 用于获取所述样本图像的初始标签； 其中， 所述初始标签包括目标 点所属的语义类别和实例类别， 所述样本图像中每个物体分别标注有一个目标点， 且所述 物体标注的目标点 为所述物体中所包 含的一个点； 扩展标签生成模块， 用于基于所述初始标签生成所述样本图像的扩展标签； 其中， 所述 扩展标签包括所述目标点的关联点所属的语义类别和实例类别， 且所述关联点所属的语义 类别和实例类别是基于所述目标点所属的语义类别和实例类别确定的； 模型训练模块， 用于基于所述初始标签和所述扩展标签对初始的神经网络模型进行训 练， 并将训练结束时的所述神经网络模型作为实例分割模型。 11.一种实例分割装置， 其特 征在于， 包括： 图像获取模块， 用于获取目标图像； 模型输入模块， 用于将所述目标图像输入至预先训练得到的实例分割模型； 其中， 所述权　利　要　求　书 2/3 页 3 CN 115115923 A 3