(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210425654.3 (22)申请日 2022.04.22 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 罗廷金　周浩　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 10/25(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于因果关联挖掘模型的场景图生成方法 及系统 (57)摘要 本申请提供一种基于因果关联挖掘模型的 场景图生成方法及系统。 该方法包括： 获取图像 数据； 基于预先构建的因果关联挖掘模型对图像 数据中的目标对象进行分析处理， 得到关系分类 结果， 因果关联挖掘模型将关系分类结果输出， 完成分析处理过程； 根据关系分类结果构建场景 图。 能够挖掘对象和关系之间的本质因果， 同时 强化对象个性特征来消除类别共性特征的副作 用。 权利要求书3页 说明书14页 附图3页 CN 114842248 A 2022.08.02 CN 114842248 A 1.一种基于因果关联挖掘模型的场景图生成方法， 其特 征在于， 包括： 获取图像数据； 基于预先构建的因果关联挖掘模型对所述图像数据中的目标对象进行分析处理过程 包括： 对所述图像数据进行对象特征提取， 得到对象特征数据， 并将所述对象特征数据分解 为类别共性特 征和对象个性特 征； 根据所述类别共性特征和对象个性特征得到类别平均 特征， 并基于所述类别共性特征 和所述对象个性特 征得到第一关系数据， 同时， 基于所述类别平均特 征得到第二关系数据； 对所述第一关系数据和所述第二关系数据进行差异处 理， 得到第三关系数据； 根据所述第一关系数据和所述第三关系数据进行关系分类， 得到关系分类结果， 所述 因果关联挖掘模型将所述关系分类结果输出， 完成所述分析处 理过程； 根据所述关系分类结果构建场景图。 2.根据权利要求1所述的方法， 其特征在于， 所述因果关联挖掘模型包括事实分支模型 和反事实分支模型； 所述基于所述类别共性特征和所述对象个性特征得到第一关系数据， 同时， 基于所述 类别平均特 征得到第二关系数据， 包括： 将所述类别共性特征和所述对象个性特征输入所述事实分支模型， 通过所述事实分支 模型进行处 理之后输出 所述第一关系数据； 同时， 将所述类别平均特征输入所述反事实分支模型， 通过所述反事实分支模型输出 所述第二关系数据。 3.根据权利要求1所述的方法， 其特 征在于， 所述因果关联挖掘模型包括分类 器； 所述根据所述第一关系数据和所述第三关系数据进行关系分类， 得到关系分类结果， 包括： 将所述第一关系数据和所述第 三关系数据输入经过训练 的分类器， 通过所述分类器进 行关系分类， 并输出 所述关系分类结果。 4.根据权利要求3所述的方法， 其特 征在于， 所述分类 器的获得 过程包括： 获取训练数据， 并构建 softmax回归预训练模型； 基于所述训练数据确定第一损失函数lbf； 基于所述第一损失函数lbf和所述训练数据确定第二损失函数lht； 根据所述所述第一损失函数lbf、 所述第二损失函数lht和所述训练数据确定第三损失函 数lfore： 根据所述第一损失函数lbf、 所述第二损失函数lht和所述第三损失函数lfore确定多层级 降偏损失函数， 其中， 所述多层级降偏损失函数lMHD表达为： lMHD＝lbf+α lht+(1‑α )lfore 其中， α 表示 为所述多层降级偏损失函数的权 重； 将所述训练数据输入至所述softmax回归预训练模型， 并基于所述多层级降偏损失函 数进行最小化处理， 不断对所述softmax回归预训练模型进行训练调整， 得到经过训练的 softmax回归预训练模型， 将所述经 过训练的softmax回归预训练模型作为所述分类 器。权　利　要　求　书 1/3 页 2 CN 114842248 A 25.根据权利要求4所述的方法， 其特征在于， 所述训练数据包括训练图像数据中对象的 对象特征数据和所述训练数据的对 象特征数据的真实关系分类结果， 其中， 所述训练数据 中的对象包括目标训练对象和非目标训练对象； 所述第一损失函数lbf表达为： 其中， 表示为所述第一损失函数lbf中所述训练图像数据中对象的对象特征数据为 前景或者背景， 前景为所述目标训练对象， 背 景为所述 非目标训练对象； n为1或0， n为0表 示 背景， n为1表示前景； 表示为所述第一损失函数lbf中前景或背景的所述训练图像数据 中对象的对象特 征数据； σ 为sigmo id函数； 所述第二损失函数lht表达为： 其中， 表示为所述第二损失函数中lht的所述训练数据的对象特征数据的真实关系 分类结果； n为 1或0， n为0表 示头部， 头部为包含对象数量多的真实关系分类结果， n为 1表示 尾部， 尾部为包含对象数量少的真实关系分类结果； 表示为所述第二损失函数中lht头 部或尾部的所述训练图像数据中对象的对象特 征数据； σ 为sigmo id函数； β 为权 重参数； 所述第三损失函数lfore表达为： 其中， y′j表示为前景的所述训练数据的对象特征数据的真实关系分类 结果； j表示为第 j个所述训练数据的对象特征数据的真实关系分类结果； R表示为所述训练数据的对象特征 数据的真实关系分类结果的数量； p ′j表示为所述训练数据的对象特征数据的关系分类结 果的概率信息。 6.根据权利要求2所述的方法， 其特 征在于， 所述第一关系数据表达为： Lf(oi， oj)＝FC(g(oi， oj)) 其中， FC(·)表示为所述Faster  R‑CNN模型的全连接层学习算法； g( ·)表示为二叉树 长短期记忆网络学习算法； Oi表示为所述图像数据中的第i个目标对象的对象特征数据； Oj 表示为所述图像数据中的第j个目标对象的对象特 征数据； 所述第二关系数据表达为： 其中， 表示为所述图像数据中的基于所述第 一关系数据和所述第 二关系特征数据 得 到的第i个目标对象的类别平均特征和 均表示为所述图像数据中的基于所述第一关系数权　利　要　求　书 2/3 页 3 CN 114842248 A 3