(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211219460.4 (22)申请日 2022.09.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 于海鹏　李煜林　钦夏孟　姚锟　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 杨静 (51)Int.Cl. G06V 30/412(2022.01) G06V 30/18(2022.01) G06V 30/19(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 信息生成方法、 装置、 电子设备以及存储介 质 (57)摘要 本公开提供了一种信息生成方法、 装置、 电 子设备以及存储介质， 涉及人工智能技术领域， 尤其涉及图像处理、 计算机视觉和深度学习技术 领域， 可应用于OCR等场景。 具体实现方案为： 对 文本表格图像进行处理， 得到文本表格图像中各 文本区域的局部特征信息和文本识别信息； 对局 部特征信息进行列分类， 得到各文本区域的列分 类信息； 根据局部特征信息， 确定各文本区域之 间的相似度； 根据相似度， 确定各文本区域的行 分类信息； 根据行分类信息、 列分类信息和文本 识别信息， 生成文本表格图像的结构化信息 。 权利要求书4页 说明书14页 附图7页 CN 115497113 A 2022.12.20 CN 115497113 A 1.一种信息生成方法， 包括： 对文本表格图像进行处理， 得到所述文本表格图像中各文本区域的局部特征信 息和文 本识别信息； 对所述局部特 征信息进行列分类， 得到各 所述文本区域的列分类信息； 根据所述局部特 征信息， 确定各 所述文本区域之间的相似度； 根据所述相似度， 确定各 所述文本区域的行分类信息； 以及 根据所述行分类信息、 所述列分类信息和所述文本识别信息， 生成所述文本表格图像 的结构化信息 。 2.根据权利要求1所述的方法， 其中， 所述对文本表格图像进行处理， 得到所述文本表 格图像中各文本区域的局部特 征信息和文本识别 信息， 包括： 对所述文本表格图像进行 特征提取， 得到全局特 征信息； 根据所述全局特征信 息， 获取文本检测信 息， 其中， 所述文本检测信 息包括所述文本表 格图像中各子区域的文本位置信息和文本置信度， 所述文本置信度表征所述子区域是所述 文本区域的概 率； 以及 根据所述全局特征信 息和所述文本检测信 息， 获取所述局部特征信 息和所述文本识别 信息。 3.根据权利要求2所述的方法， 其中， 所述根据所述全局特征信息和所述文本检测信 息， 获取所述局部特 征信息和所述文本识别 信息， 包括： 在根据所述文本置信度确定所述子区域是所述文本区域的情况下， 基于所述文本位置 信息和所述全局特 征信息， 获取 所述局部特 征信息； 以及 根据所述局部特 征信息， 获取 所述文本识别 信息。 4.根据权利要求2或3所述的方法， 其中， 所述根据 所述全局特征信 息， 获取文本检测信 息， 包括： 根据所述全局特 征信息， 确定候选 框信息； 根据所述 候选框信息和所述全局特 征信息， 获取候选特 征信息； 以及 根据所述 候选特征信息， 获取 所述文本检测信息 。 5.根据权利要求1～4中任一项所述的方法， 其中， 所述对所述局部特征信息进行列分 类， 得到各 所述文本区域的列分类信息， 包括： 对所述局部特 征信息进行全连接处 理， 得到所述列分类信息 。 6.根据权利要求2～5 中任一项所述的方法， 其中， 所述根据 所述局部特征信息， 确定各 所述文本区域彼此之间的相似度， 包括： 根据两个所述文本区域各自的局部特征信息， 确定两个所述文本区域的差异特征信 息； 以及 根据所述差异特 征信息， 确定 两个所述文本区域之间的相似度。 7.根据权利要求6所述的方法， 其中， 所述根据两个所述文本区域各自的局部特征信 息， 确定两个所述文本区域的差异特 征信息， 包括： 对两个所述文本区域各自的文本位置信 息进行特征提取， 得到两个所述文本区域各自 的文本位置特 征信息； 对所述局部特征信 息和所述文本位置特征信 息进行融合， 得到两个所述文本区域各自权　利　要　求　书 1/4 页 2 CN 115497113 A 2的融合特 征信息； 以及 根据所述融合特 征信息， 获取 所述差异特 征信息。 8.根据权利要求6所述的方法， 其中， 所述根据两个所述文本区域各自的局部特征信 息， 确定两个所述文本区域的差异特 征信息， 包括： 确定两个所述文本区域各自的局部特 征信息之间的差值； 以及 将所述差值确定为两个所述文本区域的差异特 征信息。 9.根据权利要求1～5 中任一项所述的方法， 其中， 所述根据 所述局部特征信息， 确定各 所述文本区域之间的相似度， 包括： 确定两个所述文本区域的两个局部特 征信息之间的点积； 以及 根据所述 点积， 确定 两个所述文本区域之间的相似度。 10.根据权利要求1～9中任一项所述的方法， 其中， 所述根据所述相似度， 确定各所述 文本区域的行分类信息， 包括： 在确定两个所述文本区域之间的相似度大于或等于预定相似度阈值的情况下， 确定两 个所述文本区域各自的行分类信息是表征 所述两个文本区域属于同一行的行分类信息 。 11.根据权利要求1～10中任一项所述的方法， 其中， 所述根据 所述行分类信息、 所述列 分类信息和所述文本识别 信息， 生成所述文本表格图像的结构化信息， 包括： 根据各所述文本区域的行分类信息和列分类信息， 对各所述文本区域进行组合， 得到 组合信息； 以及 根据所述组合信 息和各所述文本区域的文本识别信 息， 生成所述文本表格图像的结构 化信息。 12.一种信息生成装置， 包括： 处理模块， 用于对文本表格图像进行处理， 得到所述文本表格图像中各文本区域的局 部特征信息和文本识别 信息； 分类模块， 用于对所述局部特 征信息进行列分类， 得到各 所述文本区域的列分类信息； 第一确定模块， 用于根据所述局部特 征信息， 确定所述文本区域之间的相似度； 第二确定模块， 用于根据所述相似度， 确定各 所述文本区域的行分类信息； 以及 生成模块， 用于根据 所述行分类信 息、 所述列分类信息和所述文本识别信息， 生成所述 文本表格图像的结构化信息 。 13.根据权利要求12所述的装置， 其中， 所述处 理模块， 包括： 特征提取子模块， 用于对所述文本表格图像进行 特征提取， 得到全局特 征信息； 第一获取子模块， 用于根据所述全局特征信息， 获取文本检测信息， 其中， 所述文本检 测信息包括所述文本表格图像中各子区域的文本位置信息和文本置信度， 所述文本置信度 表征所述子区域是 所述文本区域的概 率； 以及 第二获取子模块， 用于根据所述全局特征信息和所述文本检测信息， 获取所述局部特 征信息和所述文本识别 信息。 14.根据权利要求13所述的装置， 其中， 所述第二获取子模块， 包括： 第一获取单元， 用于在根据所述文本置信度确定所述子区域是所述文本区域的情况 下， 基于所述文本位置信息和所述全局特 征信息， 获取 所述局部特 征信息； 以及 第二获取 单元， 用于根据所述局部特 征信息， 获取 所述文本识别 信息。权　利　要　求　书 2/4 页 3 CN 115497113 A 3