(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221049891 1.6 (22)申请日 2022.05.09 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 程龙　梁鼎　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 30/412(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 表格识别方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种表格识别方法、 装置、 电 子设备及存储介质， 其中， 该方法包括： 获取目标 文档图像； 对目标文档图像中的目标表格进行单 元格检测， 确定各个单元格在目标表格中的坐标 信息； 以及对目标文档图像进行文字检测， 确定 目标表格中各个单元格对应的文字内容； 基于各 个单元格在目标表格中的坐标信息， 确定各个单 元格之间的排列关系； 按照排列关系将对应单元 格的文字内容进行组合， 得到针对目标文档图像 的表格识别结果。 本公开基于单元格这一最小识 别维度进行表格识别， 可以确保所识别表格的完 整性， 与此同时， 由于重构出的表格识别结果是 依照排列关系产生的， 从而更 具标准规范化。 权利要求书3页 说明书13页 附图2页 CN 114973282 A 2022.08.30 CN 114973282 A 1.一种表格识别方法， 其特 征在于， 包括： 获取目标文档图像； 对所述目标文档图像中的目标表格进行单元格检测， 确定各个单元格在所述目标表格 中的坐标信息； 以及对所述 目标文档图像进行文字检测， 确定所述 目标表格中各个单元格 对应的文字内容； 基于所述各个单元格在所述目标表格中的坐标信 息， 确定所述各个单元格之间的排列 关系； 按照所述排列关系将对应单元格的文字 内容进行组合， 得到针对所述目标文档图像的 表格识别结果。 2.根据权利要求1所述的方法， 其特征在于， 在所述对所述目标文档图像中的目标表格 进行单元格检测之前， 所述方法还 包括： 基于所述目标文档图像进行角点检测， 确定目标表格包括的多个角点在所述目标文档 图像中的图像位置信息以及所述各个角点之间的角点 顺序信息； 基于所述多个角点在所述目标文档图像中的图像位置信息以及所述各个角点之间的 角点顺序信息对所述目标表格进 行矫正处理， 得到处理后的目标表格对应的表格图像区域 在所述目标文档图像中的图像位置范围信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述目标文档图像中的目标表格进 行单元格检测， 确定各个单 元格在所述目标表格中的坐标信息， 包括： 基于所述图像位置范围信 息， 从所述目标文档图像中提取出所述目标表格对应的表格 图像区域； 对所述目标表格对应的表格图像区域进行单元格检测， 确定各个单元格在所述表格图 像区域中的图像位置信息； 将所述各个单元格在所述表格图像区域中的图像位置信 息， 确定为所述各个单元格在 所述目标表格中的坐标信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述目标表格对应的表格图像区域 进行单元格检测， 确定各个单 元格在所述表格图像区域中的图像位置信息， 包括： 利用训练好的单元格检测神经网络对所述目标表格对应的表格图像区域进行单元格 检测， 确定各个单 元格在所述表格图像区域中的图像位置信息； 其中， 所述单元格检测神经网络是由图像样本以及针对所述图像样本中的不同单元格 进行位置标注所 得到的位置标注结果训练得到的。 5.根据权利要求4所述的方法， 其特征在于， 按照如下步骤训练所述单元格检测神经网 络： 获取图像样本； 将所述图像样本输入到待训练 的单元格检测神经网络包括的多层级特征提取层， 确定 每个层级 特征提取层输出的单元格特征信息； 每个层级特征提取层 对应提取一个尺寸范围 内的单元格的特 征信息； 将所述单元格特征信 息输入到对应层级特征提取层所连接的预测层， 确定所述预测层 输出的预测结果， 并将所述预测结果与对应层级 特征提取层所对应的单元格的位置标注结 果进行匹配；权　利　要　求　书 1/3 页 2 CN 114973282 A 2响应于所述预测结果与对应层级特征提取层所对应的单元格的位置标注结果不匹配， 对所述单元格检测神经网络的网络参数值进 行调整， 直至所述预测结果与对应层级特征提 取层所对应的单 元格的位置标注结果相匹配。 6.根据权利要求2至5任一所述的方法， 其特征在于， 所述基于所述目标文档图像进行 角点检测， 确定目标表格包括的多个角点在所述目标文档图像中的图像位置信息， 包括： 对所述目标文档图像进行表格检测， 确定所述目标表格所在的候选矩形区域； 所述候 选矩形区域是由多个候选角点所构成的矩形区域； 基于训练好的偏移量检测神经网络对所述候选矩形区域进行角点检测， 确定所述目标 表格包括的多个角点中每 个角点与对应候选角点之间的偏移量； 针对所述目标表格包括的多个角点中的每个角点， 基于所述角点与对应候选角点之间 的偏移量以及所述候选角点在所述目标文档图像中的图像位置信息， 确定所述角点在所述 目标文档图像中的图像位置信息 。 7.根据权利要求1至6任一所述的方法， 其特征在于， 所述基于所述各个单元格在所述 目标表格中的坐标信息， 确定所述各个单 元格之间的排列关系， 包括： 针对所述各个单元格中的第 一单元格， 基于所述各个单元格在所述目标表格中的坐标 信息， 确定所述第一单 元格与相邻的其 他单元格之间的结构关系； 基于所述各个单元格分别确定的结构关系， 确定所述各个单元格中的每个所述单元格 在所述目标表格中的排列位置； 基于所述各个单元格中的每个所述单元格在所述目标表格中的排列位置， 确定所述各 个单元格之间的排列关系。 8.根据权利要求7所述的方法， 其特征在于， 所述结构关系 包括横向结构关系和纵向结 构关系； 所述基于所述各个单元格在所述 目标表格中的坐标信息， 确定所述第一单元格与 相邻的其 他单元格之间的结构关系， 包括： 基于所述各个单元格在所述目标表格中的坐标信 息包括的纵向坐标范围， 确定所述第 一单元格与相邻的其 他单元格之间的横向结构关系； 以及， 基于所述各个单元格在所述目标表格中的坐标信 息包括的横向坐标范围， 确定所述第 一单元格与相邻的其 他单元格之间的纵向结构关系。 9.根据权利要求7或8所述的方法， 其特征在于， 所述按照所述排列关系将对应单元格 的文字内容进行组合， 得到针对所述目标文档图像的表格识别结果， 包括： 针对所述多个单元格中的每个所述单元格， 按照所述排列关系指示的所述单元格在所 述目标表格中的排列位置， 将所述单 元格对应的文字内容 填充到所述 排列位置处； 在基于所述多个单元格分别指示的排列位置填充完成文字内容的情况下， 得到针对所 述目标文档图像的表格识别结果。 10.一种表格识别装置， 其特 征在于， 包括： 获取模块， 用于获取目标文档图像； 检测模块， 用于对所述目标文档图像中的目标表格进行单元格检测， 确定各个单元格 在所述目标表格中的坐标信息； 以及对所述 目标文档图像进行文字检测， 确定所述 目标表 格中各个单 元格对应的文字内容； 确定模块， 用于基于所述各个单元格在所述目标表格中的坐标信息， 确定所述各个单权　利　要　求　书 2/3 页 3 CN 114973282 A 3