(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210056730.8 (22)申请日 2022.01.18 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 江忠泽　 (74)专利代理 机构 深圳市隆天联鼎知识产权代 理有限公司 4 4232 代理人 刘抗美 (51)Int.Cl. G06V 30/414(2022.01) G06V 10/44(2022.01) G06V 10/24(2022.01) G06V 10/28(2022.01) (54)发明名称 文档图像处理方法及装置、 电子设备、 存储 介质 (57)摘要 本公开实施例是关于一种文档图像处理方 法及装置、 电子设备、 存储介质， 涉及图像处理技 术领域， 该文档图像处理方法包括： 获取待处理 文档图像， 并对 所述待处理文档图像进行文档边 缘检测， 得到文档边缘； 对所述文档边缘进行直 线拟合， 确定直线集合； 基于所述直线集合确定 所述待处理文档图像中文档的四个顶 点； 结合所 述四个顶点对所述待处理文档图像进行填充操 作以及透视变换， 得到文档矫正结果。 本公开的 技术方案能够提高文档矫 正的准确性。 权利要求书3页 说明书16页 附图11页 CN 114399781 A 2022.04.26 CN 114399781 A 1.一种文档图像处 理方法， 其特 征在于， 包括： 获取待处 理文档图像， 并对所述待处 理文档图像进行文档边 缘检测， 得到文档边 缘； 将所述文档边 缘进行直线拟合， 确定直线集 合； 基于所述 直线集合确定所述待处 理文档图像中文档的四个顶点； 结合所述 四个顶点对所述待处理文档图像进行填充操作以及透视变换， 得到文档矫正 结果。 2.根据权利要求1所述的文档图像处理方法， 其特征在于， 所述对所述待处理文档图像 进行文档边 缘检测， 得到文档边 缘， 包括： 通过边缘检测模型对待处 理文档图像进行文档边 缘检测， 得到第一文档边 缘； 对所述第一文档边 缘进行二 值化处理， 获取第二文档边 缘； 对所述第二文档边 缘进行过滤获取第三文档边 缘； 将所述第三文档边 缘进行细化处 理， 以获取第四文档边 缘作为所述文档边 缘。 3.根据权利要求2所述的文档图像处理方法， 其特征在于， 所述通过边缘检测模型对待 处理文档图像进行文档边 缘检测， 得到第一文档边 缘， 包括： 从编码器和解码器分别获取不同分辨 率的特征图； 对所述特征图进行降维卷积以及上采样， 以获取上采样特征图使所述特征图具有相同 的宽高； 将所述上采样特征图进行特征融合得到 融合特征， 并根据 所述融合特征进行文档边缘 预测以得到第一文档边 缘。 4.根据权利要求2或3所述的文档图像处 理方法， 其特 征在于， 所述方法还 包括： 使用训练数据， 根据边缘感知损 失和语义分割损 失确定损 失函数， 并以损 失函数最小 为训练目标对深度学习模型进行训练， 得到所述 边缘检测模型。 5.根据权利要求1所述的文档图像处理方法， 其特征在于， 所述将所述文档边缘进行直 线拟合， 确定直线集 合， 包括： 对所述文档边 缘进行直线检测， 确定第一 直线集合； 对所述第一直线集合中的直线进行聚类确定直线簇以进行直线合并， 并根据 所述直线 簇的中心得到第二 直线集合； 按照过滤条件将所述第 二直线集合中的直线进行过滤， 获取第 三直线集合作为所述直 线集合。 6.根据权利要求5所述的文档图像处理方法， 其特征在于， 所述对所述第 一直线集合中 的直线进行聚类确定直线簇 以进行直线合并， 并根据所述直线簇的中心得到第二直线集 合， 包括： 对所述第一直线集合中的直线， 按照待处理文档图像的坐标原点到直线的距离从小到 大的顺序进行排序； 根据排序后的第一条直线确定第一类直线簇； 获取下一条直线和所述最后一类直线簇的中心之间的距离差值和角度差值， 根据 所述 距离差值和所述角度差值将所述下一条直线确定为目标类直线簇， 并根据所述第一类直线 簇和所述目标类直线簇得到直线簇； 计算所述直线簇 中每一类直线簇的中心， 并将每一类直线簇的中心构 成的集合确定为权　利　要　求　书 1/3 页 2 CN 114399781 A 2直线合并结果， 以确定第二 直线集合。 7.根据权利要求1所述的文档图像处理方法， 其特征在于， 所述基于所述直线集合确定 所述待处 理文档图像中文档的四个顶点， 包括： 计算所述直线集合中每两条直线之间的夹角以确定每两条直线的交点， 并根据 所述交 点组成候选交点 集合； 将所述候选交点 集合中的所有交点聚合成多类点簇； 对所述多类点簇进行过滤， 根据过滤后的多类点簇的中心确定所述待处理文档图像中 文档的四个顶点。 8.根据权利要求7所述的文档图像处理方法， 其特征在于， 所述对所述多类点簇进行过 滤， 包括： 按照所述交点与所述待处理文档图像的范围， 将所述多类点簇中的交点划分为第 一类 型点簇和第二类型点簇； 根据所述第 二类型点簇的存在状态， 对所述第 一类型点簇或所述第 二类型点簇进行过 滤。 9.根据权利要求8所述的文档图像处理方法， 其特征在于， 所述根据所述第 二类型点簇 的存在状态， 对所述第一类型点簇或所述第二类型点簇进行 过滤， 包括： 若不存在所述第二类型点簇， 且所述第一类型点簇中具有一个交点， 直接保留所述交 点； 若所述第一类型点簇中具有 多个交点， 保留坐标位于第三文档边 缘上的交点； 若所述第一类型点簇中的多个交点都不位于第 三文档边缘上， 保留距离所述待处理文 档图像的中心最近的交点。 10.根据权利要求8所述的文档图像处理方法， 其特征在于， 所述根据所述第二类型点 簇的存在状态， 对所述第一类型点簇或第二类型点簇进行 过滤， 包括： 若第二类型点簇 中存在交点， 清 空第一类型点簇并确定所述第 二类型点簇 中包含的交 点的数量； 若第二类型点簇中具有一个交点， 直接保留所述交点； 若第二类型点簇中具有 多个交点， 保留距离待处 理文档图像的中心最近的交点。 11.根据权利要求1所述的文档图像处理方法， 其特征在于， 所述结合所述四个顶点对 所述待处 理文档图像进行填充操作以及透 视变换， 得到文档矫 正结果， 包括： 若判断所述 四个顶点构 成的四边形合理， 根据待处理文档图像的填充宽度进行填充操 作以更新所述四个顶点的坐标； 根据更新后的四个顶点的坐标， 确定所述待处理文档图像中文档在目标平面内的四个 目标顶点； 根据更新后的四个顶点以及所述 四个目标顶点计算透视变换矩阵， 并根据所述透视变 换矩阵对填充后的待处 理文档图像进行透 视变换， 以进行矫 正得到文档矫 正结果。 12.一种文档图像处 理装置， 其特 征在于， 包括： 边缘获取模块， 用于获取待处理文档图像， 并对所述待处理文档图像进行文档边缘检 测， 得到文档边 缘； 直线集合确定模块， 用于将所述文档边 缘进行直线拟合， 确定直线集 合；权　利　要　求　书 2/3 页 3 CN 114399781 A 3