行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211277270.8 (22)申请日 2022.10.18 (71)申请人 金篆信科有限责任公司 地址 100176 北京市大兴区经济技 术开发 区科谷一街10号院8号楼18层(北京自 贸试验区高端产业片区亦庄组团) (72)发明人 李秋锋 李从兵 沈文宽 黄健  付裕  (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 潘登 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/25(2019.01) G06F 16/22(2019.01)G06F 16/242(2019.01) (54)发明名称 一种数据迁移方法、 装置、 设备和存 储介质 (57)摘要 本发明公开了一种数据迁移方法, 包括: 在 数据迁移过程中, 确定源端数据库中的待处理字 段, 对源端数据库中的待处理字段进行处理, 确 定源端数据库中的源端数据信息; 根据源端数据 信息, 生成源端数据库的源端数据查询语句和目 的端数据库的目的端数据查询语句; 根据源端数 据查询语句和目的端数据查询语句对源端数据 库和目的端数据库进行增量数据比对, 根据比对 结果确定增量迁移语句, 将增量迁移 语句落盘至 目的端数据库中; 在数据迁移完成后, 根据源端 数据查询语句和目的端数据查询语句对源端数 据库和目的端数据库进行全量数据比对, 根据比 对结果确定目标迁移语句, 将目标迁移语句落盘 至目的端数据库中。 保证了源端数据库和目的端 数据库的数据一 致性。 权利要求书3页 说明书13页 附图3页 CN 115454977 A 2022.12.09 CN 115454977 A 1.一种数据迁移方法, 其特 征在于, 包括: 在数据迁移过程中, 确定源端数据库中的待处理字段, 对所述源端数据库中的待处理 字段进行处 理, 确定源端数据库中的源端数据信息; 根据所述源端数据信 息, 生成所述源端数据库的源端数据查询语句和目的端数据库的 目的端数据查询语句; 根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目 的端数据库进行增量数据比对, 并根据增量数据比对结果确定增 量迁移语句, 将所述增量 迁移语句落盘至所述目的端数据库中; 在数据迁移完成后, 根据所述源端数据查询语句和所述目的端数据查询语句对所述源 端数据库和所述目的端数据库进 行全量数据比对, 根据全量数据比对结果确定目标迁移语 句, 将所述目标迁移语句落盘至所述目的端数据库中。 2.根据权利要求1所述的方法, 其特征在于, 根据 所述源端数据查询语句和所述目的端 数据查询语句对所述源端 数据库和所述目的端数据库进行增量数据比对, 并根据增量数据 比对结果确定增量迁移语句, 将所述增量迁移语句落盘至所述目的端数据库中, 包括: 根据所述源端数据查询语句和所述目的端数据查询语句, 对所述源端数据库和所述目 的端数据库中的增 量数据依 次进行执行增 量数据的首批次比对和增 量数据的中间批次比 对, 根据比对结果确定所述源端数据库和所述 目的端数据库之间的候选差异数据, 并将所 述候选差异数据插 入增量数据的最后批次比对所要比对的数据文件中; 根据所述源端数据查询语句和所述目的端数据查询语句, 对所述源端数据库和所述目 的端数据库进 行执行增量数据的最后批次比对, 根据增量数据的最后批次比对结果确定所 述源端数据库中的目标差异数据, 根据所述 目标差异数据确定增 量迁移语句, 将所述增量 迁移语句落盘至所述目的端数据库中。 3.根据权利要求2所述的方法, 其特征在于, 根据增量数据的最后批次比对结果确定所 述源端数据库中的目标差异数据, 根据所述 目标差异数据确定增 量迁移语句, 将所述增量 迁移语句落盘至所述目的端数据库中, 包括: 根据增量数据的最后批次比对结果确定所述源端数据库中的目标差异数据, 确定所述 目标差异数据中是否存在待处 理字段; 若是, 则对所述目标差异数据中的待处理字段进行处理, 根据处理结果确定增量迁移 语句, 将所述增量迁移语句落盘至所述目的端数据库中。 4.根据权利要求1所述的方法, 其特征在于, 根据 所述源端数据查询语句和所述目的端 数据查询语句对所述源端 数据库和所述目的端数据库进行全量数据比对, 根据全量数据比 对结果确定目标迁移语句, 将所述目标迁移语句落盘至所述目的端数据库中, 包括: 根据所述源端数据查询语句和所述目的端数据查询语句分别对源端数据库的全量数 据和目的端数据库的全量数据进行查询, 确定所述源端数据库的源端库行数据, 以及所述 目的端数据库的目的库行 数据; 获取所述源端库行数据的源端数据校验值和所述目的库 行数据的目的端数据校验值, 将所述源端数据校验值和所述目的端 数据校验值进行一致性比对, 将一致性比对结果作为 全量数据比对结果; 根据全量数据比对结果确定目标迁移语句, 将所述目标迁移语句落盘至所述目的端数权 利 要 求 书 1/3 页 2 CN 115454977 A 2据库中。 5.根据权利要求4所述的方法, 其特征在于, 根据全量数据比对结果确定目标迁移语 句, 将所述目标迁移语句落盘至所述目的端数据库中, 包括: 若全量数据比对结果为所述源端数据校验值和所述目的端数据校验值不一致, 则确定 所述源端数据库中的源端差异数据, 并确定所述源端差异数据中是否存在待处 理字段; 若是, 则对所述源端差异数据中的待处理字段进行处理, 根据处理结果确定目标迁移 语句, 将所述目标迁移语句落盘至所述目的端数据库中。 6.根据权利要求1所述的方法, 其特征在于, 确定源端数据库中的待处理字段, 对所述 源端数据库中的待处 理字段进行处 理, 包括: 通过数据迁移工具对所述源端数据库和所述目的端数据库进行表结构查询, 确定所述 源端数据库的源端库表结构和所述目的端数据库的目的端库表结构; 根据所述源端库表结构和所述目的端库表结构, 确定所述源端数据库的待处 理字段; 若所述源端数据库中的待处理字段为忽略字段, 则根据预先规定的忽略字段处理规 则, 确定所述忽略字段所对应的列标识, 根据所述列标识对所述源端数据库中的数据进行 数据过滤; 若所述源端数据库中的待处理字段为异构字段, 则根据预先规定的异构字段处理规 则, 确定所述异构字段对应的字段类型映射方式, 根据所述字段类型映射方式对所述异构 字段进行字段类型转换。 7.根据权利要求1所述的方法, 其特征在于, 根据所述源端数据信息, 生成所述源端数 据库的源端数据查询语句和目的端数据库的目的端数据查询语句, 包括: 确定所述源端数据库和目的端数据库的数据映射关系, 根据所述源端数据信 息和所述 数据映射关系生成所述源端数据库的源端 数据查询语句, 以及所述目的端 数据库的目的端 数据查询语句。 8.一种数据迁移装置, 其特 征在于, 包括: 源端数据信 息获取模块, 用于在数据迁移过程中, 确定源端数据库中的待处理字段, 对 所述源端数据库中的待处 理字段进行处 理, 确定源端数据库中的源端数据信息; 数据查询语获取模块, 用于根据所述源端数据信息, 生成所述源端数据库的源端数据 查询语句和目的端数据库的目的端数据查询语句; 增量数据比对模块, 用于根据 所述源端数据查询语句和所述目的端数据查询语句对所 述源端数据库和所述目的端数据库进 行增量数据比对, 并根据增量数据比对结果确定增量 迁移语句, 将所述增量迁移语句落盘至所述目的端数据库中; 全量数据比对模块, 用于在数据迁移完成后, 根据所述源端数据查询语句和所述目的 端数据查询语句对所述源端数据库和所述目的端 数据库进 行全量数据比对, 根据全量数据 比对结果确定目标迁移语句, 将所述目标迁移语句落盘至所述目的端数据库中。 9.一种电子设备, 其特 征在于, 所述电子设备包括: 至少一个处 理器; 以及 与所述至少一个处 理器通信连接的存 储器; 其中, 所述存储器存储有可被所述至少一个处理器执行的计算机程序, 所述计算机程序被所 述至少一个处理器执行, 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的权 利 要 求 书 2/3 页 3 CN 115454977 A 3

.PDF文档 专利 一种数据迁移方法、装置、设备和存储介质

文档预览
中文文档 20 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据迁移方法、装置、设备和存储介质 第 1 页 专利 一种数据迁移方法、装置、设备和存储介质 第 2 页 专利 一种数据迁移方法、装置、设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:33:05上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。