行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211161809.3 (22)申请日 2022.09.23 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 张汉翼  (74)专利代理 机构 深圳国新 南方知识产权代理 有限公司 4 4374 专利代理师 周雷 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/242(2019.01) (54)发明名称 冷热数据转换存储方法、 装置、 计算机设备 及存储介质 (57)摘要 本申请公开了一种冷热数据自动转换存储 方法, 应用于数据库技术领域。 本申请提供的方 法包括: 从目标数据库的从库中获取待分析SQL 脚本对应数据的数据表的表名和第一主键值; 若 获取所述表名和所述第一主键值成功, 则将所述 表名和所述第一主键值存入预设的键值数据库 中; 获取主键值集合, 其中, 所述主键值集合的第 二主键值是从所述目标数据库的从库中获得的; 判断所述主键值集合中的每个所述第二主键值 是否在所述键值数据库中存在, 若不存在, 则从 所述目标数据库的主库中获取所述第二主键值 对应的第一行数据; 将所述第一行数据转存至预 设的非关系型数据库, 并从所述目标数据库的主 库中删除所述第一行 数据。 权利要求书2页 说明书9页 附图2页 CN 115544005 A 2022.12.30 CN 115544005 A 1.一种冷热 数据自动转换存 储方法, 其特 征在于, 包括: 从目标数据库的从库中获取待分析SQ L脚本对应数据的数据表的表名和第一主键值; 若获取所述表名和所述第 一主键值成功, 则将所述表名和所述第 一主键值存入预设的 键值数据库中, 其中, 所述键值数据库中的每一键值对的键为所述表名, 值为所述第一主键 值; 获取主键值集合, 其中, 所述主键值集合的第二主键值是从所述目标数据库的从库中 获得的; 判断所述主键值集合中的每个所述第 二主键值是否在所述键值数据库中存在, 若不存 在, 则从所述目标数据库的主库中获取所述第二主键值对应的第一行数据, 其中, 所述第一 行数据为冷数据; 将所述第一行数据转存至预设的非关系型数据库, 并从所述目标数据库的主库中删除 所述第一行 数据。 2.根据权利要求1所述的冷热数据自动 转换存储方法, 其特征在于, 所述从 目标数据库 的从库中获取待分析SQ L脚本对应数据的数据表的表名和第一主键值之前还 包括: 从负载均衡组件获取待分析SQL脚本, 所述待分析SQL脚本是通过所述负载均衡组件的 流量复制功能得到的。 3.根据权利要求1所述的冷热数据自动 转换存储方法, 其特征在于, 所述从 目标数据库 的从库中获取待分析SQ L脚本对应数据的数据表的表名和第一主键值包括: 解析所述待分析SQ L脚本, 得到所述待分析SQ L脚本对应的数据表的表名和索引字段; 若所述索引字段不为所述数据表的主键, 则从所述目标数据库的从库中获取所述数据 表的主键值作为所述第一主键值。 4.根据权利要求1所述的冷热数据自动 转换存储方法, 其特征在于, 所述键值数据库为 Redis数据库, 所述将所述表名和所述第一主键值存 入预设的键值数据库中包括: 使用所述Redis数据库的SETBIT命令将所述表名和所述第一主键值写入所述Redis数 据库, 其中, 键为所述表名, 值为所述第一主键值, 且所述第一主键值被写入的数据类型为 所述Redis数据库的字符串类型。 5.根据权利要求4所述的冷热数据自动 转换存储方法, 其特征在于, 所述判断所述主键 值集合中的每 个所述第二主键值是否在所述键值数据库中存在包括: 依次从所述主键值 集合中获取每 个第二主键值; 使用所述Redis数据库的BITGET命令查询所述第二主键值是否在所述Redis数据库中; 若所述BITGET命令 的返回结果为0, 则确定所述第二主键值不在所述Redis数据库 中, 所述第二主键值对应的第三行 数据为冷数据; 若所述BITGET命令 的返回结果大于0, 则确定所述第二主键值在所述Redis数据库 中, 所述第二主键值对应的第三行 数据为热 数据。 6.根据权利要求1所述的冷热数据自动 转换存储方法, 其特征在于, 所述从 目标数据库 的从库中获取待分析SQ L脚本对应数据的数据表的表名和第一主键值之后还 包括: 若获取所述表名和所述第 一主键值失败, 则从所述非关系型数据库中获取所述第 一主 键值对应的第二行 数据; 将所述第二行数据转存至所述目标数据库的主库, 并从所述非关系型数据库中删除所权 利 要 求 书 1/2 页 2 CN 115544005 A 2述第二行 数据。 7.根据权利要求5所述的冷热数据自动 转换存储方法, 其特征在于, 所述非关系型数据 库为ElasticSearch集群, 所述ElasticSearch集群用于保存冷数据, 所述将所述第一行数 据转存至预设的非关系型数据库, 并从所述目标数据库 的主库中删除所述第一行数据包 括: 根据所述第二主键值从所述目标 数据库的从库获取 所述第一行 数据; 将所述第一行 数据转存至所述ElasticSearc h集群; 从所述目标 数据库的主库删除所述第二主键值对应的所述第一行 数据。 8.一种冷热 数据自动转换存 储装置, 其特 征在于, 包括: 第一数据获取模块, 用于从目标数据库的从库中获取所述待分析SQL脚本对应数据的 数据表的表名和第一主键值; 第一条件处理模块, 用于若获取所述表名和所述第一主键值成功, 则将所述表名和所 述第一主键值存入预设的键值数据库中, 其中, 所述键值数据库中的每一键值对的键为所 述表名, 值 为所述第一主键值; 主键值集合模块, 用于获取主键值集合, 其中, 所述主键值集合的第 二主键值是从所述 目标数据库的从库中获得的; 第一行数据获取模块, 用于判断所述主键值集合中的每个所述第 二主键值是否在所述 键值数据库中存在, 若不存在, 则从所述 目标数据库的主库中获取所述第二主键值对应的 第一行数据, 其中, 所述第一行 数据为冷数据; 第一行数据处理模块, 用于将所述第一行数据转存至预设的非关系型数据库, 并从所 述目标数据库的主库中删除所述第一行 数据。 9.一种计算机设备, 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求 1至 7中任一项所述冷热 数据自动转换存 储方法的步骤。 10.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在 于, 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述冷热数据自动转换 存储方法的步骤。权 利 要 求 书 2/2 页 3 CN 115544005 A 3

.PDF文档 专利 冷热数据转换存储方法、装置、计算机设备及存储介质

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 冷热数据转换存储方法、装置、计算机设备及存储介质 第 1 页 专利 冷热数据转换存储方法、装置、计算机设备及存储介质 第 2 页 专利 冷热数据转换存储方法、装置、计算机设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:34:38上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。