行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211131050.4 (22)申请日 2022.09.16 (71)申请人 建信金融科技有限责任公司 地址 200120 上海市自由贸易试验区银城 路99号12层、 15层 (72)发明人 胡卉芪 付钰 徐宁  (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 孙静 刘芳 (51)Int.Cl. G06F 16/24(2019.01) G06F 16/22(2019.01) (54)发明名称 KVS的数据处 理方法、 装置和存 储介质 (57)摘要 本申请实施例提供一种KVS的数据处理方 法、 装置和存储介质, 涉及计算机技术领域, 包 括: 获取KVS的查询请求, 其中, 查询请求包括数 据的键值, 根据键值在索引中获取数据的指针, 索引分布在动态随机存取存储器DRA M中, 根据指 针在持久性内存PMEM中获取查询请求对应的数 据, 并返回数据, 其中, PMEM用于存储数据。 由于 采用了PMEM对KVS 进行容量扩充, 使得KVS的架构 为DRAM+PMEM的架构, 通过PMEM高速、 低延迟的特 性, 在不降低原有KVS性能的基础上, 实现对KVS 的容量扩充。 权利要求书2页 说明书11页 附图5页 CN 115525668 A 2022.12.27 CN 115525668 A 1.一种键值数据库KVS的数据处 理方法, 其特 征在于, 包括: 获取KVS的查询请求, 其中, 所述 查询请求包括数据的键值; 根据所述键值在索引中获取所述数据的指针, 所述索引分布在动态随机存取存储器 DRAM中; 根据所述指针在持久性内存PMEM中获取所述查询请求对应的数据, 并返回所述数据, 其中, 所述PM EM用于存储数据。 2.根据权利要求1所述的方法, 其特征在于, 所述根据所述指针在持久性内存PMEM中获 取所述查询请求对应的数据, 包括: 根据所述键值在 所述PMEM中获取待查询的数据对应的分区, 其中, 所述PMEM根据CPU核 心数被划分为多个分区; 根据所述指针在所述待查询的数据对应的分区中获取 所述查询请求对应的数据。 3.根据权利要求2所述的方法, 其特征在于, 所述PMEM的每个分区被分为多个段, 每段 中包括一个日志结构, 所述日志结构包括日志段、 数据段和映射段, 所述数据段包括至少一 个数据块; 其中, 所述日志段用于存储日志记录, 所述数据 段用于存储数据, 所述映射段用于记录 所述数据段中数据块的分配信息; 所述根据 所述指针在所述待查询的数据对应的分区中获取所述查询 请求对应的数据, 包括: 根据所述指针在所述待查询的数据对应的分区中的日志结构中获取所述查询请求对 应的数据。 4.根据权利要求3所述的方法, 其特 征在于, 所述方法还 包括: 获取KVS的写入请求, 所述写入请求中包括待 写入数据的键值; 判断所述DRAM中的索引中是否存在所述待 写入数据的键值; 若不存在, 将所述待写入数据写入所述PMEM的分区中的日志结构中, 以及在所述索引 中写入所述待 写入数据对应的指针; 其中, 在一个日志结构写满后, 新建一个日志结构。 5.根据权利要求3所述的方法, 其特 征在于, 所述方法还 包括; 获取KVS的更新请求, 所述更新请求中包括待更新数据的键值; 判断所述DRAM中的索引中是否存在所述待更新数据的键值; 若存在, 将所述待更新的数据写入所述PMEM的分区中的日志结构中, 并在所述索引中 更新所述键值对应的指针; 将旧数据的有效性位信 息更改为失效, 并在所述映射段中更新所述旧数据所在数据块 的分配信息 。 6.根据权利要求5所述的方法, 其特 征在于, 所述方法还 包括: 根据所述映射段中的分配信息, 获取空闲信息, 所述空闲信息包括所述数据段中的数 据块的数据更新信息和数据删除信息; 根据所述空 闲信息确定所述数据块中 需要进行数据回收的数据大小; 根据每个数据块的数据回收的数据大小, 对所述数据块进行回收。 7.根据权利要求5所述的方法, 其特征在于, 所述根据每个数据块的数据回收的数据 大 小, 对所述数据块进行回收, 包括:权 利 要 求 书 1/2 页 2 CN 115525668 A 2将数据回收的数据大小最大的目标数据块中的有效数据进行数据迁移, 迁移至未写满 的数据块中, 所述有效数据根据所述数据中的有效性 位信息确定; 将所述目标数据块移动至空闲块的末尾, 并对所述目标数据块中的剩余数据进行删除 处理。 8.一种键值数据库KVS的数据处 理装置, 其特 征在于, 包括: 第一获取模块, 用于获取 KVS的查询请求, 其中, 所述 查询请求包括数据的键值; 第二获取模块, 用于根据所述键值在索引中获取所述数据的指针, 所述索引分布在动 态随机存取存 储器DRAM中; 第三获取模块, 用于根据所述指针在持久性内存PMEM中获取所述查询请求对应的数 据, 并返回所述数据, 其中, 所述PM EM用于存储数据。 9.一种电子设备, 其特 征在于, 包括: 存储器, 用于存 储计算机程序; 处理器, 用于执 行所述计算机程序以实现权利要求1 ‑7中任一项所述的方法。 10.一种计算机可读存储介质, 其特征在于, 其上存储有计算机程序, 所述计算机程序 被处理器执行以实现权利要求1 ‑7中任一项所述的方法。 11.一种计算机程序产品, 其特征在于, 包括计算机程序, 其特征在于, 所述计算机程序 在被处理器执行时以实现权利要求1 ‑7中任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 115525668 A 3

.PDF文档 专利 KVS的数据处理方法、装置和存储介质

文档预览
中文文档 19 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 KVS的数据处理方法、装置和存储介质 第 1 页 专利 KVS的数据处理方法、装置和存储介质 第 2 页 专利 KVS的数据处理方法、装置和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:31:00上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。