(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211144053.1 (22)申请日 2022.09.20 (71)申请人 中银金融科技有限公司 地址 200120 上海市浦东 新区中国(上海) 自由贸易试验区银城中路200号4层 408室 (72)发明人 牟童　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 蔡彭君 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/242(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01)G06F 9/448(2018.01) (54)发明名称 一种数据信息文件化处理方法、 系统、 装置 及存储介质 (57)摘要 本发明涉及一种数据信息文件化处理方法、 系统、 装置及存储介质， 通过使用Linux系统中的 Shell命令， 封装Linux命令与MySQL流派数据库 的通用函数， 可以周期性执行指定数据信息的文 件化处理， 根据数据信息灵活地进行文件化配 置， 应对不同数据规模的数据信息文件化需求， 实现任意数据规模的指定数据信息从数据库端 到服务器端上的文件化处置。 与现有技术相比， 本发明具有适用于任意规模数据、 处理速度快、 可靠性高及可移植 性好等优点。 权利要求书2页 说明书12页 附图1页 CN 115481124 A 2022.12.16 CN 115481124 A 1.一种数据信息文件化处 理方法， 其特 征在于， 包括以下步骤： 利用Shel l命令集接收需要 文件化的数据信息及其相关参数； 将需要文件化的数据信 息整体， 按照预设的信 息统计维度， 拆解为文件化配置信 息， 存 储于信息维度配置表中； 其中， 信息维度配置表基于预设的信息统计维度设计； 基于所述文件化配置信息， 估算数据信息的数据规模， 与预设的数据规模阈值做比较； 若估算的数据规模不超过 所述数据规模阈值， 则直接调用Shel l父进程生成最终文件； 若估算的数据规模超过所述数据规模阈值， 则将数据信息拆解为多个数据集分片， 并 通过Shell父进程， 借助管道文件， 同步调起多个Shell子进程， 各个Shell子进程将各个数 据集分片分别写入多个临时文件， 最后将多个临时文件合并为 最终文件。 2.根据权利要求1所述的一种数据信 息文件化处理方法， 其特征在于， 所述数据信 息的 拆解方案包括按照记录条 数范围拆解和按照单字段索引范围拆解； 若估算的数据规模超过所述数据规模阈值， 并且配置了数据均匀分布的单字段索引， 则按照索引字段拆解； 若估算的数据规模超过所述数据规模阈值， 并且无法获得数据均匀分布的单字段索 引， 则按照记录条 数范围拆解。 3.根据权利要求1所述的一种数据信息文件化处理方法， 其特征在于， 所述Shell命令 集包括父层Shel l命令集和子层Shel l命令集； 其中父层Shell命令集中包括数据信息文件化的各类执行命令和各个临时参数； 子层 Shell命令集包括将数据集分片 DQL语句写入到临时文件的执 行命令。 4.根据权利要求3所述的一种数据信息文件化处理方法， 其特征在于， 所述父层Shell 命令集里包括五类DQ L语句； 第一类DQL语句， 为预设查询语句， 是父层Shell命令集 中必定执行的命令， 用于查询数 据信息的文件化配置信息， 查询结果将存 储在父层Shel l命令集的临时参数 里； 第二类DQL语句， 是在第一类DQL语句查询结果基础上拼接获得的查询语句， 是父层 Shell命令集中必定执行的命令， 用于查询数据信息文件化对应的数据量， 从而对数据规模 进行估算， 查询结果将存 储在父层Shel l命令集的临时参数 里； 第三类DQL语句， 由父层Shell命令集根据第一类、 第二类DQL语句的查询结果拼接而 得， 若估算的数据规模不超过数据规模阈值时， 会 执行该语句， 将查询结果直接写入最 终文 件； 第四类DQL语句， 是父层Shell命令集在第三类DQL语句基础 上， 增加数据限定条件拼接 而得； 估算的数据规模超过所述数据规模阈值时， 按照第一类DQL语句中的单字段索引情 况， 选择以记录条数范围拆解数据集或以单字段索引范围拆解数据集； 将第四类DQL语句写 入管道文件， 交由子层Shel l命令集执 行， 并将查询结果写入临时参数； 第五类DQL语句， 是通过第一类DQL语句确认存在 单字段索引的情况下， 对第四类DQL语 句的补充， 同时在第三类DQ L语句基础上增 加指定行 数的限定条件， 查询索引字段 数值。 5.根据权利要求4所述的一种数据信息文件化处理方法， 其特征在于， 所述父层Shell 命令集及子层Shell命令集里均包括临时参数， 临时参数在存入第一类DQL语句及第二类 DQL语句的查询结果后， 需要进行逻辑分析， 对于不满足预设条件的临时参数， 需详细记录 异常日志信息， 并执 行异常退 出机制。权　利　要　求　书 1/2 页 2 CN 115481124 A 26.根据权利要求1所述的一种数据信 息文件化处理方法， 其特征在于， 所述相关参数包 括文件id、 数据日期及区域范围， 其中文件id是对需要文件化的数据信息设置的固定标识 符， 作为文件化配置的通用标识。 7.根据权利要求6所述的一种数据信 息文件化处理方法， 其特征在于， 所述信 息维度配 置表位于 MySQL流派数据库中， 且以文件id作为主键或联合主键之一。 8.一种数据信 息文件化处理系统， 其特征在于， 基于如权利要求4所述的一种数据信 息 文件化处理方法实现， 包括数据库访问模块、 逻辑决策模块、 文件写入模块、 子层Shell调用 模块、 子进程扫描模块、 文件合并模块及日志和异常处 理模块； 数据库访问模块， 通过调用第一类DQL语句及第二类DQL语句， 将其查询结果写入临时 参数， 再根据临 时参数拼接第三类、 第四类及第五类DQL语句， 用于不同场景的文件写入； 任 何查询失败、 结果异常均会触发日志和异常处 理模块功能； 逻辑决策模块， 通过判断第一类DQL语句中是否存在单字段索引的标识， 同时接收第二 类DQL语句对于数据规模的估算结果， 进行 方案选择； 文件写入模块， 通过调用Shell父进程将DQL语句的查询结果写入临时文件或最终文 件， 任何写入报错均会触发日志和异常处 理模块功能； 子层Shell调用模块， 由Shell父进程在文件写入模块中生成多个管道文件后触发； 本 模块读取管道文件名参数及管道文件中的内容， 触发Shell子进程的文件写入模块； 同时， 本模块被子进程扫描模块全程监控， 监控运行与否和 运行状态， 任何功能报错均触发父进 程的日志和异常处 理模块功能； 子进程扫描模块， 根据管道文件名， 查询 所述子层Shell调用模块和Shell子进程的文 件写入模块功能的执行情况； 根据子进程日志和异常处理模块的返回结果逐个判断子进程 是否正常结束； 若均正常完 毕， 则触发S hell父进程的文件合并模块； 若仍有运行的子进程， 则进入短暂睡眠后重新检查判断； 如果出现任何子进程异常， 则触发父进程的日志和异常 处理模块； 文件合并模块， 在从子进程扫描模块获得正常结束信号后， 将由Shell子进程的文件写 入模块生成的多个临时文件合并为最终文件， 并删除临时文件和管道文件； 若合并过程出 现异常， 则触发父进程的 “日志和异常处 理模块”； 日志和异常处理模块， 若各步骤正常执行， 则在步骤结束后记录正常日志； 若某模块步 骤执行报错， 则同时记录正常和异常日志， 并执行异常退出， 抛出异常让监控程序捕获报错 信息。 9.一种数据信 息文件化处理装置， 其特征在于， 包括存储器和处理器， 所述存储器存储 有计算机程序， 所述处理器调用所述程序指令能够执行如权利要求1 ‑7任一所述的数据信 息文件化处 理方法。 10.一种计算机可读存储介质， 其特征在于， 包括计算机程序， 所述计算机程序能够被 处理器执行以实现如权利要求1 ‑7任一所述的数据信息文件化处 理方法。权　利　要　求　书 2/2 页 3 CN 115481124 A 3