(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111569356.3 (22)申请日 2021.12.21 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 袁晓敏　解鑫　李飞　刘颖　许铭　 刘建林　徐进　金莹　张金义　 陈凯　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 代理人 王达佐　马晓亚 (51)Int.Cl. G06Q 10/08(2012.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 物资调度方法、 模型训练方法及装置 (57)摘要 本公开提供了物资调度方法、 模型训练方法 及装置， 涉及人工智能技术领域， 尤其涉及仿真 控制和强化学习技术领域。 具体实现方案为： 获 取目标港口对应的状态信息； 基于状态信息和训 练完成的港口物资调度模型， 确定与状态信息相 匹配的物资调度参数集合； 基于物资调度参数集 合中的各个物资调度参数， 执行港口物资调度作 业。 本实现方式可以提高港口物资调度的效率以 及精准度。 权利要求书3页 说明书11页 附图5页 CN 114266518 A 2022.04.01 CN 114266518 A 1.一种物资调度方法， 包括： 获取目标港口对应的状态信息； 基于所述状态信 息和训练完成的港口物资调度模型， 确定与 所述状态信 息相匹配的物 资调度参数集 合； 基于所述物资调度参数集 合中的各个物资调度参数， 执 行港口物资调度作业。 2.根据权利要求1所述的方法， 其中， 所述状态信息至少包括以下一项： 堆垛状态信 息、 翻车机作业状态信息、 皮带作业状态信息、 取 料机作业状态信息、 装船机作业状态信息 。 3.根据权利要求1所述的方法， 其中， 所述物资调度参数集合中的各个物资调度参数至 少包括以下一项： 运货列车参数、 列车携带物资类别参数、 皮带参数、 翻车机参数、 堆垛参 数、 卸料机参数、 卸料小车参数、 取 料机参数、 活化给 料机参数、 装船机参数、 进船 单参数。 4.一种模型训练方法， 包括： 获取样本状态信息； 对所述样本状态信息执行以下模型训练步骤： 基于所述样本状态信息和待训练模型， 确定与所述样本状态信息相匹配的样本物资调度参数集 合； 基于所述样本状态信息、 所述样本物资调度参数集 合和预设的奖励函数， 确定奖励值； 响应于确定所述奖励值满足预设的收敛条件， 将所述待训练模型确定为训练完成的港 口物资调度模型。 5.根据权利要求 4所述的方法， 还 包括： 响应于确定所述奖励值不满足所述预设的收敛条件， 基于仿真环境更新所述样本状态 信息， 并对更新后的样本状态信息执行所述模型训练步骤， 直至得到所述训练完成的港口 物资调度模型。 6.根据权利要求5所述的方法， 其中， 所述基于 仿真环境更新所述样本状态信息， 包括： 基于所述样本物资调度参数集合， 控制所述仿真环境模拟港口物资调度作业， 得到模 拟港口物资调度后的仿真环境； 基于所述模拟港口物资调度后的仿真环境， 更新所述样本状态信息 。 7.根据权利要求6所述的方法， 其中， 所述基于所述样本物资调度参数集合， 控制所述 仿真环境模拟港口物资调度作业， 得到模拟港口物资调度后的仿真环境， 包括： 基于所述样本物资调度参数集合和预设的约束条件， 配置所述仿真环境中目标设备的 作业参数； 控制所述目标设备按照所述作业参数运行， 得到所述模拟港口物资调度后的仿真环 境。 8.根据权利要求7 所述的方法， 其中， 所述预设的约束条件至少包括： 所述目标设备为可用设备； 和/或 所述目标设备的作业时间满足预设的时间条件； 和/或 所述目标设备的设备类型与所述样本物资调度参数集合中的样本物资调度参数相匹 配。 9.根据权利要求4所述的方法， 其中， 所述样本状态信息至少包括以下一项： 堆垛样本 状态信息、 翻车机样本作业状态信息、 皮带样本作业状态信息、 取料机样本作业状态信息、 装船机样本作业状态信息 。权　利　要　求　书 1/3 页 2 CN 114266518 A 210.根据权利要求4所述的方法， 其中， 所述样本物资调度参数集合中的各个样本物资 调度参数中至少包括以下一项： 运货列车样本参数、 列车携带物资类别样本参数、 皮带样本 参数、 翻车机样 本参数、 堆垛样本参数、 卸料机样 本参数、 卸料小 车样本参数、 取料机样本参 数、 活化给 料机样本参数、 装船机样本参数、 进船 单样本参数。 11.根据权利要求 4所述的方法， 还 包括： 基于预设时间段内的列车运货总量、 船只卸货总量以及皮带作业间隔， 确定所述预设 的奖励函数。 12.一种用于物资调度的装置， 包括： 状态获取 单元， 被配置成获取目标港口对应的状态信息； 参数确定单元， 被配置成基于所述状态信息和训练完成的港口物资调度模型， 确定与 所述状态信息相匹配的物资调度参数集 合； 物资调度作业单元， 被配置成基于所述物资调度参数集合中的各个物资调度参数， 执 行港口物资调度作业。 13.根据权利要求12所述的装置， 其中， 所述状态信息至少包括以下一项： 堆垛状态信 息、 翻车机作业状态信息、 皮带作业状态信息、 取 料机作业状态信息、 装船机作业状态信息 。 14.根据权利要求12所述的装置， 其中， 所述物资调度参数集合中的各个物资调度参数 至少包括以下一项： 运货列车参数、 列车携带物资类别参数、 皮带参数、 翻车机参数、 堆垛参 数、 卸料机参数、 卸料小车参数、 取 料机参数、 活化给 料机参数、 装船机参数、 进船 单参数。 15.一种模型训练装置， 包括： 样本状态获取 单元， 被配置成获取样本状态信息； 模型训练单元， 被配置成对所述样本状态信息执行以下模型训练步骤： 基于所述样本 状态信息和待训练模型， 确定与所述样本状态信息相匹配的样本物资调度参数集合； 基于 所述样本状态信息、 所述样 本物资调度参数集合和预设的奖励函数， 确定奖励值； 响应于确 定所述奖励值满足预设的收敛条件， 将所述待训练模型确定为训练完成的港口物资调 度模 型。 16.根据权利要求15所述的装置， 其中， 所述模型训练单 元进一步被配置成： 响应于确定所述奖励值不满足所述预设的收敛条件， 基于仿真环境更新所述样本状态 信息， 并对更新后的样本状态信息执行所述模型训练步骤， 直至得到所述训练完成的港口 物资调度模型。 17.根据权利要求16所述的装置， 其中， 所述模型训练单 元进一步被配置成： 基于所述样本物资调度参数集合， 控制所述仿真环境模拟港口物资调度作业， 得到模 拟港口物资调度后的仿真环境； 基于所述模拟港口物资调度后的仿真环境， 更新所述样本状态信息 。 18.根据权利要求17 所述的装置， 其中， 所述模型训练单 元进一步被配置成： 基于所述样本物资调度参数集合和预设的约束条件， 配置所述仿真环境中目标设备的 作业参数； 控制所述目标设备按照所述作业参数运行， 得到所述模拟港口物资调度后的仿真环 境。 19.根据权利要求18所述的装置， 其中， 所述预设的约束条件至少包括：权　利　要　求　书 2/3 页 3 CN 114266518 A 3