(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210966592.7 (22)申请日 2022.08.12 (71)申请人 苏州诀智科技有限公司 地址 215400 江苏省苏州市太 仓市健雄路 20号太仓大学科技园二期5号楼2楼 210 (72)发明人 赵宁　杜学强　王菲　 (74)专利代理 机构 苏州市方略专利代理事务所 (普通合伙) 32267 专利代理师 陈明 (51)Int.Cl. G06Q 10/08(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度增强学习的智能堆场管控方法、 系 统及存储介质 (57)摘要 本发明公开了基于深度增强学习的智能堆场 管控方法、 系统及存储介质， 包括采用 深度增强 学习神经网络获得训练集； 通过 梯度下降的方法不断更新训练集的参数； 建立智 能收箱模型， 使用预设选位约束对动作价值进行 约束， 生成预设数量的子目标， 且对所有的子目 标进行归一化处理， 确定子目标比重， 生成总选 位目标函数， 进而根据总选为目标函数计算回报 值； 根据回报值将当前进闸集装箱与预设场地位 置进行配对， 且判断进闸集装箱与预设场地位置 是否特征匹配； 若是， 则将进闸集装箱堆存至预 设场地位置， 若否， 则重新将所述闸集装箱进行 配对。 本发 明能够实现传统集装箱码头堆场智能 化管控转型， 实现智能集装箱码头生产作业。 权利要求书4页 说明书14页 附图6页 CN 115526557 A 2022.12.27 CN 115526557 A 1.基于深度增强学习的智能堆场管控方法， 其特 征在于， 所述方法包括以下步骤： 采用深度增强学习神经网络获得训练集； 通过 梯度下降的方法不断更新训练集的参 数， 包括： 利用经验回放的方 法， 将每个时刻的学习经验存储至经验回放数据集中,且将众多选位过程汇集成回放经验， 从数据集中随机抽取样本对动作价 值进行更新， 获得 更新后的动作价 值； 建立智能收箱模型， 使用预设选位约束对动作价值进行约束， 生成预设数量的子目标， 且对所有的子目标进 行归一化处理， 确定子目标比重， 生 成总选位目标函数， 进而根据总选 为目标函数计算回报值； 根据回报值将当前进闸集装箱与 预设场地位置进行配对， 且判断进闸集装箱与预设场 地位置是否特 征匹配； 若是， 则将进闸集装箱堆存至预设场地 位置， 若否， 则重新将所述闸集装箱进行配对。 2.根据权利要求1所述的基于深度增强学习的智能堆场管控方法， 其特征在于， 通过 梯度下降的方法不断更新训练集的参数的方法为： 深度增强学习神经网络的输入为智能收箱问题设定的状态特征值,输出为每个状态下 采取动作所得的动作价值 ， 进而通过 方法训练深度增强学习神经网络， 的目标动作价值 ， 其中， 为选位， 的输入为状态特 征值， 表示神经网络中的权 重， 为折扣因子， 为动作， 为在场集装箱； 利用经验回放的方 法， 将每一个时刻的学习经验 存储至经验 回放数据集 中,且将众多选位过程汇集成回放经验， 其中， 为集装箱层数； 从数据集中随机抽取样本， 且运用 随机梯度下降的方法更新深度增强 学习神经网络中的参数。 3.根据权利要求1所述的基于深度增强学习的智能堆场管控方法， 其特征在于， 判断进 闸集装箱与预设场地 位置是否特 征匹配的方法为： 判断进闸集装箱与预设场地 位置堆存的在场集装箱是否为同种箱型的集装箱； 若是， 则判断进闸集装箱与预设场地位置堆存的在场集装箱是否为同尺寸的集装箱， 若否， 则重新将所述进闸集装箱进行配对； 若是， 则计算进闸集装箱与预设场地 位置匹配的箱位 集装箱的吨差： ， 其中， 表示当前进闸集装箱的重量， 表示权　利　要　求　书 1/4 页 2 CN 115526557 A 2当前进闸集装箱所匹配到场地位置下方在场集装箱的重量， 且若进闸集装箱箱的预设场地 位置位于堆场箱位第一层时， 为理论的最大值， 表示两个箱子之间的吨 差。 4.根据权利要求3所述的基于深度增强学习的智能堆场管控方法， 其特征在于， 判断出 进闸集装箱与预设场地 位置堆存的在场集装箱为同尺寸的集装箱的方法为： 判断进闸集装箱与预设场地 位置堆存的在场集装箱是否为同卸货港； 若是， 则判断进闸集装箱与预设场地 位置堆存的在场集装箱是否为同船； 若是， 则计算贝内港口数： ， 若否， 则重新将所述进闸集装箱进行配对； 其中， 表示进闸集装箱匹配到的预设场地位置贝位内， 加上进闸集装箱后， 在场集装箱所属 卸货港的数量； 表示贝内可堆存位置数； 计算预设场地位置箱区场桥数量： ， 其中， 表示对于箱区 ， 当前提供 服务的场桥数量； 表示箱区最大提供服 务的场桥数量； 计算预设场地位置的箱区排队作业数： ， 其中， 表示当前 箱区内排队等待作业的集装箱数量； 计算预设场地位置的箱区在场集装箱量： ， 其中， 表示当前 箱区内被 占用的场地 位置数量， 表示当前 箱区内最多可堆存的集装箱数量。 5.根据权利要求1所述的基于深度增强学习的智能堆场管控方法， 其特征在于， 使用预 设选位约束对动作价 值进行约束的方法为： 使得进闸集装箱所选的位置不 为悬空箱位， 且选择当前有场桥 服务的箱区； 单个集装箱只能占用单个箱位， 且单个箱位只能放置一个集装箱； 使得贝内达 到最大容 量约束， 且同港箱所占贝位 集中分布； 使得堆放的集装箱同尺寸， 且同空重， 且同箱高， 且同船。 6.根据权利要求5所述的基于深度增强学习的智能堆场管控方法， 其特征在于， 生成预 设数量的子目标的方法为： 最小化堆放集装箱之间的吨差， 生成第一子目标 ， 其中， 表权　利　要　求　书 2/4 页 3 CN 115526557 A 3