一种基于强化学习和数字孪生体的物流分拣方法

本发明涉及物流分拣领域，特别是涉及一种基于强化学习和数字孪生体的物流分拣方法。

背景技术：

1、现有的物流分拣方法通常基于分拣机的人工分拣经验规则，通过对历史建包规则、格口分布以及历史分拣数据进行分析，然后进行建模。这样的建模方法有很多缺陷：第一，对分拣机传送带以及格口进行效率评估以及预测分析时，受限于人工分拣的效率因素，建模准确度以及预测精度不高，建模效率低下。第二，现有的分拣计划优化每次只能针对特定场地的特定历史班次，并且普遍依靠人为经验来进行分拣计划的调整，使数字孪生模型的泛化性较弱，难以适应多个中转场场地、不同的班次条件。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于强化学习和数字孪生体的物流分拣方法，本发明分别统计格口锁格货物件数和锁格时间数据，采用蒙特卡洛树搜索强化学习算法，提高分拣计划的泛化性，适应不同场地条件因素的中转场物流分拣系统。

2、本发明的目的是通过以下技术方案来实现的：一种基于强化学习和数字孪生体的物流分拣方法，包括以下步骤：

3、s1.采集物流分拣系统中历史货物数据；

4、s2.采集物流分拣系统中分拣机的分拣格口的历史分拣数据，拟合格口处理效率函数；

5、s3.通过聚类算法整合包牌信息，获取包牌类别相似度矩阵和转移概率矩阵；

6、s4.基于包牌类别的相似度和转移概率矩阵设计强化学习策略以及价值网络，构造蒙特卡洛树的叶节点；

7、s5.通过对蒙特卡洛树的叶节点进行展开，获取最优的格口分拣策略；

8、s6.对于不同物流中转场的物流分拣系统，构建数字孪生体，并在数字孪生体中模拟获得该物流中转场中的历史货物数据和历史分拣数据，并按照步骤s1~s5动态调整蒙特卡洛树获得当前物流中转场中物流分拣系统的最优格口分拣策略。

9、本发明的有益效果是：基于物流中转场场地的历史和当前分拣数据，分别统计格口锁格货物件数和锁格时间数据，通过历史格口分拣信息拟合所有格口的分拣效率函数。该方法不再需要对每个场地人员分布信息进行详细分析，只需收集格口历史分拣信息，将不确定的人为分拣效率转化成以格口为单位的可量化数据，提高了建模效率。采用了蒙特卡洛树搜索强化学习算法，提高了优化后的分拣计划的泛化性，可以适应不同场地条件因素的中转场物流分拣系统。

技术特征：

1.一种基于强化学习和数字孪生体的物流分拣方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于强化学习和数字孪生体的物流分拣方法，其特征在于：步骤s1中所述物流分拣系统中历史货物数据包括：在设定时间t内，物流分拣系统中每一个包裹所属的包牌编号信息、包牌流向信息和包牌的时效信息；其中，包牌的流向信息包括包裹流向城市代码；包牌的时效信息包括航空件和陆运件。

3.根据权利要求1所述的一种基于强化学习和数字孪生体的物流分拣方法，其特征在于：步骤s2中所述分拣机的分拣格口的历史分拣数据包括：分拣格口的数目，分拣格口的锁格次数，以及设定时间t内，各分拣格口在每一次锁格时的锁格时长，分拣格口锁格包含包裹件数。

4.根据权利要求1所述的一种基于强化学习和数字孪生体的物流分拣方法，其特征在于：所述步骤s2包括：

5.根据权利要求2或4所述的一种基于强化学习和数字孪生体的物流分拣方法，其特征在于：所述设定时间t为历史的一周时间。

6.根据权利要求1所述的一种基于强化学习和数字孪生体的物流分拣方法，其特征在于：所述步骤s3包括：

7.根据权利要求1所述的一种基于强化学习和数字孪生体的物流分拣方法，其特征在于：所述步骤s4包括：

技术总结
本发明公开了一种基于强化学习和数字孪生体的物流分拣方法，包括以下步骤：S1.采集物流分拣系统中历史货物数据；S2.采集物流分拣系统中分拣机的分拣格口的历史分拣数据，拟合格口处理效率函数；S3.通过聚类算法整合包牌信息，获取包牌类别相似度矩阵和转移概率矩阵；S4.设计强化学习策略以及价值网络，构造蒙特卡洛树的叶节点；S5.通过对蒙特卡洛树的叶节点进行展开，获取最优的格口分拣策略；S6.对于不同物流中转场的物流分拣系统，构建数字孪生体，并获取最优格口分拣策略。本发明分别统计格口锁格货物件数和锁格时间数据，采用蒙特卡洛树搜索强化学习算法，提高分拣计划的泛化性，适应不同场地条件因素的中转场物流分拣系统。

技术研发人员：黄川,崔曙光,张崴,李然
受保护的技术使用者：香港中文大学（深圳）
技术研发日：
技术公布日：2024/1/16