一种众包模式下同日配送的插单方法及装置与流程

本发明属于物流配送领域，具体是一种众包模式下同日配送的插单方法及装置。

背景技术：

1、物流配送领域经常会遇到同日配送问题，即：电商企业在城市地区建立物流配送中心，在接收到顾客的网上订单后，从配送中心调配相应的商品，指派给相应的车辆并在顾客要求的时间窗内完成订单的配送。在同日配送过程中为了实现配送企业收益最大化，如何科学的选择配送模式，以及在利用自有运力配送时如何合理采用插单方法就成为了目前亟待解决的难题。

2、现有技术解决同日配送问题主要有两类方法：一是远视方法，它试图将订单未来概率分布特点的信息或预测的订单信息与当前静态阶段问题的决策结合起来考虑，这种方法需要提前对未来需求订单信息有一定的了解；二是局部方法，在每阶段的决策过程中不考虑未来的不确定性，只依据现有的订单信息进行配送路径的规划。

3、例如一篇公开号为cn115793583a的发明专利，公开了一种基于深度强化学习的流水车间新订单插入优化方法，其将调度问题转化为一个半马尔科夫决策过程问题，然后建立数学模型，并进行优化求解以获得最优重调度方案。

4、再例如一篇公开号为cn116629736a的发明专利，公开了一种基于混合遗传算法和位置分配算法的众包调度方法及系统，其构建自有车辆路线优化模型，通过混合遗传算法求解，得到实现优化目标且满足所述预设约束条件的最优解；所述最优解表征每一辆自有车辆服务的客户集合、每一辆自有车辆最优路线方案和需要由众包车辆服务的客户集合；构建众包任务分配模型，通过位置更新分配算法求解，得到实现优化目标且满足所述约束条件的最优解，所述最优解表征每一辆众包车辆服务的客户集合和服务顺序；根据自有车辆路线优化模型以及众包任务分配模型的最优解调度自有车辆以及众包车辆服务客户。

5、然而在实际的同日配送问题中，因为订单是动态到达的并且需要快速对订单进行配送决策，因此通常利用插入算法进行辅助决策，但是对于多车辆同时在场时，需要在插单前考虑不同车辆的插单优先级，而现有的技术很少关注这方面的问题。

技术实现思路

1、在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

2、本发明所要解决的问题为：保证所有订单被配送的前提下，当订单特征不同时如何选择配送模式，以及选择自有车辆配送时如何选择插单方法，使得企业收益最大化。为此，本发明的思路是，利用马尔科夫决策过程为问题建立数学模型，并设计相应算法进行求解。在建立模型的同时，考虑两种配送模式，即企业自有车辆配送以及众包模式配送，并将插单方法嵌入到算法中，最大化企业的收益。

3、根据本技术的一个方面，提供一种众包模式下同日配送的插单方法，其包括：

4、步骤1：获取基础信息数据，基础信息数据包括订单集合、顾客集合、企业自有车辆集合以及众包车辆集合；

5、m代表车辆的集合，将同日配送问题描述为：，代表在时有辆车在车场中，顾客的需求从开始产生、经历时长为止，顾客的需求终止后不再接收新订单的信息；

6、假设任意两个订单之间的行驶时间是已知的，则代表车场距到达订单处所需的最小时间，代表由订单处出发返回车场所需的时间；其中n为订单集合；

7、订单的位置、时间、配送价格及外包成本的属性分别表示为、、以及；其中订单（∈），为订单集合（初始的订单集合），取值为自然数；为订单的位置集合，={1，2，……,n}，为订单在t时刻的位置；配送价格代表订单在t时刻被配送方配送时车场向用户收取的费用（即配送费用）；c表示车场使用自有车辆配送时的成本，外包成本表示车场将订单外包给众包车辆进行配送时，车场需要向众包车辆支付的服务费；

8、每个订单（∈）都对应已知的服务时间以及一个配送时间窗，表示订单配送的开始时间，表示订单配送的截止时间；其中所有订单的服务时间为已知并且相同的，表示车辆在配送时间窗内到达用户所在位置后对用户进行服务所需的时间；订单到达用户所在位置并开始服务的时间在之后、之前；如果顾客订单只设置了截止时间，则将车场收到订单的时间作为；

9、如果在距订单的配送截止时间前，仍未将订单分配给车场车辆安排配送，则立即外包给众包车辆进行配送；

10、订单的插入次序根据订单的配送时间窗来确定，即配送时间窗截止时间最早的订单优先被考虑插入到原有车辆配送列表中作为新产生的配送方案；判断新产生的配送方案获得收益是否大于已有方案（未插入原有车辆配送列表之前的方案）的收益，如果是，且原有配送方案中已安排订单没有退出，则采用新产生的配送方案；车辆完成配送任务后返回车场的时间表示为，当车辆离开车场进行配送时，其配送路线和返场时间已经完全确定，且所有车辆将在时间内接收新的订单并安排配送，超过时间则不接收新订单；

11、步骤2：利用马尔科夫决策过程对同日配送问题进行数学建模，获得马尔科夫决策模型；

12、马尔科夫决策模型表述如下：（1）状态空间：向量代表订单集合中订单的状态属性，表示在第个决策阶段时未进行分配的订单的集合，其中代表第个决策阶段订单的位置坐标，代表第个决策阶段订单配送时间窗开始时间，代表第k阶段订单配送时间窗结束时间，代表第个决策阶段订单在t时刻被配送的配送价格，代表第个决策阶段订单外包给众包车辆进行配送时的服务费；订单状态属性表示为；

13、集合表示在第个决策阶段时，应外包给众包车辆进行服务的订单的集合，；指示器表示第第个决策阶段中订单是否满足由外包车辆进行配送的条件，若，表示在第个决策阶段中订单由外包车辆进行配送，，表示在第个决策阶段中订单由车场车辆进行配送或还未进行配送；

14、在第个决策阶段车辆的属性表示为向量，其中参数代表车辆在第个决策阶段，保证订单配送任务完成的前提下的最迟发车时间，参数代表车辆在第个决策阶段的既定订单配送任务结束后的返场时间；指示器用以判断车辆是否驻场，当时代表车辆驻场等待订单配送任务，时代表车辆已离场配送订单。

15、上述描述中，n表示初始的订单集合，当有新的订单加入或原有的订单配送完成时，需要对订单的配送顺序进行下一阶段的决策。当处于第个决策阶段的决策时，订单集合用来表示。

16、此时，订单属性表示为，车辆属性用向量表示，而在第个决策阶段订单的状态属性可以用向量来表示；

17、（2）行动空间：对于集合中的每一个订单都进行相应的决策得到决策变量，根据决策变量判断是将该订单分配给车辆进行配送、或者是等待到下一阶段再进行分配，或者是外包给众包车辆进行配送；在分配订单给车场车辆运输时，只能考虑分配给驻场的车辆，不能考虑已经在途配送订单的车辆；令代表在第个决策阶段驻场车辆的集合，方程代表在给定配送任务的前提下，车辆完成配送任务返回车场的时间；变量表示在第个决策阶段车场安排给车辆配送的订单集合。

18、引入决策变量，表示第个决策阶段车辆m在完成订单i的配送后是否前往订单j处进行配送，若表示在第个决策阶段中安排车辆配送订单，订单的配送次序是在车辆完成订单的配送后出发到订单处进行服务；因为每阶段车辆的配送都是从车场出发，在依次完成配送任务后最终需要返回车场，所以代表由车场出发，下一站到达订单处进行配送；代表对订单完成配送后下一站返回车场，其中，任意两订单所在位置之间的距离以及车辆行驶路程都是已知的；由代表车辆从订单出发到订单处所需时间，则代表车辆由车场出发到达顾客所在位置所需的时间，代表车辆服务顾客后返回车场所需时间。

19、在第个决策阶段中，若则在将订单添加到集合中，并将订单从集合中剔除；若则不进行任何操作；在将订单成功插入到已有的订单配送列表中时，若满足插入条件，则可以更新车辆订单配送计划；

20、集合代表第个决策阶段已分配给车辆进行配送订单的集合。在车辆到达订单处后，均需要一定的时间对顾客进行服务，在这里设定每个顾客所需的服务时间都是相同的并记做。

21、（3）状态转移条件：在第个决策阶段进行决策后，订单的状态属性可以表示为，此时令，即状态时间保持不变。假如有新安排订单插入到驻场车辆现有订单列表中，则更新后的车辆配送列表表示为，即需要将新订单插入中，此外需要将新订单从中移出，并将集合更新为。如果没有新订单插入到现有车辆订单列表中，则不需对进行更新，同时用代替。

22、订单如果分配给车辆或者众包车辆进行配送，则移出集合，此时剩余未分配订单的集合表示为，。

23、记代表订单集合中订单配送的次序，代表订单集合中配送订单的数量，在时代表车场，则和分别表示位置处订单的时间窗以及所需服务时间，表示车辆从位置到位置处所需时间。此外，本发明定义表示车辆在配送次序为的订单处离开的时间，表示车辆到达配送次序为的订单处的时间，表示车辆因提前到达配送次序为的订单处而等待的时间，表示车辆从车场开始到配送次序为的订单处等待时间的总和，表示车辆到达时间相对提前的时间。假定，，，则

24、，

25、，

26、，

27、，

28、，

29、。

30、最大延迟等待时间为；

31、此时，在插入新订单后车辆的最迟发车时间可表示为，若车辆驻场时，最迟发车配送时间根据车辆已有配送方案以及当前时间决定，若车辆已离场配送订单，则将其最迟发车配送时间记做无穷大；

32、。

33、在第个决策阶段中，如果车辆分配的订单集合非空，则该车辆返回车场的时间将由方程确定。如果车辆，则该车辆返场时间保持不变。即：

34、；

35、此时，车辆在场指示器将更新为：

36、；

37、（4）转移到下一阶段：原有决策过程将在以下任一事件发生时，触发新的决策阶段更替原有的决策阶段：

38、1、有车辆返回车场时；

39、2、有新订单到达并且此时至少有一辆车驻场；

40、3、驻场车辆的冗余等待时间为零；

41、（5）目标函数：记随机变量k代表决策阶段的总数量，表示在第个决策阶段中所获得的收入，表示在第个决策阶段中所获得的利润，则：

42、；

43、；

44、；

45、总利润可以表示为：。此时目标函数表示，当各个阶段收益总和最大时，最后的总收益最大。

46、马尔科夫决策过程是一个状态空间、动作空间、奖励函数和状态转移概率的随机过程，在每个时刻，代理agent根据当前状态和选择的动作会转移到下一个状态，并且会收到一个相应的奖励；马尔可夫决策过程的目标是找到一个策略，使得长期累积奖励最大化。在上述马尔可夫决策过程中，通过建立适用于众包模式的合理的状态空间、行动空间以及状态转移条件，从而加快寻找最优策略。

47、作为一种实施方案，上述插单方法还包括：

48、步骤3、通过禁忌搜索算法求解马尔科夫决策模型，以选择最优配送路径，所述禁忌搜索算法具体包括：

49、输入：初始订单信息,以及初始在场车辆；

50、输出：订单安排决策方案,总收益；

51、步骤31，变量初始化；

52、步骤32，订单排序，并将符合外包条件的订单通过众包方式进行配送；

53、步骤33，选择插单方式，所述插单方式包括：①订单随机插入在场车辆订单配送列表中；②订单按照在场车辆的既定返场时间插入其订单配送列表中；③订单按照在场车辆的最迟发车时间插入其订单配送列表中；

54、步骤34，根据所选择的插单方式，将订单按次序插入到车辆的订单配送列表中，利用禁忌搜索算法对订单配送路径进行选择，并判断收益是否改变，如果收益增加则将该订单成功插入；并转步骤33；否则插入下一车辆进行判断，若均未成功插入在场车辆，则判断下一订单直至判断到最后一个订单为止；

55、步骤35，判断是否到达工作截止时间或是否满足状态更新条件，如果最近发生事件为有车辆离场，则更新在场车辆状态及收益；如果有车辆进场，则更新在场车辆状态并转步骤33；如果接收到新订单信息，则转步骤32。

56、作为一种实施方案，上述插单方法还包括：

57、步骤4、敏感性分析：通过对车辆载荷敏感性分析，找到同日配送模式下最适合的配送车辆类型，并探究当插单方法以及订单类型不同时车辆类型的改变会对收益产生的影响。

58、通过对车场车辆数敏感性分析，分析当考虑车辆固定成本时车辆数的改变对决策的影响。车场自有车辆数量反映车场的规模，车场规模越大时订单调配的灵活度越高收入可能越高，但随规模的增加运营成本也在快速增加。本发明的实例中设定自有车辆载荷均为10单位，每个订单均为一个单位，即一车次最多配送十个订单。此外，车场每增加一辆车就需要增加gama单位的固定成本。对六类不同订单特征的数据进行数值试验，比较采取不同配送策略时各个结果的差异。

59、本发明在考虑不同车辆的插单优先级的研究中，将输入在场车辆的信息并输出按照一定规则进行排列的车辆优先级顺序，插单的规则主要考虑了两个可能影响配送效率以及利润的因素：在场车辆的既定返场时间以及最迟发车时间。因为订单依照时间窗截止时间排列优先级，因此当在场车辆既定返场时间越晚时，插入新订单后可能会提升既定时间内配送订单的数量，进而提高该车辆的配送效率及收益；当在场车辆最迟发车时间越早时，插入新订单可能也会提升配送订单的数量，从而提高该车辆的收益。

60、根据本技术的另一方面，提供一种众包模式下同日配送的插单装置，其包括：一存储器和一处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述插单方法的步骤。

61、结合同日配送问题中订单的随机性及动态性，本发明利用马尔科夫决策过程对同日配送问题进行数学建模；在建立模型的同时，本发明考虑两种配送模式，即企业自有车辆配送和众包模式配送；同时，考虑到车辆路径规划问题中最优解结构的复杂性，采用禁忌搜索算法来获得并评估候选解，并将插单方法嵌入到算法中。通过设计数值实验，对企业车辆载荷以及车辆运力进行了敏感性分析。最后通过分析不同订单时间窗特征以及地理分布特征的订单集合下的数据，得到使企业获得更高收益时应采用的插单方法以及配送模式。此外，本发明考虑到当订单的时间窗特征不同时，企业应采取何种配送方式才能达到收益最优。