车间调度方法、装置、电子设备及存储介质

1.本发明涉及车间作业技术领域，尤其涉及一种车间调度方法、装置、电子设备及存储介质。


背景技术：

2.当前，智能机加工车间实时调度方法大多是基于调度规则和元启发式算法。元启发式算法包括遗传算法，模拟退火算法等，将实时调度问题划分为多个静态子问题进行求解，算法性能较好，但存在求解时间较长、结果可解释性和稳定性较差、难以满足实时响应等缺点。调度规则包括最短加工时间优先、最大剩余时间优先等，具有计算速度快，稳定性好，快速响应等优点。根据无免费午餐理论，调度规则往往适应特定的环境，若环境发生改变，调度规则不能适应调度环境的变化，其响应速度、稳定性和优良性能会降低。因此，需要提供一种车间调度方法，使其调度规则能够适应调度场景的变化，满足多调度场景的性能优化。


技术实现要素：

3.本发明提供一种车间调度方法、装置、电子设备及存储介质，用以解决现有技术中单一调度规则的缺陷，实现利用多个调度规则执行车间调度指令，以适应调度场景的变化，满足多调度场景的性能优化。
4.本发明提供一种车间调度方法，包括：
5.获取车间的生产状态参数，并基于所述生产状态参数，得到状态特征矩阵；
6.将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值；
7.基于所述当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则；
8.基于所述当前时刻的最优调度规则，执行车间调度指令。
9.根据本发明提供的车间调度方法，还包括：
10.基于上一时刻的总拖期，以及当前时刻的总拖期，得到当前时刻的即时回报值；
11.将所述当前时刻的状态特征矩阵、所述当前时刻的最优调度规则、所述当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入经验池；
12.从所述经验池中选取经验样本，并基于选取的经验样本训练在线策略网络。
13.根据本发明提供的车间调度方法，所述将所述当前时刻的状态特征矩阵、所述当前时刻的最优调度规则、所述当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入经验池，包括：
14.将所述当前时刻的状态特征矩阵、所述当前时刻的最优调度规则、所述当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入第一经验池；
15.在所述当前时刻的经验样本的即时回报值高于目标回报值的情况下，还将所述当前时刻的经验样本存入第二经验池；
16.所述从所述经验池中选取经验样本，并基于选取的经验样本训练在线策略网络，包括：
17.基于第一目标比例从所述第一经验池中选取第一部分样本，以及基于第二目标比例从所述第二经验池中选取第二部分样本；
18.基于所述第一部分样本和所述第二部分样本，训练所述在线策略网络。
19.根据本发明提供的车间调度方法，所述在所述当前时刻的经验样本的即时回报值高于目标回报值的情况下，还将所述当前时刻的经验样本存入第二经验池，包括：
20.将所述第二经验池中经验样本的最低即时回报值作为所述目标回报值；
21.在所述当前时刻的经验样本的即时回报值高于所述目标回报值的情况下，将所述当前时刻的经验样本替换所述第二经验池中最低即时回报值对应的经验样本。
22.根据本发明提供的车间调度方法，所述第一目标比例和所述第二目标比例相等。
23.根据本发明提供的车间调度方法，还包括：
24.在将所述状态特征矩阵输入至在线策略网络之前，初始化在线策略网络和目标策略网络，使所述在线策略网络和所述目标策略网络的初始参数同步；
25.在所述在线策略网络的训练次数达到目标次数后，将所述在线策略网络的参数同步至所述目标策略网络；
26.基于所述目标策略网络，得到所述目标策略网络的长期回报值；
27.所述基于所述第一部分样本和所述第二部分样本，训练所述在线策略网络，包括：
28.基于所述第一部分样本、所述第二部分样本以及所述长期回报值，训练所述在线策略网络。
29.根据本发明提供的车间调度方法，还包括：
30.在单个调度场景下，统计每个调度方案对应的总即时回报值；其中，所述单个调度场景包含有多个调度方案，且每个调度方案包含有多个调度指令；
31.基于所述调度方案的总即时回报值，将所述多个调度方案，分为第一部分调度方案和第二部分调度方案；其中，所述第一部分调度方案中每一调度方案对应的总即时回报值，均大于所述第二部分调度方案中每一调度方案对应的总即时回报值；
32.在完成所述多个调度方案前后，若所述第一部分调度方案在所述多个调度方案的比例增加，则计算所述目标调度规则库中的每一调度规则在所述第一部分调度规则中出现的次数，与在所述第二部分调度规则中出现的次数的比例值；
33.将最小比例值对应的调度规则，从所述目标调度规则库中删除，得到新的目标调度规则库。
34.本发明还提供一种车间调度装置，包括：
35.数据转换模块，用于获取车间的生产状态参数，并基于所述生产状态参数，得到状态特征矩阵；
36.第一处理模块，用于将所述状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值；
37.第二处理模块，用于基于所述当前时刻的状态动作价值，以及目标调度规则库，得
到当前时刻的最优调度规则；
38.调度执行模块，用于基于所述当前时刻的最优调度规则，执行车间调度指令。
39.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述车间调度方法的步骤。
40.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述车间调度方法的步骤。
41.本发明提供的车间调度方法、装置、电子设备及存储介质，获取车间的生产状态参数，并基于生产状态参数，得到状态特征矩阵。将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值。基于当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则。基于当前时刻的最优调度规则，执行车间调度指令。
42.其中，目标调度规则库中包含有多个调度规则，也即是多个调度规则，基于状态特征矩阵可以选择符合当前车间调度场景的调度规则，进而实现利用多个调度规则执行车间调度，以适应调度场景的变化，满足多调度场景的性能优化，保证车间调度的响应速度、稳定性和优良性。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明提供的车间调度方法的流程示意图之一；
45.图2是本发明提供的车间调度方法中更新在线策略网络的流程图；
46.图3是本发明提供的车间调度方法的流程示意图之二；
47.图4是本发明提供的车间调度方法的框架示意图；
48.图5是本发明提供的车间调度方法的总拖期曲线图；
49.图6是本发明提供的车间调度方法的回报值曲线图；
50.图7是本发明提供的车间调度装置的原理框图；
51.图8是本发明提供的电子设备的结构示意图。
具体实施方式
52.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.下面结合图1
‑
图8描述本发明的车间调度方法、装置、电子设备及存储介质。
54.如图1所示，本发明提供的车间调度方法包括：
55.步骤110、获取车间的生产状态参数，并基于生产状态参数，得到状态特征矩阵。
56.需要说明的是，车间的生产状态参数，可以包括车间可选的机器数量，机器加工时
间等。
57.步骤120、将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值。
58.步骤130、基于当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则。
59.可以理解的是，调度规则包括机器调度规则和工序调度规则；机器调度规则，也即是车间调度工作中需要参与的机器设备的调度规则；工序调度规则，也即是车间调度工作中，调度工作执行顺序的规则。
60.步骤140、基于当前时刻的最优调度规则，执行车间调度指令。
61.这里，车间的生产状态参数，也即是drl(即：深度强化学习)的状态信息。drl的状态信息代表了agent(即：智能体)所感知到的环境信息，以及agent的在当前状态采取的action(即：行为)环境的反馈。状态信息是agent制定决策和评估其长期收益的依据，而状态设计的好坏直接决定了drl算法能否收敛、收敛速度以及最终性能，在状态特征设计的过程中必须遵守以下原则：
62.状态信息对应特征不仅要包含全局特征，也要包含局部特征。
63.设计的状态信息对应特征必须与问题或者问题目标直接相关。
64.不同环境下得所有状态必须形式统一和逻辑统一。
65.深度卷积神经网络可以从简单的具有形式统一的输入开始，通过特征提取和特征映射，不断地抽取数据中更为复杂的特征作为下一个层的输入，最终提取到能够代表数据最本质的特征的高维抽象特征。因此，提出了一种新型的基于矩阵的状态表达方式，设计了六个高度为工件数，宽度为工件最大工序数的矩阵，每个矩阵表达不同的信息。
66.六个矩阵分别为可选机器数矩阵(cpt1)，加工时长矩阵(cpt2)，开始加工时间矩阵(cbt
t
)，结束加工时间矩阵(cet
t
)，工件是否加工矩阵(cbe
t
)，机器利用率矩阵(cpmu
t
)。第t步的状态st为：
67.s
t
＝{cpt1,cpt2,cbt
t
,cet
t
,cbe
t
,cpmu
t
}
68.由于工件是动态到达的，只有工件到达后才能获得工件的加工信息，当工件完毕后，将会脱离加工系统，即，在加工系统内的工件有两种，未加工完毕工件和到达系统，但是未加工工件，统称这些工件为待加工工件，在每个调度时刻时，调度对象为此时可以加工的待加工工件，因此，本文将在每个调度时刻的可以加工的待加工工件加入到状态特征矩阵中，来表示当前的系统状态。
69.cpt1和cpt2表示问题的特征，在初始化后不发生变化。
70.cpt1表示每个工序的可选机器数量，cpt1
ij
表示第i个工件第j道工序的可选机器数量。
71.cpt2表示每个工序的平均加工时间，cpt2
ij
表示第i个工件第j道工序的平均加工时间。
72.cpt1和cpt2是在计算完成后不再发生变化。
73.cbt
t
,cet
t
,cbe
t
,cpmu
t
表示问题的过程特征，在调度的过程中不断发生变化。
74.cbt
t
表示第t步时，工序的开始加工时间。cbt
tij
表示第t步时，第i个工件的第j道工序的开始加工时间，若工序没有开始加工，cbt
tij
＝0。
75.cet
t
表示第t步时，工序的开始加工时间。cet
tij
表示第t步时，第i个工件的第j道工序的结束加工时间，若工序没有加工，cet
tij
＝0。
76.cbe
t
表示第t步时，工序的是否加工。cet
tij
表示第t步时，表示第i个工件的第j道工序是否加工，若加工了，cet
tij
＝1，若没有加工，cet
tij
＝0。
77.cpmu
t
表示第t步，每个工件所对应的机器利用率。cpmu
tij
表示第t步时，表示第i个工件的第j道工序加工后对应的机器利用率，若工序没有加工，cpmu
tij
＝0。
78.其中cpt1,cpt2不随着状态的转移发生变化，而cbt
t
，cet
t
，cbe
t
和cpmu
t
随着状态的转移发生变化。
79.在一些实施例中，车间调度方法还包括：
80.基于上一时刻的总拖期，以及当前时刻的总拖期，得到当前时刻的即时回报值；具体地，当前时刻的总拖期，减去上一时刻的总拖期，得到当前时刻的即时回报值；
81.将当前时刻的状态特征矩阵、当前时刻的最优调度规则、当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入经验池；
82.从经验池中选取经验样本，并基于选取的经验样本训练在线策略网络。
83.可以理解的是，在agent执行一个操作或者一系列操作后，环境将会反馈一个相应的回报，agent可以根据回报值，调整自己的策略，达到更好。因此，回报函数设计是极其重要的一环，在设计回报函数的时候，必须杜绝使得agent贪婪、胆怯和鲁莽的回报函数。
84.基于如下公式计算回报值：
85.r
t
＝tt
t
‑
tt
t
‑186.r
t
表示第t时刻的回报，tt
t
表示第t时刻的总拖期，tt
t
‑1表示第t
‑
1时刻的总拖期。
87.在一些实施例中，将当前时刻的状态特征矩阵、当前时刻的最优调度规则、当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入经验池，包括：
88.将当前时刻的状态特征矩阵、当前时刻的最优调度规则、当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入第一经验池；
89.在当前时刻的经验样本的即时回报值高于目标回报值的情况下，还将当前时刻的经验样本存入第二经验池；
90.从经验池中选取经验样本，并基于选取的经验样本训练在线策略网络，包括：
91.基于第一目标比例从第一经验池中选取第一部分样本，以及基于第二目标比例从第二经验池中选取第二部分样本；
92.基于第一部分样本和第二部分样本，训练在线策略网络。
93.需要说明的是，第一目标比例和第二目标比例是设定的比例值，第一目标比例和第二目标比例加起来为1。
94.在一些实施例中，在当前时刻的经验样本的即时回报值高于目标回报值的情况下，还将当前时刻的经验样本存入第二经验池，包括：
95.将第二经验池中经验样本的最低即时回报值作为目标回报值；
96.在当前时刻的经验样本的即时回报值高于目标回报值的情况下，将当前时刻的经验样本替换第二经验池中最低即时回报值对应的经验样本。
97.在一些实施例中，第一目标比例和第二目标比例相等。
98.在一些实施例中，车间调度方法还包括：
99.在将当前时刻的状态特征矩阵输入至在线策略网络之前，初始化在线策略网络和目标策略网络，使在线策略网络和目标策略网络的初始参数同步；
100.在在线策略网络的训练次数达到目标次数后，将在线策略网络的参数同步至目标策略网络；
101.基于目标策略网络，得到目标策略网络的长期回报值；
102.基于第一部分样本和第二部分样本，训练在线策略网络，包括：
103.基于第一部分样本、第二部分样本以及长期回报值，训练在线策略网络。
104.在一些实施例中，车间调度方法还包括：
105.在单个调度场景下，统计每个调度方案对应的总即时回报值；其中，所述单个调度场景包含有多个调度方案，且每个调度方案包含有多个调度指令；
106.基于所述调度方案的总即时回报值，将所述多个调度方案，分为第一部分调度方案和第二部分调度方案；其中，所述第一部分调度方案中每一调度方案对应的总即时回报值，均大于所述第二部分调度方案中每一调度方案对应的总即时回报值；
107.在完成所述多个调度方案前后，若所述第一部分调度方案在所述多个调度方案的比例增加，则计算所述目标调度规则库中的每一调度规则在所述第一部分调度规则中出现的次数，与在所述第二部分调度规则中出现的次数的比例值；
108.将最小比例值对应的调度规则，从所述目标调度规则库中删除，得到新的目标调度规则库。
109.需要说明的是，在完成所述多个调度方案前后，若所述第一部分调度方案在所述多个调度方案的比例增加，也即是，在完成所述多个调度方案后的所述第一部分调度方案在所述多个调度方案的比例，大于在完成所述多个调度方案前的所述第一部分调度方案在所述多个调度方案的比例。
110.在完成所述多个调度方案前后，若所述第一部分调度方案在所述多个调度方案的比例没有增加，则停止在所述目标调度规则库中删除调度规则。
111.每执行一个调度指令，都会有一个对应的即时回报值，一个调度方案包含有多条调度指令，完成一个调度方案后，将这个调度方案中所有调度指令对应的即时回报值累加，得到该调度方案的总即时回报值。
112.在一些实施例中，更新训练在线策略网络的流程如图2所示：
113.step1：初始化待训练的智能体的目标策略网络和在线策略网络的参数，以及经验池d(即：第一经验池)和精英经验池ed(即：第二经验池)，转step1。
114.step2：根据于问题本身，初始化状态特征s0转step3；
115.step3：智能体通过在线策略网络，根据状态st计算出状态
‑
价值q(st,at)，接着采用∈
‑
贪婪准则得到当前状态下选择的动作at；车间根据动作at所对应的复合调度规则，选择指定的工件到指定的机器上加工。转step4；
116.step4：计算回报值，此时，调度时间刻由t转到t+1,状态特征也随即转化到s(t+1)，将经验都依次存储到经验池d中，若经验的回报值比精英经验池中最低的回报值高，则把最低回报值所对应的经验样本用当前时刻的经验样本替代。转step5；
117.step5：若所有的工件都完成加工，转step5，否则转step3；
118.step6：每隔固定的代数，从经验池和精英经验池中等比例取出经验样本,采用dqn策略网络更新方式，采用adam优化器训练在线策略网络，每隔固定的代数，将目标策略网络的参数和在线策略网络的参数同步，转step7；
119.step7：若当前所有的场次都结束，则转step8，否则，转step2；
120.step8：结束。
121.在一些其他实施例中，本发明提供的智能机加工车间实时调度问题重点考虑工件随机达到的柔性作业车间调度问题。具体的描述为：某智能车间有m台机器m＝{m1,m2,
…
m
n
}，n个随机到达的工件j＝{j1,j2,
…
,j
n
}，每个工件j
i
包含有n
i
个工序，每道工序至少有一台可选机器，该问题是在规划期内，实时地寻找一组最优的机器选择和工序排序序列决策，使得工件的总拖期最小。
122.为了简化问题，便于求解，该问题的约束条件如下：
123.1)同一时刻在同一机器上只允许加工一个工件；
124.2)同一工件在同一时刻只能被一台机器加工，且工件一旦开始加工就不能中断；
125.工序加工时间取决于所选机器，加工时间已知。
126.其中，各参数对应含义如下所示：
127.n：总工件数
128.m：总机器数
129.j
i
：第i个工件
130.n
i
：工件j
i
的总工序数
131.m
k
：第k台机器
132.o
ij
：第i个工件的第j道工序
133.t
ijk
：工序o
ij
在机器m
k
上的加工时间
134.c
ij
：工序o
ij
的结束加工时间
135.a
i
：工件j
i
的的到达时间
136.d
i
：工件j
i
的交货期
137.b
kt
：机器m
k
上的第t个事件点的开始时间
138.tt：总拖期
139.x
ijkt
：0
‑
1决策变量，当工序o
ij
在机器m
k
上第t个事件点加工时为1，否则为0
140.m：足够大的正数
141.决策变量有：
[0142][0143]
目标是总拖期最小，如下：
[0144][0145]
[0146][0147][0148][0149][0150][0151][0152][0153]
公式(3)，(4)和(5)表示的是分配约束。公式(3)表示每个工序必须要被分到一个事件点上。公式(4)表示每个事件点至多有一个分配一个工序。公式(5)表示同一个机器上前面的事件点比后面的事件点具有更高的优先权。公式(6)和(7)表示机器的约束。公式(8)和(9)表示工序的约束。公式(10)表示所有工件的开始加工时间均大于其到达时间。
[0154]
在实际的生产过程中，工件随着时间的推进不断到达，车间的状态随着时间的推进不断发生变化，在每个调度时刻，需要同时进行机器选择和工序排序两个序列决策问题。本发明首先，设计机加工车间的动态响应机制。接着，针对于机加工车间问题特征，设计了基于dqn(即：deep q
‑
network)的深度强化学习算法求解，以实现总拖期最小。
[0155]
在实际的生产过程中，工件随着时间的推进不断到达，决策时刻为新工件到达或者工件结束加工，决策对象为当前时间刻待加工的工件，决策内容是选择待加工的工件到可选机器上加工，直至所有的工件加工完成。图3所示为本发明提出的智能机加工车间的实时调度流程。
[0156]
基于强化学习的方法通过与调度数据交互，根据生产系统的反馈逐步调整自己的策略，以实现调度策略的优化。首先，设计智能体与环境交互的过程。然后，通过定义状态，动作和回报函数，将柔性作业车间调度问题转化为马尔科夫决策过程。最后，采用基于dqn优化方法，更新策略参数，从而实现最优在线调度。
[0157]
智能体与环境交互过程的框架图如图1所示，主要是分为三个部分组成，第一部分为在线应用部分，通过调度规则库，回报函数模块，及状态表达模块，智能体与智能机加工车间进行交互，实时控制车间的生产流程。第二部分为缩小当前的动作空间，即从总的调度规则库选择出适合当前的环境的调度规则。第三部分为离线学习阶段，通过在线应用得到的大量的样本，优化策略网络的参数，从而得到最优策略。其中，第一部分直接为在线阶段，直接控制车间的生产过程，第二部分和第三部分离线部分，第二部分提供符合场景的调度规则库，第三部分提供适合当前生产环境的策略。具体的框架图如图4所示。
[0158]
在定义目标调度规则库，也即是动作空间的时候，要保证两点，第一：动作的合法
性，第二：动作的有效性。
[0159]
在调度领域中，动作是指从待加工工件中选择合适的工件加工。为了保证动作的合法性，可以将调度规则作为动作。由于柔性作业车间调度问题具有两个子问题，机器选择子问题和工序排序子问题，在每个调度时刻，需要同时选择一个机器部分调度规则和工序排序调度规则才可以完成此时的调度任务。
[0160]
因此，本发明构造动作的乘积空间，即每一个机器部分的调度规则都与所有工序排序的调度规则组合，而每个工序排序的调度规则也与所有工序部分的调度规则进行组合。
[0161]
由于不确定那个机器部分调度规则与工序部分调度规则组合在当前场景下效果较好。采用动作空间缩减方式，更新目标调度规则库，选择出适合当前环境的组合调度规则。
[0162]
如表1所示，选择机器部分调度规则spt,lu与三个工序部分调度规则edd，lpt，lrt形成六个符合调度规则。
[0163]
表1
[0164][0165]
其中，spt：最短加工时间优先；lu：利用率低优先；edd：交货期越早越优先；lpt：加工时间越长有优先；lrt：剩余加工时间越长越优先。
[0166]
由于在不同的场景下，优良解需要的调度规则是不同的，若把所有的调度规则直接当作动作空间，会使得算法的性能较差，出现收敛速度慢，甚至是无法收敛的情况。
[0167]
为了解决上述问题，本发明提出了一种动作空间缩小技术。即，针对于不同的场景，把调度规则总库中的调度规则不断缩减，使得剩余的调度规则适合当前的环境，从而提升算法的性能。
[0168]
判断一个调度规则是否符合当前的场景，可以通过在寻优过程中大量累计的经验样本中，在优良场数出现的次数与非优良解中出现的次数，若其在优良场数中出现的次数比例大于在非优良解中出现的比例，说明此调度规则适合当前的场景，应该保留下来，若其在优良场数中出现的次数比例小于在非优良解中出现的比例，说明这个调度规则不适合当前的场景，应该被删除。基于这个准则，提出了一种动作空间缩小技术，用来找到适合当前场景的目标调度规则库。对应算法伪代码如表2所示：
[0169]
表2
[0170][0171][0172]
图5和图6分别为某车间在智能体训练过程中的总拖期及总回报的曲线。从上述可以看出，该方法能够实现实时调度车间的生产过程，从而实现车间生产的智能化。
[0173]
综上所述，本发明提供的车间调度方式，是深度强化学习求解实际问题的关键是把问题转化为马尔可夫决策过程，也就是如何定义车间调度场景对应的状态，动作及回报
函数。
[0174]
基于问题特征，构建六个状态特征矩阵表达当前的状态，接着，为了处理在不同的场景下，调度规则库的优良差异性很大这一问题，提出了一种动作空间缩减技术，从调度规则总库中选择出适合当前的调度规则形成适合当前环境的目标调度规则库。随后，通过问题的数据特征，计算出目标值的基准值，采用基准值的方式定义回报函数。最后，采用dqn(即：deep q
‑
network)系列算法，学习在此马尔科夫过程中的最优的控制策略。
[0175]
深度学习作为机器学习一个重要研究热点，通过多层网络结构和非线性转化，组合低层特征，形成易于区分高层表达，从而发现数据底层逻辑。强化学习是机器学习中另外一个研究热点，已经在具有序列决策特征的问题上取得了不错的效果，智能体通过与环境交互，通过不断的探索和利用，学习到累计回报值最大的策略。深度学习侧重于对事物的感知和表达，强化学习侧重学习问题的策略。
[0176]
因此，结合深度学习的底层逻辑发现能力和强化学习的在线感知能力，有效保证智能体清晰感知环境，选择适合当前时刻的最优调度规则，快速响应实时调度，保证调度的性能，实现智能机加工车间实时调度。将深度学习与强化学习进行结合用在车间在线调度领域中，使得智能体更加清楚感知到环境的前提下，可以选择出适合当前时刻的最优调度规则，在快速响应实时调度的同时，又保证调度的性能。
[0177]
下面对本发明提供的车间调度装置进行描述，下文描述的车间调度装置与上文描述的车间调度方法可相互对应参照。
[0178]
如图7所示，本发明提供的车间调度装置700包括：数据转换模块710、第一处理模块720、第二处理模块730和调度执行模块740。
[0179]
数据转换模块710用于获取车间的生产状态参数，并基于生产状态参数，得到状态特征矩阵。
[0180]
第一处理模块720用于将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值。
[0181]
第二处理模块730用于基于当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则。
[0182]
调度执行模块740用于基于当前时刻的最优调度规则，执行车间调度指令。
[0183]
在一些实施例中，车间调度装置700还包括：回报计算模块、经验存储模块和网络训练模块。
[0184]
回报计算模块用于基于上一时刻的总拖期，以及当前时刻的总拖期，得到当前时刻的即时回报值。
[0185]
经验存储模块用于将当前时刻的状态特征矩阵、当前时刻的最优调度规则、当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入经验池。
[0186]
网络训练模块用于从经验池中选取经验样本，并基于选取的经验样本训练在线策略网络。
[0187]
在一些实施例中，经验存储模块包括：第一存入单元和第二存入单元。
[0188]
第一存入单元用于将当前时刻的状态特征矩阵、当前时刻的最优调度规则、当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入第一经
验池。
[0189]
第二存入单元用于在当前时刻的经验样本的即时回报值高于目标回报值的情况下，还将当前时刻的经验样本存入第二经验池。
[0190]
网络训练模块包括：样本选取单元和网络训练单元。
[0191]
样本选取单元用于基于第一目标比例从第一经验池中选取第一部分样本，以及基于第二目标比例从第二经验池中选取第二部分样本。
[0192]
网络训练单元用于基于第一部分样本和第二部分样本，训练在线策略网络。
[0193]
在一些实施例中，第二存入单元包括：目标确定单元和样本替换单元。
[0194]
目标确定单元用于将第二经验池中经验样本的最低即时回报值作为目标回报值。
[0195]
样本替换单元用于在当前时刻的经验样本的即时回报值高于目标回报值的情况下，将当前时刻的经验样本替换第二经验池中最低即时回报值对应的经验样本。
[0196]
在一些实施例中，第一目标比例和第二目标比例相等，例如，在第一经验池和第二经验池中等比例选取样本，训练在线策略网络。
[0197]
在一些实施例中，车间调度装置700还包括：初始化模块、参数同步模块和长期回报获取模块。
[0198]
初始化模块用于在将当前时刻的状态特征矩阵输入至在线策略网络之前，初始化在线策略网络和目标策略网络，使在线策略网络和目标策略网络的初始参数同步。
[0199]
参数同步模块用于在在线策略网络的训练次数达到目标次数后，将在线策略网络的参数同步至目标策略网络。
[0200]
长期回报获取模块用于基于目标策略网络，得到目标策略网络的长期回报值。
[0201]
网络训练单元进一步用于基于第一部分样本、第二部分样本以及长期回报值，训练在线策略网络。
[0202]
在一些实施例中，车间调度装置700还包括：统计模块、调度划分模块、比例计算模块和规则库更新模块。
[0203]
统计模块用于在单个调度场景下，统计每个调度方案对应的总即时回报值；其中，所述单个调度场景包含有多个调度方案，且每个调度方案包含有多个调度指令。
[0204]
调度划分模块用于基于所述调度方案的总即时回报值，将所述多个调度方案，分为第一部分调度方案和第二部分调度方案；其中，所述第一部分调度方案中每一调度方案对应的总即时回报值，均大于所述第二部分调度方案中每一调度方案对应的总即时回报值；
[0205]
比例计算模块用于在完成所述多个调度方案前后，若所述第一部分调度方案在所述多个调度方案的比例增加，则计算所述目标调度规则库中的每一调度规则在所述第一部分调度规则中出现的次数，与在所述第二部分调度规则中出现的次数的比例值；
[0206]
规则库更新模块用于将最小比例值对应的调度规则，从所述目标调度规则库中删除，得到新的目标调度规则库。
[0207]
需要说明的是，在完成所述多个调度方案前后，若所述第一部分调度方案在所述多个调度方案的比例增加，也即是，在完成所述多个调度方案后的所述第一部分调度方案在所述多个调度方案的比例，大于在完成所述多个调度方案前的所述第一部分调度方案在所述多个调度方案的比例。
[0208]
车间调度装置700还包括：停止更新模块。停止更新模块用于在完成所述多个调度方案前后，若所述第一部分调度方案在所述多个调度方案的比例没有增加，则停止在所述目标调度规则库中删除调度规则。
[0209]
下面对本发明提供的电子设备及存储介质进行描述，下文描述的电子设备及存储介质与上文描述的车间调度方法可相互对应参照。
[0210]
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行车间调度方法，该方法包括：
[0211]
步骤110、获取车间的生产状态参数，并基于生产状态参数，得到状态特征矩阵。
[0212]
步骤120、将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值。
[0213]
步骤130、基于当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则。
[0214]
步骤140、基于当前时刻的最优调度规则，执行车间调度指令。
[0215]
此外，上述的存储器80中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0216]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的车间调度方法，该方法包括：
[0217]
步骤110、获取车间的生产状态参数，并基于生产状态参数，得到状态特征矩阵。
[0218]
步骤120、将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值。
[0219]
步骤130、基于当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则。
[0220]
步骤140、基于当前时刻的最优调度规则，执行车间调度指令。
[0221]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的车间调度方法，该方法包括：
[0222]
步骤110、获取车间的生产状态参数，并基于生产状态参数，得到状态特征矩阵。
[0223]
步骤120、将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值。
[0224]
步骤130、基于当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则。
[0225]
步骤140、基于当前时刻的最优调度规则，执行车间调度指令。
[0226]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0227]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0228]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。