基于强化学习的云制造服务组合方法

本发明涉及大数据人工智能强化学习领域。

背景技术：

1、随着互联网时代的到来，云计算、物联网等先进的计算机技术迅速发展，一种与以往传统制造业不同的，新的面向服务的制造模式，云制造被提出。云制造就是在分布制造资源和能力之间进行共享和协作与需求构成一种按需的资源分配和使用的方式。其目的就是选取性能最优的组合服务以满足用户大粒度的，复杂的，多元化的定制需求。云制造的服务组合是一种典型的np-hard问题，是当今所有的科技服务平台所面临的的一个巨大的挑战。

2、制造业是工业的核心，在现代社会产业中占有极为重要的地位，对于世界各国尤为重要。制造业是每个国家经济的主体，是国家综合实力和国际竞争力的支柱产业，是实现工业化和现代化进程的基础。近年来，伴随以云计算、物联网、信息物理融合系统、面向服务架构、大数据等为代表的信息技术的飞速发展，其对工业技术进步的促进作用急剧爆发，先进信息技术引领的新一代工业革命正在全球上演。

3、为应对新一代工业革命的挑战，世界各国纷纷制定相关政策和措施以确保在瞬息万变的产业更新换代进程中掌握先发优势。2012年，美国依靠其雄厚的信息技术基础与敏锐的业态感知，率先提出了先进制造国家战略计划。2013年，德国提出了“工业4.0”，并将其列入《德国2020高技术战略》。英国也提出了《英国工业2050战略》，旨在借这一时代契机实现英国工业的复苏。日本在2015年公布了《机器人新战略》，以对全球工业革命浪潮进行回应。此外，韩国提出了《制造业创新3.0战略》。新加坡提出了工业智能指数。中国于2015年发布了《中国制造2025战略》，力求更深层次地推动信息技术与制造业的融合，为之后十年的制造业发展进行顶层规划和实施部署。智能制造作为该战略的五大工程之一备受关注。

4、智能化制造是新一代工业革命的典型特征，是当今时代的工业化标志。由于一系列先进信息技术的不断发展和领域渗透，制造形态也呈现出网络化、服务化、泛在化的发展趋势。类软硬件制造资源与制造能力可以被智能感知并接入广义互联网络，以虚拟服务化的方式融入云制造平台，形成面向用户、无缝透明、深度协同、动态开放的服务运作形态。云制造为制造业信息化提供一种全新的模式和理念，作为一种先进制造模式，其参与主体包括服务需求方、资源提供方、云平台运营方，主体间共同合作。其以制造即服务为核心理念，面向用户需求规划、组织、调度相应的虚拟化资源，从而实现供需高效配置。

5、云制造服务平台接到用户任务后，根据任务的复杂度将其划分为单任务和多任务。对于单任务，云制造服务平台只需要在云平台中找到对应的服务即可；而对于多任务，由于从制造服务平台中选择单个服务来执行用户任务远远不能满足用户的要求，需要针对单个子任务的要求从云制造服务平台中选择符合要求的服务并按照一定的逻辑顺序构成组合服务来执行复合任务。

6、但是，在云制造运行过程中，一方面，由于服务机构提供的服务资源存在动态性、多样性等问题，使得云平台运营方在选择候选资源集合时充满风险；另一方面，用户的需求呈现出大粒度，复杂化，多样化、个性化的特点，使得云平台得出的服务组合能否满足需求方的要求充满了不确定性；还有资源提供方对自身绩效的完成也有期望值，提供方的利益也不容忽视。因此，如何根据服务资源特征、制造任务结构、各主体关系，选择合适的云制造服务组合来完成任务，满足需求方的利益，实现云平台的长久可持续发展，达到资源提供方的绩效要求，从而保障各参与方的利益，是亟待解决的难题。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的目的在于提出一种基于强化学习的云制造服务组合方法，用于提高了云制造服务组合效率。

3、为达上述目的，本发明第一方面实施例提出了一种基于强化学习的云制造服务组合方法，包括：

4、通过科技服务协同平台接收来自需求方发布的项目的任务请求；

5、通过sts-协同服务评价指标，对科技服务协同平台中的服务组合方案进行评分；

6、根据所述评分利用q-learning算法通过无监督的方式训练一个学习最优服务组合路径的agent，对所述任务请求进行最佳的组合服务方案的选择。

7、另外，根据本发明上述实施例的一种基于强化学习的云制造服务组合方法还可以具有以下附加的技术特征：

8、进一步地，在本发明的一个实施例中，所述通过sts-协同服务评价指标，对科技服务协同平台中的服务组合方案进行评分，包括：

9、通过需求方在所述科技服务协同平台上发布定制需求的评价分数，以及由专业人员对云制造服务组合方案的评价分数以及所述组合服务方案在科技服务协同平台的交易比例进行加权计算。

10、进一步地，在本发明的一个实施例中，还包括：

11、所述sts-协同服务综合评价指标的计算方式如以下等式所示：

12、score＝ω1savg+ω2s2+ω3s3，

13、

14、其中，score是该云制造组合服务的分数，ω1，ω2，ω3是权重参数，savg是需求方对该组合服务中每一个服务的评价分数的平均值，si是需求方对第i个服务的评价分数，n是组合服务中服务的数量，s2是专家对该云制造组合服务的评分，s3是该组合服务在科技服务协同平台中交易次数比例的得分。

15、进一步地，在本发明的一个实施例中，在对科技服务协同平台中的服务组合方案进行评分之后，还包括：

16、使用天际线运算消除用户不感兴趣的服务减小组合服务问题求解的规模。

17、进一步地，在本发明的一个实施例中，所述根据所述评分利用q-learning算法通过无监督的方式训练一个学习最优服务组合路径的agent，包括：

18、任意数值初始化并且q(terminal-state,·)＝0

19、重复：初始化状态s；

20、重复：使用预定策略，根据状态s选择一个动作执行；

21、执行完成动作后得到reward和新的状态s′；

22、q(st,at)←q(st,at)+α[r+γmaxa'q(s',a')-q(s,a)]；

23、s←s'

24、循环到s终止；

25、其中，s表示状态，a表示动作，s表示状态集合，a表示动作集合，t表示时刻，r表示回报，q表示记录在q表中的q值，ε表示衰减因子，γ表示考虑未来奖励的因子，α表示权衡上一次学到结果和这一次学习结果的量。

26、为达上述目的，本发明第二方面实施例提出了一种基于强化学习的云制造服务组合装置，包括：

27、接收模块，用于通过科技服务协同平台接收来自需求方发布的项目的任务请求；

28、评分模块，用于通过sts-协同服务评价指标，对科技服务协同平台中的服务组合方案进行评分；

29、选择模块，用于根据所述评分利用q-learning算法通过无监督的方式训练一个学习最优服务组合路径的agent，对所述任务请求进行最佳的组合服务方案的选择。

30、进一步地，在本发明的一个实施例中，所述评分模块，还用于：

31、通过需求方在所述科技服务协同平台上发布定制需求的评价分数，以及由专业人员对云制造服务组合方案的评价分数以及所述组合服务方案在科技服务协同平台的交易比例进行加权计算。

32、进一步地，在本发明的一个实施例中，所述评分模块，还用于：

33、使用天际线运算消除用户不感兴趣的服务减小组合服务问题求解的规模。

34、为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于强化学习的云制造服务组合方法。

35、为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于强化学习的云制造服务组合方法。

36、本发明实施例的基于强化学习的云制造服务组合方法，针对云制造服务组合任务的特点，提出了一种基于强化学习的服务组合方法和一种新的服务资源评价指标来为云平台及用户提供最优的服务组合方案。首先，本发明提出了一种新的云制造服务综合评价指标，其被命名为sts-协同服务综合评价指标。另外，该发明还提出了一种基于q-learning的云制造服务组合算法，以为用于提供最优的服务组合路径，满足用户个性化的定制需求。本发明提出的sts-协同服务综合评价指标以基于q-learning，该评价指标为科技服务资源提供了一种新的规范，并结合所提出的算法实现了最优的服务组合方案，有效的提高了云制造服务组合效率，极大的提高了用户体验。