一种智能铺布机控制方法、装置及电子设备与流程

1.本发明涉及智能语音控制领域，具体涉及一种智能铺布机控制方法、装置及电子设备。


背景技术：

2.自动铺布机又称数字化智能铺布机，是一种具备自动输送、切割、缝制和定位等功能的专业铺布设备。整机采用传动、控制、测量和电气元件先进的技术，采用plc可编程控制器和人机界面进行组态，并辅以电子真空盘和光栅尺测量。自动铺布机是实现数字化、智能化的产品，是集成化的高新技术产品。
3.目前市场上并没有使用语音控制的铺布机产品，主要还是以人工操作物理按钮为主。目前铺布机的操作模式是两个工人共同操作进行铺布，在铺布机进行铺布时，两位工人跟随铺布机走动，手里拿着工具，随时处理布面不平整的情况。当铺布机铺出的布面有问题，或者出现其他状况需要暂停铺布时，工人需要放下手中的工具并且跑到跟铺布机同步的状态，然后进行操作，一般铺布机的工作距离能达到20米，速度1.6米每秒，这样就十分耗费时间，有时可能就因为不能及时停止设备，可能就造成了安全事故。


技术实现要素：

4.为解决上述技术问题，本发明提供一种智能铺布机控制方法、装置及电子设备，具体的技术方案为：
5.一种智能铺布机控制方法，包括：
6.基于铺布机对应的运动信号，确定所述铺布机对应的运动特征数据；
7.基于操作员对应的语音信号，确定所述铺布机对应的语音特征数据；
8.基于人体对应的人脸属性图像信号与人体关键点图像信号，确定所述铺布机对应的人脸属性图像特征数据与人体关键点图像特征数据；
9.基于所述运动特征数据、语音特征数据、人脸属性图像特征数据和人体关键点图像特征数据，输出控制矩阵。
10.进一步地，所述基于运动特征数据、语音特征数据、人脸属性图像特征数据和人体关键点图像特征数据，输出控制矩阵，包括：
11.基于所述运动特征数据和自注意力机制，确定所述铺布机对应的运动自注意力特征数据fm；
12.基于所述语音特征数据和自注意力机制，确定所述铺布机对应的语音自注意力特征数据fv；
13.基于所述人脸属性图像特征数据与人体关键点图像特征数据，确定所述铺布机对应的人脸属性自注意力特征数据和人体关键关键点自注意力特征数据；
14.基于所述运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，输出控制矩阵。
15.进一步地，所述基于运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，输出控制矩阵，包括：
16.基于所述人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，确定图像融合特征数据；
17.基于所述语音自注意力特征数据fv和图像融合特征数据，确定交叉注意力特征数据f
cross
；
18.基于所述交叉注意力特征数据f
cross
和运动自注意力特征数据fm，确定多头注意力特征数据
19.基于所述多头注意力特征数据输出控制矩阵。
20.进一步地，利用编码器与卷积模块，基于铺布机对应的运动信号、基于操作员对应的语音信号、基于人体对应的人脸属性图像信号与人体关键点图像信号，分别确定所述运动特征数据、语音特征数据、人脸属性图像特征数据与人体关键点图像特征数据。
21.进一步地，所述基于多头注意力特征数据输出控制矩阵，包括：
22.利用特征映射器，基于多头注意力特征数据输出控制矩阵数据。
23.进一步地，所述自注意力机制给定一个查询矩阵q，通过计算与键矩阵k的注意力并附加到值矩阵v，从而得到自注意力特征attention，计算公式中，q表示query，k表示key，v表示value，首先q与k进行点乘，除以一个尺度标度dk为q和k的向量维度，再利用softmax将结果归一化成概率分布，最终乘以值矩阵v得到权重求和，具体计算公式如下所示：
[0024][0025]
进一步地，所述交叉注意力特征数据f
cross
，通过计算语音自注意力特征数据fv与融合特征数据的不同尺度特征的相互关系获得，即将查询矩阵q作为一个特征，将键矩阵k和值矩阵v作为一个特征，执行交叉计算两个特征的共同点得到交叉注意力特征f
cross
，交叉注意力机制的输入从上到下依次是查询矩阵q、键矩阵k和值矩阵v。
[0026]
进一步地，多头注意力特征数据通过利用多次并行查询，从语音自注意力特征数据fv与融合特征数据中提取多组不同子空间进行信息的获取，从多方面捕获序列的关键信息，其计算方式如下：
[0027][0028]
将特征抽取层的输出s线性变换生成查询向量矩阵q、键向量矩阵k、值向量矩阵v，其中，wq，w
k，
wv为转换矩阵，将查询向量矩阵q、键向量矩阵k、值向量矩阵v投影到h个不同子空间，具体如下所示：
[0029]
[0030]
其中分别为q、k、v的第i个转换矩阵；
[0031]
通过缩放点积对qi和ki进行内积运算，并使用softmax函数归一化后与vi相乘得到单头注意力机制的注意力值headi，并行的在h个子空间计算注意力值，具体如下所示：
[0032][0033]
其中，d是缩放因子，将q、k的内积变为标准的正态分布；最后融合所有子空间的注意力值：
[0034]
a(q、k、v＝concat(head1,
…
,headi)wo[0035]
其中，wo为转换矩阵，a(q、k、v为多头注意力的注意力值。
[0036]
进一步地，所述特征表达采用softmax分类器计算最终控制矩阵，具体公式如下所示：
[0037][0038]
其中，为输出控制矩阵。
[0039]
一种智能铺布机装置，包括：
[0040]
运动特征确定模块，用于获取铺布机对应的运动信号，确定所述铺布机对应的运动特征数据；
[0041]
语音特征确定模块，用于获取操作员对应的语音信号，确定所述铺布机对应的语音特征数据；
[0042]
图像特征确定模块，用于获取人体对应的人脸属性图像信号与人体关键点图像信号，确定所述铺布机对应的人脸属性图像特征数据与人体关键点图像特征数据；
[0043]
输出模块，用于基于所述运动特征数据、语音特征数据、人脸属性图像特征数据和人体关键点图像特征数据，输出控制矩阵。
[0044]
一种电子设备，包括：
[0045]
处理器：用于存储所述处理器可执行指令的存储器，其中，所述处理器用于执行上述权利要求1至9任一项所述的控制方法。本发明的有益效果：
[0046]
本发明为基于语音控制算法的智能铺布机控制系统，通过控制矩阵的输出控制信号，实现人工语音完成铺布、处理布面不平整、暂停铺布等一系列操作，大大提高生产效率，减少人工劳动强度，并有助于确保产品质量；无需人工保证与铺布机同步的状态，保障了工作人员的安全。
附图说明
[0047]
图1所示为本公开一实施例提供的智能铺布机控制方法的流程示意图。
[0048]
图2所示为本公开一实施例提供的基于所述运动特征数据、语音特征数据和图像特征数据，输出控制矩阵的流程示意图。
[0049]
图3所示为本公开一实施例提供的基于所述运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，输出控制矩阵的流程示意图。
[0050]
图4所示为本公开一实施例提供的确定所述运动特征数据、语音特征数据、人脸属
性图像特征数据与人体关键点图像特征数据的流程示意图。
[0051]
图5所示为本公开一实施例提供的基于多头注意力特征数据，输出控制矩阵的流程示意图。
[0052]
图6所示为本公开另一实施例提供的能铺布机控制方法的流程示意图。
[0053]
图7所示为本公开一实施例提供的智能铺布机的控制系统结构示意图。
具体实施方式
[0054]
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0055]
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
[0056]
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0057]
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是连接,也可以是可拆卸连接,或成
‑‑
体；可以是机械连接,也可以是电连接；可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。
[0058]
下面将结合图1至图4对本发明公开的智能铺布机控制方法进行简单的介绍。
[0059]
如图1所示，本公开的实施例提供的智能铺布机控制方法包括如下步骤：
[0060]
基于铺布机对应的运动信号，确定所述铺布机对应的运动特征数据；
[0061]
示例性地，铺布机包括具备自动输送、切割、缝制和定位等功能的专业铺布设备，本公开实施例对此不进行统一限定。
[0062]
运动信号指的是，利用传感装置对铺布机的运动状态进行监测得到的运动信号，比如速度快慢和高度位置等。
[0063]
示例性地，对铺布机的运动信号进行特征提取，得到铺布机对应的运动特征数据。
[0064]
基于操作员对应的语音信号，确定所述铺布机对应的语音特征数据；
[0065]
语音信号指的是，利用语音识别装置对操作的人声进行收容转换成的语音信号，示例性地，语音信号包括操作员所发出的控制词，如启动、归零、向前、送布开启、压布打开等六十多种控制词，可以精准控制每一步铺布机的工作过程，示例性地，对语音信号心境特征提取，得到语音特征数据。
[0066]
基于人体对应的人脸属性图像信号与人体关键点图像信号，确定所述铺布机对应的人脸属性图像特征数据与人体关键点图像特征数据；
[0067]
人脸属性图像信号与人体关键点图像信号指的是，利用图像拍摄装置对铺布机周
围操作员地人脸属性以及人体关键点进行拍摄后得到的图像信号。能够防止除铺布机周围操作员以外的其他人员对铺布机造成错误质量以及防止操作员距离过近造成安全事故。
[0068]
示例性地，对人脸属性图像信号与人体关键点图像信号分别进行特征提取，得到人脸属性图像特征数据与人体关键点图像特征数据。
[0069]
基于所述运动特征数据、语音特征数据、人脸属性图像特征数据和人体关键点图像特征数据，输出控制矩阵。
[0070]
图2所示为本公开一实施例提供的基于所述运动特征数据、语音特征数据和图像特征数据，输出控制矩阵的流程示意图。在图1所示实施例基础上延伸出图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
[0071]
如图2示，在本发明公开实施例中，基于所述运动特征数据、语音特征数据和图像特征数据，输出控制矩阵，包括如下步骤。
[0072]
基于所述运动特征数据和自注意力机制，确定所述铺布机对应的运动自注意力特征数据fm；
[0073]
基于所述语音特征数据和自注意力机制，确定所述铺布机对应的语音自注意力特征数据fv；
[0074]
基于所述人脸属性图像特征数据与人体关键点图像特征数据，确定所述铺布机对应的人脸属性自注意力特征数据和人体关键关键点自注意力特征数据；
[0075]
基于所述运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，输出控制矩阵。
[0076]
示例性地，自注意力机制给定一个查询矩阵q，通过计算与键矩阵k的注意力并附加到值矩阵v，从而得到自注意力特征attention，计算公式中，q表示query，k表示key，v表示value，首先q与k进行点乘，除以一个尺度标度dk为q和k的向量维度，再利用softmax将结果归一化成概率分布，最终乘以值矩阵v得到权重求和，具体计算公式如下所示：
[0077][0078]
由于运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据是利用下相应地自注意力机制分别对运动特征数据、语音特征数据和图像特征数据进行进一步加强后得到的，因此，本公开实施例能够结合丰富的运动特征数据、语音特征数据和图像特征数据机进一步提高控制的自由性。
[0079]
图3所示为本公开一实施例提供的基于所述运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，输出控制矩阵的流程示意图。在图2所示实施例基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
[0080]
如图3所示，在本公开实施例中，基于所述运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，输出控制矩阵，包括如下步骤：
[0081]
基于所述人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，确定图像融合特征数据；
[0082]
示例性地，对人脸属性自注意力特征数据和人体关键关键点自注意力特征数据进
行融合，得到图像融合特征数据。
[0083]
基于所述语音自注意力特征数据fv和图像融合特征数据，确定交叉注意力特征数据f
cross
；
[0084]
示例性地，对语音自注意力特征数据fv和图像融合特征数据，采用交叉注意力机制，得到交叉注意力特征数据f
cross
。
[0085]
基于所述交叉注意力特征数据f
cross
和运动自注意力特征数据fm，确定多头注意力特征数据
[0086]
交叉注意力特征数据f
cross
，通过计算语音自注意力特征数据fv与融合特征数据的不同尺度特征的相互关系，即将查询矩阵q作为一个特征，将键矩阵k和值矩阵v作为一个特征，执行交叉计算两个特征的共同点得到交叉注意力特征f
cross
，交叉注意力机制的输入从上到下依次是查询矩阵q、键矩阵k和值矩阵v。
[0087]
示例性地，对交叉注意力特征数据f
cross
和运动自注意力特征数据fm进行拼接，得到多头注意力特征数据
[0088]
基于所述多头注意力特征数据输出控制矩阵。
[0089]
由于本发明中提到的铺布机在接收到操作员的语音指令之后，还需要考虑自身的运动状态，以及是否会对周围人员造成安全隐患，而本公开实施例提及的特征数据融合及拼接方式，能够充分考虑实际中的工作过程，在接受到语音指令后，在满足其他条件下的情况下工作，由此可见，本公开实施例能够进一步完善智能铺布机的控制。
[0090]
图4所示为本公开一实施例提供的分别确定所述运动特征数据、语音特征数据、人脸属性图像特征数据与人体关键点图像特征数据的流程示意图。在图1所示实施例基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
[0091]
如图4所示，在本公开实施例中，利用编码器与卷积模块，基于铺布机对应的运动信号、基于操作员对应的语音信号、基于人体对应的人脸属性图像信号与人体关键点图像信号，分别确定所述运动特征数据、语音特征数据、人脸属性图像特征数据与人体关键点图像特征数据。
[0092]
下面将结合图6进一步举例说明智能铺布机控制方法的具体执行流程：
[0093]
图5所示为本公开另一实施例提供的能铺布机控制方法的流程示意图，如图6所示，控制方法信号包括铺布机运动信号、语音信号、人脸属性图像信号和人体关键点图像信号，铺布机运动信号被输入到编码器和卷积模块，得到运动特征数据；语音信号被输入到编码器和卷积模块，得到语音特征数据；人脸属性图像信号和人体关键点图像信号分别输入到编码器和卷积模块，分别得到人脸属性特征数据和人体特征点特征数据。
[0094]
在此基础上，利用自注意力机制分别对运动特征数据、语音特征数据、人脸属性特征数据和人体特征点特征数据进行处理，得到运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，并且首先将人脸属性自注意力特征数据和人体关键关键点自注意力特征数据机进行融合，得到融合特征数据；然后利用交叉注意力机制将语音自注意力特征数据fv与融合特征数据进行拼接，得到交叉注意力特征数据f
cross
；将交叉注意力特征数据f
cross
与运动自注意力特征数据fm进
行融合，得到多头注意力特征数据最后，如图5所示，将多头注意力特征数据输入到特征映射器，特征映射器输出控制矩阵。
[0095]
示例性地，图6所示实施例中所提及的多头注意力特征数据为利用多次并行查询，从语音自注意力特征数据fv与融合特征数据中提取多组不同子空间进行信息的获取，从多方面捕获序列的关键信息，其计算方式如下：
[0096][0097]
将特征抽取层的输出s线性变换生成查询向量矩阵q、键向量矩阵k、值向量矩阵v，其中，wq，w
k，
wv为转换矩阵，将查询向量矩阵q、键向量矩阵k、值向量矩阵v投影到h个不同子空间，具体如下所示：
[0098][0099]
其中分别为q、k、v的第i个转换矩阵；
[0100]
通过缩放点积对qi和ki进行内积运算，并使用softmax函数归一化后与vi相乘得到单头注意力机制的注意力值headi，并行的在h个子空间计算注意力值，具体如下所示：
[0101][0102]
其中，d是缩放因子，将q、k的内积变为标准的正态分布；最后融合所有子空间的注意力值：
[0103]
a(q、k、v＝concat(head1,
…
,headi)wo[0104]
其中，wo为转换矩阵，a(q、k、v为多头注意力的注意力值。
[0105]
示例性地，图5所示实施例中所提及的将多头注意力特征数据输入到特征映射器，特征映射器输出控制矩阵，具体为：
[0106]
所述特征表达采用softmax分类器计算最终控制矩阵，具体公式如下所示：
[0107][0108]
其中，为输出控制矩阵。
[0109]
本公开实施例提及的基于语音控制的智能铺布机控制方法，能够及时捕获提取操作员所发出的操作指令，以及减少人工劳动强度，并有助于确保产品质量；无需人工保证与铺布机同步的状态，保障了工作人员的安全。
[0110]
上文结合图1至图6，详细描述了本发明公开的方法实施例，下面将结合图7，详细描述本发明公开的装置实施例。此外，应理解，方法实施例的描述与装置实施例的描述相互对应，因此，为详细描述的部分可以参见前面方法实施例。
[0111]
图7所示为本公开一实施例提供的智能铺布机的控制系统结构示意图，如图7所示，本公开实施例提供的智能铺布机的控制系统结构示意图包括运动特征确定模块、语音特征确定模块、图像特征确定模块和输出模块。具体地，运动特征确定模块用于获取铺布机
对应的运动信号，确定所述铺布机对应的运动特征数据；语音特征确定模块用于获取操作员对应的语音信号，确定所述铺布机对应的语音特征数据；图像特征确定模块用于获取人体对应的人脸属性图像信号与人体关键点图像信号，确定所述铺布机对应的人脸属性图像特征数据与人体关键点图像特征数据；输出模块用于基于所述运动特征数据、语音特征数据、人脸属性图像特征数据和人体关键点图像特征数据，输出控制矩阵。
[0112]
在一些实施例中，运动特征确定模块还用于，基于所述运动特征数据和自注意力机制，确定所述铺布机对应的运动自注意力特征数据fm；语音特征确定模块还用于基于所述语音特征数据和自注意力机制，确定所述铺布机对应的语音自注意力特征数据fv；图像特征确定模块还用于，基于所述人脸属性图像特征数据与人体关键点图像特征数据，确定所述铺布机对应的人脸属性自注意力特征数据和人体关键关键点自注意力特征数据；输出模块还可用于基于所述运动自注意力特征数据fm、语音自注意力特征数据fv、人脸属性自注意力特征数据和人体关键关键点自注意力特征数据，输出控制矩阵。
[0113]
在一些实施例中，输出模块还可用于，利用特征映射器，基于多头注意力特征数据输出控制矩阵数据。
[0114]
在一些实施例中，本发明公开地一种电子设备，包括：处理器：用于存储所述处理器可执行指令的存储器。
[0115]
在一些实施例中，在智能铺布机控制方法的训练阶段：输入铺布机工作状态视频、控制指令、操作者的视频片段和该片段包含的人脸、人体。通过编码器、卷积网络及本发明提出的方案，获得该段视频的强表现力的特征，最后采用均方误差损失。前向传播得到各支路输出后根据上述损失函数计算梯度，进行反馈训练，迭代至模型收敛。
[0116]
在一些实施例中，在智能铺布机控制方法的测试阶段：输入铺布机工作状态视频、控制指令、操作者的视频片段和该片段包含的人脸、人体，输出为该段指令对应的控制矩阵。
[0117]
本发明提出了基于语音控制算法的智能铺布机控制系统，通过所设计的模块，能够有效提取、融合各输入支路信号的注意力特征，建立多个输入支路图像与语音的相关性，自动提取与目标任务高度相关的高层语义特征，实现准确语音操作。
[0118]
以上所述仅是本发明的优选实施方式，其描述较为具体和详细，但并不能因此理解为对发明专利范围的限制，应当指出的是，在不脱离本发明构思的前提下，还可以做出若干改进以及变形，这些都属于本发明的保护范围。