一种基于触觉感知的人员身份识别网络构建方法

1.本发明涉及基于服务型机器人的人机交互技术领域，具体为一种基于触觉感知的人员身份识别网络构建方法。


背景技术：

2.为了实现高效、真实的人机交互，机器人需要识别和理解来自人类的交互信息，包括语音、面部表情、身体动作和触摸动作等。基于这些模态的信息，机器人可以判断人类的意图和情感。在人机交互中，机器人对人员身份信息的识别也非常重要。当机器人识别出服务对象的身份信息后，则可以根据人员身份信息进行更加有针对性的服务，提升服务质量与人性化程度。
3.随着模式识别技术和人工智能的发展，人脸识别、声纹识别、步态识别在身份识别中的应用日趋广泛。朱翔宇等[x.zhu,z.lei,j. yan,d.yi,and s.li."high
‑
fidelity pose and expression normalizationfor face recognition in the wild",2015 ieee conference on computervision and pattern recognition(cvpr),pp.787
‑
796,2015]使用三维形变模型估计二维图像中人脸的姿态、表情、身份参数，在此基础上，通过旋转模型、调整表情参数、细节纹理合成等步骤，将原始人脸图像修正为无表情的正面人脸图像。最后基于修正后的人脸图像进行识别。实验发现，使用修正的人脸图像后，不管是采用传统识别模型还是深度神经网络模型，都能显著提升人脸识别精度。
[0004]
田垚等人[田垚,蔡猛,何亮,刘加.基于深度神经网络和 bottleneck特征的说话人识别系统[j].清华大学学报(自然科学版), 2016,56(11):1143
‑
1148]结合深度神经网络模型(dnn)和身份认证矢量模型研究了用于识别说话人身份的声纹识别方法。提出了使用基于说话人标签的dnn模型提取bottleneck特征代替短时频谱特征计算充分统计量，从而使统计量中包含更多说话人识别的信息。在美国国家标准与技术研究院说话人识别库2008女性通话测试集上进行的实验证明了该方法的有效性。
[0005]
专利号为202010773633.1的发明专利提出了一种基于步态信息进行身份识别的装置及方法，所述装置包含获取模块、分析模块和第一确定模块。获取模块获取由图像采集设备拍摄得到的至少两帧目标图像，所述至少两帧目标图像中包括目标对象的步态信息；分析模块以所述至少两帧目标图像作为一体化网络模型的输入，通过所述一体化网络模型对所述至少两帧目标图像中的所述步态信息进行分析，得到所述一体化网络模型输出的所述目标对象的步态特征向量；第一确定模块通过所述步态特征向量确定所述目标对象的身份信息。
[0006]
在人机交互中，人们会使用不同的交互手势动作，yohanan等人 [s.yohanan,k.maclean."the role of affective touch in human
‑
robotinteraction:human intent and expectations in touching the hapticcreature."international journal of social robotics,vol.4,no.2,pp. 163
‑
180,2012]总结了三十种人类在人际交互中可能使用的手势动作，并通过实验探究了三十种动作在不同情感下的使用频率。此
外，jung 等人[m.jung,r.poppe,m.poel,d.heylen."touc hing thevoid
‑‑
introducing cost:corpus of social touch."in proceedings of the16th international conference on multimodal interaction,pp.120
‑
127, 2014]使用电子皮肤建立了一个包含14种社交触摸手势的数据库(cost)。从手势数据中提取了28种特征，这些特征包括平均压力、最大压力、每行每列的平均压力、接触面积、持续时间等，使用支持向量机进行分类，取得了较好的分类效果。albawi等人[s.albawi,o. bayat,s.al
‑
azawi,and o.n.ucan,"social touch gesture recognitionusing convolutional neural network,"computational intelligence& neuroscience,vol.2018,pp.1
‑
10,2018]提出了一种基于二维卷积神经网络(cnn2d)的特征提取方法，在cost数据集上取得了现有最优的分类结果。
[0007]
综上所述，智能机器人可以通过人脸识别、虹膜识别、步态识别和声纹识别等方法进行人员身份辨识，这些识别方法大都基于视觉信息与听觉信息。然而在某些场景下，如夜间的医院或养老院，室内的光照强度较弱，且无法大声说话，当人员需要与机器人进行交互时，机器人需要其他模态的信息来进行人员身份的判断。触觉作为一种最基本的人际交互方式，却很少在机器人上得到应用。我们在研究中发现，触觉手势除了可以传递意图与情感信息，人们通过触觉交流时的一些个人习惯与特性也可以用于身份识别。电子皮肤在触觉手势分类上有着广泛的应用，但是现阶段尚未具有基于触觉信息进行人员身份识别的方法。
[0008]
除此之外，现有的神经网络模型在计算机视觉领域被广泛应用并取得了很好的效果，但是随着模型的不断增长，对处理器计算能力的要求也随之增加。
[0009]
基于以上描述，亟需一种新型的人员身份识别方法，以解决现有的机器人在光照强度较弱，且无法大声说话，人员需要与机器人进行交互时，机器人不能根据现有模态的信息来进行人员身份判断的问题。


技术实现要素：

[0010]
本发明的目的在于提供一种基于触觉感知的人员身份识别网络构建方法，在视觉信息与听觉信息无法有效采集的情景下，借助该人员身份识别网络，机器人利用人机交互时的触觉手势信息，实现对人员身份的识别。
[0011]
为实现上述目的，本发明提供如下技术方案：
[0012]
一种基于触觉感知的人员身份识别网络构建方法，包括步骤：
[0013]
s1.构建用于人员身份识别的触觉手势数据集；
[0014]
s2.去掉触觉手势数据集内数据的额外帧，对触觉手势数据集内的每一个样本进行数据归一化预处理；
[0015]
s3.数据裁剪补齐至f帧，当其帧数大于f/2时，将子样本填充到f，当其帧数小于f/2时，丢弃这段数据，裁剪后的数据
[0016]
其中，f表示触觉手势的帧数，d
×
d表示触觉手势一帧下的宽度与高度；
[0017]
s4.对步骤s3中预处理之后的数据按e％与h％的比例划分为训练数据集与验证数据集，得到训练数据集t＝{(x
i
,ls
i
)|i＝1,2,...,e％
×
r}，验证数据集v＝{(x
j
,ls
j
)|j＝1,2,...,h％
×
r}，
[0018]
其中，r表示数据集中的总样本量；
[0019]
s5.构建时空分离卷积模块，将步骤s4得到的训练数据集样本输入到时空分离卷积模块进行触觉手势特征提取；
[0020]
s6.构建人员身份分类模块，将步骤s5得到的触觉手势特征输入到人员身份分类模块，进行人员身份分类。
[0021]
作为优选，步骤s1包括子步骤：
[0022]
s11.微控制器将传感器与机器人的主控器电连接；
[0023]
s12.机器人的主控器获得机器人的n个固定服务对象中使用频率为前m类的手势动作，并获得m种手势交互动作相应的语言描述；
[0024]
s13.机器人将m种手势交互动作及相应的语言描述展示给各参与者，主控器采集所有参与者触摸传感器的手势数据作为样本并存储；
[0025]
s14.机器人将存储的所有样本可视化，对于每个参与者的每一种手势动作选择p个有效数据，得到的总样本数据量r＝p
×
m
×
n，每个样本的数据形式为其中，ti是触摸手势序列帧的数量；
[0026]
s15.对存储的样本赋予标签，将每个样本对应的参与者与手势进行标号，得到参与者标签ls∈{1,2,...,n}和手势标签lg∈{1,2,...,m}。
[0027]
作为优选，在步骤s2中，去掉额外帧的方法为：
[0028]
将d
×
d个通道的压力数据相加，以给定的步长移动一个固定宽度的窗口，计算所有两个相邻窗口的压力差，并将其与设置的阈值xth 进行比较，取第一个压力差大于阈值的帧作为起始帧，取最后一个压力差大于阈值的帧作为终止帧。
[0029]
作为优选，在步骤s2中，通过以下公式对触觉手势数据集内的每一个样本进行数据归一化预处理：
[0030][0031]
其中，x
i
和分别表示归一化前和归一化后的数据，x
max
和x
min
分别表示传感器输出范围的最大值和最小值。
[0032]
作为优选，在步骤s4中，e的取值为80，h的取值为20。
[0033]
作为优选，步骤s5包括子步骤：
[0034]
s51.使用n
l
‑1个k
×
k
×
1的空间卷积核对第l
‑
1层卷积层的特征图x
l
‑1进行空间卷积，得到np个空间卷积特征图f
s
，即f
s
＝w
s
*x
l
‑1，
[0035]
其中，表示通道卷积的权重参数，*表示卷积运算；
[0036]
s52.对于空间卷积特征图f
s
进行批标准化和非线性运算，得到f
s
′
。即f
s
′
＝f(f
s
)，
[0037]
其中，f(
·
)表示非线性运算，本实例采用relu激活函数；
[0038]
s53.使用np个1
×1×
k卷积核对空间卷积得到的特征图f
s
′
进行时间卷积，得到np个时间卷积特征图f
t
，即f
t
＝w
t
*f
s
′
，其中，表示时间卷积的权重参数；
[0039]
s54.对于时间卷积特征图f
t
进行批标准化和非线性运算，得到f
t
′
，即f
t
′
＝f(f
t
)；
[0040]
s55.使用2
×
2的过滤器，以2为步长对f
t
′
进行最大值池化；
[0041]
s56.对于训练数据集样本经过三层卷积层进行特征提取，得到的特征
图大小为其中，n
final
表示最后一层卷积层输出特征图的通道数。
[0042]
作为优选，步骤s6包括子步骤：
[0043]
s61.将步骤s56得到的特征图经全局平均池化得到最终特征
[0044]
s62.将最终特征输入到全连接层，全连接层的输入维度为n
final
，输出维度为人员身份数n；
[0045]
s63.将全连接层得到的输出维度输入到softmax分类器，得出属于各人员身份的概率值，预测概率值最大的类别即为该数据所属的人员类别。
[0046]
与现有技术相比，本发明的有益效果是：
[0047]
(1)由于本方案提供的是一种基于触觉感知的人员身份识别网络构建方法，人员身份识别网络包括卷积模块和识别模块，采用卷积模块对触觉数据进行特征提取，采用识别模块进行人员身份分类。具体为使用经验取样法进行数据采集，使得数据采集更接近日常中真实的触觉表达，使得机器人在视觉信息与听觉信息无法有效采集的情景下可以通过触觉信息实现对人员身份的识别。
[0048]
(2)本方案将人员身份识别模型进行轻量化设计，人员身份识别网络规模较小，因此，在不降低模型性能的前提下，使其适用于机器人等其他移动平台。
附图说明
[0049]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的具体实施方式一起用于解释本发明，并不构成对本发明的限制。
[0050]
图1是本实施例提供的基于触觉感知的识别人员身份的机器人装置的结构示意图；
[0051]
图2是本实施例提供的传感器工作原理图；
[0052]
图3是本实施例提供的基于触觉感知的人员身份识别网络构建方法流程图；
[0053]
图4是本实施例提供的时空分离卷积神经网络结构示意图。
[0054]
图中标号：
[0055]
1、机器人；2、触觉传感器；3、第l
‑
1层卷积层；4、空间卷积核；5、时间卷积核；6、第l层卷积层；21、第二层；22、第三层； 23、第四层。
具体实施方式
[0056]
下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
[0057]
本方案提供了一种基于触觉感知的人员身份识别网络构建方法该方案可以用于
机器人等其他移动平台。以下对基于触觉感知的人员身份识别网络构建方法及其应用平台机器人装置进行详细描述。
[0058]
基于触觉感知的识别人员身份的机器人装置实施例
[0059]
如图1所示，本发明提供一种基于触觉感知的识别人员身份的机器人装置，包括：机器人1、触觉传感器2、微控制器。所述微控制器与触觉传感器2和机器人1有线连接，用于触觉传感器2的供电及触觉传感器2和机器人1的数据通讯。所述触觉传感器2用于将用户的触摸手势信号转化为电信号，然后通过微控制器转换为数字信号传递给机器人1。所述机器人1将微控制器传递的数字信号进行预处理并保存，通过人员身份识别方法进行人员身份的判断。
[0060]
其中各部件参数与功能如下：
[0061]
1)机器人1采用ecs
‑
9100工控机作为主控器，搭载i7
‑
7700处理器，16g运行内存以及gtx1050的图形处理单元(gpu)。机器人1 上安装有语音交互系统及人脸识别两大交互系统，以及环境建图和导航系统。
[0062]
2)触觉传感器2采用从意大利plug&wear公司定制的压力传感器阵列。触觉传感器2由5层织物组成，触觉传感器2的第一层和第五层采用毛毯对传感器进行封装，第二到四层如图2所示。第二层 21和第四层23为正交放置的10
×
10组导电条，触觉传感器2空间分辨率为20mm。第三层22采用压阻材料。当触觉传感器2某个部位被按压时，压阻材料的电阻迅速减小，在该位置处的第二层21和第四层23的导电条中产生电流，进而确定按压位置，并且根据电流大小可以计算出按压力度。触觉传感器2在0
‑
3kg/cm2的压力范围内输出呈现线性变化。触觉传感器2的采样频率为50hz。
[0063]
3)微控制器选用arduino mega 2560 rev3控制器，拥有54个数字i/o端口，16个模拟输入端口，4个uarts(硬件串行端口)，1 个16mhz的晶体振荡器，同时还包括usb接口，电源插口，icsp 接口。
[0064]
如果将触觉传感器2应用于机器人1，机器人1就可以通过检测人员触摸手势实现人员身份的识别。现有的触觉传感器2按敏感材料大致可以分为压阻式、压电式、电容式、压磁式和光纤式等。其中，压阻式触觉传感器以其高灵敏度、高空间分辨率以及成熟的制造技术等优点得到了广泛应用。故本发明采用基于压阻式敏感元件设计的触觉传感器，于本方案中，所述触觉传感器2设计为柔性电子皮肤，并将其安装到机器人1的身体表面进行触觉手势数据的采集。
[0065]
基于触觉感知的人员身份识别网络构建方法实施例
[0066]
本方案提供的一种基于触觉感知的人员身份识别网络构建方法，人员身份识别网络包括卷积模块和识别模块，采用卷积模块对触觉数据进行特征提取，采用识别模块进行人员身份分类。
[0067]
如图3所示，人员身份识别网络构建方法包括步骤：
[0068]
s1.构建用于人员身份识别的触觉手势数据集。
[0069]
s2.去掉触觉手势数据集内数据的额外帧，对触觉手势数据集内的每一个样本进行数据归一化预处理。
[0070]
s3.数据裁剪补齐至f帧，当其帧数大于f/2时，将子样本填充到f，当其帧数小于f/2时，丢弃这段数据，裁剪后的数据其中，f表示触觉手势的帧数，d
×
d表示触觉
手势一帧下的宽度与高度。由于卷积模块的特点，输入数据必须保证维度以及大小的一致性，因此需要对所有数据进行截取以及补充的处理。为了保证分割后的原始数据的最后一个子样本包含足够的手势信息。
[0071]
s4.对步骤s3中预处理之后的数据按e％与h％的比例划分为训练数据集与验证数据集，得到训练数据集t＝{(x
i
,ls
i
)|i＝1,2,...,e％
×
r}，验证数据集v＝{(x
j
,ls
j
)|j＝1,2,...,h％
×
r}。其中，r表示数据集中的总样本量。
[0072]
s5.构建时空分离卷积模块，将步骤s4得到的训练数据集样本输入到时空分离卷积模块进行触觉手势特征提取。
[0073]
s6.构建人员身份分类模块，将步骤s5得到的触觉手势特征输入到人员身份分类模块，进行人员身份分类。
[0074]
于本实施例中，作为优选方案，步骤s1包括以下子步骤：
[0075]
s11.微控制器将传感器与机器人的主控器电连接。
[0076]
s12.首先人工选定机器人的固定服务对象，记为n个参与者，通过问卷调查得到在n个参与者中使用频率为前m类的手势动作，给出m种手势相应的语言描述。从机器人的操作层面来说，机器人的主控器获得机器人的n个固定服务对象中使用频率为前m类的手势动作，并获得m种手势交互动作相应的语言描述。
[0077]
具体的，本发明提出的装置及方法适用于一定区域内的确定人群，故需要针对区域内的所有人员进行触觉数据采集。选定机器人的固定服务对象共15个参与者，通过问卷调查，选择所有参与者使用频率为前10的手势交互动作(击打，抚摸，揉搓，拍打，戳，敲击，推，按压，挠，胳肢)，并将其相应的语言描述展示给各参与者。使用的 10种手势为经过问卷调查得到的确定人群中使用频率前十的手势动作，因而在识别这些确定人员身份时，被试大概率会使用这10种手势中的一种。
[0078]
将机器人投放到15个参与者所在的固定场所，采集所有参与者在日常生活中触摸传感器的手势数据并存储，采用在线自我报告的方法在记录手势数据后在线填写手势信息和身份信息，将手势标签和人员身份标签作为数据样本标签存储。
[0079]
通过将存储的所有数据可视化，在每个参与者的每一种手势动作中选择10个有效数据，得到的总样本数据量r＝p
×
m
×
n(本实例为 1500)。每个样本的数据形式为其中10
×
10表示传感器单元的空间分布，ti是触摸手势序列帧的数量。
[0080]
s13.机器人将m种手势交互动作及相应的语言描述展示给各参与者，机器人被投放到服务对象所在的固定场所，主控器采集所有参与者触摸传感器的手势数据作为样本并存储。
[0081]
s14.机器人将存储的所有样本可视化，对于每个参与者的每一种手势动作选择p个有效数据，得到的总样本数据量r＝p
×
m
×
n，每个样本的数据形式为其中，ti是触摸手势序列帧的数量；
[0082]
s15.对存储的样本赋予标签，将每个样本对应的参与者与手势进行标号，得到参与者标签ls∈{1,2,...,n}和手势标签lg∈{1,2,...,m}。
[0083]
于本实施例中，在步骤s2中，为了减少无用的噪声信号对网络特征提取所造成的影响，本方案使用滑动窗口的方法去掉额外帧。具体的，去掉额外帧的方法为：
[0084]
根据手势强度随时间的变化特点，将d
×
d个通道的压力数据相加，以给定的步长移动一个固定宽度的窗口，计算所有两个相邻窗口的压力差，并将其与设置的阈值xth进行比较，取第一个压力差大于阈值的帧作为起始帧，取最后一个压力差大于阈值的帧作为终止帧。其中，在本实施例中，d
×
d的取值为10，但并不局限于10。
[0085]
由于每个人对于相同手势表达方式存在差异，因此数据的分布也会存在差异。为尽可能消除此差异，将数据在输入训练网络前进行归一化。于本实施例中，在步骤s2中，通过以下公式对触觉手势数据集内的每一个样本进行数据归一化预处理：
[0086][0087]
其中，x
i
和分别表示归一化前和归一化后的数据，x
max
和x
min
分别表示传感器输出范围的最大值和最小值，在本实例中为1024和0。
[0088]
于本实施例中，在步骤s3中，作为优选方案，将数据裁剪补齐至48帧。所有样本数据以48帧为一个子样本进行数据分割。为了保证分割后的数据最后一个子样本包含足够的手势信息，当其帧数大于24时，将子样本填充到48，当其帧数小于24时，丢弃这段数据。裁剪后的数据
[0089]
于本实施例中，在步骤s4中，作为优选方案，e的取值为80， h的取值为20。即将所有样本数据按参与者标签按80％与20％的比例划分为训练集与验证集。得到训练数据集t＝{(x
i
,ls
i
)|i＝1,2,...,1200}，验证数据集v＝{(x
j
,ls
j
)|j＝1,2,...,300}。
[0090]
于本实施例中，作为优选方案，如图4所示，步骤s5包括以下子步骤：
[0091]
s51.使用n
l
‑1个k
×
k
×
1的空间卷积核4对第l
‑
1层卷积层3的特征图x
l
‑1进行空间卷积，得到np个空间卷积特征图f
s
。即f
s
＝w
s
*x
l
‑1，其中，表示通道卷积的权重参数，*表示卷积运算。
[0092]
s52.对于空间卷积特征图f
s
进行批标准化和非线性运算，得到f
s
′
。即f
s
′
＝f(f
s
)，其中，f(
·
)表示非线性运算，本实例采用relu激活函数。
[0093]
s53.使用np个1
×1×
k的时间卷积核5对空间卷积得到的特征图 f
s
′
进行时间卷积，得到np个时间卷积特征图f
t
。即f
t
＝w
t
*f
s
′
，其中，表示时间卷积的权重参数。
[0094]
s54.对于时间卷积特征图f
t
进行批标准化和非线性运算，得到f
t
′
。即f
t
′
＝f(f
t
)。
[0095]
s55.使用2
×
2的过滤器，以2为步长对f
t
′
进行最大值池化。
[0096]
构建时空分离卷积模块的整体运算可表示为
[0097]
x
l
＝f(w
t
*f(w
s
*x
l
‑1))
ꢀꢀꢀ
(1)
[0098]
使用构建时空分离卷积模块进行单次卷积计算的参数量为
[0099]
n
sts
＝n
l
‑1×3×3×1×
n
p
+n
p
×1×1×3×
n
l
ꢀꢀꢀ
(2)
[0100]
对于相同的输入，构建时空分离卷积模块单次卷积参数量与标准 3d卷积之比为
[0101][0102]
通过调节输入通道数、中间通道数与输出通道数可以实现模型计算精度与参数量的均衡。当n
l
＝n
l
‑1＝2n
p
时，单次卷积参数量可以减小为对应标准3d卷积的约20％。训练过
程中通过减小参数np值的大小可以降低特征提取网络的规模。
[0103]
对于第l层卷积层6，通过步骤1
‑
步骤5继续进行特征提取。
[0104]
s56.对于训练数据集样本经过三层构建时空分离卷积模块卷积层(步骤1
‑
步骤5)进行特征提取，得到的特征图大小为其中，n
final
表示最后一层卷积层输出特征图的通道数，它的实际意思其实就是最后一层卷积层输出有n
final
个特征图。三层构建时空分离卷积模块中n
l
‑1与n
l
分别设置为1，32；32，128和128， 256。通过调节中间层通道数可以实现网络精度与参数量的权衡。
[0105]
于本实施例中，作为优选方案，步骤s6包括以下子步骤：
[0106]
s61.将步骤s56得到的特征图经全局平均池化得到最终特征
[0107]
全局平均池化即是对每个特征图进行平均池化(即计算一个平均值)，因而得到最终特征。人员身份识别网络使用全局平均池化代替全连接层，减少了全连接层的参数与计算量，全局平均池化可以降低身份识别网络的规模。
[0108]
s62.将最终特征输入到全连接层，全连接层的输入维度为n
final
，输出维度为人员身份数n。
[0109]
s63.将全连接层得到的输出维度输入到softmax分类器，得出属于各人员身份的概率值，预测概率值最大的类别即为该数据所属的人员类别。
[0110]
本发明的装置结构简单，方法易操作，可准确识别用户身份，有很高的实用价值。
[0111]
尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下，可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。