基于视觉的触觉传感器标定方法及装置与流程

1.本技术涉及触觉传感器标定领域，尤其涉及一种基于视觉的触觉传感器标定方法及装置。


背景技术：

2.基于视觉的触觉传感器(例如，凝胶视觉传感器gelsight)是一种通过采集传感器接触面的形变图像，利用光度立体学原理，还原接触面的三维几何形变以实现触觉传感的传感器，被广泛应用于机器人的抓取与操控场景中。
3.在相关技术中，基于视觉的触觉传感器的标定需要采集大量接触面的真实形变图像，耗时较长，效率较低，严重制约了此类传感器的批量生产。因此，亟需一种高效的标定方法，以利于此类传感器的进一步应用与批量制造。


技术实现要素：

4.本技术的目的是提供一种基于视觉的触觉传感器标定方法及装置，用于通过仿真的方式批量生成传感器的接触面的形变图像，提高基于视觉的触觉传感的标定效率。
5.本技术提供一种基于视觉的触觉传感器标定方法，包括：
6.获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准；通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
7.可选地，所述获取目标传感器采集的接触面形变图像，包括：控制预设尺寸的校准小球与所述目标传感器的接触面接触，并控制所述校准小球在所述接触面上按压至半球位置；采集所述接触面的形变图像，得到所述接触面形变图像。
8.可选地，所述近场相机模型包括：相机几何模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：获取所述目标传感器的相机内参，并基于所述目标传感器的相机位置构建相机坐标系，基于所述接触面构建世界坐标系；根据所述世界坐标系到所述相机坐标系的三维刚性变换，确定近场相机的外参；根据所述相机内参以及所述近场相机的外参，建立所述相机几何模型；基于相机几何校准法对所述相机几何模型的相机内参和相机外参进行校准。
9.可选地，所述近场相机模型包括：相机辐射模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：根据所述接触面形变图像，确定每个颜色通道的图像值以及每个颜色通道的图像照度；根据所述每个颜色通道的图像值以及所述每个颜色通道的图像照度，确定近场相机的光度响应曲线；根据所述接触面形变图像的每个颜色通道的图像照度，确定近场相机的晕影效应；根据所述近场相机的光度响应曲线以及所述近场
相机的晕影效应，建立所述相机辐射模型；基于光度响应曲线校准法对所述相机辐射模型的光度响应曲线进行校准，以及基于晕影效应校准法对所述相机辐射模型的晕影效应进行校准。
10.可选地，所述近场光源模型包括：光源几何模型和光源辐射模型；所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：根据所述目标传感器每个光源的位置，建立所述光源几何模型，并通过光源位置校准方法对所述光源几何模型中每个光源的位置进行校准；根据所述目标传感器每个光源的主光轴方向以及每个光源在不同方向上的相对能量强度，建立所述光源辐射模型，并根据所述接触面形变图像中每个像素的亮度对所述光源辐射模型中每个光源的辐射情况进行校准。
11.可选地，所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：采用广义朗伯反射模型作为所述表面反射模型；基于所述接触面形变图像，使用列文伯格-马夸尔特算法对所述表面反射模型的表面粗糙度以及表面反射率进行校准。
12.可选地，所述根据采集到的所述接触面形变图像完成仿真器的建立和校准，包括：基于光线与几何面片的相交关系计算所述接触面被按压时的表面形变，并使用高斯金字塔对形变区域与非形变区域进行平滑处理。
13.可选地，所述目标模型为卷积神经网络模型；所述基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定，包括：计算所述模拟按压图像集合中每个模拟按压图像对应的所述接触面的表面法向量场；使用所述模拟按压图像集合以及所述模拟按压图像集合中每个模拟按压图像对应的表面法向量场作为所述目标模型的训练样本对所述目标模型进行训练；其中，所述目标模型为全卷积编码器-解码器架构，以余弦相似度作为损失函数；所述编码器包括：5个卷积层，用于将图像的特征尺度降低预设倍数以减小计算量；所述解码器包括：6个卷积层以及一个l2归一化层，用于回归每个像素的表面法向量以及将图像的特征尺度提升所述预设倍数以还原图像尺度。
14.可选地，所述使用所述模拟按压图像集合以及所述模拟按压图像集合中每个模拟按压图像对应的表面法向量场作为所述目标模型的训练样本对所述目标模型进行训练，包括：将输入的模拟按压图像与所述接触面在无按压状态下的图像进行相差运算，保留所述接触面产生形变部分的图像；将所述形变部分的图像输入所述目标模型，得到所述接触面形变后的表面法向量场的预测结果。
15.本技术还提供一种基于视觉的触觉传感器标定装置，包括：
16.获取模块，用于获取目标传感器采集的接触面形变图像；仿真模块，用于根据采集到的所述接触面形变图像完成仿真器的建立和校准；生成模块，用于通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；标定模块，用于基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
17.可选地，所述控制还包括：控制模块；所述控制模块，用于控制预设尺寸的校准小球与所述目标传感器的接触面接触，并控制所述校准小球在所述接触面上按压至半球位置；所述获取模块，具体用于采集所述接触面的形变图像，得到所述接触面形变图像。
18.可选地，所述装置还包括：确定模块；所述近场相机模型包括：相机几何模型；所述获取模块，还用于获取所述目标传感器的相机内参；所述仿真模块，用于基于所述目标传感器的相机位置构建相机坐标系，基于所述接触面构建世界坐标系；所述确定模块，用于根据所述世界坐标系到所述相机坐标系的三维刚性变换，确定近场相机的外参；所述仿真模块，具体用于根据所述相机内参以及所述近场相机的外参，建立所述相机几何模型；所述仿真模块，具体还用于基于相机几何校准法对所述相机几何模型的相机内参和相机外参进行校准。
19.可选地，所述近场相机模型包括：相机辐射模型；所述确定模块，还用于根据所述接触面形变图像，确定每个颜色通道的图像值以及每个颜色通道的图像照度；所述确定模块，还用于根据所述每个颜色通道的图像值以及所述每个颜色通道的图像照度，确定近场相机的光度响应曲线；所述确定模块，还用于所述确定模块，还用于根据所述接触面形变图像的每个颜色通道的图像照度，确定近场相机的晕影效应；所述仿真模块，具体还用于根据所述近场相机的光度响应曲线以及所述近场相机的晕影效应，建立所述相机辐射模型；所述仿真模块，具体还用于基于光度响应曲线校准法对所述相机辐射模型的光度响应曲线进行校准，以及基于晕影效应校准法对所述相机辐射模型的晕影效应进行校准。
20.可选地，所述近场光源模型包括：光源几何模型和光源辐射模型；所述仿真模块，具体用于根据所述目标传感器每个光源的位置，建立所述光源几何模型，并通过光源位置校准方法对所述光源几何模型中每个光源的位置进行校准；所述仿真模块，具体还用于根据所述目标传感器每个光源的主光轴方向以及每个光源在不同方向上的相对能量强度，建立所述光源辐射模型，并根据所述接触面形变图像中每个像素的亮度对所述光源辐射模型中每个光源的辐射情况进行校准。
21.可选地，所述确定模块，还用于采用广义朗伯反射模型作为所述表面反射模型；所述仿真模块，具体用于基于所述接触面形变图像，使用列文伯格-马夸尔特算法对所述表面反射模型的表面粗糙度以及表面反射率进行校准。
22.可选地，所述仿真模块，具体用于基于光线与几何面片的相交关系计算所述接触面被按压时的表面形变，并使用高斯金字塔对形变区域与非形变区域进行平滑处理。
23.可选地，所述装置还包括：计算模块；所述目标模型为卷积神经网络模型；所述计算模块，用于计算所述模拟按压图像集合中每个模拟按压图像对应的所述接触面的表面法向量场；所述标定模块，具体使用所述模拟按压图像集合以及所述模拟按压图像集合中每个模拟按压图像对应的表面法向量场作为所述目标模型的训练样本对所述目标模型进行训练；其中，所述目标模型为全卷积编码器-解码器架构，以余弦相似度作为损失函数；所述编码器包括：5个卷积层，用于将图像的特征尺度降低预设倍数以减小计算量；所述解码器包括：6个卷积层以及一个l2归一化层，用于回归每个像素的表面法向量以及将图像的特征尺度提升所述预设倍数以还原图像尺度。
24.可选地，所述标定模块，具体用于将输入的模拟按压图像与所述接触面在无按压状态下的图像进行相差运算，保留所述接触面产生形变部分的图像；所述标定模块，具体还用于将所述形变部分的图像输入所述目标模型，得到所述接触面形变后的表面法向量场的预测结果。
25.本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令
被处理器执行时实现如上述任一种所述基于视觉的触觉传感器标定方法的步骤。
26.本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于视觉的触觉传感器标定方法的步骤。
27.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于视觉的触觉传感器标定方法的步骤。
28.本技术提供的基于视觉的触觉传感器标定方法及装置，首先获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准。之后，通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合。最后，基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定，极大地提高了基于视觉的触觉传感器的标定效率。
附图说明
29.为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本技术提供的基于视觉的触觉传感器标定方法的流程示意图；
31.图2是本技术提供的相机透视投影模型示意图；
32.图3是本技术提供的晕影效应示意图；
33.图4是本技术提供的基于视觉的触觉传感器标定装置的结构示意图；
34.图5是本技术提供的电子设备的结构示意图。
具体实施方式
35.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
37.gelsight是一种基于视觉的触觉传感器，通过采集传感器接触面图像，利用光度立体学原理，还原接触面三维几何形变以实现触觉传感。获得由传感器原始图像到三维几何形变所需模型及其参数，叫做传感器的标定。gelsight传感器被广泛应用于机器人操控任务。
38.在相关技术中，gelsight传感器在众多使用场景(例如，机械手)中，需要同时设置
大量此类传感器以完成触觉感知，且由于gelsight的标定需通过采集大量真实传感器数据完成(受限于此类传感器的体积，其内部通常仅设置有一个相机，对此类相机的标定需要使用更多的真实形变图像)，不利于高效地实现此类传感器的批量生产。因此，标定效率严重制约了此类传感器的推广和应用。
39.针对相关技术中存在的上述技术问题，本技术实施例提供的基于视觉的触觉传感器标定方法旨在解决此类触觉传感器的小样本几何形变标定问题，本技术实施例提供的基于视觉的触觉传感器标定方法可至少降低数据采集量约1个数量级。
40.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的基于视觉的触觉传感器标定方法进行详细地说明。
41.如图1所示，本技术实施例提供的一种基于视觉的触觉传感器标定方法，该方法可以包括下述步骤101至步骤103：
42.步骤101、获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准。
43.其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立。
44.示例性地，上述目标传感器为基于视觉的触觉传感器；上述接触面形变图像为目标传感器的接触面与物体接触并产生形变的图像。
45.需要说明的是，基于视觉的触觉传感器的接触面通常为硅胶材质，当接触面与物体接触后会产生形变，得到由接触面的形变图像推导出接触面的三维几何形变所需的模型称为传感器的标定。
46.示例性地，为了能够更加真实的模拟出接触面与不同的物体接触时产生形变的形变图像，本技术实施例中的仿真器需要包括：近场相机模型，近场光源模型，表面反射模型，投射阴影模型以及表面形变模型。
47.示例性地，基于目标传感器的相机参数、光源分布情况以及采集的较少数量的真实形变图像，便可以完成仿真器的建立和校准。
48.步骤102、通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合。
49.示例性地，在完成仿真器的建立和校准之后，便可以使用该仿真器生成大量的接触面与不同形状的物体接触时的模拟按压图像集合，并基于该模拟按压图像集合中的图像，完成对目标传感器的标定。
50.步骤103、基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定。
51.其中，训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
52.需要说明的是，本技术实施例结合gelsight传感器的特点，首先通过几何光学物理建模与参数估计的方式，构建此类传感器的光学仿真器，即real2sim。此过程中，需对近场相机、近场光源、材料反射与表面形变等要素进行物理建模与参数估计，该过程可通过采集少量真实数据即可完成。建立传感器光学仿真器，类似于基于模型的光度立体法中建立传感器成像模型(正问题)的过程，通过物理模型，代替真实数据。
53.而后，通过该仿真器，可生成大量接触面与不同物体接触产生形变时传感器的读数与形变法向量场真值的配对数据，利用一个卷积神经网络，作为逆问题求解器，完成逆问题的求解，即可最终完成此类传感器的高效标定。此过程通过神经网络建立从图像到所对应几何形变法向量场的映射，且训练数据源于仿真器，而非真实传感器采集数据，因此，能够省去真是图像的采集过程，极大地提高了传感器的标定效率。
54.最后，部署训练后的神经网络模型，即可对真实传感器数据(传感器采集的接触面的形变图像)进行几何形变估计，即sim2real。
55.可选地，在本技术实施例中，上述仿真器中各个模型的建立和校准，可以通过以下步骤完成。
56.示例性地，在建立上述模型之前，首先需要采集一定数量的真实形变图像。
57.具体地，上述步骤101，可以包括以下步骤101a1和步骤101a2：
58.步骤101a1、控制预设尺寸的校准小球与所述目标传感器的接触面接触，并控制所述校准小球在所述接触面上按压至半球位置。
59.步骤101a2、采集所述接触面的形变图像，得到所述接触面形变图像。
60.示例性地，可以选择直径为2毫米的校准小球，该校准小球的一部分(半球)位于目标传感器的接触面水平线之下，另一部分(半球)位于目标传感器的接触面水平线之上。之后，完成接触面形变图像的采集。
61.需要说明的是，针对不同模型的校准需要使用的真实形变图像的数量不完全形同，如以下表1所示，为不同模型的校准需要使用的真实形变图像的数量：
[0062][0063]
表1
[0064]
需要说明的是，在本技术实施例中，相机几何校准、相机辐射校准、表面反射校准可只校准一次，其余两类校准(光源辐射校准和表面反射校准)需对每个传感器单独进行。因此，本发明所提方法的极限最小数据采集量为6张，即上述接触面形变图像最少包括接触面的六个真实形变图像。基于6张真实形变图像，可建立仿真器，模拟该传感器的按压过程，最终通过卷积深度神经网络完成对该传感器的标定。
[0065]
示例性地，上述近场相机模型包括：相机几何模型和相机辐射模型。
[0066]
具体地，上述步骤102中针对近场相机模型中相机几何模型的建立和校准，可以包括以下步骤102a1至步骤102a4：
[0067]
步骤102a1、获取所述目标传感器的相机内参，并基于所述目标传感器的相机位置构建相机坐标系，基于所述接触面构建世界坐标系。
[0068]
步骤102a2、根据所述世界坐标系到所述相机坐标系的三维刚性变换，确定近场相机的外参。
[0069]
步骤102a3、根据所述相机内参以及所述近场相机的外参，建立所述相机几何模型。
[0070]
步骤102a4、基于相机几何校准法对所述相机几何模型的相机内参和相机外参进
行校准。
[0071]
示例性地，相机几何模型可被相机透视投影模型所描述，旨在建立从三维世界到二维相机的几何投影关系，如图2所示，一个三维空间点到二维相平面上的投影点{p}x，可通过以下公式一表示：
[0072][0073]
其中，{c}和{p}分别表示相机坐标系和像素坐标系，{w}表示世界坐标系，xy平面(即参考平面)与传感器的接触面平行。k表示相机的内参，可直接通过传感器的参数获取。由{w}到{c}的三维刚性变换称为相机的外参。根据相机的外参和内参可以建立相机几何模型，之后，可以通过相机几何校准法对相机几何模型的相机内参和相机外参进行校准。
[0074]
具体地，上述步骤102中针对近场相机模型中相机辐射模型的建立和校准，可以包括以下步骤102b1至步骤102b5：
[0075]
步骤102b1、根据所述接触面形变图像，确定每个颜色通道的图像值以及每个颜色通道的图像照度。
[0076]
步骤102b2、根据所述每个颜色通道的图像值以及所述每个颜色通道的图像照度，确定近场相机的光度响应曲线。
[0077]
步骤102b3、根据所述接触面形变图像的每个颜色通道的图像照度，确定近场相机的晕影效应。
[0078]
步骤102b4、根据所述近场相机的光度响应曲线以及所述近场相机的晕影效应，建立所述相机辐射模型。
[0079]
步骤102b5、基于光度响应曲线校准法对所述相机辐射模型的光度响应曲线进行校准，以及基于晕影效应校准法对所述相机辐射模型的晕影效应进行校准。
[0080]
示例性地，相机辐射模型考虑相机的光度响应与晕影效应，晕影效应如图3所示。由于传感器相机采用rgb相机，在工作状态时关闭自动白平衡，因此每个颜色通道拥有各自的单调的相机光度响应，记为{fc}
c＝r,g,b
。其关联了观测的图像值{mc}
c＝r,g,b
与图像照度{ic}
c＝r,g,b
，即mc＝fc(ic)。因此，在已知图像值与图像照度的情况下，通过相机光度响应校准法可以计算得到传感器相机的每个颜色通道的相机光度响应{fc}
c＝r,g,b
。该相机光度响应用于仿真相机光度响应曲线。校准中采用五阶多项式函数描述该曲线。相机晕影效应描述了图像照度在图像平面空间分布的不均衡性，采用晕影效应校准法进行估测。
[0081]
综上，通过对相机几何与辐射模型的描述与校准，可建立仿真器模拟gelsight传感器任意表面辐射亮度下，相机的观测图像值其中(i,j)表示图像的像素位置，由相机几何模型所决定。
[0082]
示例性地，上述近场光源模型包括：光源几何模型和光源辐射模型。
[0083]
具体地，上述步骤102中针对近场光源模型中光源几何模型和光源辐射模型的建立和校准，可以包括以下步骤102c1和步骤102c2：
[0084]
步骤102c1、根据所述目标传感器每个光源的位置，建立所述光源几何模型，并通过光源位置校准方法对所述光源几何模型中每个光源的位置进行校准。
[0085]
示例性地，对于gelsight传感器，光源通常由若干分布在不同位置的发光二极管(light-emitting diode，led)光源所组成。工作时，所有led光源同时点亮。由于每个led光源的灯珠的尺寸远小于其工作距离，因此可以视为点光源。
[0086]
基于此，上述近场相机的光源几何模型可被目标传感器的各点光源位置所描述，即(n为led光源数量，n≥3)。各光源的位置可由光源位置校准法所获得。
[0087]
步骤102c2、根据所述目标传感器每个光源的主光轴方向以及每个光源在不同方向上的相对能量强度，建立所述光源辐射模型，并根据所述接触面形变图像中每个像素的亮度对所述光源辐射模型中每个光源的辐射情况进行校准。
[0088]
示例性地，光源辐射模型可以描述每个led光源延不同方向的相对能量强度以及其主光轴的方向。可通过以下公式二表示：
[0089][0090]
其中，表示第k个led光源的主光轴方向，与ηk和μk同时作为为光源辐射模型的模型参数。为与图像的第(i,j)个像素对应的表面所接收的第k个光源方向，为其与光源的距离。该光源辐射模型的模型参数可根据接触面形变图像中每个像素的亮度对光源辐射模型中每个光源的辐射情况方法完成校准。需要说明的是，每个led光源单独进行校准。
[0091]
示例性地，上述近场相机模型包括：表面反射模型。
[0092]
具体地，上述步骤102中针对表面反射模型的建立和校准，可以包括以下步骤102d1和步骤102d2：
[0093]
步骤102d1、采用广义朗伯反射模型作为所述表面反射模型。
[0094]
步骤102d2、基于所述接触面形变图像，使用列文伯格-马夸尔特算法对所述表面反射模型的表面粗糙度以及表面反射率进行校准。
[0095]
示例性地，上述目标传感器的接触面采用弹性体硅胶材质。该种硅胶材质理论上可近似看作朗伯反射模型。由于硅胶表面粗糙度的存在，本技术实施例中仿真器采用广义朗伯反射模型描述硅胶反射。假设接触面材质空间一致，接触面单一光源照射下，辐射亮度可通过以下公式三至公式六表示：
[0096][0097][0098]
[0099][0100]
其中，与分别表示入射方向和出射方向，σ表示表面粗糙度，ρc表示表面反射率，表面粗糙度和表面反射率可以通过采集的接触面形变图像进行校准。
[0101]
具体地，在已知校准小球的尺寸以及按压点的情况下，利用列文伯格-马夸尔特levenberg-marquardt算法进行反射模型拟合即可完成表面反射模型中表面粗糙度和表面反射率的校准。整体接触表面的辐射亮度符合叠加原理，即各个光源的叠加，可以通过以下公式七表示：
[0102][0103]
示例性地，除了像素级影调局部影响因子，全局影响因子也许包含在仿真器内，包括二次反射与投射阴影。由于gelsight采用黑色低反射率材料外壳，二次反射的影响可忽略不计。因此，本技术实施例中采用经典隐藏点删除(hidden point removal，hpr)模型作为投射阴影模型。
[0104]
具体地，上述步骤102中针对表面形变模型的建立和校准，可以包括以下步骤102e：
[0105]
步骤102e、基于光线与几何面片的相交关系计算所述接触面被按压时的表面形变，并使用高斯金字塔对形变区域与非形变区域进行平滑处理。
[0106]
示例性地，当传感器接触面被按压时，仿真器首先利用光线-几何面片相交关系计算被按压物体的可见表面，非接触表面可被同时计算。由于硅胶材料的连续性，接触物体边缘被平滑，可采用高斯金字塔方式对相应平滑进行仿真。
[0107]
可选地，在本技术实施例中，完成上述仿真器的建立和校准之后，便可以使用该仿真器生成模拟按压图像，并基于生成的模拟按压图像完成对目标传感器的标定。
[0108]
具体地，上述目标模型为卷积神经网络模型，上述步骤103，可以包括以下步骤103a和步骤103b：
[0109]
步骤103a、计算所述模拟按压图像集合中每个模拟按压图像对应的所述接触面的表面法向量场。
[0110]
步骤103b、使用所述模拟按压图像集合以及所述模拟按压图像集合中每个模拟按压图像对应的表面法向量场作为所述目标模型的训练样本对所述目标模型进行训练。
[0111]
其中，所述目标模型为全卷积编码器-解码器架构，以余弦相似度作为损失函数；所述编码器包括：5个卷积层，用于将图像的特征尺度降低预设倍数以减小计算量；所述解码器包括：6个卷积层以及一个l2归一化层，用于回归每个像素的表面法向量以及将图像的特征尺度提升所述预设倍数以还原图像尺度。
[0112]
具体地，上述步骤103b，可以包括以下步骤103b1和步骤103b2：
[0113]
步骤103b1、将输入的模拟按压图像与所述接触面在无按压状态下的图像进行相差运算，保留所述接触面产生形变部分的图像。
[0114]
步骤103b2、将所述形变部分的图像输入所述目标模型，得到所述接触面形变后的
表面法向量场的预测结果。
[0115]
示例性地，上述目标模型的训练数据的形状采用blobby shape数据集与tactile shape数据集两个数据集中共计31种三维形状。对每一种形状，都可以在仿真器中采用432种不同的按压角度(3尺度x 12方位角x 12高度角)，每种角度下，在27个接触面不同位置进行按压(xyz各3个)。由此，由仿真器模拟不同形状、不同角度与不同位置的按压，共计361584次，得到传感器模拟按压图像与表面法向量场真值数据用于训练。同时，按照98：2的比例对所有样本划分训练集与验证集。
[0116]
示例性地，上述目标模型神经网络的结构为：全卷积编码-解码架构。传感器按压图像首先与其无按压下的图像做差，作为神经网络的输入，而输出为预测的按压后的表面法向量场。编码器采用5层卷积神经网络，将图像的特征尺度降低4倍以减小运算量，而后解码器采用6层卷积神经网络与一个l2归一化层，回归每个像素的表面法向量。解码器将特征尺度升高4倍，保有了原图像尺度，因此该神经网络结构可适配不同传感器图像大小。
[0117]
示例性地，上述目标模型以cosine相似度作为损失函数，可以通过以下公式八表示：
[0118][0119]
其中，h和w分别表示传感器图像的高度和宽度，与分别表示表面法向量的真值与预测值。
[0120]
示例性地，模型的训练在pytorch中实现，训练时对图像加以方差为0.01的白噪声用于图像扩增。采用adam优化器进行求解。训练过程批尺寸大小为128。
[0121]
示例性地，通过训练后的目标模型，可获得gelsight接触面表面形变法向量场，进一步可借助法向量场的积分，获得传感器接触表面几何形变，同时，积分需考虑近场相机的影响。
[0122]
本技术实施例提供的基于视觉的触觉传感器标定方法，首先获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准。之后，通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合。最后，基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定，极大地提高了基于视觉的触觉传感器的标定效率。
[0123]
需要说明的是，本技术实施例提供的基于视觉的触觉传感器标定方法，执行主体可以为基于视觉的触觉传感器标定装置，或者该基于视觉的触觉传感器标定装置中的用于执行基于视觉的触觉传感器标定方法的控制模块。本技术实施例中以基于视觉的触觉传感器标定装置执行基于视觉的触觉传感器标定方法为例，说明本技术实施例提供的基于视觉的触觉传感器标定装置。
[0124]
需要说明的是，本技术实施例中，上述各个方法附图所示的。基于视觉的触觉传感器标定方法均是以结合本技术实施例中的一个附图为例示例性的说明的。具体实现时，上述各个方法附图所示的基于视觉的触觉传感器标定方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。
[0125]
下面对本技术提供的基于视觉的触觉传感器标定装置进行描述，下文描述的与上文描述的基于视觉的触觉传感器标定方法可相互对应参照。
[0126]
图4为本技术一实施例提供的基于视觉的触觉传感器标定装置的结构示意图，如图4所示，具体包括：
[0127]
获取模块401，用于获取目标传感器采集的接触面形变图像；仿真模块402，用于根据采集到的所述接触面形变图像完成仿真器的建立和校准；生成模块403，用于通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；标定模块404，用于基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
[0128]
可选地，所述控制还包括：控制模块；所述控制模块，用于控制预设尺寸的校准小球与所述目标传感器的接触面接触，并控制所述校准小球在所述接触面上按压至半球位置；所述获取模块401，具体用于采集所述接触面的形变图像，得到所述接触面形变图像。
[0129]
可选地，所述装置还包括：确定模块；所述近场相机模型包括：相机几何模型；所述获取模块401，还用于获取所述目标传感器的相机内参；所述仿真模块402，用于基于所述目标传感器的相机位置构建相机坐标系，基于所述接触面构建世界坐标系；所述确定模块，用于根据所述世界坐标系到所述相机坐标系的三维刚性变换，确定近场相机的外参；所述仿真模块402，具体用于根据所述相机内参以及所述近场相机的外参，建立所述相机几何模型；所述仿真模块402，具体还用于基于相机几何校准法对所述相机几何模型的相机内参和相机外参进行校准。
[0130]
可选地，所述近场相机模型包括：相机辐射模型；所述确定模块，还用于根据所述接触面形变图像，确定每个颜色通道的图像值以及每个颜色通道的图像照度；所述确定模块，还用于根据所述每个颜色通道的图像值以及所述每个颜色通道的图像照度，确定近场相机的光度响应曲线；所述确定模块，还用于所述确定模块，还用于根据所述接触面形变图像的每个颜色通道的图像照度，确定近场相机的晕影效应；所述仿真模块402，具体还用于根据所述近场相机的光度响应曲线以及所述近场相机的晕影效应，建立所述相机辐射模型；所述仿真模块402，具体还用于基于光度响应曲线校准法对所述相机辐射模型的光度响应曲线进行校准，以及基于晕影效应校准法对所述相机辐射模型的晕影效应进行校准。
[0131]
可选地，所述近场光源模型包括：光源几何模型和光源辐射模型；所述仿真模块402，具体用于根据所述目标传感器每个光源的位置，建立所述光源几何模型，并通过光源位置校准方法对所述光源几何模型中每个光源的位置进行校准；所述仿真模块402，具体还用于根据所述目标传感器每个光源的主光轴方向以及每个光源在不同方向上的相对能量强度，建立所述光源辐射模型，并根据所述接触面形变图像中每个像素的亮度对所述光源辐射模型中每个光源的辐射情况进行校准。
[0132]
可选地，所述确定模块，还用于采用广义朗伯反射模型作为所述表面反射模型；所述仿真模块402，具体用于基于所述接触面形变图像，使用列文伯格-马夸尔特算法对所述表面反射模型的表面粗糙度以及表面反射率进行校准。
[0133]
可选地，所述仿真模块402，具体用于基于光线与几何面片的相交关系计算所述接触面被按压时的表面形变，并使用高斯金字塔对形变区域与非形变区域进行平滑处理。
[0134]
可选地，所述装置还包括：计算模块；所述目标模型为卷积神经网络模型；所述计
算模块，用于计算所述模拟按压图像集合中每个模拟按压图像对应的所述接触面的表面法向量场；所述标定模块404，具体使用所述模拟按压图像集合以及所述模拟按压图像集合中每个模拟按压图像对应的表面法向量场作为所述目标模型的训练样本对所述目标模型进行训练；其中，所述目标模型为全卷积编码器-解码器架构，以余弦相似度作为损失函数；所述编码器包括：5个卷积层，用于将图像的特征尺度降低预设倍数以减小计算量；所述解码器包括：6个卷积层以及一个l2归一化层，用于回归每个像素的表面法向量以及将图像的特征尺度提升所述预设倍数以还原图像尺度。
[0135]
可选地，所述标定模块404，具体用于将输入的模拟按压图像与所述接触面在无按压状态下的图像进行相差运算，保留所述接触面产生形变部分的图像；所述标定模块404，具体还用于将所述形变部分的图像输入所述目标模型，得到所述接触面形变后的表面法向量场的预测结果。
[0136]
本技术提供的基于视觉的触觉传感器标定装置，首先获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准。之后，通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合。最后，基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定，极大地提高了基于视觉的触觉传感器的标定效率。
[0137]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于视觉的触觉传感器标定方法，该方法包括：获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准；通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
[0138]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0139]
另一方面，本技术还提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于视觉的触觉传感器标定方法，该方法包括：获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准；通过所述仿真器生成所述目标传感器的接触面与不同形状的物
体接触时的模拟按压图像集合；基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
[0140]
又一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于视觉的触觉传感器标定方法，该方法包括：获取目标传感器采集的接触面形变图像，并根据采集到的所述接触面形变图像完成仿真器的建立和校准；通过所述仿真器生成所述目标传感器的接触面与不同形状的物体接触时的模拟按压图像集合；基于所述模拟按压图像集合训练目标模型，完成对所述目标传感器的标定；其中，所述仿真器的建立和校准包括：近场相机模型的建立和校准，近场光源模型的建立和校准，表面反射模型的建立和校准，表面形变模型的建立；训练后的目标模型用于将所述目标传感器的接触面的形变图像还原为接触面的三维几何形变。
[0141]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0142]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0143]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。