一种融合视触觉感知的超声波阵列交互方法及系统与流程

本发明属于视触觉融合感知技术领域，具体涉及一种融合视触觉感知的超声波阵列交互方法及系统。

背景技术：

如今图像、语音等信息的识别处理技术经过多年发展已经日趋成熟，随之而来的是视觉感知、语音交互等手段的广泛应用，这使得人机交互方式主要集中在视觉、听觉交互，而实现触觉交互感知的能力非常有限。触觉在人们获取环境信息过程中发挥的作用仅次于视觉，它是唯一具有双向信息传递能力的感知通道。

相较于传统的接触式触觉交互，非接触式触觉交互由于无需接触物体即可获得触觉感知，所以在公共操作展示、ar/vr等领域具有重要应用。同时视觉显示的融入可以增强交互体验，提高交互过程中的直观性与准确性。基于超声波相控阵的空中触觉交互技术采用声辐射压力原理，在三维空间中形成聚焦的触觉点，提供了一种无束缚的自然交互方式。人们无需穿戴任何设备就可以在空间中感知触觉刺激，摆脱了对接触触摸提供触觉感知的依赖。

由于新冠疫情在全球爆发，人们对公共接触物体的卫生安全格外重视，基于超声波相控阵的非接触式触觉交互提供了一种有效的解决方式，避免了交叉接触感染，更加干净卫生。

现有方法根据扫描的手部位置确定聚焦点，计算超声波发射时延，聚焦产生声发射力，作用于皮肤形成触觉。同时调制超声波谐振频率，使手部皮肤更加敏感。该系统仅有触觉反馈，而且未区分手指和手掌感知，无法获得更加精细多元的触觉感受。还有一种是通过将可以分别独立工作的手部位置跟踪检测模块和超声阵列触觉发生电路相结合，在三维空间内实时产生非接触触觉反馈，结构简单，易于实现。但由于该系统是辅助盲人感知盲文，所以未提供视觉交互通道。同时超声阵列固定，若盲人手部运动幅度较大，无法准确感知盲文触觉点。第三种是根据相位检索方式确定焦点数据的时间序列，采用空间调制方法，控制由超声波相控阵包围的腔中声压分布，形成可感知的盲文触觉点，并识别手部位置快速更新信息。因为是辅助盲人的系统，所以没有视觉感知。而且固定式的空间相控阵列，不易模块化装卸。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种融合视触觉感知的超声波阵列交互方法及系统，利用手部位姿采集模块和可变角度随动装置，将手部数据分为手指和手掌考虑，分别选择基于距离和方向性的方式激活相应的超声波阵列，实现跨阵列焦点跟随手部运动。同时融合视觉感知，增强交互体验，提高交互准确性。

本发明采用以下技术方案：

一种融合视触觉感知的超声波阵列交互方法，采集手部位姿信息，对于手指，计算指尖坐标形成位置数组；对于手掌，计算掌心坐标及掌面法向量参数形成向量数组；若只检测到手指，根据位置数组，基于距离选择激活超声波阵列；若检测到手掌，根据手指位置数组及手掌向量数组，基于方向性选择启动运动平台，当平台与手掌平行后激活相应的超声波阵列，并返回角度信息；采用经齐次坐标变换后的焦点信息驱动换能器发射超声波产生聚焦点形成触觉反馈，实时显示聚焦点、虚拟手及周围场景信息，完成视触觉融合感知。

具体的，具体步骤如下：

s1、交互系统通电，复位可变角度随动装置，取初始水平位置的法向量为

s2、启动手部位姿采集模块，检测手部信息，判断是否检测到手，若否，则跳转至步骤s9结束；若是，则采集手部位姿数据；

s3、主控制器根据手部位姿数据判断手指或手掌，若只检测到手指i，则计算指尖坐标形成位置数组，基于指尖到各个超声波阵列中心的距离，就近选择激活多阵列超声触觉感知模块中的超声波阵列；

若检测到手掌，则计算掌心坐标p＝(xp,yp,zp)及掌面法向量形成向量数组，结合手指位置数组及手掌向量数组，基于方向性选择启动可变角度随动装置中的运动平台；当平台运动至与手掌平行后激活相应的超声波阵列；

s4、若平台未运动，则返回角度值为0；若平台运动完成，则返回角度值为β；

s5、根据手部位姿采集模块与超声波阵列之间的位置关系及焦点信息，进行齐次坐标变换；

s6、根据焦点信息驱动换能器发射超声波产生聚焦点形成触觉反馈；

s7、显示装置实时显示聚焦点、虚拟手及周围场景信息；

s8、完成视触觉融合感知，返回步骤s2；

s9、结束。

进一步的，步骤s3中，当平台处于初始水平位置时直线驱动器的长度为c，伸缩杆运动距离为s，初始s(0)＝0，s(k)＞0表示伸长，s(k)＜0表示缩短，k是计算次数，具体为：

其中，k≥1，β为运动平台转动角度，a为直线驱动器伸缩杆与平台铰接处到平台旋转轴之间的距离，b为直线驱动器底座铰接处到平台旋转轴之间的距离，α为底座铰接点到平台旋转点的直线与水平线之间的夹角。

进一步的，步骤s5中，齐次坐标变换具体为：

其中，a为手部位姿采集模块与多阵列超声触觉感知模块初始位置关系形成的矩阵，分块矩阵a1与两者局部坐标系的建立及单位制有关，分块矩阵a2与两者坐标原点间距离有关，θj、ωj、分别为单块超声波阵列j到手部位姿采集模块的x、y、z轴的旋转角度，为超声波阵列局部坐标系下的焦点坐标。

本发明的另一个技术方案是，一种融合视触觉感知的超声波阵列交互系统，包括：

手部位姿采集模块，基于双目视觉成像，采集手部图像信息，定位手指和手掌关键部位，计算手指坐标位置以及手掌掌面位姿，将数据发送到主控制器端，并实时采集更新手部数据；

可变角度随动装置，根据主控制器输出的手掌掌面法向量参数，计算直线驱动器运动距离，微控制器控制直线驱动器运动，使运动平台与手掌保持平行，并将角度信息返回给主控制器；

主控制器，接收手部位姿数据得到手掌掌面法向量参数，并发送给微控制器；同时利用返回的运动平台角度信息及聚焦点位置，进行齐次坐标变换，并将变换后的焦点信息传输给fpga控制器；

多阵列超声触觉感知模块，用于发射超声波形成触觉聚焦点；根据焦点信息计算超声波阵列相位延时，通过放大电路后在焦点处聚焦超声波，焦点随手掌或手指移动；

显示装置，用于显示聚焦点、虚拟手以及周围场景信息。

具体的，手部位姿采集模块包括双目摄像头，双目摄像头经通信控制电路与光学传感器和红外发射器连接，红外发射器用于检测手部是否靠近，双目摄像头和光学传感器用于识别采集手部信息。

具体的，可变角度随动装置包括运动平台，运动平台经微控制器与直线驱动器连接，微控制器控制直线驱动器运动带动运动平台与手掌保持平行运动。

进一步的，运动平台包括中心平台，中心平台为n边形结构，n为正整数，每个侧边均铰接一个轮廓为n边形结构的运动平台，每个运动平台能绕铰接处旋转，每个运动平台上设置有超声波阵列。

更进一步的，运动平台的旋转角度为0～90°。

更进一步的，超声波阵列由若干超声换能器排列而成，超声换能器的发射频率为40khz，阵列固定于运动平台上。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种融合视触觉感知的超声波阵列交互方法，根据手部位姿采集模块的数据，将手指和手掌分开考虑，分别采用基于距离和方向性的方式选择相应的超声波阵列，采用不同的调制技术实现两部分不同的触觉反馈。这不仅可以实现跨阵列焦点跟随手部运动，还可以提供更加精细逼真的触觉感受。

进一步的，通过构建视觉场景，建立虚拟手与真实手间的运动同步，并将虚拟手与物体接触处进行突出显示，同时在接触时提供触觉反馈，以达到视触觉融合感知，丰富交互体验，提高感知准确性的目的。

进一步的，根据指尖坐标计算手指到各个超声波阵列中心的距离，就近激活阵列，以及根据手掌向量计算倾斜角度进而获得直线驱动器的运动距离，使运动平台与手掌保持平行，是为了让超声波更多地聚焦于手部，减少能量损失，增强触觉感受。

进一步的，通过齐次坐标变换，将手部位置信息从手部位姿采集模块所在坐标系变换到各个超声波阵列所在坐标系，从而获得局部坐标系下的焦点信息，聚焦形成触觉点。

本发明一种融合视触觉感知的超声波阵列交互系统，通过手部位姿采集模块和可变角度随动装置结合，实现手部连续跟踪，即使手腕大幅转动，超声波阵列也可实时保持与手掌平行，提供最大强度的触觉刺激。同时采用铰链连接，相比于固定式空间相控阵列，更加灵活自由，方便模块化组装和拆卸，节约空间。

进一步的，手部位姿采集模块可以检测手是否存在以及实时识别采集手部信息，为超声波阵列发射超声波形成聚焦点提供依据，并实现焦点跨阵列手部追踪运动。

进一步的，可变角度随动装置可以适应手指随意移动及手腕大幅转动的情形，兼顾固定式平面阵列与空间阵列的优点，更加灵活自由。

进一步的，中心平台和侧边平台铰接设置可以使固定在侧边平台上的超声波阵列跟随手部转动，提供实时全方位的触觉感受，同时铰接设置也有利于模块化装卸，方便快捷。

进一步的，设置旋转角度为0～90°，使系统适用于手掌处于水平、竖直或倾斜一定角度等状态的场景中，扩大其应用场合。

进一步的，为了获得更高空间分辨率的焦点，同时减少超声波聚焦的能量损失，采用性能较为稳定成熟的发射频率为40khz的超声换能器。

综上所述，本发明针对手指和手掌提供多角度不同形式的触觉反馈，感受更加精细逼真，同时融合视觉感知，可以丰富交互体验，提高交互准确性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的交互系统示意图；

图2为本发明中的六边形超声波多阵列扩展示意图；

图3为本发明中的交互系统工作流程图；

图4为本发明中的可变角度随动装置计算原理图；

图5为本发明中的交互系统应用场景示意图。

其中：1.手部位姿采集模块；2.可变角度随动装置；3.主控制器；4.多阵列超声触觉感知模块；5.显示装置。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“一侧”、“一端”、“一边”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了一种融合视触觉感知的超声波阵列交互方法及系统，手部位姿采集模块检测手部并计算位姿数据，通过主控制器发送给微控制器并控制直线驱动器运动，同时换能器阵列发射超声波在手部形成聚焦点，显示装置实时展示聚焦点与手部信息，以利于感知判断。本发明使超声聚焦点随手部多角度运动，同时视触觉联动，提高连续非接触感知准确性，对有卫生、安全要求的公共触摸场所尤为适用。

请参阅图1，本发明一种融合视触觉感知的超声波阵列交互系统，包括手部位姿采集模块1、可变角度随动装置2、主控制器3、多阵列超声触觉感知模块4、显示装置5。主控制器3分别连接位姿采集模块1、可变角度随动装置2、多阵列超声触觉感知模块4、显示装置5，实现各个部分之间的信息传输。

手部位姿采集模块1包括双目摄像头、红外发射器、光学传感器及通信控制电路，基于双目视觉成像，采集手部图像信息，定位手指和手掌等关键部位，计算手指坐标位置以及手掌掌面位姿，将手部位姿数据发送到主控制器3，并实时采集更新手部数据。

可变角度随动装置2包括微控制器、直线驱动器及运动平台，根据主控制器3输出的手部坐标及向量数组，计算直线驱动器运动距离，微控制器控制直线驱动器运动，使运动平台与手掌保持平行，并将运动平台角度信息返回给主控制器3；每次通电后，运动平台先复位至初始水平位置。

请参阅图2，可变角度随动装置2中的运动平台，中心平台水平固定，轮廓为六边形，其余运动平台均为六边形，并与中心平台铰接，可绕铰接处旋转，运动范围为0～90°。固定于平台上的超声波阵列也为六边形，组成多阵列扩展结构。

主控制器3接收来自手部位姿采集模块1的手部位姿数据、可变角度随动装置2的运动平台角度、多阵列超声触觉感知模块4的触觉信息，经过分析、计算、处理后，输出给可变角度随动装置2手部坐标及向量数组、多阵列超声触觉感知模块4焦点数据、显示装置5视触觉融合信息。

多阵列超声触觉感知模块4包括多个超声波阵列、放大电路及fpga控制器，fpga控制器根据从主控制器3接收到的焦点数据计算超声波阵列相位延时，结合调制频率、幅值信息，控制信号通过放大电路驱动超声换能器，产生可随手掌或手指移动的焦点，并将触觉信息传输给主控制器3。超声波阵列由若干超声换能器排列而成，换能器发射频率为40khz，阵列固定于运动平台上随其运动。

显示装置5接收来自主控制器3的视触觉融合信息，可以显示聚焦点、虚拟手以及周围场景，丰富用户交互体验，提高感知准确性。

请参阅图3，本发明一种融合视触觉感知的超声波阵列交互方法，通过手部位姿采集模块1检测手部信息，若未检测到手，则流程结束；若检测到手，则采集手部位姿数据。主控制器3接收并处理数据，对于手指，计算指尖坐标，形成位置数组；对于手掌，计算掌心坐标及掌面法向量参数，形成向量数组。若手部位姿采集模块1只检测到手指，如握拳并伸出食指，则根据位置数组基于距离选择激活多阵列超声触觉感知模块4中的超声波阵列；若检测到手掌，则根据手指位置数组及手掌向量数组，基于方向性选择启动可变角度随动装置2中的运动平台，当平台与手掌平行后激活相应的超声波阵列，并返回角度信息。将经过齐次坐标变换后的焦点信息发送给多阵列超声触觉感知模块4中的fpga控制器，驱动换能器发射超声波产生聚焦点形成触觉反馈，同时显示装置5实时显示聚焦点、虚拟手及周围场景信息，完成视触觉融合感知，丰富交互体验，提高感知准确性。具体步骤如下：

s1、交互系统通电，可变角度随动装置2复位，取初始水平位置的法向量为

s2、启动手部位姿采集模块1，检测手部信息；判断是否检测到手，若否则跳转至步骤s9结束；若是则采集手部位姿数据；

s3、主控制器3根据手部位姿数据判断手指或手掌，若只检测到手指i，则计算指尖坐标形成位置数组，基于指尖到各个超声波阵列中心的距离，就近选择激活多阵列超声触觉感知模块4中的超声波阵列；若检测到手掌，则计算掌心坐标p＝(xp,yp,zp)及掌面法向量形成向量数组，结合手指位置数组及手掌向量数组，基于方向性选择启动可变角度随动装置2中的运动平台；

请参阅图4，设运动平台转动角度为β，直线驱动器伸缩杆与平台铰接处到平台旋转轴之间的距离为a，直线驱动器底座铰接处到平台旋转轴之间的距离为b，底座铰接点到平台旋转点的直线与水平线之间的夹角为α，当平台处于初始水平位置时直线驱动器的长度为c，伸缩杆运动距离为s，初始s(0)＝0，s(k)＞0表示伸长，s(k)＜0表示缩短，k是计算次数。

其中，k≥1，当平台运动至与手掌平行后激活相应的超声波阵列。

s4、若平台未运动，则返回角度值为0；若平台运动完成，则返回角度值为β；

s5、根据手部位姿采集模块1与超声波阵列之间的位置关系及焦点信息，进行齐次坐标变换；

设手部位姿采集模块1与多阵列超声触觉感知模块4初始位置关系形成的矩阵为a，其中分块矩阵a1与两者局部坐标系的建立及单位制有关，分块矩阵a2与两者坐标原点间距离有关。从单块超声波阵列j到手部位姿采集模块1的x、y、z轴的旋转角度分别为θj、ωj、根据每块超声波阵列形状及排列结构的不同，β至少与θj、ωj、中的一个有关。

超声波阵列局部坐标系下的焦点坐标为

s6、根据焦点信息驱动换能器发射超声波产生聚焦点形成触觉反馈；

s7、显示装置5实时显示聚焦点、虚拟手及周围场景信息；

s8、完成视触觉融合感知，并返回步骤s2；

s9、结束。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图5，本发明一种融合视触觉感知的超声波阵列交互系统，利用手部位姿采集模块1和可变角度随动装置2，通过主控制器3将手部数据分为手指和手掌考虑，分别选择基于距离和方向性的方式激活相应的多阵列超声触觉感知模块4，实现跨阵列焦点跟随手部运动。同时结合显示装置5融入视觉感知，增强交互体验，提高交互准确性。

超声波阵列声场力反馈测试表明，随着聚焦点远离阵列中心，压力强度单调降低；而且在手部距离阵列的高度从9cm增加到25cm的过程中，感知力逐渐减弱。可见手部与阵列之间的位置和距离对触觉感受有很大影响，所以保持阵列与手部平行，缩短两者间距离，对于增强触觉感知具有重要意义。此外，通过心理物理法实验，选择十名被试者(三名女性七名男性)，发现视觉感知的融入对超声波触觉反馈起到积极作用，不仅丰富了交互体验，而且结合虚拟手与周围场景信息，可以更加快速地感知触觉点。同时，手指和手掌不同的触觉体验让被试者觉得触摸沉浸感增强。

综上所述，本发明一种融合视触觉感知的超声波阵列交互方法及系统，通过手部位姿采集模块和可变角度随动装置，对手指和手掌分别采用不同方式形成触觉反馈，完善手部触觉精细感知，实现焦点跨阵列跟踪运动，扩大系统应用场合，同时显示装置将视觉与触觉感知相融合，提高交互系统的沉浸感和准确性。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。