应用于融合静电力和空气压膜触觉再现装置的图像渲染方法与流程

本发明属于虚拟现实与人机交互领域，尤其涉及一种应用于融合静电力和空气压膜触觉再现装置的图像渲染方法。

背景技术：

触觉再现功能的多媒体终端是近年来国际上的研究热点，在电子商务、教育娱乐、视障人群等领域具有重要的应用前景。多媒体触觉再现终端可以让用户通过触摸来感知被显示物体的形状、纹理以及柔软性，将人类与虚拟世界的交流推向听觉、视觉与触觉相融合的崭新阶段，将产生巨大的经济效益。

目前应用到移动终端的触觉再现技术主要有：(1)基于静电力触觉再现技术主要是根据库伦定律，利用静电力吸引原理，通过调节手指与触觉再现面板间的摩擦力提供触觉体验。当手指触摸再现面板时，手指因电荷感应而周期性携带正负电荷，电荷间库仑力相互作用，使手指感知触觉力作用。可以通过对激励信号的参量控制，改变指尖所受摩擦力，进而产生不同的触觉体验。(2)基于空气压膜式触觉再现技术，通过给粘在屏上的压电陶瓷施加高频信号，让其产生高频振动，从而3m屏与手指之间形成空气薄膜，以此减小触摸屏表面的摩擦。(3)基于机械振动触觉再现技术，通过通过驱动振动器带动整个装置振动来刺激触摸者手指，从而感受到不同的触感。

目前，已经有一些实现触觉再现的方法与装置。

2012年中国专利cn102331838a中公开了一种基于深度等高线的图像的振动触觉表达方法，它首先对图像进行灰度处理，然后提取深度信息，将深度信息转化为振动触觉刺激，此方式只利用幅度参量实现触觉反馈，触觉再现效果较差。2014年中国专利cn104199554a中公开了一种应用于静电力触觉再现装置的凸起几何模型算法和凹陷几何模型算法，采用正弦高度模型分别对凸起和凹陷的几何形状建模，建立静电力驱动信号与凸起和凹陷形状的映射关系，可以产生明显的凸起和凹陷的触觉感。这种触觉再现算法，有效实现了对凸起几何图形的触觉再现，但是不能应用于图案复杂的视觉对象的触觉再现。2017年中国专利cn107122056a公开了一种基于挤压气膜效应的触觉再现装置与方法，此方式在显示设备上施加高频振动产生空气薄膜,通过调节振动的强度调节摩擦系数,进而改变手指的受力,使操作者感知触觉纹理，但此方式改变触觉反馈力的范围较小，因此不能呈现精细的纹理，触觉再现效果较差。2018年中国专利cn109101111a公开了一种融合静电力、空气压膜和机械振动的触觉再现方法与装置，通过建立图像梯度、曲率和高度特征与触觉驱动信号幅度和频率参数之间的映射模型实现视觉对象轮廓、纹理和粗糙度的同时触觉再现，但此渲染方法没有考虑到不同波形对触觉再现效果的影响。

论文“融合两种触觉刺激原理：电振动和空气压膜效应”证明了静电力和空气压膜这两种刺激相互独立，互相补充，两者结合能增大切向触觉反馈范围；论文“使用振动触觉和静电摩擦刺激的纹理显示比基于任何其中一种刺激的纹理显示好”中提出了一种融合静电力与振动的触觉再现装置与方法，通过使用指垫实现了针对于黑白条纹的触觉再现。融合静电力和空气压膜以及融合静电力和机械振动的触觉再现渲染方法大多针对黑白条纹、凸起、正弦等图形实现触觉再现，而对图像的触觉再现方法的研究甚少。

通过上述分析，现有触觉再现的算法研究不足，单一触觉再现技术大多是利用驱动信号的幅度和频率实现触觉再现，没有考虑到驱动信号波形对触觉再现效果的影响；融合触觉再现技术大多针对黑白条纹、凸起、正弦等图形实现触觉再现，对图像的研究甚少。

技术实现要素：

本发明提出一种应用于融合静电力和空气压膜触觉再现装置的图像渲染方法，以解决缺少图像触觉再现方法的问题。

本发明采取的技术方案是，采用融合静电力和空气压膜的触觉再现装置，包括下列步骤：

(1)建立静电力和空气压膜的驱动信号幅度与图像轮廓的梯度信息之间的渲染模型；

选取像素为m×n的图像，利用canny算法获取图像轮廓的梯度矩阵mc(x,y)和彩色图像的高度矩阵hc(x,y)，求得图像轮廓的归一化矩阵mcn(x,y)：

其中，mmin和mmax分别表示图像轮廓的梯度矩阵mc(x,y)中的最小值和最大值；

梯度变化反映图像凹凸性，即梯度越大，凹凸感越明显，感知强度越大，按照1:100的比例，将归一化的梯度矩阵与静电力和空气压膜的感知强度模型进行映射；

reul(x,y)＝100×mcn(x,y)

其中，reul表示图像梯度感知强度矩阵。

由于静电力产生的感知强度是空气压膜感知强度的三倍即静电力感知强度范围[25,100]和空气压膜感知强度[0,25]，然后根据静电力和空气压膜驱动信号幅度与触觉感知强度的映射关系：

可求得归一化的梯度矩阵与静电力和空气压膜的驱动信号幅度映射关系；

其中，k1和b1是静电力驱动信号幅度与触觉感知强度之间感知模型的系数，k2和b2是空气压膜驱动信号幅度与触觉感知强度之间感知模型的系数，这四个系数是由融合静电力和空气压膜的触觉再现装置性能决定的；

(2)建立静电力的驱动信号频率与图像的高度信息之间的渲染模型；

根据canny算法得到图像轮廓高度矩阵hc(x,y)，则图像纹理高度矩阵ht(x,y)则由原始图像高度矩阵h(x,y)减去轮廓高度矩阵hc(x,y)得到，进而得到归一化纹理高度矩阵htn(x,y)；

ht(x,y)＝h(x,y)-hc(x,y)

其中，htmin和htmax分别表示图像纹理高度矩阵ht(x,y)中的最小值和最大值；

高度变化反映图像某点的粗糙度，即高度越大，粗糙感越强，手指划过时的感知强度越大，按照1:100的比例，将归一化的高度矩阵htn(x,y)与图像粗糙度感知矩阵revn(x,y)进行映射；

revn(x,y)＝100×htn(x,y)

根据静电力驱动信号频率与触觉粗糙度感知强度映射关系：revn(x,y)＝k3×fen(x,y)+b3，可求得归一化的高度矩阵htn(x,y)与静电力驱动信号频率矩阵fen(x,y)的映射关系；

其中，k3和b3是静电力驱动信号频率与触觉粗糙感知模型的系数，这两个系数是由融合静电力和空气压膜的触觉再现装置性能决定的；

(3)图像轮廓用梯度信息表示，其变化趋势大，凹凸性明显，因此图像轮廓部分选用的驱动信号波形为方波，此波形呈现尖锐触感，感知强度明显；图像纹理用高度信息表示，其变化趋势小，凹凸性不明显，因此图像纹理部分选用的驱动信号波形为正弦波，此波形呈现平缓触感，感知强度较弱。

本发明所述融合静电力和空气压膜的触觉再现装置，其结构包括：

(1)定位单元：包括实现定位功能的装置，其作用在于实时读取多媒体终端屏上指垫的位置坐标，并将这位置坐标信息发送到触觉处理单元；

(2)触觉处理单元：包括多媒体终端，其作用在于可呈现视觉信息，并对视觉信息渲染得到静电力驱动信号幅度参数矩阵和振动驱动信号幅度参数矩阵，然后根据位置坐标信息，选取静电力驱动信号幅度参数和振动驱动信号幅度参数，发送给驱动单元；

(3)驱动单元：包括信号发生器，信号发生器根据处理单元发送的驱动信号参数产生相应的驱动信号，最终输入到交互单元；

(4)交互单元：包括单点电容屏和压电陶瓷片，将驱动单元产生的驱动信号输入到单点电容屏和压电陶瓷片上，当手指滑过单点电容屏时，手指通过驱动信号的变化感受到不同的触觉感受，从而在单点电容屏上实现图像的触觉再现。

本发明所述的canny算法，其步骤包括：

1)彩色图像灰度化

将彩色图像进行灰度化，从而得到彩色图像的高度矩阵h(x,y)，通常采用公式如下：

其中，r(x,y)、b(x,y)和g(x,y)分别表示彩色图像的三个颜色通道为红色、蓝色和绿色；

2)图像高斯滤波

为了平滑图像和消除噪声，需要对灰度图像进行高斯滤波，灰度图像高斯滤波可直接通过二维高斯核一次卷积实现，则二维高斯函数公式为：

3)计算图像梯度值的方向

图像灰度值的梯度是利用2×2一阶有限差分来进行近似，从而得到图像在x和y方向上偏导数的两个矩阵，实现过程如下公式所示：

θ[x,y]＝arctan(q[x,y]/p[x,y])

其中，p[x,y]表示x方向梯度矩阵，q[x,y]表示y方向梯度矩阵，m[x,y]是该点梯度矩阵来反映图像的边缘强度，θ[x,y]是梯度方向来反映边缘的方向；

4)非极大值抑制

沿着该点梯度方向，比较前后两个点的幅值大小，若该点大于前后两点，则保留，若该点小于前后两点，则置为0；

5)双阈值的选取

双阈值包括高阈值thigh和低阈值tlow，双阈值的选取是根据直方图来选择的，首先把梯度幅值的直方图求出来，如果边缘像素的梯度值m(x,y)大于高阈值thigh，则该点标记为强边缘像素；如果边缘像素的梯度值m(x,y)大于低阈值tlow且小于高阈值thigh，则该点标记为弱边缘像素；如果边缘像素的梯度值m(x,y)小于低阈值tlow，则该点会被抑制；

6)滞后边界跟踪

滞后边界跟踪算法判断弱边缘点的8连通领域像素，如果存在强边缘点，那弱边缘点被认为是真且边缘即保留下来，否则抑制弱边缘。然后根据此点收集新的边缘，直到整个图像边缘闭合，整个图像找完后，将非边缘点剔除，即灰度值置0，最终得到图像轮廓的梯度矩阵mc(x,y)和图像轮廓的高度矩阵hc(x,y)。

本发明所述静电力和空气压膜的驱动信号幅度与触觉感知强度之间的映射关系中，k1、b1、k2和b2四个系数在融合静电力和空气压膜的触觉再现装置上通过主观打分感知实验确定。

本发明所述静电力的驱动信号频率与触觉粗糙度感知强度之间的映射关系中，k3和b3两个系数在融合静电力和空气压膜的触觉再现装置上通过主观打分感知实验确定。

本发明从图像的轮廓和纹理角度出发：首先建立切向触觉反馈力与静电力和空气压膜幅度之间的映射模型以及静电力的频率与感知粗糙度之间的感知模型，然后根据轮廓的梯度信息表示变化的快慢，呈现凹凸性，可表征图像的大体走势，建立切向触觉反馈力与图像轮廓的梯度信息之间的渲染模型；纹理的高度信息表征纹理表面的粗糙度，建立粗糙度感知强度与图像纹理的高度信息之间的模型，从而实现了图像轮廓和纹理的触觉再现，本发明通过融合静电力和空气压膜两种方式实现切向触觉反馈范围的增大以及利用驱动信号的幅度、频率和波形三种参量联合渲染图像的轮廓和纹理，从而改善触觉再现真实感效果。

本发明优点在于：

1.本文渲染方法从图像的轮廓和纹理角度出发，利用静电力和空气压膜联合渲染实现，静电力和空气压膜联合使用增大切向反馈的范围，与静电力相比，能够渲染更加精细的纹理，产生更加细腻真实的触觉感受。

2.本文渲染方法在激励信号幅度参量的基础上，根据人体对从粗糙都的感知特性，增添了激励信号的频率和波形两个参量，采用多参量触觉再现方式，可以产生更丰富和细腻真实的触觉感受。

3.本文渲染方法基于触觉感知模型实现渲染方法，更加的符合人类主观心理感受，使触觉再现效果更好。

附图说明

图1是融合静电力和空气压膜的触觉再现装置示意图；

图2是信号发生器的结构图；

图3是交互单元示意图；

图4是单点电容屏及手指受力分析图；

图5是压电陶瓷结构图及手指受力分析图；

图6是本发明的渲染过程示意图；

图7是canny算法图像处理过程示意图；

图8是实现非极大抑制过程图；

图9是静电力和空气压膜的驱动信号幅度与触觉感知强度示意图；

图10是静电力的驱动信号频率与粗糙度示意图。

具体实施方式

如图1所示，融合静电力和空气压膜的触觉再现装置，结构包括：

(1)定位单元11：包括实现定位功能的装置，其作用在于实时读取多媒体终端屏上指垫的位置坐标，并将这位置坐标信息发送到触觉处理单元；

(2)触觉处理单元12：包括多媒体终端，其作用在于可呈现视觉信息，并对视觉信息渲染得到静电力驱动信号幅度参数矩阵和振动驱动信号幅度参数矩阵，然后根据位置坐标信息，选取静电力驱动信号幅度参数和振动驱动信号幅度参数，发送给驱动单元；

(3)驱动单元13：包括信号发生器131，信号发生器根据处理单元发送的驱动信号参数产生相应的驱动信号，最终输入到交互单元；

(4)交互单元14：包括单点电容屏141和压电陶瓷片142，将驱动单元产生的驱动信号输入到单点电容屏141和压电陶瓷片142上，当手指滑过单点电容屏141时，手指通过驱动信号的变化感受到不同的触觉感受，从而在单点电容屏141上实现图像的触觉再现。

在上述的融合静电力和空气压膜的触觉再现装置中，所述的信号发生器131，其结构如图2所示，其主要的功能单元以及工作流程如下：

(1)核心控制器1311，其存储着常用的波形数据，如方波、正弦波、三角波等，接收处理单元12传递过来的静电力驱动信号参数：幅度ae、频率fe、波形we；空气压膜驱动信号参数：幅度au、频率fu、波形wu，同时控制其他功能模块的工作状态；

(2)静电力驱动模块1312，包括数模转换器一131201、数模转换器二131202、功率放大器131203，其中数模转换器一131201通过接收核心控制器模块1311发送的波形数据产生频率fe、波形we可调的基础信号，该基础信号作为数模转换器二131202的参考电压，再结合核心控制器1311的幅度控制数据ae就可以实现基础信号的电压调节，之后将该信号输入到功率放大器131203进行电压放大，进而输出静电力驱动信号；

(3)空气压膜驱动模块1313，包括数模转换器一131301、功率放大器131302，其中数模转换器一131301通过接收核心控制模块1311发送的波形数据产生幅度ae、频率fe、波形we，之后将该驱动信号输入到功率放大器131302进行电压放大，进而输出空气压膜驱动信号。

在上述的融合静电力和空气压膜的触觉再现装置中，所述的交互单元14,如图3所示，主要包括以下两部分：

(1)单点电容屏1401，通过产生静电力改变手指受到的切向力，主要起到增大摩擦力作用，其结构以及受力分析如图4所示，最底层为玻璃板140101，起到支撑作用；中间层为透明导电极板140102，可施加激励信号，顶层为一层绝缘膜140103。当不施加驱动信号时手指所受到的屏幕的支持力fn，受到的摩擦力为fn；当施加驱动信号时，指尖内的组织液和导电极板形成一个电容结构，当手指在屏幕上滑动时，手指受到一个静电吸引力fe，进而导致单点电容屏1401对手指的支持力增大fn′＝fn+fe，手指所受的摩擦力为f＝fe+fn，达到了改变手指受到的切向力效果，改变施加在导电极板上的信号参数，就会导致手指受到的静电吸引力发生变化，进而控制切向力的变化程度。

(2)压电陶瓷片1402，通过给压电陶瓷片施加高频驱动信号，使触摸屏和手指之间产生挤压气膜，从而起到减小摩擦的效果，其结构及受力分析如图5所示，压电陶瓷片1402需要牢固的粘贴在单点电容屏1401的绝缘膜140103上方，且需要对称粘贴在单点电容屏1401的短边边缘，数量需要根据单点电容屏1401的尺寸来确定，当不施加驱动信号时手指所受到的屏幕的支持力fn，受到的摩擦力为fn；当给压电陶瓷片1402施加高频的驱动信号，从而使手指与单点电容屏1401之间产生空气压膜效应，从而对手指产生挤压力fu，进而导致单点电容屏1401对手指的支持力减小fn′＝fn-fu，手指所受的摩擦力为f＝fn-fu，，调节驱动信号的大小即可改变手指受到的切向力大小。

上述的融合静电力与空气压膜触觉再现装置，融合了静电力与空气压膜触觉再现方式，增大了切向触觉反馈力的范围，使得触觉再现的效果更加真实。

本发明基于融合静电力和空气压膜触觉再现装置提出了图像触觉渲染方法，具体步骤如图6所示：

(1)建立静电力和空气压膜的驱动信号幅度与图像轮廓的梯度信息之间的渲染模型；

选取像素为m×n的图像，利用canny算法获取图像轮廓的梯度矩阵mc(x,y)和彩色图像的高度矩阵hc(x,y)，求得图像轮廓的归一化矩阵mcn(x,y)：

其中，mmin和mmax分别表示图像轮廓的梯度矩阵mc(x,y)中的最小值和最大值；

梯度变化反映图像凹凸性，即梯度越大，凹凸感越明显，感知强度越大，按照1:100的比例，将归一化的梯度矩阵与静电力和空气压膜的感知强度模型进行映射；

reul(x,y)＝100×mcn(x,y)

其中，reul表示图像梯度感知强度矩阵；

由于静电力产生的感知强度是空气压膜感知强度的三倍即静电力感知强度范围[25,100]和空气压膜感知强度[0,25]，然后根据静电力和空气压膜驱动信号幅度与触觉感知强度的映射关系：

可求得归一化的梯度矩阵与静电力和空气压膜的驱动信号幅度映射关系；

其中，k1和b1是静电力驱动信号幅度与触觉感知强度之间感知模型的系数，k2和b2是空气压膜驱动信号幅度与触觉感知强度之间感知模型的系数，这四个系数是由融合静电力和空气压膜的触觉再现装置性能决定的。

(2)、建立静电力的驱动信号频率与图像的高度信息之间的渲染模型

根据canny算法得到图像轮廓高度矩阵hc(x,y)，则图像纹理高度矩阵ht(x,y)则由原始图像高度矩阵h(x,y)减去轮廓高度矩阵hc(x,y)得到，进而得到归一化纹理高度矩阵htn(x,y)。

ht(x,y)＝h(x,y)-hc(x,y)

其中，htmin和htmax分别表示图像纹理高度矩阵ht(x,y)中的最小值和最大值；

高度变化反映图像某点的粗糙度，即高度越大，粗糙感越强，手指划过时的感知强度越大，按照1:100的比例，将归一化的高度矩阵htn(x,y)与图像粗糙度感知矩阵revn(x,y)进行映射；

revn(x,y)＝100×htn(x,y)

根据静电力驱动信号频率与触觉粗糙度感知强度映射关系：

revn(x,y)＝k3×fen(x,y)+b3，可求得归一化的高度矩阵htn(x,y)与静电力驱动信号频率矩阵fen(x,y)的映射关系；

其中，k3和b3是静电力驱动信号频率与触觉粗糙感知模型的系数，这两个系数是由融合静电力和空气压膜的触觉再现装置性能决定的；

(3)、图像轮廓用梯度信息表示，其变化趋势大，凹凸性明显，因此图像轮廓部分选用的驱动信号波形为方波，此波形呈现尖锐触感，感知强度明显；图像纹理用高度信息表示，其变化趋势小，凹凸性不明显，因此图像纹理部分选用的驱动信号波形为正弦波，此波形呈现平缓触感，感知强度较弱。

本发明所述利用canny算法实现图像轮廓和纹理的提取，本文将以512*512像素大小的图片为例按照如下六个步骤对图片进行处理，结果如图7所示，其中canny算法的六个具体步骤如下：

1)彩色图像灰度化

将彩色图像如图7a进行灰度化如图7b所示，从而得到彩色图像的高度矩阵h(x,y)，通常采用公式如下：

其中，r(x,y)、b(x,y)和g(x,y)分别表示彩色图像的三个颜色通道为红色、蓝色和绿色；

2)图像高斯滤波

为了平滑图像和消除噪声，需要对灰度图像进行高斯滤波，灰度图像高斯滤波可直接通过二维高斯核一次卷积实现，如图7c所示，则二维高斯函数公式为：

3)计算图像梯度值的方向

图像灰度值的梯度是利用2×2一阶有限差分来进行近似，从而得到图像在x和y方向上偏导数的两个矩阵，实现过程如下公式所得图像如图7d所示：

θ[x,y]＝arctan(q[x,y]/p[x,y])

其中，p[x,y]表示x方向梯度矩阵，q[x,y]表示y方向梯度矩阵，m[x,y]是该点梯度矩阵来反映图像的边缘强度，θ[x,y]是梯度方向来反映边缘的方向；

4)非极大值抑制

沿着该点梯度方向，比较前后两个点的幅值大小，若该点大于前后两点，则保留，若该点小于前后两点，则置为0，此过程得到的图像如图7e所示。具体实现方法为：如图8所示左右图：g1，g2，g3，g4表示像素点，图中c点是需要判断的点，蓝色的直线是它的梯度方向，也就是c的局部极大值，它的梯度幅值m[x,y]需要大于直线与g1g2和g2g3的交点，即dtmp1和dtmp2处的梯度幅值。但是，dtmp1和dtmp2不是整像素，而是亚像素，也就是坐标是浮点的，需采用线性插值求得dtmp1和dtmp2的梯度幅值；

线性插值的公式：设g1的梯度幅值m(g1)，g2的梯度幅值m(g2),则dtmp1可以很得到：

m(dtmp1)＝w*m(g2)+(1-w)*m(g1)

w＝d(dtmp1,g2)/d(g1,g2)

其中，d(g1,g2)表示点g1和g2之间的距离，d(dtmp1,g2)表示点dtmp1和g2之间的距离，实际上w是一个比例系数，可由梯度方向(幅角的正切或余切)求得；

5)双阈值的选取

双阈值包括高阈值thigh和低阈值tlow，双阈值的选取是根据直方图来选择的，首先把梯度幅值的直方图求出来，如果边缘像素的梯度值m(x,y)大于高阈值thigh，则该点标记为强边缘像素；如果边缘像素的梯度值m(x,y)大于低阈值tlow且小于高阈值thigh，则该点标记为弱边缘像素；如果边缘像素的梯度值m(x,y)小于低阈值tlow，则该点会被抑制；

6)滞后边界跟踪

滞后边界跟踪算法判断弱边缘点的8连通领域像素，如果存在强边缘点，那弱边缘点被认为是真且边缘即保留下来，否则抑制弱边缘。然后根据此点收集新的边缘，直到整个图像边缘闭合，整个图像找完后，将非边缘点剔除，即灰度值置0，即可得到图像轮廓如图7f所示；最终得到图像轮廓的梯度矩阵mc(x,y)和图像轮廓的高度矩阵hc(x,y)；

通过灰度图减去图像轮廓即可得到图像纹理如图7g所示；

本发明所述静电力和空气压膜的驱动信号幅度与触觉感知强度之间的映射关系静电力和空气压膜驱动信号幅度与触觉感知强度的映射关系具体表达式中，k1、b1、k2和b2四个系数在融合静电力和空气压膜的触觉再现装置上通过主观打分感知实验确定，通过主观打分实验得到的电压与感知强度的关系如图9所示即得到k1、b1、k2和b2分别为0.6906、21.224、0.4741和49.095。

本发明所述静电力的驱动信号频率与触觉粗糙度感知强度之间的映射关系中，k3和b3两个系数在融合静电力和空气压膜的触觉再现装置上通过主观打分感知实验确定，通过主观打分实验得到的电压与感知强度的关系如图10所示即可得到k3和b3分别为-0.1174和113.19。