本发明属于虚拟现实与人机交互领域，尤其涉及一种基于音频信号的笔式听触再现的渲染方法及装置。
背景技术：
：：1、触觉反馈技术是应用于人机交互中的一种重要的技术，能够使人感知物体的硬度、温度及粗糙度等物理属性，并结合视觉、听觉反馈技术，给人带来更为真实的沉浸式体验。触觉再现在医疗卫生、交通运输、娱乐游戏等领域具有广阔的应用前景。2、物体表面的纹理给人带来丰富的触觉感受，因而纹理触觉渲染算法一直是触觉反馈领域研究的热点问题。触觉纹理渲染方法主要可以分为三类，分别是合成计算的方法、基于图像的方法及数据驱动的方法。3、基于合成计算的方法是通过计算机图形学对纹理表面的微观几何特征建模，并根据手指或探针和三维模型的接触状态计算相应的触觉反馈。1990年，minksy等人在论文“feeling and seeing:issuesinforce display”中，利用砂纸系统，设计了一个在二维平面的切向力梯度算法，利用一个二自由度的力操纵杆渲染纹理表面的力反馈，该反馈与纹理表面轮廓高度成比例。但是由于纹理表面结构复杂，难以建立精确的微观模型，而且当微观模型比较复杂，计算量将增大，导致渲染过程中输出的信号时延过大，影响用户体验。4、基于图像的触觉再现方法一般是先提取图像纹理的某种特征，然后建立起该特征和触觉反馈之间的映射关系，最后使用触觉反馈设备再现出来。2012年，david lareau等在论文“haptic rendering of photographs”中利用图像分层分割的方法把图像转换成一系列轮廓图像，然后在力触觉平台上渲染。然而该方法输出信号不稳定，易受到图像本身各种参数的影响。5、数据驱动的渲染方法是通过采集触觉交互数据从而提取触觉信息再建立触觉模型的方法，优点在于产生的触觉反馈能够尽可能的接近真实世界的触觉反馈。2014年，culbertson在论文“modeling and rendering realistic textures from unconstrainedtool-surface interaction”中通过采集任意法向力和速度交互条件下各向同性纹理的加速度信号，并利用lpc模型对采集的加速度信号幅度谱建模，在渲染时，根据实时采集的加速度和法向力，利用插值算法计算并生成加速度信号，并输出到笔式触觉反馈装置产生触觉反馈。所用装置包括加速度计、力传感器、电磁运动追踪传感器及笔体。2021年，nai等人在论文“vibrotactile feedback rendering of patterned textures using a waveformsegment table method”中，采集在不同法向力和速度交互条件下加速度信号，利用动态时间扭曲选取最具代表性的信号片段并存储，在触觉渲染时，实时采集的法向力和速度，通过线性插值确定生成信号片段，输出到触觉反馈装置，实现触觉再现，该方法主要适用于具有空间周期的各向同性纹理触觉渲染。论文中所用的触觉装置由surface触控笔、surface平板电脑、功率放大器和振动模块组成，surface平板实时读取人持触控笔滑动时的力和位置。6、上述方法提取图像纹理或者加速度信号，进行触觉再现。其中，基于加速度的数据驱动法是目前再现纹理真实感最简单并有效的方法，因其简化复杂模型还能再现出纹理粗糙度，而常常用于笔式触觉反馈装置中，但是由于缺乏触觉纹理数据库，模型插值和扩展的困难，以及真实纹理的复杂性，数据驱动的方法无法捕捉大量的纹理，也无法定制模型以适应特定的输出硬件或用户需求。7、而在工具与表面的互动中，触摸产生的声音传达了关于纹理表面属性的丰富信息，并提供了关于用户如何与表面互动的直接反馈。具体来说，在笔式装置中，听觉反馈在感知中也起着重要的作用，但它常常被忽视，而偏重于视觉和触觉。目前在笔式装置上加入声音反馈两项最新成果研究分别是2016年cho等在论文”realpen:providing realism inhandwriting tasks on touch surfaces using auditory-tactile feedback”中设计的realpen上实现滑动纸张重复声音的反馈和2020年lu等在论文”towards multisensoryperception:modeling and rendering sounds of tool-surface interactions”中基于前人设计的触控笔上利用统计学习和小波变换的相关知识设计滑动时的纹理交互的相似的声音反馈。8、然而，他们仅在笔式装置上的声音维度进行呈现交互真实感，并未考虑到触觉和听觉在时间频率通道上是相关的。而目前加速度采集的设备较于音频采集设备来说普及度不高，并且精密的加速度仪器价格昂贵，音频采集设备更为便宜。技术实现思路1、本发明提供一种基于音频信号的笔式听触再现的渲染方法及装置，通过采集笔与真实纹理交互时的音频信号，将音频信号预处理后存储成新的音频片段，新的音频片段通过笔式听觉反馈装置直接给操作者呈现纹理的听觉反馈效果。而新的音频片段再通过离散余弦变换，所得振幅谱在波形表中存储。并根据实时交互的速度和法向力条件，对波形表中的振幅谱数据进行插值建立映射模型，实现触觉反馈效果。2、本发明采取的技术方案是，包括下列步骤：3、(1)采集与真实纹理交互时不同速度v1和法向力f1下的音频信号a；4、(2)对音频信号a进行预处理后得新音频信号a”,并存储在波形表p中；5、(3)对新音频信号a’进行离散余弦变换，并将其振幅谱b存储在波形表q中；6、(4)实时采集渲染交互时的当前时刻触觉渲染数据，包括：速度v2，法向力f2；7、(5)根据采集的速度v2，法向力f2进行不同速度和法向力维度下振幅谱的重构得重构振幅谱b’；8、(6)重构所得的振幅谱b’再通过离散余弦反变换生成电压驱动信号c，并进行纹理交互的触觉渲染；9、(7)预处理后得新音频信号a”以听觉呈现，进行纹理交互的听觉渲染。10、本发明所述步骤(1)采集与真实纹理交互时不同速度v1和法向力f1下的音频信号a，具体包括：11、音频信号a，通过固定于笔式纹理音频数据采集装置上的麦克风实时获取；12、速度v1，通过固定于笔式纹理音频数据采集装置上的位置传感器实时获取；13、法向力f1，通过固定于笔式纹理音频数据采集装置上的力传感器实时获取。14、本发明所述步骤(2)对音频信号a进行预处理后得新音频信号a”,并存储在波形表p中，具体包括：15、1)降噪，根据环境噪音设置阈值e进行降噪处理，大于阈值e得信号通过，小于阈值e则衰减，得音频信号a’；16、2)均衡，利用压缩器对音频信号a’的音量进行均衡化后得a’新，使声音变化动态范围减小；17、3)分帧加窗，采样频率为8000hz，对音频信号a’新分帧，取256个采样点记为一帧，帧移为帧长的一半，并采用汉明窗使得帧后信号连续，并每一帧呈现周期函数的特性；18、4)端点检测，从音频信号a’新中检测出有效的声音段a”，包括两个方面，检测出有效音频信号a”的起始点和结束点，即前端点a”begin和后端点a”end，从而确定新音频信号a”；19、5)存储波形表，将相应的预处理后得新音频信号a”按照速度v1和法向力f1的联合标签存储在波形表p中。20、本发明所述步骤(3)对新音频信号a’进行离散余弦变换，并将其振幅谱b存储在波形表q中，具体步骤包括：21、1)对预先设置好法向力f1和速度v1的条件下预处理后的音频信号a”进行离散余弦变换得到振幅谱b；22、离散余弦变换公式：23、24、其中，a”是处理完后的音频信号的时间序列，n为采样点数，ck为每个频率采样点下的振幅谱系数，k＝0,…,n-1，i＝0,…,n-1；25、2)将不同法向力f1和速度v1组合下的振幅谱系数连接起来得振幅谱b存储在波形表q中。26、本发明所述步骤(4)实时采集渲染交互时的当前时刻触觉渲染数据，包括：速度v2，法向力f2具体包括：27、速度v2，通过笔式振动触觉及听觉反馈装置上的位置传感器获取；28、法向力f2，通过笔式振动触觉及听觉反馈装置上的力传感器实时获取。29、本发明所述步骤(5)根据采集的速度v2，法向力f2进行不同速度和法向力维度下振幅谱的重构得重构振幅谱b’，具体包括：30、1)首先判断采集的速度v2，法向力f2是否处于波形表q上的区间范围内；31、2)若在区间范围内，则进行速度和法向力下的插值重构当前速度v2、法向力f2下的振幅谱，其中，振幅谱系数ck与速度和法向力有关；32、速度维度上的公式：33、34、(vi<v2<vi+1),(k＝0,...,n-1)35、其中，v2为当前采集的速度，vi和vi+1为波形表q中所存储相应音频信号片段a”的对应速度标签，ck(v2)为当前需要插值重构的速度振幅谱系数，ck(vi+1)和ck(vi)为波形表中已存储的对应速度标签下的音频振幅谱系数，n为采样点数；36、法向力维度上的公式：37、38、(fi<f2<fi+1),(k＝0,...,n-1)39、其中，f2为当前采集的速度，fi和fi+1为波形表q中所存储相应音频信号片段a”的对应法向力标签，ck(f2)为当前需要插值重构的法向力振幅谱系数，ck(fi+1)和ck(fi)为波形表中已存储的对应法向力标签下的音频振幅谱系数；40、将当前采集速度v2的振幅谱系数ck(v2)和法向力f2的振幅谱系数ck(f2)叠加成得ck(v2,f2)：41、ck(v2,f2)＝ck(v2)+ck(f2)(k＝0,...,n-1)42、其中ck(v2,f2)为融合速度v2和f2标签的振幅谱系数，n为采样点个数；43、将ck(v2,f2)连接起来即可得到重构振幅谱b’。44、本发明所述步骤(6)重构所得的振幅谱b’再通过离散余弦反变换生成电压驱动信号c，并进行纹理交互的触觉渲染，具体包括：45、通过离散余弦反变换从重构振幅谱b’中ck(v2,f2)的振幅谱系数从频域变换到时域，得电压驱动信号c；46、离散余弦反变换公式：47、48、其中，ci为重构后的电压驱动信号时间采样点下的幅值，ck(v2,f2)为当前采集速度v2和法向力f2组合的不同频率采样点下的振幅谱系数，n为采样点数；49、将ci在时域上连接起来即构成重构后的电压驱动信号c，并实时输出，进行纹理交互的触觉渲染。50、本发明所述步骤(7)预处理后得新音频信号a”以听觉呈现，进行纹理交互的听觉渲染，具体包括：51、预处理后得新音频信号a”将根据当前采集的速度v2和法向力f2利用欧氏距离d判定距离波形表p上哪个音频信号片段更接近从而选择该音频信号片段循环播放，呈现听觉反馈，进行纹理交互的听觉渲染。52、本发明所述的基于音频信号的笔式听触反馈的渲染方法所采用的装置包括：笔式纹理音频数据采集和笔式振动触觉及听觉反馈，其中：53、1)所述的笔式纹理音频数据采集包括：54、笔体，麦克风，位置传感器，力传感器，用于采集与真实纹理交互时的音频数据，包括：音频信号a，速度v1，法向力f1；55、处理模块，用于确定对不同速度v1和法向力f1条件下的音频信号a进行预处理后的音频片段a”；56、计算预处理后的音频片段a”离散余弦变换振幅谱b，并存储在波形表中；57、2)所述笔式振动触觉及听觉反馈装置包括：58、笔体，位置传感器，力传感器，用于实时采集渲染交互时的当前时刻触觉渲染数据，包括：速度v2，法向力f2；59、处理模块，根据当前采集的速度v2和法向力f2所处波形表的区间，选择相应的音频波形插值重构振幅谱b’，并将其通过离散余弦反变换成电压驱动信号c；60、功率放大器，用于放大处理模块生成的所述电压驱动信号c，并输出到振动执行器；61、振动执行器，用于接收功率放大器实时输出的所述电压驱动信号c，提供相应的触觉反馈，进行纹理的触觉渲染；62、扬声器，用于接收功率放大器实时输出预处理后的音频信号a”，提供相应的听觉反馈，进行纹理的听觉渲染；63、交互面板，用于手持握笔体在交互面板上进行滑动等交互动作。64、本发明的有益效果是：65、1.本发明提出的笔式交互的音频触觉渲染方法，考虑到笔式书写时触觉和听觉信号的时间频率相关性，从音频角度提取触觉信号，有效提高了笔式纹理触觉反馈的真实感。66、2.本发明提出的音频预处理方法有利于提取更加平稳有效的笔式纹理交互的音频片段，更好地再现笔式交互的听觉反馈。67、3.本发明所用的麦克风采集设备成本较于加速度采集设备低，并且更为通用，有利于音频触觉算法的推广。当前第1页12当前第1页12