专利名称：基于三维力传感器的二维图像力触觉再现控制方法及系统的制作方法
技术领域：
本发明涉及一种基于三维力传感器的二维图像力触觉再现控制方法及系统，尤其 涉及一种用于虚拟现实人机交互的基于三维力传感器的二维图像力触觉再现控制方法及 系统。
背景技术：
触觉交互是人机交互领域的最新技术，在交互过程中有着不可替代的作用，人们 长期以来就在研究利用力触感知来补偿眼睛功能，借助一定的力触觉再现装置产生力反 馈，引导盲人去感知物体的轮廓，实现视觉的力触觉表达。目前，国外很多研究者都是基于力反馈装置进行图形图像表达的研究。Fritz和 Barner等人研究如何利用三维力反馈装置如Phantom，对数学模型和复杂图表进行表达。 Manusson等人正在研究如何利用Phantom装置以及Vrml语言建立一个带力反馈的人机交 互界面，帮助盲人感知3D表面。此类研究都是利用力反馈装置，主动引导盲人，帮助盲人感 知物体边缘信息。主要的力反馈装置有Phantom系统、操纵杆、手控器和力反馈手套。①最常见的力反馈装置就是SensAble科技公司的Phantom，它能够使用户接触并 操作虚拟物体。目前，该公司有两类产品一类是桌面Phantom系统，其工作空间较小，约为 15厘米见方的立方体；另一类是Premium Phantom系统，其工作空间较大。Phantom系统是 一个类似于小型机械手的装置，对于三维虚拟模型或数据具有定位功能，当Phantom的机 械臂在工作空间中运动时，就会在计算机屏幕上出现一个指示针，反映机械臂在工作空间 中的位置。通过碰撞检测等技术探测指示针与虚拟模型接触时，计算机会发出信号并将该 模型的物理性质反馈给Phantom系统，并产生相应的力传递给操作者，实现力反馈。②操纵杆，这种力反馈设备通常自由度比较小，且操作空间小，只适用于一些功能 要求不高的场合。例如，罗技公司的WingMan Strike Force 3D操纵杆，Cybernet System 公司的三自由度力反馈操纵杆PER-Force，卡内基梅隆大学的磁悬浮式力反馈操纵杆等。③手控器，通常为六自由度两杆开链机构，在控制与其结构相同的机械手时，它具 有各关节角度完全对应的优点。手控器中比较有代表性的就是Force Dimension公司的 Delta手控器和Omega手控器。Delta手控器能够在很大的工作空间上传达大范围的力信 息；并行机械结构连同装在基座上的传动装置一起，可产生很高的刚度及很低的惯性。而 Omega手控器则采用了轻质的铝框和坚固的落地式传动装置。这种并行机构能够大大增加 机构的刚度和耐用性。通过提供持续的12牛顿的力、14. 5牛顿/毫米的闭环刚度和大范围 的工作空间，Omega装置在性能上超越了其他同级别的触感装置。④力反馈手套，那些对于灵活性要求高的任务，可能需要独立控制每个手指上模 拟的力，而不是像操纵杆和控制臂那样只在手腕上产生模拟的力，这种情况通常要使用力 反馈手套。至今应用最多的传感手套是VPL公司的数据手套DataGlove，它也是第一个推向 市场的。这些力反馈输出装置大多都是开环系统，在图像的力触觉表达研究中，为保证能实时、准确地实现图像的力触觉再现，除了借助一定的图像采集、处理和识别系统，将图像 信息转换为力触觉信息外，如何设计合理有效的控制算法，通过力触觉再现装置，实时、准 确地反馈出图像的力触觉信息，以提高图像的力触觉再现的真实感，已是目前虚拟现实的 热点研究问题之一。
发明内容
本发明所解决的技术问题是，提出基于三维力传感器的二维图像力触觉再现控制 方法及系统，并将其用于虚拟现实人机交互的二维图片的力触觉感知。本发明能够提高图 像接触力的跟踪精度和闭环控制系统的稳定性，使得图像的力触觉表达更加真实、逼真、舒 适。为了实现上述所要解决的技术问题，本发明采用如下技术方案所述的一种基于三维力传感器的二维图像力触觉再现控制方法，主要步骤如下操作者通过操作力触觉交互设备端部的手柄控制虚拟手接近二维图像，在虚拟手 碰撞到二维图像之前，即在靠近二维图像的过程中，虚拟手与图像接触力信号f为0 ；如果 发生碰撞，则根据虚拟手与图像接触力计算模块中建立的接触力模型，计算出碰撞点处虚 拟手与图像接触力信号f，虚拟手与图像接触力计算模块包括图像处理单元和力触觉建模单元，图像处理单 元用于借助一定的图像采集、处理和识别系统，提取外界导入的虚拟物体图片中有意义的 图像信息，例如物体占有区，轮廓，纹理特征等等，力触觉建模单元用于将图像信息计算并 转换成力触觉信息，所述的虚拟手与图像接触力信号f输至图像接触力反馈控制模块，图像接触力反 馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号fd进行比 较运算后，以运算结果为图像接触力信号f'，最后，由力触觉交互设备将图像接触力信号 转化成图像接触力传递给操作者，所述的源自力触觉交互设备的反馈力信号fd由以下方法得到采用图像接触力采集模块，将图像接触力采集模块中的三维力传感器1通过法兰 盘2固定在力触觉交互设备端部的手柄3上并采集图像接触力，如图3所示，所述图像接触 力经图像接触力采集模块处理后形成反馈力信号fd，图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备 的反馈力信号fd进行比较运算如下①将虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f与图像 接触力采集模块所采集到反馈力信号fd作差，得到Af如下Af= f-fd,②对上述的Af采用比例控制，得到放大或缩小后的力信号差值Afk，艮P Afk = kX Af其中k为比例系数，k = 1. 5，③将比例控制后的力信号差值Afk与虚拟手与图像接触力计算模块计算出的虚 拟手与图像接触力信号f 一起，共同作为力触觉交互设备在图像接触点处的图像接触力信 号f'，即
f' = f + Δ f k ；所述基于三维力传感器的二维图像力触觉再现控制方法的系统，包括力触觉交 互设备、主手位置检测模块、虚拟手与主手位置映射模块、用于判断虚拟手是否触及二维图 像的碰撞检测模块、虚拟手与图像接触力计算模块，力信息输出模块及图像采集和显示模 块，所述力触觉交互设备用于根据操作者的操作指示命令通过操纵主手即力触觉交 互设备端部的手柄控制虚拟手接近二维图像，所述主手位置检测模块用于实时检测主手即力触觉交互设备端部的手柄的位置 并获取主手在三维空间中的位置信息，并通过虚拟手与主手位置映射模块建立主手与虚拟 手之间的位置映射关系，具体映射关系可根据多个采样点在主手坐标系和虚拟手坐标系中 的位置对应关系，建立虚拟手位置与主手位置之间的坐标映射，实现主手对虚拟手位置控 制的目的，所述碰撞检测模块用于判断当前力触觉交互设备在虚拟环境里的虚拟手是否触 及到虚拟物体的二维图片，由于虚拟图片所处的位置为虚拟环境坐标系Oxyz下的区域Ω ={0 < χ < X，0 < y < Υ，ζ = 0}，其中X，Y分别为虚拟图片在虚拟环境里的长度和宽度， 因此可以根据虚拟手移动的位置坐标信息来判断是否碰撞到虚拟物体图片表面，所述虚拟手与图像接触力计算模块包括图像处理单元和力触觉建模单元，图像处 理单元用于借助一定的图像采集、处理和识别系统，提取外界导入的虚拟物体图片中有意 义的图像信息，例如物体占有区，轮廓，纹理特征等等，力触觉建模单元用于构建图像信息 与力触觉信息的映射关系，将图像信息计算并转换成力触觉信息，所述图像采集和显示模块包括图片保存单元和图形刷新单元，如图6所示，所述 图片保存单元用于保存外界导入的虚拟物体图片，以用于虚拟环境仿真，所述的图形刷新 单元用于操作者在显示器上实时观察到虚拟手的移动位置；所述力信息输出模块通过PCI板卡及PCI板卡连接线将需要输出的图像接触力信 号传输至力触觉交互设备，所述系统还包括图像接触力反馈控制模块和图像接触力采集模块，所述图像接触力反馈控制模块的一个输入端与虚拟手与图像接触力计算模块的 输出端连接，用于接收图像接触力信号f，所述图像接触力反馈控制模块的另一输入端与图 像接触力采集模块的输出端连接，用于接收反馈力信号fd，所述图像接触力反馈控制模块 的输出端与力触觉交互设备的一个输入端连接且用于接收力触觉交互设备在图像接触点 处的图像接触力信号f ‘，所述图像接触力反馈控制模块用于计算图像接触点处的图像接 触力信号f'，即f' = f+kX (f-fd)其中，ke
，所述图像接触力采集模块包括三维力传感器1和处理电路，所述三维力传感器1 通过法兰盘2固定在力触觉交互设备端部的手柄3上且用于采集三维力信号，如图3所示， 所述处理电路包括单片机处理电路单元，A/D转换电路单元，串口电路单元与信号接收和转 换单元用于处理三维力信号并产生反馈力信号fd，如图4所示，具体步骤如下①三维力传感器受到三维力，利用电桥原理，将力信号转换成电压(电流)信号，
②经A/D转换电路单元，模拟电压(电流)信号转换成数字电压(电流)信号，PC 机通过RS232串口接收传输的三维力传感器测得的X，Y，Z三个力方向的电压(电流)数 据，并载入到信号接收和转换单元中，③在信号接收和转换单元中，将接收到的三个力方向的电压(电流)信号通过校 零，解耦转换成力信号。与现有技术相比，本发明的优点(1)本发明增加了图像接触力采集模块，通过法兰盘将三维力传感器固定在力触 觉交互设备端部的手柄上，能够实时采集力触觉交互设备所输出的图像接触力，结构简单， 易于实现，同时在力信号输出前加入图像接触力反馈控制模块，对采集到的图像接触力信 号进行闭环控制，采用比例控制算法，能够实时跟踪比较和调整图像接触力信号的输出，大 大提高了图像接触力信号输出的精度，有效的减小因机械装置等原因导致的力触觉交互设 备力信号输出的误差，同时使得人机交互系统运行更加稳定，图像的力触觉表达更加真实、 逼真、舒适；(2)开放性、标准化软件系统和模块化结构，可移植性强，使得该控制系统能扩展 出各种功能模块，满足不同环境下的应用要求；(3)本发明的控制系统可用于远程操控或者在虚拟空间中进行机械设计，虚拟外 科手术仿真、远程医疗、盲人获取图像信息等领域。
图1是系统框图；图2是系统电路原理图；图3是力触觉再现设备手柄外接三维力触觉传感器结构示意图；图4是图像接触力采集框图；图5是图像接触力反馈控制图，图5a是图像接触力反馈控制原理框图，图5b是图 像接触力反馈控制软件流程图；图6是图像采集和显示框图；图7是石头表面二维纹理图片；
图8是系统软件流程图；图9是图像接触力采集电路图，图9a是单片机处理电路单元电路图，图9b是A/D 转换单元电路图，图9c是串口接口电路单元电路图。
具体实施例方式具体实施例1 一种基于三维力传感器的石头纹理图像力触觉再现控制方法，该方法的主要步骤 如下步骤1对虚拟场景进行初始化；步骤2操作者通过操纵力触觉交互设备端部的手柄控制虚拟手接近石头纹理图 像，在虚拟手碰撞到纹理图像之前，即在靠近纹理图像的过程中，虚拟手与图像接触力信号 f为0 ；如果发生碰撞，则根据虚拟手与图像接触力计算模块中建立的接触力模型，计算出碰撞点处虚拟手与图像接触力信号f，该接触力模型的建立是通过对采集到的石头纹理图像Gauss滤波，并将反映纹理 信息的高频频谱作为高度图，应用胡克定律和摩擦力公式计算虚拟手对石头纹理表面作用 的法向力和切向力作为图像接触力；步骤3虚拟手与图像接触力信号f输至图像接触力反馈控制模块，图像接触力反 馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号fd进行运 算后，以运算结果f ‘为图像接触力信号；源自力触觉交互设备的反馈力信号fd由以下方法得到采用图像接触力采集模块，将图像接触力采集模块中的三维力传感器通过法兰盘 固定在力触觉交互设备的手柄上，用于采集图像接触力，如图3所示，通过图像接触力采集 模块中的三维力传感器外接的单片机处理电路单元，A/D转换电路单元，串口电路单元与信 号接收和转换单元，将图像接触力转换成PC机可识别的数据，即反馈力信号fd，如图4所 示，具体步骤如下①三维力传感器受到三维力，利用电桥原理，将力信号转换成电压(电流)信号；②经A/D转换电路单元，模拟电压(电流)信号转换成数字电压(电流)信号，PC 机通过RS232串口接收传输的三维力传感器测得的X，Y，Z三个力方向的电压(电流)数 据，并载入到信号接收和转换单元中；③在信号接收和转换单元中，将接收到的三个力方向的电压(电流)信号通过校 零，解耦转换成力信号，图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备 的反馈力信号fd进行运算如下，如图5所示①将虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f与图像 接触力采集单元模块所采集到反馈力信号fd作差，得到Af如下Af= f-fd,②对上述的Af采用比例控制，得到放大或缩小后的力信号差值Afk，艮P Afk = kX Af其中k为比例系数，k = 1. 5，③将比例控制后的力信号差值Afk与虚拟手与图像接触力计算模块计算出的虚 拟手与图像接触力信号f 一起，共同作为力触觉交互设备在图像接触点处的图像接触力信 号f'，即f' = f + Δ fk ；具体实施例2 基于三维力传感器的石头纹理图像力触觉再现控制方法的系统是基于PC机的开 放式的闭环控制系统，该系统充分利用Windows丰富的软件资源和PC机的多种通讯接口， 具有移植性强，模块化设计等特点，如图1是本发明控制系统的总体结构方框图，基于三维力传感器的石头纹理图像力触觉再现方法的控制系统，包括力触觉交 互设备、主手位置检测模块、虚拟手与主手位置映射模块、用于判断虚拟手是否触及二维图 像的碰撞检测模块、虚拟手与图像接触力计算模块，力信息输出模块及图像采集和显示模 块，
8
本实例中力触觉交互设备采用的为德国瑞士 Force Dimension公司生产的6自由 度的Delta手控器，它是一个应用于计算机虚拟现实领域中的产品，其工作空间范围为平 移0 360mmXL300mm和旋转士20deg/axis，能够实现沿X，Y，Z轴的三维力重构，通过Delta 手控器端部的手柄，可以触摸、感知和控制虚拟手在虚拟石头纹理表面滑动，并将产生的图 像接触力信息实时的反馈给操作者，本实例中图像采集和显示模块包括图片保存单元和图形刷新单元，如图6所示， 图片保存单元用于保存外界导入的石头纹理图像以用于虚拟环境仿真，如图7所示，图形 刷新单元用于操作者在显示器上实时观察到虚拟手的移动位置，本实例中主手位置检测模块用于实时检测主手即力触觉交互设备Delta手控器 端部的手柄的位置并获取主手在三维空间中的位置信息，其中主手坐标位置的获取通过调 用力触觉交互设备即Delta手控器标准API函数库中的dhdGetPosition ()函数实现，单位 是m,本实例中虚拟手与主手位置映射模块用于实时将力触觉交互设备即Delta手控 器输入的位置信息转化为虚拟环境下的虚拟手的坐标，使主手与虚拟手在各自的坐标系 下协作一致，具体坐标转化关系可根据主手与虚拟手在坐标系下线性映射后位置相等的条 件，建立虚拟手与主手之间的对应关系，从而实现主手对虚拟手位置的控制，具体映射关系 如下Mx = 9*Py，My = 14*Pz，Mz = Px*5_5，其中(Mx，My，Mz)为虚拟手位置坐标，(Px，Py, Pz)为主手位置坐标，本实例中碰撞检测模块用于判断当前力触觉交互设备即Delta手控器在虚拟环 境里的虚拟手是否触及到石头纹理图像，由于石头纹理图像所处的位置为虚拟环境坐标系 Oxyz下的区域{0 < χ < 5，0 < y < 5，ζ = 0}，因此可以根据虚拟手移动的位置来判断当 前力触觉交互设备即Delta手控器在虚拟环境里的虚拟手是否碰撞到虚拟石头表面，如果 虚拟手位于区域S = {(x,y,z) Ix e
，且y e
且Z e
}内，则碰撞，否 则没有发生碰撞，本实例中虚拟手与图像接触力计算模块采用公知的纹理的力触觉表达方法，该方 法源于仪器仪表学报中第29卷第11期中论文《基于DELTA手控器的纹理的力触觉表达方 法》(出版日期2008年11月)，在该模块图像处理单元中对采集到的石头纹理图像进行 Gauss滤波，将反映纹理信息的高频频谱作为高度图，在该模块力触觉建模单元中，应用胡 克定律和摩擦力公式分别计算虚拟手对石头纹理表面作用的法向力和切向力，共同作为图 像接触力，完成力触觉的建模，本实例中力信息输出模块通过PCI板卡及PCI板卡连接线将接触力反馈控制模 块产生的需要输出的接触力信息传输至力触觉交互设备即Delta手控器，通过调用力触觉 交互设备即Delta手控器标准API函数库中的dhdSetForce ()来设定力触觉交互设备即 Delta手控器需要输出的作用力，基于三维力传感器的石头纹理图像力触觉再现方法的控制系统，还包括图像接触 力反馈控制模块和图像接触力采集模块，本实例中图像接触力采集模块包括三维力传感器和处理电路，三维力传感器采用 的是公知的东南大学机器人传感与控制技术实验室自主研制的直接输出型机器人四维力与力矩传感器(授权号CN 1425903A)，使其输出三维力信号，不输出力矩信号，输出电压 范围为-1. 4V +1. 4V，额定载荷范围为-100N +100N，通过法兰盘固定在力触觉交互设 备即Delta手控器端部的手柄上，如图3所示，用于检测力触觉交互设备Delta手控器反馈 输出力的大小，通过外接的处理电路，包括单片机处理电路模块，A/D转换电路模块，串口电 路模块与信号接收和转换模块，转换成PC机可识别的数据，即反馈力信号fd，经接触力反馈 控制模块跟踪补偿后，通过力信息输出模块由Delta手控器反馈给操作者，如图4所示，具 体步骤如下①三维力传感器受到三维力，利用电桥原理，将力信号转换成电压信号，②经A/D转换电路单元，模拟电压信号转换成数字电压信号，PC机通过RS232串 口接收传输的三维力传感器测得的X，Y，Z三个力方向的电压数据，并载入到信号接收和转 换单元中，③在信号接收和转换单元中，将接收到的三个力方向的电压信号通过校零，解耦 转换成力信号，本实例中图像接触力反馈控制模块的一个输入端与虚拟手与图像接触力计算模 块的输出端连接，用于接收图像接触力信号f，图像接触力反馈控制模块的另一输入端与图 像接触力采集模块的输出端连接，用于接收反馈力信号fd，图像接触力反馈控制模块的输 出端与力触觉交互设备即Delta手控器的一个输入端连接且用于接收力触觉交互设备即 Delta手控器在图像接触点处的图像接触力信号f'，图像接触力反馈控制模块用于计算 图像接触点处的图像接触力信号f'，即f' = f+kX (f-fd)其中，ke [ο. 5，10]，所述三维力传感器还可以采用蛘埠传感器系统工程有限公司生产的金诺JHSW-II 型号的三维力传感器，输出电压范围为-4V +4V，额定载荷范围为-19. 6Ν +19. 6Ν。参照图7，该系统的软件流程如下步骤1对外部导入的虚拟物体图片进行保存；步骤2在虚拟手与图像接触力计算模块中，调用上述的虚拟物体的二维图片，借 助一定的图像采集、处理和识别系统，提取虚拟物体图片中有意义的信息，例如物体占有 区，轮廓，纹理特征等等，并建立接触力模型，将图像信息转换成力触觉信息；步骤3对虚拟场景进行初始化，在虚拟环境坐标系Oxyz中的区域{0≤χ≤Χ，0≤y≤Y，ζ = 0}中加载虚拟物体的二维图片，二维图片在虚拟空 间中的位置左右对齐，且上下对齐，在虚拟环境中初始化虚拟手，即力触觉交互设备在虚拟 环境中的代理；步骤4初始化力触觉交互设备；步骤5操作者通过力触觉交互设备端部的操作柄及虚拟手与主手位置映射模块 控制虚拟手接近二维图片。虚拟手与主手位置映射模块实时将力触觉交互设备输入的位置 信息(Px，Py，Pz)转化为虚拟环境下的虚拟手的坐标(Mx，My，Mz)。具体坐标转化关系可根 据多个采样点在主手坐标系和虚拟手坐标系中的位置对应关系，建立虚拟手位置与主手位 置之间的对应坐标映射关系，从而实现主手对虚拟手位置控制的目的，其中(Px，Py，Pz)坐 标位置的获取在主手位置检测模块获得；
步骤6碰撞检测模块检测当前力触觉交互设备在虚拟环境里的虚拟手是否碰撞 到虚拟物体的二维图片，由于虚拟纹理图片所处的位置为虚拟环境坐标系Oxyz下的区域 Ω = {0<x<X，0<y<Y，z = 0}，其中Χ，Υ分别为虚拟图片在虚拟环境里的长度和宽 度，因此可以根据虚拟手移动的位置信息来判断是否碰撞到虚拟物体图片；步骤7根据碰撞检测的结果以及虚拟手当前的坐标，经过虚拟手与图像接触力计 算模块，计算出当前位置需要输出的虚拟手与图像接触力信号f。如果没有碰撞到虚拟物体 图片，则虚拟手与图像接触力信号f为0 ；如果发生碰撞，则根据虚拟手与图像接触力计算 模块中建立的接触力模型，计算出虚拟手与图像接触力信号f ；步骤8虚拟手与图像接触力信号f输至图像接触力反馈控制模块，图像接触力反 馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号fd进行运 算后，以运算结果f ‘为图像接触力信号；源自力触觉交互设备的反馈力信号fd由以下方法得到采用图像接触力采集模块，将图像接触力采集模块中的三维力传感器固定在力触 觉交互设备的手柄上，用于采集图像接触力，通过图像接触力采集模块中的三维力传感器 外接的处理电路，包括单片机处理电路单元，A/D转换电路单元，串口电路单元与信号接收 和转换单元，将图像接触力转换成PC机可识别的数据，即反馈力信号fd ；图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备 的反馈力信号fd进行运算如下①将虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f与图像 接触力采集单元模块所采集到反馈力信号fd作差，得到Af如下Af= f-fd,②对上述的Δ f采用比例控制，得到放大或缩小后的力信号差值Afk，即Afk = kX Af其中k为比例系数，k e
，③将比例控制后的力信号差值Afk与虚拟手与图像接触力计算模块计算出的虚 拟手与图像接触力信号f 一起，共同作为力触觉交互设备在图像接触点处的图像接触力信 号f'，即f' = f + Δ f k ；步骤9力信息输出模块通过PCI板卡及PCI板卡连接线将图像接触力反馈控制模 块产生的需要输出的图像接触力信号传输至力触觉交互设备；步骤10如果虚拟手碰撞到虚拟物体图片，则虚拟手不再移动(考虑的是刚性接 触)，仍在原位置绘制虚拟手，然后图形刷新；如果虚拟手未碰撞到虚拟物体图片，则应该 在虚拟环境中更新虚拟手的位置，即在基于主手位置检测模块和虚拟手与主手位置映射模 块得出新的位置绘制虚拟手，进行图形刷新；步骤11通过力触觉交互设备、显示器把要求更新的图像接触力信息和视觉信息 反馈给操作者，使其不仅能够看到且能感觉到图像接触力的变化，然后再回到步骤5。
权利要求
一种基于三维力传感器的二维图像力触觉再现控制方法，步骤如下操作者通过操作力触觉交互设备端部的手柄控制虚拟手接近二维图像，在虚拟手碰撞到二维图像之前，即在靠近二维图像的过程中，虚拟手与图像接触力信号f为0；如果发生碰撞，则根据虚拟手与图像接触力计算模块中建立的接触力模型，计算出碰撞点处虚拟手与图像接触力信号f，其特征在于，所述的虚拟手与图像接触力信号f输至图像接触力反馈控制模块，图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号fd进行比较运算后，以运算结果为图像接触力信号f′，最后，由力触觉交互设备将图像接触力信号转化成图像接触力传递给操作者；所述的源自力触觉交互设备的反馈力信号fd由以下方法得到采用图像接触力采集模块，将图像接触力采集模块中的三维力传感器设在力触觉交互设备端部的手柄上并采集图像接触力，所述图像接触力经图像接触力采集模块处理后形成反馈力信号fd；图像接触力反馈控制模块对虚拟手与图像接触力信号f与源自力触觉交互设备的反馈力信号fd进行运算如下①将虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f与图像接触力采集模块所采集到反馈力信号fd作差，得到Δf如下Δf＝f fd，②对上述的Δf采用比例控制，得到放大或缩小后的力信号差值Δfk，即Δfk＝k×Δf其中k为比例系数，k＝1.5，③将比例控制后的力信号差值Δfk与虚拟手与图像接触力计算模块计算出的虚拟手与图像接触力信号f一起，共同作为力触觉交互设备在图像接触点处的图像接触力信号f′，即f′＝f+Δfk。
2.一种实现权利要求1所述基于三维力传感器的二维图像力触觉再现控制方法的系 统，包括力触觉交互设备(1)、主手位置检测模块(2)、虚拟手与主手位置映射模块(3)、用 于判断虚拟手是否触及二维图像的碰撞检测模块(4)、虚拟手与图像接触力计算模块(5)， 力信息输出模块(6)及图像采集和显示模块(7)，所述力触觉交互设备(1)用于根据操作者的操作指示命令控制虚拟手接近二维图像， 所述主手位置检测模块(2)用于实时检测主手的位置并获取位置信息，并通过虚拟手 与主手位置映射模块(3)建立主手与虚拟手之间的位置映射关系，所述虚拟手与图像接触力计算模块(5)包括图像处理单元和力触觉建模单元，所述图 像处理单元用于提取外界导入的虚拟物体图片中有用的图像信息，所述力触觉建模单元用 于将图像信息计算并转换成力触觉信息，所述力信息输出模块(6)通过PCI板卡及PCI板卡连接线将需要输出的图像接触力信 号传输至力触觉交互设备(1)，所述图像采集和显示模块(7)包括图片保存单元和图形刷新单元，所述图片保存单元用于保存外界导入的虚拟物体图片，以用于虚拟环境仿真，所述的图形刷新单元用于操作 者在显示器上实时观察到虚拟手的移动位置，其特征在于，所述系统还包括图像接触力反馈控制模块(8)和图像接触力采集模块(9)，所述图像接触力反馈控制模块(8)的一个输入端与虚拟手与图像接触力计算模块(5) 的输出端连接，用于接收图像接触力信号f，所述图像接触力反馈控制模块(8)的另一输入 端与图像接触力采集模块(9)的输出端连接，用于接收反馈力信号fd，所述图像接触力反馈 控制模块(8)的输出端与力信息输出模块的一个输入端连接且用于接收力触觉交互设备 在图像接触点处的图像接触力信号f'，所述图像接触力反馈控制模块(8)用于计算图像接触点处的图像接触力信号f'，即 f' = f+kX (f-fd) 其中，k e
，所述图像接触力采集模块(9)包括三维力传感器和处理电路，所述三维力传感器设在 力触觉交互设备端部的手柄上且用于采集三维力信号，所述处理电路包括单片机处理电路 单元，A/D转换电路单元，串口电路单元与信号接收和转换单元，用于处理三维力信号并产 生反馈力信号fd。
全文摘要
本发明公开了基于三维力传感器的二维图像力触觉再现控制方法及系统，其特征是将三维力传感器固定在力触觉交互设备端部的手柄上，实时采集力触觉交互设备所输出的图像接触力，同时对采集到的图像接触力信号进行闭环控制，采用比例控制算法，实时调整图像接触力信号的输出。本发明采用了闭环反馈控制策略，提高了图像接触力的输出精度和控制系统的稳定性，增强了人机交互时的真实性，此外本发明采用模块化的系统结构，系统移植性强。
文档编号G06F3/033GK101943946SQ20101027241
公开日2011年1月12日 申请日期2010年9月3日 优先权日2010年9月3日
发明者吴涓, 宋爱国, 张小瑞, 李佳璐, 程盈盈 申请人:东南大学