专利名称：光学式触觉传感器的制作方法
技术领域：
本发明涉及光学式触觉传感器，理想是涉及在比较大的区域内求得力的施加方法所使用的触觉传感器。
背景技术：
在考虑通过触觉传感器来了解接触面的接触状态时，加在接触面各点上的力是具有大小和方向的三个分量的矢量。在图1的座标系中把它表示为f(x，y)。其中由于f是矢量，所以实际上在各点中具有x、y、z这三个分量。在把各自的分量明确进行表示时，则表示为f(x，y)＝[fx(x，y)，fy(x，y)，fz(x，y)]。由于力分布在各接触点具有三分量，所以，为了通过触觉传感器而把接触面的力分布进行再构成时，至少对于接触面的各点必须得到大于或等于三个的自由度的信息。
本申请的发明者等提案有能测量三维矢量分布的光学式触觉传感器。该光学式触觉传感器的原理可根据图2进行说明。光学式触觉传感器是使用透明弹性体1和CCD照相机的结构。通过把配置在透明弹性体内部的球状标志3、4由CCD照相机进行摄影，来测量向弹性体表面加力时弹性体内部的变形信息，再构筑力的分布。
把弹性体表面取为xy平面，把垂直方向取为z轴，通过使用CCD照相机从z方向对球状标志进行摄影，把加力时测量点的移动作为xy平面方向的移动矢量来进行测量。为了根据标志的变形信息来再构筑力矢量分布，在弹性体内部不同的深度把红色球状标志、兰色球状标志作为测量点，通过分别配置N×N个，来求出两个深度不同的二维移动矢量，通过把其作为各自不同的信息处理来增加信息量而求出力矢量分布。
作为这种光学式触觉传感器的用途，当初是考虑适用于人型机器人的的机器人手适等，作为光学式触觉传感器的应用是以小型组装型传感器作为中心来研究的。但这种光学式触觉传感器，其在能测量立体力矢量分布的同时，其传感器面是由弹性体构成的，所以不仅是机器人手，还期待其在各个领域中的应用。
其中之一能举出把光学式触觉传感器作为所谓的环境型触觉传感器使用。本说明书中，对于组装在机器人手等中使用的组装型触觉传感器，把在环境中固定使用的触觉传感器叫做环境型触觉传感器。但在环境中固定使用的环境型触觉传感器中，由于是假想把传感器适用于例如椅子的座面、床铺、地面等，所以考虑需要进行大面积力分布测量，把向机器人手等的组装作为前提的现有的小型光学式触觉传感器不能被原封不动地适用。
专利文献1国际公开公报WO02/18893A1。
发明内容
本发明的目的在于提供一种能进行大面积力分布测量的光学式触觉传感器。
本发明的其它目的在于提供一种用于能进行大面积力分布测量的标志信息取得方法和标志图像综合方法。本发明的又其它目的在于提供一种能进行大面积力分布测量的光学式触觉传感器中的力矢量再构筑法。
本发明是为了解决该课题而开发的，本光学式触觉传感器具有触觉部，其由透明弹性体和设置在该透明弹性体内的多个标志构成；摄影设备，其在物体接触到该透明弹性体的触觉面(接触面)时对标志的动作进行摄影并取得标志图像，该摄影设备由多个摄影装置构成，且该多个摄影装置的各摄影装置被设置成通过各摄影装置取得的各摄影区域具有部分重复的重复摄影区域，该光学式触觉传感器还具有把由该多个摄影装置取得的各标志图像进行综合的图像综合装置，该图像综合装置使该重复摄影区域中的同一标志一致地来综合各摄影区域，并生成综合图像。
一个理想的形态是，该触觉部是通过组合多个小面积触觉部而构成的大面积触觉部。且“大面积”、“小面积”的表现是相对的，本说明书中的“大面积”是指比组装在机器人手上的触觉部大的意思，“小面积”是指比“大面积”小的意思。作为“大面积”能举例有椅子的座面、床铺面、地面等，当然比它们小的面积也包含在大面积中。
更理想的是，触觉传感器具有由一个小面积触觉部和与该小面积触觉部对应的一个摄影设备构成的单元，其通过把该单元组合多个而构成。通过把触觉传感器由传感器单元构成，就能准备具有任意面积的触觉部。
本发明采用的其它技术手段是一种标志图像的取得方法，其使用的光学式触觉传感器具有触觉部，其由透明弹性体和设置在该透明弹性体内的多个标志构成；摄影设备，其在物体接触到该透明弹性体的触觉面时对标志的动作进行摄影并取得标志图像，该标志图像取得方法，其具有取得部分标志图像步骤，作为该摄影设备而设置多个摄影装置，该取得标志图像步骤通过该多个摄影装置的各摄影装置使各摄影装置具有重复摄影区域地对该透明弹性体的部分区域进行摄影并取得部分标志图像；生成综合标志图像步骤，其使该重复摄影区域内的同一标志一致地来综合由各摄影设备取得的部分标志图像并生成综合标志图像。
本发明采用的又其它技术手段是一种光学式触觉传感器的标志图像的综合方法，该光学式触觉传感器具有触觉部，其由透明弹性体和设置在该透明弹性体内的多个标志构成；多个摄影装置，其在物体接触到该透明弹性体的触觉面时对标志的动作进行摄影并取得标志图像，该图像综合方法具有取得部分图像步骤，其通过该多个摄影装置的各摄影装置使各摄影装置具有重复摄影区域地对该透明弹性体的部分区域进行摄影并取得部分图像；综合步骤，其使该重复摄影区域内的同一标志一致地来综合由各摄影装置取得的部分图像。
作为触觉部的结构，最好该触觉部是由透明弹性体和设置在该弹性体内的多个标志组构成，各标志组分别由多个有色标志构成，构成不同标志组的标志的每组具有相互不同的颜色，在物体接触了该弹性体的触觉面时通过摄影设备对该有色标志的动作进行摄影。
本发明包含使用读出用的标志来进行各摄影设备的校准。本发明具有多个摄影装置，需要进行摄影设备的校准，本发明作为必须结构要素而具有读出用的标志，能把该标志兼用于校准用标志。且本发明还包含使用这种光学式触觉传感器的力矢量再构成法。通过在力矢量的计算中省去有关贡献度低的标志动作的信息来计算力矢量，就缩短了力矢量的计算时间。
本发明由于是使用多个的摄影设备来取得标志有关动作的信息，所以即使在触觉部面积大的情况下也能良好地进行应对。因此，通过使用本发明的传感器就能进行大面积力矢量分布测量，能根据得到的标志信息来求出加在具有大面积的触觉面上的力。且在对各摄影设备取得的图像信息进行综合和各摄影设备的校准中，能利用读出用的标志，能以更少的结构要素来构成传感器。
图1是表示在触觉传感器与接触对象之间产生的力矢量分布的图；图2是光学式触觉传感器的原理图，上图是透明弹性体的平面图(CCD图像)，下图是透明弹性体的侧面图，在透明弹性体中埋设了两种标志组，在有力从下方作用在透明弹性体上时，标志从左图向右图地移动；图3是本发明光学式触觉传感器的模式图；图4是说明传感器面大面积化的概略图，左图表示的是由一台CCD照相机和弹性体部构成的一个单元，右图表示的是通过铺满一个单元来进行大面积化；图5是表示把由多个摄影设备取得的图像信息进行综合的方法的图；图6是通过图4所示传感器取得的图像信息的概略图；图7是说明作用在接触表面(平面)上的力矢量与标志移动的图；图8是说明作用在接触表面(自由曲面)上的力矢量与标志移动的图；图9是在力矢量分布的再构成中使用的传递函数制作法的说明图；图10是由被综合的多台照相机所摄影的图像，是力矢量再构筑计算时间缩短法的说明图，在求加在某点上的力时，仅使用位于其附近区域的标志移动信息来计算力；图11是计算缩短法中改善手法的概念图，图中黑球和白球表示力的采样点，黑球表示计算后利用的计算结果；图12是表示增加标志点数的图；图13是表示增加标志点数的图，是关注对于某一点的力而标志移动的图；图14是根据图13来说明图10所示高速化手法的图；图15是根据图13来说明改善手法的图；图16是表示标志的其它实施例(圆柱状标志)的图；图17是表示标志的其它实施例的图，上图表示是台阶状的带状标志，下图表示是棱锥形状的标志；图18是表示标志的其它实施例(交叉状带片标志)的图；图19是表示标志的其它实施例(被分色的平面标志)的图。
具体实施例方式光学式触觉传感器的基本结构本发明的光学式触觉传感器具备触觉部和摄影设备，该触觉部由透明弹性体和设置在该弹性体内的多个标志组构成，各标志组分别由多个有色标志构成，构成不同标志组的标志其每组具有相互不同的颜色，在物体接触了该弹性体的触觉面时通过摄影设备对该有色标志的动作进行摄影并取得标志图像，使用从该标志图像得到的关于标志动作的信息来求加在该触觉面上的力。
通过对该有色标志的动作进行摄影，观测在物体接触到了该弹性体时该有色标志的变位、变形、倾斜中的至少一个或一个以上。根据接触对象与传感器接触时的有色标志的信息，能检测透明弹性体内部的变形信息、还有据此计算的接触对象的形状或接触界面(包含弹性体的面、接触对象的面这双方)上作用的力的信息。根据本发明，通过把多种信息进行“分色”的简单方法就能进行个别采集，能通过光学式同时得到多种触觉信息。根据本发明，通过“分色”能收集大于或等于未知数的数量的独立观测值(关于标志的动作的信息)，通过稳定地解逆问题，而能推定并再构筑力矢量。
有色标志通过摄影设备，其一个最好的例就是CCD照相机而被摄影，并进行图像处理。例如，标志的动作就能从被摄影的标志图像而作为所求的标志移动信息来取得，把物体接触时与在此以前状态(没有外力作用在透明弹性体上的状态)的图像进行比较，检测标志的移动信息(例如移动矢量)。或在平常时(没有外力作用在透明弹性体上的状态)以不能识认标志的配置状态预先把标志埋设在透明弹性体内，在物体接触到了透明弹性体时，根据由各标志存在位置周边中的变形而引起的标志的变位、变形、倾斜来识认标志，根据有色标志的外观等来检测信息。或者是其它的理想形式是把标志(例如是台阶状的带状标志时)的动作作为标志亮度的变化来取得。
光学式触觉传感器中存储有传递函数，该传递函数用于根据由该摄影设备取得的关于标志动作的信息(例如物体接触到了触觉面时各标志的移动信息，即移动矢量)再构成加在触觉面上的力矢量乃至力矢量分布。传递函数是与加在触觉面上的力信息和关于标志动作的信息(例如移动矢量)相关联的函数。在物体接触到了弹性体的触觉面时对该有色标志进行摄影并取得标志图像，根据该标志图像取得关于标志动作的信息，通过把取得的信息输入到传递函数中来把力矢量作为输出来求出。向传递函数中输入的关于标志动作的信息的数量比要求出的力矢量的数量多。
传递函数也能由弹性体的形状并根据从弹性体理论导出的式子进行计算，但在弹性体的触觉面是自由曲面的情况下，传递函数最好是通过实测或是模拟来制作。实测或是模拟的传递函数，其是根据在配置于触觉面上的采样点加上x方向、y方向、z方向规定的力时的关于标志动作的信息(例如移动矢量)来求出的。
图3是本发明光学式触觉传感器装置的原理图，传感器装置具有由透光性弹性部件构成的透明弹性体1，透明弹性体1具有曲面状的触觉面(传感器面)2。透明弹性体1内接近触觉面2处沿触觉面2曲面地埋设有多个有色标志3、4，由透明弹性体1和有色标志构成触觉部。
有色标志由两个有色标志组构成，两个标志组分别被埋设在距离触觉面2不同的深度处。构成一个标志组的有色标志3和构成另一个标志组的有色标志4具有相互不同的颜色(例如一方是红色而另一方是兰色)。
当物体5接触到透明弹性体1的触觉面2时，设置在透明弹性体1内部的有色标志3、4就产生变位或是变形。传感器装置还具备作为摄影设备照相机6和光源7。光学式照相机6把透明弹性体1夹在中间地被配置在物体5接触侧的相反侧(从触觉面2离开的一侧)位置上，通过照相机6把标志3、4的变位、变形进行摄影。光源7也可以使用波导管(光纤)进行引导。通过摄影设备即照相机6取得的标志3、4的图像信息被发送到计算机8，标志图像被显示在计算机8的显示部上，来自标志图像的关于标志动作(变位、变形、倾斜)的标志信息(例如作为移动信息之一的移动矢量)通过计算机8的运算部进行测量。在计算机8的存储部中存储有所述的传递函数，通过运算部并使用该传递函数和该标志信息(例如移动信息)就能再构筑从物体5向触觉面2作用的力的分布。
透明弹性体1最好是由硅橡胶形成，但也可以由其它橡胶类和弹性材料等其它弹性部件形成。标志最好是由弹性部件形成，更理想的是由与透明弹性体1相同的材料构成，作为理想形式之一是在硅橡胶中加有色素的结构。由于不要由标志给弹性体本体变形带来阻碍，所以使标志也由弹性部件(最好是具有与弹性体同等弹性常数的)形成是理想的。只要标志不阻碍弹性体本体变形的程度是足够微小的，则标志的材质就没有特别的限定。且也可以由弹性体部分来构成标志。
本发明使多个光学标志分布在透明弹性体1中，把由物体接触在弹性体1上的弹性体1的变形而引起的该标志变位、变形、倾斜的状况通过照相机进行摄影，这样来检测接触对象的信息和由接触引起的弹性体内部的变位、变形信息。图3是表示了两个标志组，但标志组的数量并不被限定，例如也可以沿触觉面2配置三层状的三个标志组。
作为摄影设备的照相机是数字式照相机，即把图像数据作为电信号进行输出的照相机，作为理想例之一的是CCD照相机。本发明的摄影设备并不限定于是CCD照相机，例如其也可以是使用C-MOS式图像传感器的数码照相机。作为标志是准备了红、绿、兰这三种时，为了个别地捕捉它们，有(1)通过摄影器件的滤色片分开(这时只要看照相机的RGB输出，就能原封不动地个别摄影各标志)的方法和(2)摄影器件仅捕捉光的强度，作为光源准备红、绿、兰(使红发光时，由于仅具有来自红的标志反射光，而其它两种的标志光被吸收，所以结果是照相机仅捕捉红的标志。若把其利用时间分割即使对绿、兰也进行时，则能得到与(1)等价的信息)的方法这两个。
环境型触觉传感器的结构说明本发明环境型触觉传感器的实施例。环境型触觉传感器由多个传感器单元构成。如图4左图所示，传感器单元由一个小面积触觉部10和对小面积触觉部10进行摄影的摄影设备，即一个CCD照相机所构成。小面积触觉部10如在所述基本结构中说明的那样，其由透明弹性体和设置在透明弹性体内部的有色标志构成，在物体接触到透明弹性体的触觉面时，设置在透明弹性体内部的有色标志就移动，把有色标志的移动通过CCD照相机6进行摄影。如图4右图所示，通过组合多个传感器单元来谋求传感器面的大面积化。通过把小面积触觉部10相互形成同一个面地使触觉部的端部之间接触铺满来形成大面积触觉部100。图中所示的是小面积触觉部10具有俯视图方形状的形状。小面积触觉部的形状并不限定于方形，但在把多个小面积触觉部铺满时，方形的触觉部是有利的。且图中所示的是具备平面状触觉面10的小面积触觉部，但触觉面10并不限定于是平面，其也可以是由自由曲面构成的触觉面。
由于是使用多个CCD照相机6，所以需要把由各个照相机取得的图像信息进行综合。图5是对多台照相机图像的综合进行说明的图。该图像例如显示在计算机8的显示部上。首先通过多台照相机6使各摄影区域相互部分重复地分别取得小面积触觉部10的图像。然后使重复摄影区域11中的标志相互一致地通过合成各照相机图像来进行图像信息的综合。图5中，黑球是兰色标志，白球是红色标志，照相机1的摄影区域和照相机2的摄影区域具有重复摄影区域11。为了使照相机1的摄影区域中包含在与重复摄影区域11对应区域的兰色标志和红色标志、与照相机2的摄影区域中包含在与重复摄影区域11对应区域的兰色标志和红色标志相一致，而把照相机1摄影的部分图像与照相机2摄影的部分图像进行合成。在此，是根据球状的标志进行的说明，即使使用后述其它形状的标志，也能同样地进行图像综合。
把图4所示四台CCD照相机摄影的图像表示在图6。把由各CCD照相机取得的摄影区域分别设定为是A、B、C、D时，则区域A与区域B、区域A与区域C、区域B与区域D、区域C与区域D的各自中形成有重复摄影区域11地把各摄影区域A、B、C、D进行综合。图6中省略了标志。各照相机是对每个照相机预先决定的区域中的标志动作进行摄影，该决定了的区域具有相互重复的区域。作为形式之一，各照相机是预先设定成分别对透明弹性体的规定部分区域进行摄影，通过把由各照相机取得的各规定部分区域的图像进行综合，就能取得透明弹性体整体的图像。
对使用多台摄影设备(CCD照相机)时的照相机的校准进行说明。照相机校准一般是为了对得到的图像中产生的由透镜引起的失真进行校正和为了求得世界座标系中照相机的位置和方向。透镜的失真是使用广角镜头时所必定发生的，照相机的位置、方向使使用图像信息进行决定最正确。本触觉传感器中就需要求出图像信息与实际位置之间的关系，需要进行照相机校准。通常使用多台照相机的测量系统，其有必要遵循下面的顺序。首先对于世界座标系在已知的位置上配置区分有间隔的条纹图样或白黑的瓦状图样，对其进行摄影。然后使用该摄影图像在没有透镜失真的情况下来计算与应摄影图像的偏差，求出透镜失真和照相机的位置、方向。在此，在这样相同地使用多台照相机的环境型触觉传感器中，所述的“在已知的位置上区分有间隔的条纹图样和白黑的瓦状图样”是指作为读出用的有色标志已经被配置，作为图像是能取得的状态。因此，本来在组装测量系统之前就必须进行的照相机校准在组装测量系统之后在任何时间都可以进行。
加在触觉面上的力矢量分布再构成法为了根据由光学式触觉传感器得到的关于标志动作的信息(例如标志的移动信息之一的移动矢量)来求出加在触觉面上的力矢量分布，就需要从关于标志动作的信息(例如移动信息)M向力信息F进行变换。从标志信息M向力信息F的变换是通过式子F＝HM来进行的。以下把关于从标志信息再构成力矢量分布的手法，一边参照图7、图8一边根据从标志的移动矢量求力矢量分布的手法进行说明。图7和图8除了图7表示的是平面状触觉面，而图8表示的是自由曲面状的触觉面之外，实质上是内容相同。在此为了简单，考虑的是二维断面(没考虑图的y轴方向)，但在一般的三维情况下，算法也是相同的。
f是表示作用在接触表面上的力矢量，m、n分别表示涂有兰、红色标的标志在CCD元件上的移动矢量。通过适当的离散化考虑有限的点数(图7、图8中是4点)。如前所述，力矢量各自具有三个分量(x、y、z分量)，但在此考虑二个分量(x、z分量)。在此为了说明上的方便，如图那样仅观测x方向的分量。
f＝[fx(1)，fx(2)，fx(3)，fx(4)，fz(1)，fz(2)，fz(3)，fz(4)]这八个分量是要求出的力分布，m＝[m(1)，m(2)，m(3)，m(4)]，n＝[n(1)，n(2)，n(3)，n(4)]是被观测的移动矢量。把该m、n汇总而写成x。
即x＝＝[m(1)，m(2)，m(3)，m(4)，n(1)，n(2)，n(3)，n(4)]。
在此，把在点1上加上x方向单位力(大小是1的力)时被观测的各标志移动矢量m、n进行汇总，写成Mx(1)。即Mx(1)＝[m(1)，m(2)，m(3)，m(4)，n(1)，n(2)，n(3)，n(4)]。
当f＝[1，0，0，0，0，0，0，0]时同样地，把在点1上加上z方向单位力时被观测的各标志移动矢量写成Mz(1)，把在点2上加上x方向单位力时被观测的各标志移动矢量写成Mx(2)等，以下是同样的决定。在是线性弹性体(在所加的力分布与变位之间线性加法关系成立的弹性体。很多的弹性体满足该性质)的情况下，给予一般的力f＝[fx(1)，fx(2)，fx(3)，fx(4)，fz(1)，fz(2)，fz(3)，fz(4)]时所产生的移动矢量x，其能被如下书写。
X＝Mx(1)*fx(1)+Mz(1)*fz(1)+Mx(2)*fx(2)+…+Mz(4)*fz(4)把它以矩阵形式书写时，则成为X＝H*f。但H＝[Mx(1)；Mx(2)；…Mz(4)]。该H有用于从力f向变位x传递的映射的意思，所以被叫做传递函数。
按照每个要素书写时，则如下。
m(1)m(2)m(3)m(4)n(1)n(2)n(3)n(4)=Hmx(1,1)Hmz(1,1)Hmx(1,2)Hmz(1,2)Hmx(1,3)Hmz(1,3)Hmx(1,4)Hmz(1,4)Hmx(2,1)Hmz(2,1)Hmx(2,2)Hmz(2,2)Hmx(2,3)Hmz(2,3)Hmx(2,4)Hmz(2,4)Hmx(3,1)Hmz(3,1)Hmx(3,2)Hmz(3,2)Hmx(3,3)Hmz(3,3)Hmx(3,4)Hmz(3,4)Hmx(4,1)Hmz(4,1)Hmx(4,2)Hmz(4,2)Hmx(4,3)Hmz(4,3)Hmx(4,4)Hmz(4,4)Hnx(1,1)Hnz(1,1)Hnx(1,2)Hnz(1,2)Hnx(1,3)Hnz(1,3)Hnx(1,4)Hnz(1,4)Hnx(2,1)Hnz(2,1)Hnx(2,2)Hnz(2,2)Hnx(2,3)Hnz(2,3)Hnx(2,4)Hnz(2,4)Hnx(3,1)Hnz(3,1)Hnx(3,2)Hnz(3,2)Hnx(3,3)Hnz(3,3)Hnx(3,4)Hnz(3,4)Hnx(4,1)Hnz(4,1)Hnx(4,2)Hnz(4,2)Hnx(4,3)Hnz(4,3)Hnx(4,4)Hnz(4,4)fx(1)fz(1)fx(2)fz(2)fx(3)fz(3)fx(4)fz(4)]]>其中Hmx(x1，x2)表示的是由加在座标x＝x2表面上的x方向单位力所引起的座标x＝x1上在有m标志的深度处的x方向变位量。同样地，Hnz(x1，x2)表示的是加在座标x＝x2表面上的z方向单位力所引起的座标x＝x1上在有n标志的深度处的x方向变位量。
为了从观测到的x求f，只要乘上H的逆矩阵便可。即是f＝inv(H)*x(式1)。但inv表示的是逆矩阵(一般来说是一般化逆矩阵)。
按照每个要素书写时，则如式2。
fx(1)fz(1)fx(2)fz(2)fx(3)fz(3)fx(4)fz(4)=Imx(1,1)Imx(2,1)Imx(3,1)Imx(4,1)Inx(1,1)Inx(2,1)Inx(3,1)Inx(4,1)Imz(1,2)Imz(2,2)Imz(3,2)Imz(4,2)Inz(1,2)Inz(2,2)Inz(3,2)Inz(4,2)Imx(1,3)Imx(2,3)Imx(3,3)Imx(4,3)Inx(1,3)Inx(2,3)Inx(3,3)Inx(4,3)Imz(1,4)Imz(2,4)Imz(3,4)Imz(4,4)Inz(1,4)Inz(2,4)Inz(3,4)Inz(4,4)Imx(1,1)Imx(2,1)Imx(3,1)Imx(4,1)Inx(1,1)Inx(2,1)Inx(3,1)Inx(4,1)Imz(1,2)Imz(2,2)Imz(3,2)Imz(4,2)Inz(1,2)Inz(2,2)Inz(3,2)Inz(4,2)Imx(1,3)Imx(2,3)Imx(3,3)Imx(4,3)Inx(1,3)Inx(2,3)Inx(3,3)Inx(4,3)Imz(1,4)Imz(2,4)Imz(3,4)Imz(4,4)Inz(1,4)Inz(2,4)Inz(3,4)Inz(4,4)m(1)m(2)m(3)m(4)n(1)n(2)n(3)n(4)]]>
其中Imx(1，1)等是inv(H)的各要素，结果是其表示的是用于计算fx(1)的m(1)的贡献。
通过使用由传递函数决定的矩阵的逆矩阵来决定未知数的情况下，需要使未知数的个数超过被观测的数据的个数或是相同的个数。为了解决该问题，要准备分色的两层标志组，通过取得两层标志组的各标志的移动，使独立的观测数据的数量增加到八个。
在一般的三维情况下(该图是追加了y轴的情况)，一点上的力矢量是三个自由度，标志的水平移动矢量是二个自由度。假如采样点同样地是四点时，则未知数是f＝[fx(1)，fy(1)，fz(1)，fx(2)，fy(2)，fz(2)，fx(3)，fy(3)，fz(3)，fx(4)，fy(4)，fz(4)]存在有12个，相对地，被观测的值移动矢量是m＝[mx(1)，my(1)，mx(2)，my(2)，mx(3)，my(3)，mx(4)，my(4)]这八个，还是不足。通过把它分为两层来观测，能得到16个观测数据，这样，就同定12个未知数。使用以上的算法根据CCD图像来推定力矢量。即使是使用其它标志的其它测量方法，也仅是观测的数据不同，通过在分色上想办法来收集比未知数的数量多的独立观测值(关于标志动作的信息)，而在通过稳定地解逆问题来推定力矢量的点上是相同的。
在力矢量分布的再构成中使用的传递函数下面说明用于求传递函数(矩阵H)的手法。在具有某种特征的形的弹性体(例如半无限弹性体)中，作为加在表面上的力与内部变位的函数，利用公式形式发现了把在所述微小区域应满足的关系式能在弹性体内部的所有部位都满足的函数。在这种形的情况下，只要把分割成网格状的弹性体表面(触觉面)的座标和内部标志的座标代入到该函数中，就能求出矩阵H。
在此，以公式的形式被发现是指把表面应力设定为fx(1)，把内部变位设定为m(x2，y2)时，以m(x2，y2)＝G(fx(1)，x2，y2)的形式发现了从表面应力来求内部变位的函数G。这时例如在图7、图8中向点1加力时，标志2的变位则通过m(x2，y2)＝G(fx(1)，x2，y2)来求。
其中y2是标志的深度(已知)。
利用弹性体形状而通过把弹性体形状假定是半无限大弹性体，则使用上述的公式就能取得H矩阵。但例如对于半球这样的自由曲面同样地适用半无限大弹性体的公式则是困难的。因此，需要以某种其它的手段使联系表面应力和内部变位相关联。
因此，提案的第一手法是通过数值模拟使表面应力和内部变位相关联的手法。在适用提案的传感器时，首先是把表面分割成网格，利用模拟计算在各网格上加有单位应力(x方向、y方向、z方向)时的标志的移动量。
第二手法是实际上加力。向具有自由曲面的弹性体触觉面上加已知的力F1、F2、F3、F4、…Fn。测量对于所加各自力的标志的移动矢量M1、M2、M3、M4、…Mn，并进行保存。F1是F1x、F1y、F1z这三个矢量，在加这些力时各自对应的标志的移动矢量是M1x、M1y、M1z。使用已知的力和得到的信息(移动矢量)来制作矩阵H。以下进行具体说明。
在弹性体表面(触觉面)上离散地配置多个采样点。理想的是把采样点配置成覆盖触觉面整个区域。作为形式之一是触觉面上离散的多个采样点的配置是使用极座标进行配置(俯视图是配置成同心状)。其它形式是采样点配置成俯视图网格状。
在各采样点上取得使在x方向、y方向、z方向上分别作用的已知大小的力与该力作用的各自情况下的标志移动矢量相关联的有关信息。其理想方法之一是在各采样点上分别加x方向、y方向、z方向规定的力，分别测量该时标志的移动矢量，并进行保存。加在采样点上的力矢量的x方向、y方向、z方向的取得方法是只要是使用力矢量，并且能表示加在触觉面上的任意的力的，则其方向并不被限定。
加在各采样点上的力是已知的力，其理想形式之一是把规定大小的力，例如100[gf]分别从x方向、y方向、z方向加在采样点上，测量各自情况下的标志移动矢量。只要加在各采样点上的力是已知的力，则也可以不一定是相同大小的力，基于不同的已知的力来测量标志移动矢量时，然后，只要把标志移动矢量的大小进行标准化便可。
这样，基于弹性体理论并通过公式、模拟或实测来制作把力信息F和关于标志动作的信息(例如移动信息)M连接起来的传递函数，即矩阵H。光学式触觉传感器装置具有存储装置和运算处理装置，预先制作的矩阵H被存储在存储装置中。在物体接触在透明弹性体的触觉面上，有任意的力作用在触觉面上的情况下，通过摄影设备来取得标志图像。根据取得的标志图像并利用运算处理装置来测量标志移动矢量。把测量的标志移动矢量输入到矩阵H中并通过运算处理装置进行计算，把作用在弹性体触觉面上的力矢量分布进行输出。
计算时间缩短法在此，当矩阵H的要素数大时，则根据移动信息计算力分布的时间就长。这是由在求加在某点上的力时要使用所有的标志移动信息而引起的。实际上在适用所述算法的情况下，H矩阵是巨大的，(式1)的矩阵运算耗费时间。举一例来说，在网格是100×100的情况下，观测点就是10000点，所以H矩阵就是10000×10000的巨大矩阵。一般来说把传感器面分割成N×N时，观测点就是N的2次幂个，所以H矩阵的尺寸就是N的2次幂×N的2次幂。这样一来，在(式1)的矩阵运算就需要N的4次幂时间。这在本发明环境型触觉传感器中(考虑具有大面积触觉部的情况多)表现显著。因此需要用于缩短计算时间的手法。
提案的手法是把H矩阵的一部分切出来使用。如上所述，叙述了H矩阵的向所有的格子点上加的力与所有的标志移动的对应关系。但作为现实问题是例如所加力的点与标志的距离只要充分离开，就能忽略影响。这样一来，例如在图7、图8中，通过假定在计算f(1)时则仅使用第1～2号标志的移动量、在计算f(2)时仅使用第1～3号标志的移动量便可，而能把矩阵的尺寸缩小。该例的新矩阵如下。
原来的(式1)f＝inv(H)*x就成为了式3。
fx(1)fz(1)fx(2)fz(2)fx(3)fz(3)fx(4)fz(4)=Imx(1,1)Imx(2,1)Imx(3,1)Imx(4,1)Inx(1,1)Inx(2,1)Inx(3,1)Inx(4,1)Imz(1,2)Imz(2,2)Imz(3,2)Imz(4,2)Inz(1,2)Inz(2,2)Inz(3,2)Inz(4,2)Imx(1,3)Imx(2,3)Imx(3,3)Imx(4,3)Inx(1,3)Inx(2,3)Inx(3,3)Inx(4,3)Imz(1,4)Imz(2,4)Imz(3,4)Imz(4,4)Inz(1,4)Inz(2,4)Inz(3,4)Inz(4,4)Imx(1,1)Imx(2,1)Imx(3,1)Imx(4,1)Inx(1,1)Inx(2,1)Inx(3,1)Inx(4,1)Imz(1,2)Imz(2,2)Imz(3,2)Imz(4,2)Inz(1,2)Inz(2,2)Inz(3,2)Inz(4,2)Imx(1,3)Imx(2,3)Imx(3,3)Imx(4,3)Inx(1,3)Inx(2,3)Inx(3,3)Inx(4,3)Imz(1,4)Imz(2,4)Imz(3,4)Imz(4,4)Inz(1,4)Inz(2,4)Inz(3,4)Inz(4,4)m(1)m(2)m(3)m(4)n(1)n(2)n(3)n(4)]]>
该式通过忽略离开了距离之处的贡献而成为了式4。
fx(1)fz(1)fx(2)fz(2)fx(3)fz(3)fx(4)fz(4)=Imx(1,1)Imx(2,1)00Inx(1,1)Inx(2,1)00Imz(1,2)Imz(2,2)Imz(3,2)0Inz(1,2)Inz(2,2)Inz(3,2)00Imx(2,3)Imx(3,3)Imx(4,3)0Inx(2,3)Inx(3,3)Inx(4,3)00Imz(3,4)Imz(4,4)00Inz(3,4)Inz(4,4)Imx(1,1)Imx(2,1)00Inx(1,1)Inx(2,1)00Imz(1,2)Imz(2,2)Imz(3,2)0Inz(1,2)Inz(2,2)Inz(3,2)00Imx(2,3)Imx(3,3)Imx(4,3)0Inx(2,3)Inx(3,3)Inx(4,3)00Imz(3,4)Imz(4,4)00Inz(3,4)Inz(4,4)m(1)m(2)m(3)m(4)n(1)n(2)n(3)n(4)]]>置0的地方是离开了应忽略距离的点。由于该部分不需要计算，所以能更高速地计算。该高速化如前所述，在格子尺寸N越大的情况下越能表现加速度上的效果。
这与把包含要求出力矢量部位的某面积切出来使用是等价的(图10)。图中在触觉面整体的二维图像中设定了要求出的力矢量分布部位的附近区域。在此，设定了要求出的力矢量部位的附近区域的情况下，附近区域也不一定仅根据二维图像中的距离进行判断。即加力的点与标志的距离是空间距离，在标志组是层合在弹性体内的情况下，有时候最好考虑标志设置的深度。
在触觉面是自由曲面的情况下，也不能一概断言离开了距离的部位的贡献就小。于是提出缩短计算时间的其它方法。首先，通过实测或模拟来求传递函数(逆矩阵)。这种传递函数的制作法已经叙述过。例如看根据实测的传递函数矩阵的要素时，只要矩阵的某要素接近0，则与该要素相乘的标志就能被考虑成是在求某力矢量中也可以被忽略的标志。能把传递函数中矩阵的某要素接近0的部分自动地从计算中省略来计算力矢量。例如在力矢量的再构成中对于矩阵要素设定表示能忽略程度的指标的阈值，把具有比该阈值小的值的矩阵要素的值作为0。
下面说明计算缩短化方法的改善。在把图像的某区域切出来的点上与所述计算时间缩短法是相同的。所述方法中有切出区域，仅对其内部信息进行处理，对此，改善手法是在切出区域外也准备计算的力的采样点。关于标志的移动最终是仅处理切出区域内的信息。其成为用于考虑来自区域外的力的影响的采样点。即为了考虑切出区域内标志的移动在某种程度上受到加在切出区域外的力的影响，在根据切出区域内标志的移动信息进行力矢量的再构成时，通过不仅计算作用在切出区域内的力，也计算作用在切出区域外的力，一边考虑作用在切出区域外的力，一边再构筑作用在切出区域内的力。
随着区域外力的采样点从切出区域离开，进行稀疏地设定。这是由于考虑到越从区域离开其影响就越轻微，所以也可以使少数采样点来代表的缘故。根据图11进行说明时，则是把与5×5点的采样点对应的小区域设定在触觉部的图像中。把采样点稠密地配置在小区域内。在小区域外也配置了力的采样点。小区域外的力的采样点是随着从小区域离开而进行稀疏地配置。图中在与小区域邻接的部位是把采样点稠密地配置成与小区域内相同的密度，随着从该小区域离开而把采样点进行稀疏地配置。
使用小区域内标志的移动信息，来计算配置在小区域内外的采样点的力矢量。在计算的力矢量中，仅把位于小区域内的力矢量的至少一部分结果作为最终的计算结果来采用，并进行保存。图11中，把5×5小区域中的3×3的力的采样点中的力矢量作为最终的计算结果保存。小区域外的采样点和小区域内未被采用的采样点的力矢量则被舍弃。通过把切出的小区域顺次错开并取得力矢量，就取得了传感器测量区域整体中的力矢量分布。图11中是采用了小区域一部分采样点中的力矢量，但也可以是采用小区域内所有采样点中的力矢量。图11中是采用了小区域一部分的多个采样点的力矢量，但也可以是仅采用小区域内一个采样点的力矢量。图11表示了5×5点的小区域，但切出的小区域的大小并没有限制。根据该改善手法，与所述计算时间缩短法相比，其结果是计算量增加了，但与高速化手法适用前相比则是充分缩短了计算时间。
对于改善手法，根据图12到图15进行说明。图12为了方便进行改善手法的说明，其与图7、图8所示的相比增加了标志点数。通过增加标志点数而使对应的式中的要素数增加了，所以在图13中仅记述了标志n对于某一点力的x、z方向的移动。仅取出了与式3中矩阵inv(H)的要素Imx(1，1)，Imx(2，1)，Imx(3，1)，Imx(4，1)，Imz(1，2)，Imz(2，2)，Imz(3，2)，Imz(4，2)
对应的部分，这与增加标志点数是等价的。
改善前的高速化手法是通过仅使用位于要求出的力所加的点附近的标志移动信息，如图14所示那样仅使用m10～m14的标志移动信息。相对地把改善后的高速化手法在图中进行表现时，则是图15那样。即作为力的采样点不仅配置F8，还配置F2，F5，F9，F11，F14。在被计算的力矢量中仅采用Fx8、Fz8的力矢量。
标志组的其它实施例光学式触觉传感器的触觉部的理想的形式是在该透明弹性体中埋设多个标志组，各标志组分别由多个标志构成，构成不同标志组的标志其每组具有相互不同的颜色，且该标志组具有相互不同空间的配置。作为该不同空间的配置例能举出在该弹性体的壁厚内层合状地配置的多个标志组。层合状标志组的具体例是构成该标志组的标志是球状的微细小片，构成各层标志组的球状标志具有相互不同的颜色。其它的空间配置的例能举出相互交叉配置的多个标志组。作为另一其它的空间配置能举出各标志组由向相同方向延伸的多个面的组构成，该面的延伸方向和颜色是每个各标志组相互不同。有色标志的形状没有特别的限制，若举合适的例则考虑是球状、圆筒状、圆柱状、带片状、平面状各形状。
本发明根据理想形式之一的球状标志进行了说明，但本发明中使用的标志形状或配置结构并不限定于前面所述。下面根据图16到图19来说明其它的标志形状和配置结构。关于这些标志的详细情况能参照国际公开公报WO02/18893A1中的记载。且标志的形状和配置形式并不限定于是图示的或是所述国际公开公报中所记载的。
图16是表示的是由具有微小断面的极细圆筒体或极细圆柱体构成的有色标志。在透明弹性体1的厚度内距离触觉面2的不同深度中，有垂直状配置多个兰色标志30而构成的兰色标志组和垂直状配置多个红色标志40而构成的红色标志组分别沿触觉面2层合状地配置在距离触觉面2的不同深度处。标志沿接触在弹性体上的物体和连接照相机的假想线延伸。各标志的配置形式并不限定于图中所示，且也可以设置相互具有不同颜色的大于或等于三个的标志组。
图17上图表示是在弹性体1内台阶状配置的倾斜面状的面标志300、400。最好是弹性体1的部分(台阶状的界面)形成标志300、400，但也可以把其它体的面标志埋设在弹性体1内。台阶状的界面能划分成具有两个相同方向的面组。把各自的组预先着色成相同颜色(一侧的界面300是兰色，而另一侧的界面400是红色)。通过观测某点上两色的亮度，就能得到把该点中的力矢量的水平、垂直分量作为信息而包含的观测值。通过读出它们就能再构成力矢量的面分布。图17上图中表示了两色的带状面标志，但也可以使用具有三色的面标志。如图17下图那样使用在底面上集合微细立方体的所谓棱锥结构，只要把向同一方向的三组面组分别着色成同一颜色(例如红、绿、兰)，通过三色亮度的比率就能把水平加在接触面上的力的自由度、通过三色的合计亮度就能把垂直加在面上的力分别求出。
图18是表示的是在弹性体内把由多个并列设置的红色薄壁带片构成的标志组和由多个并列设置的兰色薄壁带片构成的标志组这两个标志组，相互交叉(图中所示的是正交)地把各自的标志进行配置。多个标志组的空间配置关系并不限定于此。且也可以把构成标志的带片正反面由不同的颜色形成。图中带片标志的面部是沿观测方向延伸的，但该带片标志的面部也可以对于观测方向倾斜状地延伸。
图19表示的是具有多个平面标志的触觉部。平面标志平常是通过隐蔽标志被隐蔽的。平面标志被区划成多个部位，各部位被付与相互不同的颜色，各平面标志中具有同色的区分就构成了标志组。该平面标志和该隐蔽标志以相互存在有间隔并设置在该透明弹性体内，在该透明弹性体上没有力作用的状态下，该平面标志被隐蔽而观测不到。是当产生剪切变形时，隐蔽标志和有色标志的位置偏离形成为着色的结构。图中所示圆形标志是从圆的中心分成三等分，分割成三个扇状部，分别被涂成红色、绿色、兰色，能从产生的颜色而知道变形的方向。
本发明能广泛适用于触觉传感器，作为合适的例是利用传感器测量坐在椅子座面上的人臀部上所加的压力分布，利用传感器测量躺在床铺上的人的压力分布，利用传感器测量在地面上的步行和在重心摇动测量等中使用。
权利要求
1.一种光学式触觉传感器，其具有触觉部，其由透明弹性体和设置在该透明弹性体内的多个标志构成；摄影设备，其在物体接触到该透明弹性体的触觉面时对标志的动作进行摄影并取得标志图像，其特征在于，该摄影设备由多个摄影装置构成，且该多个摄影装置的各摄影装置被设置成通过各摄影装置取得的各摄影区域具有部分重复的重复摄影区域，该光学式触觉传感器还具有把由该多个摄影装置取得的各标志图像进行综合的图像综合装置，该图像综合装置使该重复摄影区域中的同一标志一致地综合各摄影区域，并生成综合图像。
2.如权利要求1所述的光学式触觉传感器，其特征在于，该光学式触觉传感器包含把由各摄影装置取得的图像进行显示的图像显示部。
3.如权利要求1、2任一项所述的光学式触觉传感器，其特征在于，该触觉部是通过组合多个小面积触觉部而构成的大面积触觉部。
4.如权利要求3所述的光学式触觉传感器，其特征在于，其触觉传感器具有由一个小面积触觉部和与该小面积触觉部对应的一个摄影设备构成的单元，并且通过多个该单元进行组合而构成。
5.如权利要求1到4任一项所述的光学式触觉传感器，其特征在于，该触觉部由透明弹性体和设置在该弹性体内的多个标志组构成，各标志组分别由多个有色标志构成，构成不同标志组的标志其每组具有相互不同的颜色，在物体接触了该弹性体的触觉面时通过该摄影设备对该有色标志的动作进行摄影。
6.一种标志信息取得方法，其中，其使用的光学式触觉传感器具有触觉部，其由透明弹性体和设置在该透明弹性体内的多个标志构成；摄影设备，其在物体接触到该透明弹性体的触觉面时对标志的动作进行摄影并取得标志图像，该标志图像取得方法，其使用的光学式触觉传感器，且具有取得部分标志图像步骤，作为该摄影设备而设置多个摄影装置，该取得部分标志图像步骤通过该多个摄影装置的各摄影装置使各摄影装置具有重复摄影区域地对该透明弹性体的部分区域进行摄影并取得部分标志图像；生成综合标志图像步骤，其使该重复摄影区域内的同一标志一致地来综合由各摄影设备取得的部分标志图像并生成综合标志图像。
7.如权利要求6所述的使用了光学式触觉传感器的标志信息取得方法，其特征在于，该触觉部是由透明弹性体和设置在该弹性体内的多个标志组构成，各标志组分别由多个有色标志构成，构成不同标志组的标志其每组具有相互不同的颜色，在物体接触了该弹性体的触觉面时通过摄影设备对该有色标志的动作进行摄影。
8.如权利要求6、7任一项所述的使用了光学式触觉传感器的标志信息取得方法，其特征在于，使用该标志进行各摄影装置的校准。
9.一种标志图像综合方法，其中，其使用的光学式触觉传感器具有触觉部，其由透明弹性体和设置在该透明弹性体内的多个标志构成；多个摄影装置，其在物体接触到该透明弹性体的触觉面时对标志的动作进行摄影并取得标志图像，该图像综合方法具有取得部分图像步骤，其通过该多个摄影装置的各摄影装置使各摄影装置具有重复摄影区域地对该透明弹性体的部分区域进行摄影并取得部分图像；综合步骤，其使该重复摄影区域内的同一标志一致地综合由各摄影装置取得的部分图像。
10.一种力矢量再构成法，其特征在于，其使用权利要求5所述的光学式触觉传感器，该力矢量再构成法包括取得标志图像步骤，其在物体接触到了该弹性体的触觉面时对该有色标志的动作进行摄影并取得标志图像；取得信息步骤，其根据该标志图像取得比要求出的力矢量个数多的关于标志动作的信息；取得力矢量步骤，其通过把取得的关于标志动作的信息向传递函数输入而把力矢量作为输出来取得，取得力矢量的步骤在力矢量的计算中省去有关贡献度低的标志动作的信息来计算力矢量。
11.如权利要求10所述的力矢量再构成法，其特征在于，取得力矢量的步骤，其仅使用有关在要求出的力矢量位置附近的标志动作的信息来计算力矢量。
12.如权利要求11所述的力矢量再构成法，其特征在于，该要求出的力矢量位置是由一个或多个采样点所构成。
13.如权利要求12所述的力矢量再构成法，其特征在于，其包括配置采样点的步骤，其在要求出的该力矢量位置周围配置多个力的采样点；计算步骤，其使用有关在要求出的力矢量位置附近的标志动作信息来分别计算在该要求出的力矢量位置和该要求出的力矢量位置周围的多个力采样点上起作用的力矢量；采用步骤，其仅采用在计算出的力矢量中，在该要求出的力矢量位置上起作用的力矢量。
14.如权利要求13所述的力矢量再构成法，其特征在于，在该要求出的力矢量位置周围的采样点随着从位于该要求出的力矢量的采样点离开而被稀疏配置。
15.如权利要求10所述的力矢量再构成法，其特征在于，取得力矢量步骤在构成该传递函数的矩阵的要素中省略接近于0的要素来计算力矢量。
16.一种力矢量再构成法，其特征在于，其使用权利要求5所述的光学式触觉传感器，该力矢量再构成法包括取得标志图像步骤，其在物体接触到了该弹性体的触觉面时对该有色标志的动作进行摄影并取得标志图像；取得信息步骤，其根据该标志图像取得比要求出的力矢量个数多的关于标志动作的信息；配置采样点步骤，其根据该标志图像设定规定大小的小区域，在该小区域内外配置多个力矢量的采样点；计算力矢量步骤，其把该小区域内的标志信息给予传递函数来计算该多个力矢量在采样点上起作用的力矢量；采用力矢量步骤，其采用在该小区域内配置的多个采样点的至少一部分采样点上起作用的力矢量。
17.如权利要求16所述的力矢量再构成法，其特征在于，采样点在该小区域内被稠密配置，随着从该小区域离开而稀疏配置。
全文摘要
一种光学式触觉传感器，其能进行大面积力矢量分布测量。提供一种用于能进行大面积力矢量分布测量的信息综合方法。该光学式触觉传感器具有触觉部，其由透明弹性体和设置在该透明弹性体内的多个标志构成；多个摄影装置，其在物体接触到了该透明弹性体的触觉面时对标志动作进行摄影并取得标志图像。图像综合方法具有取得部分图像步骤，其通过该多个摄影装置的各摄影装置，使各摄影装置具有重复摄影区域地来摄影该透明弹性体的部分区域A、B、C、D；综合部分图像步骤，其使该重复摄影区域内的同一标志一致地把由各摄影装置取得的部分图像进行综合。
文档编号G01L1/24GK1842701SQ200580000909
公开日2006年10月4日 申请日期2005年3月3日 优先权日2004年6月16日
发明者馆暲, 川上直树, 梶本裕之, 神山和人, 沟田晃一 申请人:株式会社东京大学Tlo