专利名称：显示设备、图像显示系统和图像显示方法
技术领域：
本发明涉及用于依照所显示的图像给用户提供力觉或者触觉的显示设备、图像显示系统和图像显示方法。
背景技术：
已知的是，若干设备将力觉和触觉的至少一个提供给用户的手或者手指，这包括具有附接到外部构件、以将外力提供给用户的手或者手指的操作元件的设备。例如，存在以下两种情况待放置在书桌等上的已知机械设备(robot device)，其包括待用户抓握的元件(操作元件)，经由该待用户抓握的元件将力觉或者触觉提供给用户 (JP-A-2007-510232)；以及将线缆设置成从用户的手或者手指延伸到固定定位的周围驱动源的设备，从而使得通过调整线缆的张力来产生力觉(JP-A-2003-17^62)。此外，作为未将操作元件附接到外部构件的设备，存在通过改变多个陀螺马达 (gyro motor)的角旋转速度来在期望的方向上生成外力的设备(JP-A-2004-177360)。 此外，提出了配备有标记器和内置马达的笔状操作元件，以依照由相机所检测到的该笔的位置来生成力，由此握住笔的用户可体验到触摸图像的感觉(Sho Kamuro, Kouta Minamizawa, Naoki Kawakami， and Susumu Tachi “ Pen de Touch， “ International Conference on Computer Graphics and Interactive Techniques archive SIGGRAPH' 09，Posters，2009)。此外，提出了将两个马达和带子附接到手指的设备，从而使得对各个马达的旋转的方向的控制代表在手指按压的方向上的力(垂直力)和向旁边移动手指的力(剪切力)，从而使用户能够感觉对象的重量或者惯性质量(Kouta Minamizawa, Souichiro Fukamachi, Hiroyuki Kajimoto, Naoki Kawakami, and Susumu Tachi “ Wearable Haptic Display to Present Mass and Internal Dynamics of Virtual Objects," Transactions of the Virtual Reality Society of Japan,Vol. 13, No.1,2008-03)。如上所述，提出了各种用于依照输入操作来向用户提供力觉或者触觉的技术。具体地说，预期可将此类技术应用到虚拟现实领域或者类似领域，以给用户提供模拟与显示在显示单元上的图像的真实身体接触的感觉。
发明内容
然而，在将操作元件的一部分附接到外部构件的情况下(如在JP-A-2007-510232 和JP-A-2003-17^62中所公开的技术)，由于与操作元件的连接而强加了限制，并且，这引起了该操作元件的移动范围受到限制的问题(如在JP-A-2007-510232中所示出的设备)， 或者需要非常复杂的设置(如在JP-A-2003-17^62中所公开的技术)。虽然JP-A-2004-177360和其它两个现有技术文献提出了待用户穿戴或者握住的操作元件并不包括连接到外部构件的部件的技术，但是，这些技术需要用于运转马达或者致动器的电力，并且，电源(例如，电池)与该马达或者致动器一起被内嵌在用户穿戴的或者用户握住的操作元件中。本发明的一个目的在于依照图像的内容而使得能够向操作元件施加外力，与传统的操作元件相比较该操作元件具有更简单的设置和更大的操作自由度。为了实现此目的，在本发明的一个方面中，提供了一种显示设备，该显示设备包括显示装置，其在显示器表面上显示图像；检测装置，其检测包括磁性体的操作元件相对于所述显示面的位置；以及外力施加装置，其根据由所述检测装置所检测到的所述操作元件的位置和由所述显示装置所显示的图像的内容，通过在由所述显示面所面向的空间内生成磁场来经由所述磁性体向所述操作元件施加外力。优选的是，所述检测装置包括进行摄影的摄影装置，并且，所述检测装置基于由所述摄影装置所生成的所述操作元件的图像来检测所述操作元件的位置。进一步优选的是，所述显示装置合成对应于不同观察位置的多个图像，并且显示呈现在空间中的使得立体地看到假想物体的合成图像；所述检测装置包括具有不同摄影方向的多个摄影装置，并且，基于由该多个摄影装置分别拍摄的所述操作元件的图像来检测该操作元件在所述空间内相对于所述显示面的位置；并且所述外力施加装置向所述操作元件施加外力，该外力是根据所述假象物体在所述空间内的位置和由所述检测装置所检测到的所述操作元件的位置而确定的。进一步优选的是，所述外力施加装置包括线圈和存储电荷的电荷存储装置，并且， 所述外力施加装置对存储在所述电荷存储装置中的电荷进行放电以使电流流经该线圈，从而由该线圈生成磁场。进一步优选的是，所述操作元件包括反射预定波长范围的电磁波或者声波的反射器，并且，所述检测装置根据由该反射器所反射的反射波来检测所述操作元件的位置。进一步优选的是，所述操作元件包括反射预定波长范围的红外线(infrared light)的逆反射部件。进一步优选的是，所述检测装置分别在所述外力施加装置施加外力之前和之后检测所述操作元件的位置，并且，所述显示装置根据由所述检测装置所检测的所述操作元件的位置之间的距离以及由所述外力施加装置所施加的外力，来显示图像。此外，在本发明的另一方面中，提供了图像显示系统，该图像显示系统包括具有磁性体的操作元件；以及如在上文中所描述的显示设备。此外，在本发明的另一方面中，提供了图像显示方法，该图像显示方法包括以下步骤通过显示装置来在显示面上显示图像；通过检测装置来检测具有磁性体的操作元件相对于所述显示面的位置；以及通过外力施加装置，根据所述操作元件的位置和所述图像的内容，在所述显示面所面向的空间内生成磁场，来经由所述磁性体向所述操作元件施加外力。根据本发明，能够依照图像的内容而向操作元件施加外力，与传统的操作元件相比，该操作元件具有更简单的设置以及更高的操作自由度。
现参照以下附图对本发明的示例性实施方式进行详细描述，其中图1是示出了根据本发明的示例性实施方式的图像显示系统的外部图的示意图2是示出了图像显示系统的设置的图；图3是用于解释图像显示系统的操作的流程图；图4是示出了根据修改后的实施方式的操作元件的示例的图；图5是示出了根据修改后的实施方式的图像显示系统的外部图的示意图；图6是用于解释使用多个线圈的外力施加单元的图；以及图7是用于解释根据修改后的实施方式的图像显示系统的操作的流程图。
具体实施例方式1、设置图1是示出了根据本发明的示例性实施方式的图像显示系统1的外部图的示意图。图2是示出了图像显示系统1的设置的图。图像显示系统1是以下这种系统，其将内容(例如，电影或者游戏等)中的图像显示给用户、并且依照在所显示的图像中呈现的内容而将外力施加给该用户的身体，从而使得该用户体验到她/他仿佛正在触摸该图像的内容的感觉。在以下说明中，将x、y和ζ分量增大的方向分别称为χ(+)方向、y(+)方向和z(+) 方向，并且将x、y和ζ分量减小的方向称为χ(-)方向、y(_)方向和z(-)方向。图像显示系统1包括显示设备10和操作元件20。操作元件20具有类似于笔的形状的形状(从而使得用户能够轻易地握住它)，并且仅包括不需要电力的部件组件。操作元件20包括永久磁铁MG。由于永久磁铁MG是磁性的，所以，操作元件20可依照磁场、经由永久磁铁MG来接收外力。要注意的是，“依照磁场的外力”在这里表示大于或者等于当将永久磁铁MG放置在强度为大于或者等于预定强度的磁场中时所生成的阈值的外部场。操作元件20并不连接到外部构件，因此，用户在握住操作元件20的同时可自由地移动它。此外，操作元件20配备了作为用于检测其位置的标记器的逆反射部件。该逆反射部件包括多个反射面的组合，通过该组合将来自任何方向的入射光朝向其光源反射回去。显示设备10包括检测单元100、显示单元200、外力施加单元300和控制单元400。 控制单元400包括CPU(中央处理单元)、R0M(只读存储器)、RAM(随机存取存储器)和存储单元，并且，控制单元400将存储在ROM中的引导加载器(boot loader)或者存储在存储单元12中的计算机程序读出到RAM并且执行它们，从而对显示设备10的各个单元进行控制。要注意的是，控制单元400被包含在显示设备10的外壳中，由此未在图1中示出。显示单元200例如具有包括多个像素的显示面。显示单元200是由液晶显示器和双凸透镜(lenticular len)所构成的多视点型裸眼立体显示器。根据来自控制单元400 的指令，显示单元200合成对应于不同观察位置的多个图像，并且将所合成的图像显示在显示面上。由于该双凸透镜，所以，使得将构成多个图像中的各个的光在不同于构成这些图像的其它图像的光传播的方向的方向中传播，结果，由这些图像所呈现的对象(下文中，“假象物体”)被用户感知为放置在空间内的3-D对象。也就是说，显示单元200用作用于合成多个对应于不同观察位置的图像、并且显示使得按照立体方式观看假象物体的合成图像、 以显现在所述空间内的显示装置。例如，在假定显示单元200包括具有在由x、y和ζ轴所代表的空间内在ζ (+)方向内的法线的显示面的情况下(如图1所示出)，当显示单元200显示通过对对应于不同观察位置的多个图像进行合成而获得的图像时，将对应于这些多个图像中的各个的光发射到位于显示面的z(+)方向侧的空间。将对应于显示在显示面上的图像的光所发射到的空间称为“由显示面所面向的空间”。由于双眼视差，观察该显示面的用户将感知到在该空间内由虚线所指示的位置处呈现假象物体50。检测单元100检测操作元件20相对于显示单元200的显示面的位置。如上所述， 操作元件20仅由不需要电力的构件构成，由此，检测单元100配备了光学摄影设备(摄影装置)(例如，相机)，以进行操作元件20的摄影。然后，控制单元400根据由摄影设备所生成的操作元件20的图像，来检测操作元件20的位置。具体地说，检测单元100包括一对光学摄影设备CamR和CamL，其分别检测从由显示面所面向的空间传播的红外线；以及用于将红外线发射到由显示面所面向的空间的预定区域的LED(发光二极管)。如果操作元件 20位于预定区域中，则所发射的红外线通过设置在操作元件20上的标记器(例如，逆反射部件)而被反射。由该对光学摄影设备CamR和CamL对所反射的红外线进行检测，其生成指示操作元件20的位置和形状的红外反射光的图像。基于这些图像，控制单元400检测操作元件20 相对于显示设备10的位置。要注意的是，该对光学摄影设备CamR和CamL从不同的摄影方向进行对操作元件20的摄影。由于光学摄影设备CamR和CamL位于相对于显示单元200 的显示面的预定位置，所以，检测单元100用于检测操作元件20相对于显示单元200的显示面的位置。如上所述，检测单元100包括一对光学摄影设备，由此，通过进行所谓的“三角测量”，可检测操作元件20沿着三个坐标轴中的各个的位置(也就是说，不仅在垂直维度和水平维度上，而且在深度上)。由此，检测单元100检测操作元件20在三维空间内的位置。外力施加单元300包括用于存储电荷的电容器311(电荷存储装置)和位于板状外壳内部的线圈310。如在图1中所示出，线圈310位于与显示单元200的显示面相对的一侧。也就是说，将线圈310放置成使得它能够生成以下这种磁场，该磁场从该外壳的表面经由显示单元200的显示面并且与ζ (+)方向正交而朝向“由显示面所面向的空间”发射，并且穿过显示单元200的显示面。当控制单元400控制线圈310与电容器311之间的开关(未示出)、以使得电流从电容器311流到线圈310时，线圈310生成从外壳的表面延伸的磁场线，从而生成围绕显示单元200的磁场。该磁场使得经由永久磁铁MG而向操作元件20施加外力。例如，为了使得操作元件20的笔尖在ζ (+)方向上从外力施加单元300移开，生成磁场使得在面向操作元件20的线圈310的一侧上的磁场的极与在面向线圈310的一侧的永久磁铁MG (永久磁铁MG被附接到的操作元件20的笔尖)的极相同，从而在永久磁铁MG 与线圈310之间生成排斥力。2、操作图3是用于解释图像显示系统1的操作的流程图。在控制单元400的控制下，检测单元100检测操作元件20的位置，并且通知控制单元400所检测到的位置(步骤S100)。显示单元200在控制单元400的控制下将图像显示在其显示面上(步骤S200)。控制单元400确定由检测单元100所检测到的操作单元20的位置与由显示单元 200所显示的图像之间的关系(步骤S300)。具体地说，控制单元400保持显示在显示面上的图像的数据，并且当根据该数据的图像表示了用户感知为3-D对象的假象物体时，控制单元400计算假象物体在空间(三维空间)内的位置。由此，控制单元400计算假象物体在空间内的位置，其中，以图像呈现该假象物体、使得能够被用户立体地观察。控制单元400对从检测单元100所通知的操作元件20的位置与所计算的假象物体在该空间内的位置进行比较，并且基于该比较，确定待施加到操作元件20的外力的方向和强度。例如，在操作元件20的位置与假象物体内部的位置交叠的情况下，控制单元400 确定应该在朝向在最接近操作元件20的位置的假象物体的表面上的位置的方向、并且按照与这些位置之间的距离成比例的强度来施加外力。在确定外力的方向与强度之后，控制单元400使得外力施加单元300生成磁场，从而向操作元件20施加外力(步骤S400)。具体地说，在控制单元400的控制下，外力施加单元300通过线圈310对存储在电容器311中的电荷进行放电。结果，围绕线圈310生成由控制单元400设置的磁场，并且该磁场作用于安装到操作元件20的永久磁铁MG，从而将具有上述方向和幅度的外力施加到操作元件20。换句话说，操作元件20依照操作元件20的位置和所显示的图像，来从显示设备10接收外力。这时，如果用户握住或者穿戴操作元件 20，则将由操作元件20所接收到的外力传递给该用户，结果，该用户感知到她/他仿佛触摸到图像的反作用力。也就是说，控制单元400和外力施加单元300依照由检测单元100所检测到的操作元件20的位置和所显示的图像的内容，通过生成磁场来向操作元件20施加外力。如上所述，在本发明的实施方式中，虽然由用户握住的操作元件并未连接到外部构件并且既不配备电源也不配备需要电力的设备，但是，能够基于由用户所进行的操作和所显示的图像来为用户提供力觉或者触觉。由此，用户可在没有物理限制的情况下将操作元件移动到空间内的任意位置。同样，可将该操作元件制造得比配备有电源或者需要电力的设备的操作元件更轻。此外，通过使显示单元显示用于呈现3-D图像(假象物体)的图像，该操作元件在空间内的三维位置和所呈现的假象物体的三维位置可相互关连，由此，用户可体验到她/他仿佛正在触摸该假象物体的感觉。3、修改例在上文中已经描述了示例性实施方式。如下文所描述，可对该示例性实施方式进行修改。以下的修改例可用在任何组合中。(1)与操作元件有关的修改例(1-1)在对示例性实施方式的上文说明中，并未具体说明操作元件20的形状与从操作元件20的永久磁铁MG开始延伸的磁场线的方向之间的关系。然而，可将永久磁铁MG 固定在操作元件20上，使得磁场线的方向与相对于操作元件20的预定方向一致。例如，永久磁铁MG可生成在各个磁极附近沿着笔状的操作元件20的纵向方向延伸的磁场线。具体地说，可将永久磁铁MG固定在操作元件20上，使其N-极安置在对应于笔尖的操作元件20 的一端，同时其S-极安置在另外一端或者在纵向方向的相对端。要注意的是，N-极和S-极的位置可颠倒。在这样的设置中，将具有基于操作元件20的形状所确定的特定方向的外力施加到操作元件20。(1-2)在上述示例性实施方式中，操作元件20具有类似于笔的形状的形状，从而使得用户能够轻易地握住它。然而，它可以具有其它形状。同样，操作元件20其本身可以为永久磁铁MG。也就是说，用户可以仅使用永久磁铁MG作为操作元件20。(1-3)在上述示例性实施方式中，用户握住操作元件20。然而，用户可以穿戴操作元件20。例如，操作元件20可通过使用连接件而穿戴在用户身体的一部分上。同样，操作元件20可由穿戴在人类身体上的物品构成，其可为装饰物(例如，指甲加长、戒指、手镯、或类似物品)、或者衣服(例如，帽子、手套、或类似物衣服)。图4是示出了根据此修改例的操作元件20的示例的图。例如，如在图4中所示出， 操作元件20以类似于将指甲加长附接到手指甲的方式而附接到用户的手指甲。由于操作元件20附接到手指甲、而不是到手指甲的球状部位，所以，当用户尝试用手指抓握对象时操作元件20不会产生干扰，因此，用户可在不妨碍日常活动的情况下戴着操作元件20。由此，在此示例性实施方式中，用户可通过使用手指来进行指点并且接收反作用力，而并不会感觉到她/他正穿戴着特殊设备。(1-4)在上述示例性实施方式中，操作元件20包括作为磁性体的永久磁铁MG。然而，包括在操作元件20中的磁性体不限于永久磁铁MG。例如，磁性体可为抗磁力比永久磁铁的抗磁力更低的磁性体。具体地说，该磁性体可由含铁磁物质(例如，铁、钴或类似物质) 或者铁磁物质(例如，磁铁矿)。也就是说，只需要操作元件20包括作为与磁场一致的外力所施加到的构件的磁性体，并且构造成使得操作元件20可经由磁性体接收与磁场一致的外力。(1-5)在上述示例性实施方式中，操作元件20包括作为标记器的逆反射部件。然而，不是采用逆反射部件，该标记器可为对入射光进行漫射的反射构件。这是因为，虽然对入射光的全内反射能够提高位置检测的精度，但是可以甚至在漫反射的情况下接收入射光的反射。(1-6)在上述示例性实施方式中，并没有具体地提到包括在操作元件20中的多个标记器。操作元件20可包括多个标记器。同样，可能存在包括在操作元件20中的多种标记器。例如，在永久磁铁MG用作磁性体的情况下，此永久磁铁MG中的各个磁极的位置是重要的，因为它影响施加到操作元件20的外力。由此，在这种情况下，包括在操作元件20中的永久磁铁MG可以具有附着在N-极上的对红外线进行反射的标记器，并具有附着在S-极上的对可见光进行反射的标记器。检测单元100分别地检测包括在操作元件20中的永久磁铁MG中的各个磁极的位置，并且，控制单元400基于所检测的各个磁极的位置来控制由外力施加单元300所生成磁场的方向。(2)与检测单元有关的修改例(2-1)在上述示例性实施方式中，检测单元100包括一对光学摄影设备。然而，检测单元100可以仅包括一个光学摄影设备。在这种情况下，如果光学摄影设备的视角是预定的，则控制单元400可以基于操作元件20在由光学摄影设备所拍摄的图像中的位置、和指示了从光学摄影设备所安装的位置到操作元件20的距离的焦距，来确定操作元件20相对于显示单元200的显示面的位置。(2-2)在上述示例性实施方式中，检测单元100通过使用LED将红外线发射到预定区域，并且检测来自操作元件20的反射光。然而，除了红外线以外，可以使用电磁波进行检测。例如，包括在检测单元100中的光学摄影设备可以通过检测可见光来进行摄影。通过这种方式，当发射可见光时，检测单元100可检测到操作元件20的位置。在这种情况下，可省略用于发射红外线的设备。(2-3)在上述示例性实施方式中，检测单元100包括用于发射红外线的LED和检测红外线的光学摄影设备。然而，并不是必须使用电磁波(例如，光)来检测操作元件20 的位置。例如，检测单元100可以通过发射声波(例如，超声波)来检测操作元件20的位置。在这种情况下，操作元件20可以包括反射从检测单元100所发射的声波(例如，超声波)的反射构件。也就是说，只需要操作元件包括反射具有预定波长范围的波的反射构件， 并且，检测装置基于由反射构件所反射的波来检测操作元件的位置。(3)与显示单元有关的修改例(3-1)在上述示例性实施方式中，显示单元200由液晶显示器和双凸透镜构成。然而，本发明不限于此设置。例如，显示单元200可以由能够在不使用电力的情况下保持图像的显示器构成，例如，胆固醇液晶显示器。(3-2)在上述示例性实施方式中，显示单元200是裸眼立体显示器。然而，显示单元200可适于显示二维图像。在这种情况下，不能够根据操作元件20的三维位置而为用户提供她/他仿佛正在触摸图像的感觉。然而，当使用了不能响应于输入操作而为用户提供力的反馈的输入设备(例如，触摸板)时，能够响应于由用户进行的操作(例如，对显示在屏幕上的开关的按压)而为用户提供力的反馈。(3-3)在上述示例性实施方式中，显示单元200是由液晶显示器和双凸透镜所构成的多视点型裸眼立体显示器。然而，当用户穿戴使用液晶快门或类似物的眼镜、或者使用视差屏障或者镜片阵列的另一立体显示器(代替双凸透镜)以显示立体图像时，可将显示单元200可以实施为能够显示立体图像的立体显示器。(3-4)同样，显示单元200例如可为将呈现图像的光投射到可以由白布构成的屏幕的投影仪。在这种情况下，显示单元200的显示面由投射有图像的屏幕来提供。例如，在将显示单元200实施为TFT (薄膜晶体管)液晶显示器的情况下，由外力施加单元300所生成的磁场可能会影响显示单元200的操作。相反，当显示单元200由投影仪构成并且使用投影屏幕来提供显示面时，可将显示单元200放置在远离外力施加单元300的位置，从而使得与显示单元200包括集成的显示面的情况相比，减小了由外力施加单元300所生成的磁场对显示单元200的影响。(4)与外力施加单元有关的修改例(4-1)在上述示例性实施方式中，外力施加单元300包括用于存储电荷的电容器 (电荷存储装置)和线圈310。然而，用于使得电流流经线圈310的电源并不限于电容器， 可以使用其它的许多电源。(4-2)在上述示例性实施方式中，没有具体地提到外力施加单元300的多个电容器。外力施加单元300可以包括多个电容器。在提供了多个电容器的情况下，能够对已经放电的电容器进行充电，而同时另一电容器正在放电，由此，可连续地生成磁力。由此，当外力施加单元300包括多个电容器、并且使这些电容器连续地放电时，不仅能够为用户提供瞬时力(例如，冲力)，而且还能够为用户提供使她/他感觉仿佛正被刚性对象推动的外力。(4-3)在使用多个电容器的情况下，能够使用具有不同电容的电容器，并且能够使它们选择性地进行放电，从而使得所生成的磁场的强度变动。(4-4)此外，通过颠倒在放电期间流经线圈310的电流的方向，可以颠倒所生成的磁场的极性。通过这种方式，能够控制施加到操作元件的力的方向。也就是说，能够选择性地施加将操作元件从外力施加单元300推开的外力，或者施加将操作元件拉向外力施加单元300的外力。(4-5)在上述示例性实施方式中，显示单元200的显示面和发射出磁场的外力施加单元300的表面中的各个都与ζ (+)方向正交。然而，这些表面的法线并不一定是在同一方向。图5是示出了根据此修改例的图像显示系统1的外部图的示意图。在此修改后的实施方式中，显示单元200的显示面与x(+)方向正交，同时发射出磁场的外力施加单元300 的表面与z(+)方向正交。并且在此设置中，外力施加单元300的线圈310生成朝向由显示单元200的显示面所面向的空间而延伸的磁场线，由此，对位于此空间内的操作元件20施加由外力施加装置300所施加的外力。(4-6)同样，外力施加单元300可以具有多个表面。例如，外力施加单元300可以具有三对相对的表面；即，具有在χ(+)Λ(-)方向、y⑴/y(_)方向和z(+)/z(_)方向的法线的六个表面，从而使得根据从这些表面中的各个所产生的磁场而向操作元件20施加外力。(4-7)在上述示例性实施方式中，外力施加单元300具有单个线圈310。然而，可使用多个线圈，使得这些线圈选择性地生成磁场。通过这种方式，能够在指定位置和在指定方向生成磁场。图6是用于解释使用多个线圈的外力施加单元300的图。外力施加单元300包括按照阵列布置的16个线圈310。在线圈310-10的x(+)方向的一侧放置了线圈310-11，并且在x(-)方向的一侧放置了 310-9。此夕卜，在线圈310-10的y⑴方向的一侧放置了线圈 310-14，并且在y(-)方向的一侧放置了 310-6。现在，这里假定用户已经将操作元件20移动到接近外力施加单元300，其中在这些线圈310中，最接近操作元件20的笔尖的是线圈310-10。检测单元100检测操作元件 20的位置。然后，基于所检测到的操作元件20的位置和显示在显示单元200的显示面上的图像的内容，控制单元400确定待施加到操作元件20的力的方向和强度。例如，在上述图像代表了在ζ (+)方向上从线圈310-10的位置延伸的杆状假象物体的情况下，控制单元400确定由假象物体提供到操作元件20的反作用力的方向和强度。 例如，如果永久磁铁MG附接到类似于笔的操作元件20、使得其N-极安置在对应于操作元件20的笔尖的部分时，控制单元400使得线圈310-10生成磁场，该磁场的N-极位于线圈 310-10朝向操作元件20的一侧，并且，如果所确定的方向是x(+)方向，则使线圈310-11生成磁场，使其S-极位于线圈310-11朝向操作元件20的一侧。结果，向操作元件20施加外力，使安置了永久磁铁MG的N-极的笔尖朝向安置在线圈310-10的x(+)方向一侧的线圈 310-11移动。类似地，如果所确定的方向是x(-)方向，则使线圈310-9生成磁场，其S-极位于线圈310-9朝向操作元件20的一侧，如果所确定的方向是y(+)方向，则使线圈310-14 生成磁场，其S-极位于线圈310-14朝向操作元件20的一侧，并且，如果所确定的方向是 y(-)方向，则使线圈310-6生成磁场，其S-极位于线圈310-6朝向操作元件20的一侧，通过这种方式，外力施加单元300可在x-y平面内在任何方向向操作元件20的笔尖施加外力。
(5)与控制单元有关的修改例(5-1)在上述示例性实施方式中，控制单元400计算假象物体在空间内的位置，将所计算的假象物体的位置与从检测单元100所通知的操作元件20的位置进行比较，并且基于该比较，确定待施加到操作元件20的外力的方向和强度。然而，在显示单元200显示二维图像(即，用户观察时不生成立体图像的图像)的同时检测单元100检测操作元件20的三维位置的情况下，控制单元400可将操作元件20的三维位置投射到显示单元200的显示面上，并且，确定由此获得的操作元件20在显示面上的位置与该二维图像之间的位置关系。(5-2)在上述示例性实施方式中，控制单元400控制外力施加单元300使得将基于操作元件20的位置和假象物体的位置而确定了方向和强度的外力施加到操作元件20。控制元件400可以控制显示单元200以显示基于以下内容所确定的图像在由外力施加单元 300施加外力之后的操作元件20的位移；以及所施加的外力。图7是用于解释根据此修改例的图像显示系统1的操作的流程图。由于步骤 S101-S401分别地与图3中的步骤S100-S400相同，所以，省略对这些步骤的解释。在使得外力施加单元300生成磁场之后，控制单元400获得由检测元件100所检测到的操作元件 20的位置(步骤500)。也就是说，检测单元100用作在由外力施加装置施加外力之前和之后这两种情况下对操作元件的位置进行检测的检测装置。然后，控制单元400计算在由外力施加单元300生成磁场之前和之后这两种情况下操作元件20的位置之间的距离，并且基于所计算的距离以及由外力施加单元300所施加的外力来确定图像。此后，控制单元400 使得显示单元200显示所确定的图像(步骤S600)。在自然世界中，当两个对象对彼此施加力时，这些力始终具有相同的强度并且被施加在相对的方向。因此，为了使假象物体移动以表现出在自然世界中的对象的运动，假象物体从操作元件20接收到的力必须通过该假象物体的运动而得到反映。在此修改例中，控制单元400预先确定假象物体和操作元件20中的各个的质量。 控制单元400基于在由外力施加单元300施加外力之前和之后这两种情况下操作元件20 的位置之间的距离(操作元件20的移位)、由外力施加单元300所施加的外力和预先确定的假象物体和操作元件20的质量，来计算假象物体从操作元件20所接收到的力。然后，控制单元400使得显示单元200显示呈现了依照从操作元件20所提供的力而移动的假象物体的图像。观察这些图像时，用户会经由操作元件20感觉到模拟来自呈现在图像中的假象物体的反作用力的力，并且，感觉到她/他已经移动该假象物体并且可体验到触摸该假象物体的模拟感觉。
权利要求
1.一种显示设备，该显示设备包括 显示装置，其在显示面上显示图像；检测装置，其检测具有磁性体的操作元件相对于所述显示面的位置；以及外力施加装置，其根据由所述检测装置所检测到的所述操作元件的位置和由所述显示装置所显示的所述图像的内容，在所述显示面所面向的空间内生成磁场，来经由所述磁性体向所述操作元件施加外力。
2.根据权利要求1所述的显示设备，其中，所述检测装置包括进行摄影的摄影装置，并且，所述检测装置基于由所述摄影装置所生成的所述操作元件的图像来检测所述操作元件的位置。
3.根据权利要求1所述的显示设备，其中所述显示装置合成对应于不同观察位置的多个图像，并且显示呈现在空间中的使得立体地看到假想物体的合成图像；所述检测装置包括具有不同摄影方向的多个摄影装置，并且，基于由所述多个摄影装置分别拍摄的所述操作元件的图像来检测所述操作元件在所述空间内相对于所述显示面的位置；并且所述外力施加装置向所述操作元件施加外力，所述外力是根据所述假象物体在所述空间内的位置和由所述检测装置所检测到的所述操作元件的位置而确定的。
4.根据权利要求1至3中任意一项所述的显示设备，其中，所述外力施加装置包括线圈和存储电荷的电荷存储装置，并且，所述外力施加装置对存储在所述电荷存储装置中的电荷进行放电以使电流流经所述线圈，从而由所述线圈生成磁场。
5.根据权利要求1所述的显示设备，其中所述操作元件包括反射预定波长范围的电磁波或者声波的反射器，并且所述检测装置根据由所述反射器所反射的反射波来检测所述操作元件的位置。
6.根据权利要求5所述的显示设备，其中，所述操作元件包括反射预定波长范围的红外线的逆反射部件。
7.根据权利要求1所述的显示设备，其中所述检测装置分别在所述外力施加装置施加外力之前和之后检测所述操作元件的位置，并且所述显示装置根据由所述检测装置所检测到的所述操作元件的位置之间的距离以及由所述外力施加装置所施加的外力，来显示图像。
8.一种图像显示系统，该图像显示系统包括 具有磁性体的操作元件；以及根据权利要求1所述的显示设备。
9.一种图像显示方法，该图像显示方法包括以下步骤 通过显示装置来在显示面上显示图像；通过检测装置来检测具有磁性体的操作元件相对于所述显示面的位置；以及通过外力施加装置，根据所述操作元件的位置和所述图像的内容，在所述显示面所面向的空间内生成磁场，来经由所述磁性体向所述操作元件施加外力。
全文摘要
本发明涉及一种显示设备、图像显示系统和图像显示方法，该显示设备包括显示装置，其在显示面上显示图像；检测装置，其检测具有磁性体的操作元件相对于所述显示面的位置；以及外力施加装置，其根据由所述检测装置所检测到的所述操作元件的位置和由所述显示装置所显示的图像内容、在由所述显示面所面向的空间内生成磁场，来经由所述磁性体向所述操作元件施加外力。
文档编号G06F3/042GK102339162SQ20111019591
公开日2012年2月1日 申请日期2011年7月13日 优先权日2010年7月16日
发明者堀越力, 壶井雅史, 木村真治, 田村隆幸, 福本雅朗 申请人:株式会社Ntt都科摩