显示装置、投影仪和显示控制方法与流程

本发明涉及显示与由指示体指示的位置对应的图像的显示装置、投影仪和显示控制方法。

背景技术：

公知有如下技术：在投影仪等显示装置中，检测屏幕上的电子笔(指示体)的位置，投射与电子笔的轨迹对应的图像(手绘图像)。该功能被称为电子黑板功能或电子白板功能。在具有电子黑板功能的投影仪中，利用画面尺寸较大的性质，将画面分割成多个，使用多个电子笔在各个区域中独立地描绘手绘图像(例如专利文献1和2)。

现有技术文献

专利文献

专利文献1：日本特开2013-168142号公报

专利文献2：日本特开2013-235416号公报

技术实现要素：

发明要解决的课题

在电子黑板系统中，能够使用个人计算机中普及的剪切粘贴和复制粘贴。但是，在专利文献1和2所记载的技术中，存在如下问题：在利用第1指示体对假想对象进行剪切后且进行粘贴前、第2指示体对其他假想对象进行了剪切的情况下，在被称为剪贴缓冲区的存储区域中存储其他假想对象的数据，然后，当利用第1指示体指示粘贴时，会粘贴其他假想对象。

与此相对，本发明提供在显示与多个指示体的位置对应的图像的显示装置中进一步提高剪切粘贴或复制粘贴的功能的便利性的技术。

用于解决课题的手段

本发明提供一种显示装置，其具有：显示单元，其显示图像；检测单元，其检测所述图像上的、第1指示体的位置和第2指示体的位置；存储单元，其具有与所述第1指示体以及所述第2指示体对应的存储区域；存储控制单元，其将与所述第1指示体相关联的第1假想对象和识别该第1指示体的第1标识符对应起来存储在所述存储区域中，将与所述第2指示体相关联的第2假想对象和识别该第2指示体的第2标识符对应起来存储在所述存储区域中；以及粘贴单元，其根据所述第1指示体的操作将所述存储区域中与所述第1标识符对应起来存储的第1假想对象粘贴在所述图像上，根据所述第2指示体的操作将所述存储区域中与所述第2标识符对应起来存储的第2假想对象粘贴在所述图像上。根据该显示装置，能够针对第1指示体和第2指示体分别独立地进行剪切粘贴或复制粘贴。

也可以是，该显示装置具有切换单元，该切换单元将所述粘贴单元的动作模式切换为包含第1模式和第2模式在内的多个动作模式中的任意一个，在所述第1模式中，所述粘贴单元根据所述第1指示体的操作将所述存储区域中与所述第1标识符对应起来存储的第1假想对象粘贴在所述图像上，根据所述第2指示体的操作将所述存储区域中与所述第2标识符对应起来存储的第2假想对象粘贴在所述图像上，在所述第2模式中，所述粘贴单元根据所述第1指示体或所述第2指示体的操作将所述第1假想对象和所述第2假想对象中的最后存储在所述存储区域中的假想对象粘贴在所述图像上。根据该显示装置，能够切换针对第1指示体和第2指示体分别独立地进行剪切粘贴或复制粘贴的模式和针对第1指示体和第2指示体共通地进行剪切粘贴或复制粘贴的模式。

也可以是，所述检测单元检测所述图像上的第3指示体的位置，所述粘贴单元根据所述第3指示体的操作将所述第1假想对象和所述第2假想对象中的最后存储在所述存储区域中的假想对象粘贴在所述图像上。根据该显示装置，针对第3指示体，能够与第1指示体和第2指示体共通地进行剪切粘贴或复制粘贴。

也可以是，所述第3指示体是用户的手指。根据该显示装置，针对用户的手指，能够与第1指示体和第2指示体共通地进行剪切粘贴或复制粘贴。

也可以是，所述第1假想对象是使用所述第1指示体被指示进行复制的假想对象。根据该显示装置，能够针对使用第1指示体被指示进行复制的假想对象进行复制粘贴。

也可以是，所述第1假想对象是使用所述第1指示体描绘的假想对象。根据该显示装置，能够针对由第1指示体描绘的假想对象进行剪切粘贴或复制粘贴。

该显示装置也可以是，所述第1假想对象是使用所述第1指示体选择的假想对象。根据该显示装置，能够针对由第1指示体选择的假想对象进行剪切粘贴或复制粘贴。

并且，本发明提供一种投影仪，其具有：投射单元，其投射图像；检测单元，其检测所述图像上的、第1指示体的位置和第2指示体的位置；存储单元，其具有与所述第1指示体以及所述第2指示体对应的存储区域；存储控制单元，其将与所述第1指示体相关联的第1假想对象和识别该第1指示体的第1标识符对应起来存储在所述存储区域中，将与所述第2指示体相关联的第2假想对象和识别该第2指示体的第2标识符对应起来存储在所述存储区域中；以及粘贴单元，其根据所述第1指示体的操作将所述存储区域中与所述第1标识符对应起来存储的第1假想对象粘贴在所述图像上，根据所述第2指示体的操作将所述存储区域中与所述第2标识符对应起来存储的第2假想对象粘贴在所述图像上。根据该投影仪，能够针对第1指示体和第2指示体分别独立地进行剪切粘贴或复制粘贴。

进而，本发明提供一种显示控制方法，是显示装置中的显示控制方法，该显示装置具有显示图像的显示单元以及存储单元，该存储单元具有与第1指示体以及第2指示体对应的存储区域，所述显示控制方法具有以下步骤：检测所述图像上的、所述第1指示体的位置和所述第2指示体的位置；将与所述第1指示体相关联的第1假想对象和识别该第1指示体的第1标识符对应起来存储在所述存储区域中，将与所述第2指示体相关联的第2假想对象和识别该第2指示体的第2标识符对应起来存储在所述存储区域中；以及根据所述第1指示体的操作将所述存储区域中与所述第1标识符对应起来存储的第1假想对象粘贴在所述图像上，根据所述第2指示体的操作将所述存储区域中与所述第2标识符对应起来存储的第2假想对象粘贴在所述图像上。根据该显示控制方法，能够针对第1指示体和第2指示体分别独立地进行剪切粘贴或复制粘贴。

附图说明

图1是示出一个实施方式的显示装置1的功能结构的图。

图2是例示一个实施方式的显示装置1的硬件结构的图。

图3是示出关联技术的显示装置1的动作的流程图。

图4是例示处理的菜单的图。

图5是示出一个实施方式的显示装置1的动作的流程图。

具体实施方式

1.结构

图1是示出一个实施方式的显示装置1的功能结构的图。显示装置1是显示与指示体(例如电子笔)的轨迹对应的图像的装置。显示装置1具有独立地检测第1指示体和第2指示体这2个指示体的轨迹的功能。

显示装置1具有显示单元10、检测单元11、存储单元12、存储控制单元13、粘贴单元14、切换单元15。显示单元10显示与所供给的图像数据对应的图像。检测单元11检测第1指示体的位置和第2指示体的位置。存储单元12具有与第1指示体以及第2指示体对应的存储区域，存储第1假想对象和第2假想对象。第1假想对象是与第1指示体相关联的假想对象，第2假想对象是与第2指示体相关联的假想对象。假想对象是指由数据表示的假想的对象、例如图像、线画、图形、图标、字符串。存储控制单元13将第1假想对象与第1标识符对应起来存储在存储单元12的存储区域中，将第2假想对象与第2标识符对应起来存储在存储单元12的存储区域中。第1标识符是识别第1指示体的标识符，第2标识符是识别第2指示体的标识符。粘贴单元14根据指示体的操作将存储在存储单元12的存储区域中的假想对象粘贴在由显示单元10显示的图像上。切换单元15将粘贴单元14的动作模式切换为包含第1模式和第2模式的多个动作模式中的任意一个。在第1模式中，粘贴单元14根据第1指示体的操作，将与第1标识符对应起来存储在存储区域中的第1假想对象粘贴在图像上，根据第2指示体的操作，将与第2标识符对应起来存储在存储区域中的第2假想对象粘贴在图像上。另外，在第2模式中，粘贴单元14根据第1指示体或第2指示体的操作，将第1假想对象和第2假想对象中的最后存储在存储单元12的存储区域中的假想对象粘贴在图像上。

图2是例示一个实施方式的显示装置1的硬件结构的图。在该例子中，显示装置1是具有所谓的白板功能(有时也称为电子黑板功能或交互式功能)的投影仪。作为白板功能中的指示体，使用电子笔2和电子笔3。

显示装置1具有cpu(centralprocessingunit)100、rom(readonlymemory)101、ram(randomaccessmemory)102、存储部103、if(接口)部104、图像处理电路105、投射单元106、摄像部107、操作面板108。

cpu100是对显示装置1的各部进行控制的控制装置。rom101是存储了各种程序和数据的非易失性存储装置。ram102是存储数据的易失性存储装置，作为cpu100执行处理时的工作区域发挥功能。存储部103是存储数据和程序的非易失性存储装置、例如hdd(harddiskdrive)或ssd(solidstatedrive)。在该例子中，存储部103存储用于使显示装置1实现白板功能的程序(以下称为“白板程序”)。

if部104是与作为影像源的外部装置进行信号或数据的交换的接口。if部104具有用于与外部装置进行信号或数据的交换的端子(例如vga端子、usb端子、有线lan接口、s端子、rca端子、hdmi(high-definitionmultimediainterface：注册商标)端子等)和无线lan接口。

图像处理电路105对所输入的影像信号(以下称为“输入影像信号”)实施规定的图像处理。投射单元106根据实施了图像处理的影像信号，向屏幕投射图像。投射单元106具有光源、光调制器、光学系统以及它们的驱动电路(均省略图示)。光源是高压水银灯、卤素灯或金属卤化物灯等灯、或led(lightemittingdiode)、或激光二极管等固体光源。光调制器是根据影像信号对从光源照射的光进行调制的装置，例如具有液晶面板。光学系统是向屏幕投射由光调制器调制后的光的元件，例如具有透镜和棱镜。在该例子中，按照每个颜色成分设置有光源和光调制器。具体而言，针对红色、绿色和蓝色这三原色分别单独设置有光源和光调制器。利用光学系统对由各液晶面板调制后的光进行合成，向屏幕投射。

摄像部107对包含被投射图像的屏幕的区域进行拍摄，以便确定电子笔2和电子笔3的位置。在该例子中，电子笔2和电子笔3分别具有输出固有波长的光的发光元件，在笔尖处具有压力传感器，当压力传感器检测到压力后，发光元件输出光。cpu100在由摄像部107拍摄的图像中根据与其波长的光相应的点的位置，检测电子笔2和电子笔3的位置。摄像部107以规定的周期对包含屏幕的区域进行拍摄。在以时序对检测到的位置进行排列后，可得到电子笔的轨迹。cpu100对图像处理电路105和投射单元106进行控制，以便描绘与检测到的电子笔2的位置(轨迹)对应的图像以及与电子笔3的位置(轨迹)对应的图像。

操作面板108是用于供用户对显示装置1输入指示的输入装置，例如包含键盘、按钮或触摸面板。

在该例子中，投射单元106是显示单元10的一例，并且是投射单元的一例。摄像部107和cpu100是检测单元11的一例。ram102是存储单元12的一例。执行白板程序的cpu100是存储控制单元13、粘贴单元14和切换单元15的一例。

2.关联技术的问题点

在进入本实施方式的说明之前，对关联技术的问题点进行说明。

图3是示出关联技术的显示装置1的动作的流程图。在该例子中，显示装置1具有电子笔2和电子笔3共用的剪贴缓冲区。剪贴缓冲区是存储假想对象(的数据)以对选择出的假想对象进行处理(例如剪切、复制、粘贴、分组、分组解除、删除等)的存储区域。该存储区域设置在ram102中。另外，在以下的说明中，有时将白板程序等软件作为动作主体进行说明，但是，这意味着执行该软件的cpu100与其他硬件要素协作地进行处理。

在该例子中，使用电子笔2的用户a和使用电子笔3的用户b总共两名用户使用显示装置1的白板功能描绘图像。在图3中，示出电子笔2的操作和电子笔3的操作以及存储在剪贴缓冲区中的假想对象。在图3的流程的开始时点，在剪贴缓冲区中未进行任何存储。另外，在图3的例子中，在剪贴缓冲区中仅存储单一的假想对象。

在步骤s1中，用户a描绘企鹅图案。并且，用户b描绘熊图案。

在步骤s2中，用户a选择自己绘画的企鹅图案。用户b选择熊图案。电子笔2和电子笔3具有用于指示假想对象的选择的按钮，当用户按压该按钮并触摸假想对象时、或者描绘包围假想对象的图形时，选择该假想对象。在选择假想对象后，白板程序显示包含能够对选择出的假想对象执行的处理的项目的菜单。

图4是例示处理的菜单的图。在该例子中，针对选择出的假想对象，能够执行剪切、复制、粘贴、分组、分组解除和删除的处理。白板程序执行与用户从中选择出的项目对应的处理。

再次参照图3。在步骤s3中，用户a将选择出的假想对象(在该例子中为企鹅图案)复制到剪贴缓冲区。即，用户a从图4的菜单中选择“复制”的项目。在该时点，用户b未进行菜单的操作。在剪贴缓冲区中存储企鹅图案。

在步骤s4中，用户b将选择出的假想对象(在该例子中为熊图案)复制到剪贴缓冲区。即，用户b从图4的菜单中选择“复制”的项目。用户a此时未进行任何操作。在剪贴缓冲区中存储熊图案。此时，删除此前存储的企鹅图案。

在步骤s5中，用户a指示在画面上粘贴假想对象。例如，当用户a按压电子笔2的按钮并利用电子笔2在画面上触摸时，白板程序显示包含“粘贴”这样的项目的菜单。当用户a从该菜单中选择“粘贴”的项目后，指示粘贴。

在步骤s6中，白板程序将剪贴缓冲区中存储的假想对象、在该例子中为熊图案粘贴在画面上的指定的位置。

此时，用户a想粘贴哪个假想对象是取决于状况的。例如，在用户a注意到用户b复制了熊图案的情况下，可认为用户a具有粘贴熊图案的意愿。但是，在用户a未注意到用户b复制了熊图案的情况下，可认为用户a具有粘贴企鹅图案的意愿。在该情况下，会违背用户a的意愿而粘贴熊图案。本实施方式应对这种问题。

3.动作

3-1.动作例1

图5是示出一个实施方式的显示装置1的动作的流程图。在该例子中，在假想对象的存储中使用单一的(即电子笔2和电子笔3共用的)剪贴缓冲区，在该剪贴缓冲区中存储多个假想对象(具体而言，与电子笔2对应的假想对象和与电子笔3对应的假想对象分别各一个)。并且，假想对象与识别电子笔的标识符对应起来存储在剪贴缓冲区中。

在步骤s11中，用户a描绘企鹅图案。另外，用户b描绘熊图案。在步骤s12中，用户a选择自己描绘的企鹅图案。用户b选择熊图案。

在步骤s13中，用户a将选择出的假想对象(在该例子中为企鹅图案)复制到剪贴缓冲区。即，用户a从图4的菜单中选择“复制”的项目。在该时点，用户b未进行菜单的操作。由用户a选择出的假想对象(企鹅图案)存储在剪贴缓冲区中。此时，白板程序将选择出的假想对象和电子笔2的标识符(在该例子中为c1)存储在剪贴缓冲区中。

在步骤s14中，用户b将选择出的假想对象(在该例子中为熊图案)复制到剪贴缓冲区。即，用户b从图4的菜单中选择“复制”的项目。由用户b选择出的假想对象(熊图案)存储在剪贴缓冲区中。此时，白板程序将选择出的假想对象和电子笔3的标识符(在该例子中为c2)存储在剪贴缓冲区中。

在步骤s15中，用户a指示在画面上粘贴假想对象。并且，用户b也指示在画面上粘贴假想对象。

在步骤s16中，白板程序粘贴假想对象。即，白板程序在由电子笔2指示的位置粘贴与标识符c1对应起来存储在剪贴缓冲区中的假想对象、在该例子中为企鹅图案，在由电子笔3指示的位置粘贴与标识符c2对应起来存储在剪贴缓冲区中的假想对象、在该例子中为熊图案。

3-2.动作例2

在动作例1中，对不同的用户分别使用2根电子笔的例子进行了说明，但是，也可以是一名用户使用2根电子笔。在该情况下，如图5那样进行处理，在步骤s15中用户希望粘贴的假想对象是与标识符c1对应的假想对象还是与标识符c2对应的假想对象根据状况而不同。因此，在动作例2中，显示装置1具有共用模式和独立模式这2个动作模式。共用模式是与使用的电子笔无关地粘贴最后存储在剪贴缓冲区中的假想对象的动作模式。独立模式与动作例1同样，是粘贴与使用的电子笔的标识符对应起来存储的假想对象的动作模式。

例如，在显示装置1显示的画面中显示用于调用进行各种设定变更的画面的图标，用户利用电子笔触摸该图标，由此能够调用该菜单。在该菜单中具有用于进行动作模式切换的项目。

在该情况下，在共用模式中，可以仅将最后复制的假想对象存储在剪贴缓冲区中，也可以将假想对象和复制该假想对象的顺序存储在剪贴缓冲区中，粘贴该顺序为最后的假想对象。

3-3.动作例3

在动作例2中，对用户从菜单画面进行设定变更来切换动作模式的例子进行了说明，但是，白板程序也可以自动切换动作模式。在该例子中，白板程序根据所使用的指示体是电子笔还是用户的手指来切换动作模式。具体而言，在使用手指作为指示体的情况下，将动作模式切换为共用模式，在使用电子笔作为指示体的情况下，将动作模式切换为独立模式。根据该动作例，用户能够直观地切换动作模式而与菜单操作无关。

另外，在该情况下，白板程序具有从摄像部107拍摄的图像中识别用户手指的输入的功能。与屏幕平行地对屏幕的表面照射同样的固有波长的光，在用户的手指遮挡光的情况下，利用摄像部107捕捉其反射，识别为相应位置。此时，为了识别出电子笔2或电子笔3的光，根据特定的模式进行来自电子笔的发光，通过识别该模式，识别电子笔和手指的操作。并且，也可以具有从摄像部107拍摄的图像中识别用户的手的形状的功能。在用户的手具有特定形状(例如竖立食指的形状)的情况下，白板程序将手识别为指示体，将食指指尖的位置识别为由指示体指示的位置。

4.变形例

本发明不限于上述实施方式，能够进行各种变形实施。下面，对若干个变形例进行说明。也可以组合使用以下的变形例中的2个以上的变形例。

在与识别哪个指示体的标识符对应起来的状态下将假想对象存储在剪贴缓冲区中、即指示体的位置与假想对象的关联性不限于实施方式中说明的例子。在实施方式中，白板程序在将识别指示了假想对象的复制的指示体的标识符对应起来的状态下，将该假想对象存储在剪贴缓冲区中。但是，白板程序也可以在将识别描绘了假想对象的指示体的标识符对应起来的状态下，将该假想对象存储在剪贴缓冲区中。例如，在利用电子笔3选择了由电子笔2描绘的企鹅图案的情况下，也可以在将标识符c1对应起来的状态下将企鹅图案存储在剪贴缓冲区中。在其他例子中，白板程序也可以在将识别选择了假想对象的指示体的标识符对应起来的状态下，将该对象存储在剪贴缓冲区中。

在使用手指作为指示体的情况下，白板程序也可以设置手指用的剪贴缓冲区。在该情况下，区分使用电子笔的剪贴缓冲区和手指的剪贴缓冲区。

剪贴缓冲区的容量不限于2个假想对象的容量。剪贴缓冲区也可以存储3个以上的假想对象。

用于实现图1的功能的硬件不限于图2例示的硬件。例如，显示装置1也可以不具有摄像部107。在该情况下，电子笔也可以检测自身的位置，将检测到的位置通知给显示装置1。并且，投射单元106也可以不按照每个颜色成分具有光调制器，也可以具有单一的光调制器。并且，也可以使用数字镜器件(digitalmirrordevice、dmd)等液晶面板以外的电气光学元件作为光调制器。进而，显示装置1不限于投影仪，也可以是直视的显示装置。

也可以省略图1的功能的一部分。例如，显示装置1也可以不具有切换单元15。

标号说明

1：显示装置；2：电子笔；3：电子笔；10：显示单元；11：检测单元；12：存储单元；13：存储控制单元；14：粘贴单元；15：切换单元；100：cpu；101：rom；102：ram；103：存储部；104：if部；105：图像处理电路；106：投射单元；107：摄像部；108：操作面板。