专利名称：投影系统的制作方法
技术领域：
本发明涉及 一 种对影像进行投影的投影系统，特别是涉及 一种通过投影仪将与计算机的显示器所显示的影像相同的影像
投影到物体的表面(以下称为投影屏幕(projector screen))上的投 影系统(projector system)。
背景技术：
以往的投影系统能够将由个人电脑(personnal computer)等 计算机制作的图、文档等投影到投影屏幕上，因此在演讲会等 较大的场所被用于演示。
在这种投影系统中，在说明者指示投影影像的情况下，必 须使用较长的棒来指示投影屏幕上的特定的位置。因此，在演 示中需要以下两个人操作个人电脑以进行要投影的影像的翻 页等的人和进行说明的人。
为了消除这种不便，而提出了如下的投影系统通过使用 被称为激光笔的便携式的红外线发光装置来从远距离向投影屏 幕上发射激光，以特定颜色的光点(圓点)的形态进行投影，由 此向阅览者告知投影屏幕上的任意的位置(专利文献l)。
图l示出了这种以往例的系统结构。在图l中，IO是产生要 控制的影像的个人计算机(以下略记为个人电脑)。个人电脑IO 具有对显示器上所显示的 一 个画面的影像的图像数据进行保存 的存储器(RAM)。该图像数据是关于构成一个画面的各个像素 的亮度数据和颜色成分数据(RGB数据)。
在个人电脑10中装有影像显示用软件程序(文字处理软件、 绘图软件等，以下略记为显示用软件)和用于控制投影仪20的投影用软件(以下略记为投影用软件)。通过个人电脑内的CPU执 行投影用软件，将保存在存储器中的图像数据(一般被称为图像 信号)方式的投影用影像从个人电脑IO发送到投影仪20。
20是投影仪，具有液晶显示器(LCD)和光源。当从液晶显 示器的背面照射三原色(RGB)的光源的光时，液晶显示器的像 素之中成为"打开"状态的像素使光通过，之后，三原色的透射 光经过合成光学系统将透射光50投影到投影屏幕60上。根据上 述图像数据开闭液晶显示器的各像素(针对 一 个像素是RGB三 个像素)的同时，根据图像数据调整三原色的光源的亮度，由此 将从个人电脑发送的图像数据方式的影像作为可视影像投影S ij 投影屏幕60上。
30是发射激光60的光学单元， 一般普遍使用激光笔这个名 称，因此在本申请说明书中以下称为激光笔30。 40是受光器 (optical receiver),能够4吏用具有 一 个画面的光传感器的受光 器、例如被称为CCD的受光器。受光器40具有滤光器(filter), 该滤光器仅使来自激光笔30的反射光70透过，遮断从投影仪20 投影的光的反射光。当反射光70入射到受光器40的CCD的受光 画面中的特定像素时，CCD将向各像素的光传感器的入射光变 换为电信号(光电变换信号)进行输出。
从各像素输出的光电变换信号的电压表示该像素的入射光 的亮度。由于各像素的光电变换信号是模拟信号，因此由受光 器40内的A/D变换器变换为用数值表示电压的数字信号。这样 由受光器40所产生的一个画面的数字信号(以下称为摄影影像) 被发送到个人电脑10 。个人电脑10的投影用软件将所接收到的 摄影影像中的各像素的图像数据所表示的亮度值与预先决定的 阈值进行比较，检测具有大于阈值的亮度值的像素位置。观看 投影屏幕60的人能够通过投影屏幕60上的激光的照射影像来获知说明者想要指示的位置。以后将显示在该位置上的激光的照
射影像称为激光指针(laser pointer)。
另外，当通过上述方法在受光器40的摄影影像中检测激光 指针的位置时，个人电脑10与鼠标等指示设备同样地处理与激 光指针的位置有关的信息。
通过上述的投影系统，说明者一边操作个人电脑10—边操 作激光笔30，不仅能够指定被投影到投影屏幕60上的影像的任 意位置，还能够对个人电脑10输入位置信息。
可是，即使在投影屏幕60上的投影画面如图4所示那样呈标 准的矩形，也会由于受光器40的设置位置不同、光学系统的影 响而导致受光器4 0的受光画面如图5那样从矩形发生变形。
因此，以往进行被称为二维射影变换(two-dimensional projection conversion)的变4灸处理，将图5的受光画面上的4壬意 位置的坐标(X， Y)变换为投影画面上的对应的位置的坐标(x， y)。(参照非专利文献l)
一般，在投影画面上的位置(x， y)与受光画面上的位置(X， Y) 之间存在如下关系
x=(A1X + B1Y+C1)/(A0X+B0Y + C0)
y二(A2X+B2Y + C2)/(A0X + B0Y + C0)
在此，A0、 Al、 A2、 B0、 Bl、 B2、 C0、 Cl、 C2是参数。 为了得到在二维射影变换中使用的上述参数，在以往如图4 的附图标记3010所示那样通过投影仪20使用于一全测变形校正用 参数的四个标记3 010投影到矩形框的投影画面上的四角。
在受光器40的受光画面上也通过个人电脑10侧的图像处理 检测上述标记的影像。当提供投影画面上的四个标记的坐标位 置(预先决定的固定值)与受光画面上的四个标记的影像位置(从受光画面才企测出的位置、图5的附图标记4010的标记的位置) 时，使用上述非专利文献l的实用计算式将上述9个参数简化为8 个参数。由个人电脑10自动生成使用了简化得到的8个参数的变 换式(二维射影变换式)，使用所生成的变换式，在个人电脑IO 上通过计算将在受光画面上检测出的激光笔的指针影像(通过 受光器40拍摄由激光笔30照射到投影屏幕60上的影像而得到的 影像)在受光画面上的坐标位置变换为投影屏幕60上的坐标位 置。
投影仪的投影环境只要是如窗户的光不会进入那样的良好 的环境就没有问题，但是如果必须点亮室内灯(应急灯等)等、 存在所谓的噪声发生源，则导致在受光器40的受光画面40上产 生一些噪声影像4030(参照图5)。在这种情况下，在个人电脑IO 中无法辨别哪个是受光画面上的噪声影像、哪个是标记的影像。 因此，例如考虑到将受光画面的所有影像显示在个人电脑10的 显示器(display)上，说明者操作鼠标等来指示显示器显示画面 上的标记的影像。
然而，操作投影系统的人未必是计算机的熟练者，有时会 错误地指定噪声，使个人电脑10的显示器显示由受光器40拍摄 的受光画面并利用鼠标指示正确的标记的操作本身毕竟很繁 杂。
专利文献l:日本特开平ll-85395号公报 非专利文献1: http:〃www.ke.ics.saitama—u.ac.jp/kondo/Geo map/CADCGHTML/ChapE/ChapE02.html
发明内容
因此，本发明的目的在于提供一种即使受光画面中混入噪 声也能够高精确度地自动生成二维射影变换式的投影系统。为了达到这种目的，本发明的特征在于，是一种投影系统，
通过投影仪(20)将影像投影到投影屏幕(60)上，通过受光器对由 激光笔(30)照射到上述投影屏幕上的激光指针的影像进行受 光，通过二维射影变换式将受光画面上的激光指针的位置变换 为上述投影屏幕上的坐标位置，并且通过上述投影仪将标记 (3010)预先投影到上述投影屏幕上，使用由上述受光器受光的 上述标记的位置(4010的标记的位置)与预先决定的在上述投影 屏幕上的标记的位置(3010的标记的位置)自动生成上述二维射 影变换式，该投影系统具有控制单元，其除了使上述投影仪
行S10的CPU 1000);检测单元，其允许在上述标记的候选中包 含噪声(4030)和上述保证用标记，；险测上述受光画面上的上述 标记的候选位置(执行S20的CPU 1000);变换式生成单元，其使 用所检测出的该标记的候选中的规定个数的候选位置以及在上 述投影屏幕上预先决定的标记的位置来生成暂定的(provisional) 二维射影变换式(执行S40的CPU 1000);位置变换单元，其使用 所制作的该暂定的二维射影变换式，将通过上述变换式生成单 元制作二维射影变换式时没有使用的上述标记的候选位置变换 为上述投影屏幕上的位置(执行S50的CPU 1000);以及判断单 元，其通过判断在变换得到的该位置中是否存在与预先决定的 上述保证用标记的投影屏幕上的位置一致的位置，来判断由上 述变换式生成单元生成的暂定的二维射影变换式是否为使用了 受光画面上的标记的位置的真正的(true)二维射影变换式(执行 S60、 S70的CPU 1000),其中，在由上述判断单元得到否定判 断的情况下，直到得到肯定判断为止，将由上述变换式生成单 元生成二维射影变换式时所使用的标记的候选设为不同的候选 来通过上述变换式生成单元生成不同的暂定的二维射影变换式(S30 S70的循环处理)，将由上述判断单元得到肯定判断时的暂 定的二维射影变换式作为真正的二维射影变换式，在上述激光
指针的位置变换中使用(S80)。
上述的()部分表示与权利要求的特征对应的实施方式的对 应部分，但是权利要求书的记载并不限定于此。
图1是表示以往例的硬件结构的框图。
图2是表示本发明第 一 实施方式的个人电脑10的硬件的概
要结构的框图。
图3是表示本发明第一实施方式的软件结构的框图。
图4是表示投影用画面上的标记位置的说明图。
图5是表示受光画面上的标记和噪声的位置的说明图。
图6是表示本发明第 一 实施方式的最优化处理的处理过程
的流程图。
具体实施例方式
下面，参照附图详细说明本发明的实施方式。 [第一实施方式]
能够将与本发明第 一 实施方式的硬件有关的投影系统的结 构设为与图l的以往技术大致相同的结构，在本申请说明书的背 景技术中已说明这种结构，因此在此省略详细说明。
为了说明本发明，简单地说明图1的个人电脑10的内部结 构。不限于个人电脑IO，也能够将使用了 CPU的信息处理设备、
1000是执行被装在个人电脑10的硬盘1030中的程序的 CPU。IOIO是系统存储器，由ROM、RAM构成。在系统存储器1010 内设有用于加载由CPU 1000执行的程序的存储区域、用于存储 显示器1020上所显示的影像的存储区域、存储CPU 1000在执行 信息处理时使用的各种信息的存储区域。除此之外，还设有存 储投影屏幕显示(投影)用的影像的存储区域。
1020是显示器，显示与由投影仪20投影的投影用影像相同 的影像。
1030是用于保存后述(图3)的程序的硬盘。CPU IOOO要执行 的程序在从硬盘1030加载到系统存储器1010中之后被CPU IOOO所执行。
1040是输入输出接口，输入来自受光器40的摄影影像。另 外，从输入输出接口 1040将投影用影像发送到投影仪20。在输 入输出接口 1040上还能够连接鼠标、4建盘等以往已知的输入输 出设备。
图3表示在本发明第一实施方式中装到个人电脑10中的软 件的结构。在图2中，2000是投影用程序，是用于将通过投影用 影像产生程序(后述)2 010制作的投影用影像发送到投影仪2 0的 程序。用于实现上述程序的功能与以往相同。
2 010是投影用影像产生程序，是制作要投影的影像的已知 的程序。例如，已知文字处理寿欠件、制表4欠件(spreadsheet software)、绘图软件、演示用内容制作软件等。通过这些软件 制作的投影用影像为了在个人电脑IO的显示器上进行显示而被 保存到所使用的系统存储器1010内的存储区域中，因此通过该 存储区域将投影用影像传送到投影用程序2000(投影用程序 2000从存储区域读取该投影用影像)。
2020例如是微软公司的Windows(注册商标)等操作系统 2020，在操作系统上运行上述程序。使用图4和图5说明通过上述硬件和软件执行的本发明。与 以往不同的第 一点在于通过投影仪20将(精确度)保证用标记
3020(参照图4)投影到投影屏幕上。此外，图4的3010与以往相 同，是在二维射影变换式中使用的标记。预先决定标记3010和 3020的位置。在该方式中，使四个标记3010的位置位于投影屏 幕的矩形框的四角，使保证用标记3020的位置位于上部两个标 记3010的中间点。然而，保证用标记的位置无需限定于本例， 只要任意地决定即可。
图5示出了受光器40的受光画面的摄影内容。4010是标记 3010的影像，4020是保证用标记的影像。4030是噪声影像，是 从照明环境混入到受光器40的噪声影像。
在本实施方式中，将保证用影像和噪声影像也作为标记的 候选进行处理，/人受光画面^r测其位置。在标记的^r测中只要 使用与以往同样的图像处理方法即可。作为一例，只要检测具 有标记的图像特4i的闭合划分区域(closed pixel region)即可。 在图5的例子中示出9个候选。
这样检测出的标记的候选位置为四个以上。因此，使用在 投影屏幕60上的四个标记301(^皮预先决定的位置(xl， yl)、 (x2, y2)、 (x3，y3)、 (x4， y4)以及受光画面上的9个候选中的任意四个 来生成暂定的二维射影变换式。生成方法能够与以往相同。
如果所选择的四个候选是真正的四个标记3010的影像，则 保证用标记3020的影像(4020)处于剩余的5个(9-4)候选中。利用 该性质，在本实施方式中，将上述剩余的5个候选的位置分别代 入到所生成的二维射影变换式中来计算投影屏幕60上的位置。 将所得到的5个位置与预先决定而明确了位置的保证用标记的 位置进行比较。如果与保证用标记的位置一致的标记处于通过 二维射影变换式得到的5个位置中，则在该时刻生成的暂定的二维射影变换式可以说是使用了真正的四个标记3010的真正的二
维射影变换式。
另一方面，只要在所选择的四个候选中包含一个噪声影像 就无法得到真正的二维射影变换式。因而，即使使用此时得到 的暂定的二维射影变换式将受光画面上的保证用标记的影像位
置变换为投影屏幕50上的位置，该位置被投影，也与预先决定 的保证用标记3020的位置不同。在所选4奪的四个候选中包含保 证用标记的影像的情况下也相同。
图6示出了用于实现找出以上所说明的真正的二维射影变 换式的方法的程序。该程序被嵌入到图3的投影用程序2000内， 在投影用程序2000一皮起动时作为初始处理而由个人电脑10的 CPU IOOO(以下略记为CPU)自动执行该程序。
CPU将存储在硬盘1030中的图4的影像(用于对文件格式、 导出用标记以及保证用标记进行投影的影像)加载到系统存储 器1010中的投影用影像存储区域中。另外，CPU通过将被加载 的该影像发送到投影仪2 0来进行控制使得将图4的影像投影3 'J 投影屏幕60上(S10)。
CPU取入受光器40的摄影影像，暂时存储到系统存储器 1010内的作业区域中。对所存储的影像中的具有导出用标记 (3010)的图像特征的候选影像进行检测，并且获取其位置(S20)。 此时，请注意保证用标记和噪声也被允许作为候选。
C P U从所得到的标记候选位置中任意选择四个。使用所得 到的四个位置以及预先提供的在投影屏幕60上的四个导出用标 记(3010)的位置，与以往同样地生成(暂定的)二维射影变换式 (S30—S40)。
C P u将没有被选择的标记候选的各个位置代入到二维射影 变换式而变换为在投影屏幕60上的位置(S50)。CPU将变换得到的各位置与预先提供的在投影屏幕6-上的
保证用标记的位置进行比较(S 5 0),判断是否存在 一 致的位置 (S60)。
在得到否定判断(判断为"否")的情况下，返回到S30,选择 与目前为止的组合不同的四个标记的候选位置，进行重复上述 操作过程的(S30—S70)的循环处理。
在得到"是"的判断时，由于此时所生成的暂定的二维射影 变换式是真正的二维射影变换式，因此过程进入S70，将所得 到的暂定的二维射影变换式设定为在由激光笔30指示的指针的 位置变换中使用的二维射影变换式(S80)。
在上述实施方式中保证用标记表示一个例子，但是并不限 于此。也可以设置多个。在这种情况下，在S70的判断处理中 判断通过比较处理比较的结果， 一致的位置是否存在规定个数 (保证用标记的个数)。
权利要求
1.一种投影系统，通过投影仪将影像投影到投影屏幕上，通过受光器对由激光笔照射到上述投影屏幕上的激光指针的影像进行受光，通过二维射影变换式将受光画面上的激光指针的位置变换为上述投影屏幕上的坐标位置，并且通过上述投影仪将标记预先投影到上述投影屏幕上，使用由上述受光器受光的上述标记的位置与预先决定的在上述投影屏幕上的标记的位置来自动生成上述二维射影变换式，该投影系统的特征在于，具有控制单元，其除了使上述投影仪投影上述标记以外，还使上述投影仪投影保证用标记；检测单元，其允许在上述标记的候选中包含噪声和上述保证用标记，检测上述受光画面上的上述标记的候选位置；变换式生成单元，其使用所检测出的该标记的候选中的规定个数的候选的位置以及在上述投影屏幕上预先决定的标记的位置，来生成暂定的二维射影变换式；位置变换单元，其使用所制作的该暂定的二维射影变换式，将通过上述变换式生成单元制作二维射影变换式时没有使用的上述标记的候选的位置变换为上述投影屏幕上的位置；以及判断单元，其通过判断在变换得到的该位置中是否存在与预先决定的上述保证用标记在投影屏幕上的位置一致的位置，来判断由上述变换式生成单元生成的暂定的二维射影变换式是否为使用了受光画面上的标记的位置的真正的二维射影变换式，其中，在由上述判断单元得到否定判断的情况下，直到得到肯定判断为止，将由上述变换式生成单元生成二维射影变换式时所使用的标记的候选设为不同的候选来通过上述变换式生成单元生成不同的暂定的二维射影变换式，将由上述判断单元得到肯定判断时的暂定的二维射影变换式作为真正的二维变换式，在上述激光指针的位置变换中使用。
全文摘要
一种投影系统，将保证用标记(3020)与导出用标记(3010)一起投影到投影屏幕上，允许噪声影像作为标记候选，自动生成多个暂定的二维射影变换式，使用保证用标记(3020)的位置从所生成的多个变换式中检测真正的变换式。
文档编号G06F3/041GK101627355SQ20088000764
公开日2010年1月13日 申请日期2008年3月7日 优先权日2007年3月8日
发明者田川欣哉, 近藤秀和 申请人:Lunascape株式会社;株式会社策划设计工程