图像处理装置、图像处理系统、图像处理方法和计算机程序的制作方法
【技术领域】
[0001]本发明涉及一种图像处理装置、图像处理系统、图像处理方法和计算机程序。
【背景技术】
[0002] 已知使用其上投影了图像的投影面的检测结果校正图像失真的技术。作为检测投 影面的技术的示例，已经公开了一种从投影在投影面上的投影图像的拍摄图像检测指示投 影面的帧的屏幕帧的技术(参见日本专利申请特许公开No.2010-044255)。
[0003] 日本专利申请特许公开No. 2010-044255公开了 ：测量由投影区域上的测量图案形 成的多个测量点的三维坐标，使用测量点的三维坐标从拍摄图像检测投影区域上的包括阶 梯（step)的阶梯区域，并且从阶梯区域检测屏幕帧。在日本专利申请特许公开No. 2010-044255中，基于屏幕帧的形状校正用作投影目标的图像数据的失真。
[0004]然而，传统地，难以以高精度校正投影图像的失真，这是因为，由于在某些情况下 的环境条件的影响，无法以高精度检测投影面。
【发明内容】
[0005]鉴于这样的问题，本发明的目的是提供一种图像处理装置、图像处理系统、图像处 理方法和计算机程序，其可以提供能够以高精度校正投影图像的失真的校正信息。
[0006] -种图像处理装置包括投影控制单元、获取单元、提取单元、移位（shift)量计算 单元、第一计算单元。投影控制单元执行控制以使得:将布置多个第一特征点的第一图案图 像投影到投影面上，并且将包括与第一特征点对应的多个第二特征点的第二图案图像投影 到平面投影面上。获取单元从拍摄单元获取投影在所述投影面上的投影的第一图案图像的 第一拍摄图像、以及投影在所述平面投影面上的第二图案图像的第二拍摄图像。提取单元 提取在预定方向上将第二拍摄图像中的第二特征点连接的第二连接分量(component)、以 及将第一拍摄图像中的在对应于第二连接分量中包括的第二特征点的位置处的第一特征 点连接的第一连接分量。移位量计算单元计算第一连接分量相对于第二连接分量的移位 量。第一计算单元基于移位量计算用于校正投影目标图像的第一校正信息。
【附图说明】
[0007]图1是图不根据实施例的图像处理系统的不意图。
[0008]图2是图不第一图案图像和第二图案图像的不例的不意图。
[0009]图3是图示第一图案图像和第一拍摄图像的示例的示意图。
[0010]图4是图示第一校正单元的示意图。
[0011]图5是图示坐标变换的示意图。
[0012] 图6是图示提取单元的示意图。
[0013]图7是(u，v)坐标系统的说明图。
[0014]图8是坐标变换的说明图。
[0015] 图9是图示第二连接分量的生成结果的示例的示意图。
[0016] 图10是图示第一连接分量的生成结果的示例的示意图。
[0017] 图11是第一连接分量相对于第二连接分量的移位的说明图。
[0018] 图12是由第一校正处理单元执行的校正的说明图。
[0019]图13是图示第二校正单元的示意图。
[0020] 图14是投影区域的说明图。
[0021] 图15是投影区域的说明图。
[0022] 图16是图示图像处理的过程的流程图。
[0023]图17是图示第一校正的过程的流程图。
[0024]图18是图示连接分量提取的过程的流程图。
[0025]图19是图示相邻特征点识别的过程的流程图。
[0026] 图20是图示相邻特征点识别的过程的流程图。
[0027] 图21是图示与所识别的相邻特征点的关系的示意图。
[0028] 图22是图示不具有相邻特征点的特征点的示例的示意图。
[0029]图23是图示第二校正的过程的流程图。
[0030] 图24是图示近似平面计算的过程的流程图。
[0031] 图25是回归平面数据的计算方法的说明图。
[0032]图26是前(front)图像的生成的说明图。
[0033]图27是包含区域计算的说明图。
[0034]图28是前图像与投影目标图像之间的关系的说明图。
[0035]图29是图不第一图案图像的其它不例的不意图。
[0036]图30是图不第二图案图像的不例的不意图。
[0037]图31是图不第二图案图像的其它不例的不意图。
[0038]图32是图不第一图案图像和第二图案图像的不例的不意图。
[0039]图33是修改示例的说明图。
[0040] 图34是图不彳目息处理系统的结构的另一不例的不意图。
[0041] 图35是图示配备有云计算系统的图像处理系统的示例的示意图。
[0042]图36是图示计算机的结构的硬件结构图。
【具体实施方式】
[0043]图1是图不根据实施例的图像处理系统10的不意图。
[0044]图像处理系统10包括投影装置14、拍摄装置16、以及图像处理装置18。通过诸如网 络的通信线路将投影装置14、拍摄装置16、以及图像处理装置18耦接。
[0045]网络可以是有线通信网络或无线通信网络。例如，使用LAN(局域网）作为该网络， 并且使用诸如Ethernet(注册商标)或TCP/IP的通信协议。
[0046]投影装置14是将充当投影目标的投影目标图像投影到投影面12上的装置。投影面 12的示例包括屏幕、墙和白板，但是不限于这些。投影装置14包括投影单元14A。投影单元 14A将投影目标图像投影到投影面12上。在本实施例中，由图像处理装置18控制投影单元 14A〇
[0047]拍摄装置16拍摄投影在投影面12上的投影图像。拍摄装置16包括拍摄单元16A。拍 摄装置16拍摄投影在投影面12上的投影图像以获取拍摄图像。在本实施例中，由图像处理 装置18控制拍摄单元16A。
[0048]图像处理装置18控制投影装置14和拍摄装置16。图像处理装置18包括控制器20和 存储单元22。
[0049]存储单元22在其中存储充当投影目标的投影目标图像、以及诸如用于校正投影目 标图像的第一图案图像和第二图案图像的各种类型的数据。存储单元22还在其中存储在控 制器20的控制下产生的各种类型的信息。
[0050] 第一图案图像是其中布置多个第一特征点的图像。在本实施例中，在第一图案图 像中，例如，将多个第一特征点布置在网格中。第一特征点的布置不限于网格。第二图案图 像是包括与第一特征点对应的多个第二特征点的图像。例如，第二图案图像是第一图案图 像的一部分。第二图案图像不限于为第一图案图像的一部分。只需要第二图案图像包括所 述多个第二特征点即可。
[0051] 在本实施例中，当总体描述第一和第二特征点时，将第一和第二特征点简单地描 述为"特征点"。特征点是这样的区域，其可以由图像处理装置18提取并且用于计算充当投 影目标的投影目标图像的校正信息。
[0052] 图2是图示第一图案图像62A和第二图案图像60A的示例的示意图。图2中的部分 (A)是图不第一图案图像62A的不例的不意图。在本实施例中，第一图案图像62A是在网格中 交替地布置白色正方形区域和黑色正方形区域的图像。在本实施例中，第一图案图像62A中 的第一特征点100是白色正方形区域和黑色正方形区域的顶点相会的点。
[0053]图2中的部分(B)是图示第二图案图像60A的示例的示意图。在本实施例中，第二图 案图像60A是包括与第一图案图像62A的中心对应的区域、以及多个第二特征点200。结果， 当将第二图案图像60A和第一图案图像62A重叠时，各个第二特征点200在第二图案图像60A 中的位置与各个第一特征点100在第一图案图像62A中的位置重合。
[0054] 以与第一特征点100相同的方式，第二图案图像60A中的第二特征点200是白色正 方形区域的顶点和黑色正方形区域的顶点相会的点。在本实施例中，从第一图案图像62A的 中心区域提取第二图案图像60A，使得包括多个第一特征点100。
[0055]在本实施例中，第二图案图像60A包括九个第二特征点200,它们是:在特定方向上 彼此相邻的三个第二特征点200;以及，对于所述三个第二特征点200的每个，在与特定方向 垂直的方向上彼此相邻的三个第二特征点200。
[0056]在本实施例中，第二图案图像60A是对应于第一图案图像62A的中心区域、并且包 括所述多个第二特征点200的图像。第二图案图像60A不限于对应于中心区域的图像。只需 要第二图案图像60A是第一图案图像62A的一部分并且包括所述多个第二特征点200即可。 [0057]从稍后描述的以高精度计算第一校正信息的角度来看，第二图案图像60A优选地 是对应于第一图案图像62A的中心区域的图像。这是因为，投影图像(其是已经被投影的投 影目标图像的图像)的中心附近的区域很有可能位于投影面12上。
[0058]在本实施例中，第二图案图像60A包括九个第二特征点200。然而，第二图案图像 60A可以是包括至少两个或更多个第二特征点200(优选地，四个或更多个第二特征点200， 以及更优选地，八个或更多个第二特征点200)的图像。第二图案图像60A中包括的第二特征 点200的数目越大，第一校正信息的计算就越精确。
[0059]参考回图1，控制器20控制图像处理装置18。控制器20是包括CPU(中央处理单元）、ROM(只读存储器）、RAM(随机存取存储器)等的计算机。
[0060] 控制器20包括投影控制单元24、拍摄控制单元26、获取单元28、第一校正单元30、 以及第二校正单元32。投影控制单元24、拍摄控制单元26、获取单元28、第一校正单元30、以 及第二校正单元32例如可以通过由诸如CPU的处理单元执行的计算机程序（S卩，通过软件） 来实施、或者通过诸如集成电路(1C)的硬件来实施、或者通过使用软件和硬件来实施。
[0061 ] 投影控制单元24控制投影单元14A。在本实施例中，投影控制单元24控制投影单元 14A，以使得投影单元14A将作为投影目标图像的第一图案图像62A和第二图案图像60A投影 在投影面12上。投影控制单元24控制投影单元14A，以使得投影单元14A将充当投影目标的 各种投影目标图像投影在投影面12上。
[0062]在本实施例中，当第二图案图像60A被投影在投影面12上时，投影面12需要是平面 投影面。当第二图案图像60A被投影时使用的平面投影面12意味着具有不引起投影图像中 的失真的平面度。失真意味着投影在投影面12上的投影图像相对于充当投影目标的投影目 标图像(在被投影之前的图像)的失真。在作为投影在投影面12上的第二图案图像60A的图 像的第二投影图像中不存在失真。换言之，在第二投影图像中的各个第二特征点200的位 置、与作为在被投影之前的图像的第二图案图像60A中的对应的第二特征点200的位置之间 不存在差异。
[0063]相比之下，在本实施例中，当将第一图案图像62A投影在投影面12上时，投影面12 需要在实际投影条件下，该实际投影条件是投影各种投影目标图像所处的实际投影条件之 一。结果，在作为投影在投影面12上的第一图案图像62A的图像的第一投影图像中，可能存 在当投影第一图案图像62A时使用的投影面12所引起的失真，并且，在第一投影图像中的各 个第一特征点100的位置、与作为在被投影之前的图像的第一图案图像62A中的对应的第一 特征点100的位置之间可能存在任何差异。
[0064]拍摄控制单元26控制拍摄单元16A。在本实施例中，拍摄控制单元26控制拍摄单元 16A，以使得拍摄单元16A拍摄投影在投影面12