专利名称：图像处理系统、投影机及图像处理方法
技术领域：
本发明涉及根据拍摄信息检测预定的区域的图像处理系统、投影机及图像处理方法。
背景技术：
近年来提出使用具有CCD相机的投影机将图像投影到屏幕等的投影对象物并通过对利用CCD相机拍摄所投影的投影图像来检测拍摄区域内的投影区域的四角的坐标而调整投影图像的位置的方法。
在此场合，比如，就像通过百叶窗射入的日光那样，由于产生强烈对比的外光在屏幕上映出来，故进行边缘检测及形状检测之际就可能出现将该外光判定为边缘或形状的一部分的问题。
针对这种问题，比如，在专利文献1中，提出了除去在拍摄图像上产生的外光分量所造成的影响的图像处理装置。
专利文献1特开2001-268326号公报然而，如专利文献1的图像处理装置那样，在采用一般差分图像的方法中，不可能除去产生强烈对比的外光的影响。这是因为由于投影光受到外光的影响而在拍摄图像上产生饱和之故。
另外，专利文献1的图像处理装置，是在边缘检测后，根据该边缘的附近等的外光信息除去外光的影响。然而，在产生强烈对比的外光的场合，由该外光产生的边缘部分，由于与该边缘部分附近部分的差异很大，因此以该方法不能恰当地除去外光的影响。
此外，专利文献1的图像处理装置，取得曝光量而进行处理，但由于曝光量是根据整个图像的平均亮度决定的，对由于外光在图像的一部分上产生强烈对比的情况的影响，不能进行恰当的判定。
另外，优选是在投影机向屏幕等投影图像的场合，即使是受到外光影响的场合，不管投影图像与屏幕的包括关系如何，都可以进行投影图像的失真的校正等。
发明内容
本发明是鉴于上述问题而完成的发明，其目的在于提供一种可以抑制拍摄图像中所包括的外光的影响而恰当地检测拍摄图像内的预定区域的图像处理系统、投影机及图像处理方法。
为解决上述问题，本发明的图像处理系统及投影机的特征在于其构成包括将第1校正图像或面状光及第2校正图像或面状光向投影对象物投影的投影单元；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息，并对投影有上述第2校正图像或面状光的上述投影对象物进行拍摄而生成第2拍摄信息的拍摄单元；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像的差分图像生成单元；在上述第1或上述第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值的处理以便不进行边缘检测处理的外光影响除去单元；以及根据利用上述外光影响除去单元处理后的第1差分图像，通过进行边缘检测处理，生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息的投影对象区域检测单元。
另外，本发明的图像处理方法的特征在于
将第1校正图像或面状光向投影对象物投影；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息；将第2校正图像或面状光投影于上述投影对象物；对投影有上述第2校正图像或面状光的上述投影对象物进行拍摄而生成第2拍摄信息；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像；在上述第1或上述第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值的处理以便不进行边缘检测处理；以及根据该处理后的第1差分图像，通过进行边缘检测处理，生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息。
本发明的图像处理系统及投影机的特征在于其构成包括将第1校正图像或面状光向投影对象物投影的投影单元；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息，并对非投影时的上述投影对象物进行拍摄而生成第2拍摄信息的拍摄单元；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像的差分图像生成单元；在上述第1或上述第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值的处理以便不进行边缘检测处理的外光影响除去单元；以及根据利用上述外光影响除去单元处理后的第1差分图像，通过进行边缘检测处理，生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息的投影对象区域检测单元。
另外，本发明的图像处理方法的特征在于将第1校正图像或面状光向投影对象物投影；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息；对非投影时的上述投影对象物进行拍摄而生成第2拍摄信息；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像，在上述第1或上述第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值以便不进行边缘检测处理的处理；以及根据该处理后的第1差分图像，通过进行边缘检测处理，生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息。
根据本发明，图像处理系统等，通过执行用于除去外光影响的处理，可以在除去产生强烈对比的外光的影响的状态下恰当地检测拍摄图像内的投影对象区域。
另外，根据本发明，图像处理系统等，通过对已除去外光影响的差分图像进行边缘检测等而检测投影对象区域，可以以更高精度检测投影对象区域。
另外，也可以是上述第1校正图像是整面白色图像，上述第2校正图像是整面黑色图像。
另外，作为上述亮度指标值，比如，是成为辉度值、RGB信号值等的亮度的指标的值。
另外，上述第1校正图像或面状光与上述第2校正图像或面状光的差分图像，也可以是不包括高频分量的图像。
据此，图像处理系统等，可以进行误检测少的高精度的区域检测。
另外，上述图像处理系统及上述投影机，包括生成与上述拍摄单元的拍摄区域中的投影区域的位置相关的投影区域信息的投影区域检测单元；上述投影单元，将第3校正图像向上述投影对象物投影；上述拍摄单元，对投影有上述第3校正图像的上述投影对象物进行拍摄而生成第3拍摄信息；上述差分图像生成单元，生成上述第1拍摄图像和由上述第3拍摄信息所表示的第3拍摄图像的第2差分图像；上述第2差分图像，由位于该差分图像的中央附近的中央块区域、位于该中央块区域的周边的周边块区域和上述中央块区域及上述周边块区域以外的背景区域构成；上述中央块区域及上述周边块区域中的各像素和上述背景区域中的各像素具有不同的亮度指标值；上述投影区域检测单元，也可以包括根据上述第2差分图像，检测上述拍摄单元的拍摄区域中的上述中央块区域的多个中央基准位置的中央基准位置检测单元；根据上述中央基准位置，检测上述拍摄区域中的上述周边块区域的多个周边基准位置的周边基准位置检测单元；以及根据上述中央基准位置和上述周边基准位置，生成上述投影区域信息的投影区域信息生成单元。
另外，上述图像处理方法也可以，将第3校正图像向上述投影对象物投影；对投影有上述第3校正图像的上述投影对象物进行拍摄而生成第3拍摄信息；生成上述第1拍摄图像和由上述第3拍摄信息所表示的第3拍摄图像的第2差分图像；
上述第2差分图像，由位于该差分图像的中央附近的中央块区域、位于该中央块区域的周边的周边块区域和上述中央块区域及上述周边块区域以外的背景区域构成；上述中央块区域及上述周边块区域中的各像素和上述背景区域中的各像素具有不同的亮度指标值；根据上述第2差分图像，检测拍摄区域中的上述中央块区域的多个中央基准位置；根据上述中央基准位置，检测上述拍摄区域中的上述周边块区域的多个周边基准位置；以及根据上述中央基准位置和上述周边基准位置，生成与上述拍摄区域中的投影区域的位置相关的投影区域信息。
据此，图像处理系统等，通过利用第2差分图像，即使是在投影图像的一部分(比如，周边部分等)从投影对象物超出的场合，也可以恰当地检测投影区域。
另外，上述图像处理系统及上述投影机，由可以包括根据上述投影对象区域信息和上述投影区域信息，对图像的失真进行校正的图像失真校正单元；上述投影单元，也可以将利用上述图像失真校正单元所校正的图像向上述投影对象物投影。
另外，上述图像处理方法，也可以根据上述投影对象区域信息和上述投影区域信息，校正图像的失真，将校正后的图像向上述投影对象物投影。
据此，图像处理系统等，即使是存在外光影响的场合，也可以恰当地校正图像的失真。
另外，在上述图像处理系统及上述投影机中，上述拍摄单元，也可以通过利用自动曝光进行拍摄而生成上述第1拍摄信息，通过以该自动曝光所决定的曝光进行拍摄而生成上述第2拍摄信息。
另外，上述图像处理方法，也可以通过利用自动曝光进行拍摄而生成上述第1拍摄信息，通过以该自动曝光所决定的曝光进行拍摄而生成上述第2拍摄信息。
据此，图像处理系统等，通过利用以相同的曝光所拍摄的拍摄信息的差分图像，可以更高速且低负载地除去外光的影响。
图1为示出本实施方式的一例的图像投影状况的概略图。
图2为示出本实施方式的一例的投影机的功能框图。
图3为示出本实施方式的一例的投影机的硬件框图。
图4为示出本实施方式的一例的图像处理的流程的流程图。
图5为示出本实施方式的一例的校正图像的模式图，图5(A)为第1校正图像的模式图，图5(B)为第3校正图像的模式图。
图6为示出在检测本实施方式的一例的中央基准位置之际的第1阶段的检索方法的模式图。
图7为示出在检测本实施方式的一例的中央基准位置之际的第2阶段的检索方法的模式图。
图8为示出在检测本实施方式的一例的周边基准位置之际的第1阶段的检索方法的模式图。
图9为示出在检测本实施方式的一例的周边基准位置之际的第2阶段的检索方法的模式图。
图10为示出在检测本实施方式的一例的周边基准位置之际的第3阶段的检索方法的模式图。
图11为示出本实施方式的一例的近似直线的设定方法的模式图。
图12为示出在检测本实施方式的一例的投影对象区域之际的检索方法的模式图。
具体实施例方式
下面参照附图以将本发明应用于具有图像处理系统的投影机的场合为例进行说明。另外，以下所示的实施方式，并不是对在技术方案的范围中所叙述的发明内容的任何限定。并且，并非在以下的实施方式中示出的构成的全部都是作为技术方案的范围中所叙述的发明的解决方案所必需的。
(整个系统的说明)图1为示出本实施方式的一例的图像投影状况的概略图。
投影机20，向作为投影对象物的一种的屏幕10投影图像。由此，在屏幕10上显示投影图像12。另外，在本实施例中，如图1所示，以在屏幕10的一部分上显示由于外光80(比如，从百叶窗的间隙射入的日光等)产生的光点82，投影图像12的周边部分从屏幕10超出的状态为例进行说明。
另外，投影机20，具有传感器60作为拍摄单元。传感器60，通过拍摄面对显示投影图像12的屏幕10进行拍摄而生成拍摄信息。投影机20，根据拍摄信息，掌握屏幕10和投影图像12的位置关系及投影图像12的形状，进行投影图像12的失真和显示位置的调整。
另外，投影机20，通过执行与历来不同的图像处理，以更短的时间并且正确地生成与传感器60的拍摄区域内的投影对象区域(与屏幕10相当的区域)和投影区域(与投影图像12相当的区域)的位置信息。
下面对用来安装这种功能的投影机20的功能块予以说明。
图2为示出本实施方式的一例的投影机20的功能框图。
投影机20的构成包括将来自PC(个人计算机)等的模拟RGB信号(R1、G1、B1)变换为数字RGB信号(R2、G2、B2)的输入信号处理单元110；为校正图像的色和亮度将该数字RGB信号(R2、G2、B2)变换为数字RGB信号(R3、G3、B3)的色变换单元120；将该数字RGB信号(R3、G3、B3)变换为模拟RGB信号(R4、G4、B4)的输出信号处理单元130；以及根据该模拟RGB信号对图像进行投影的投影单元190。
另外，投影单元190的构成包括空间光调制器192；驱动空间光调制器192的驱动单元194；光源196；以及透镜198。驱动单元194，根据来自输出信号处理单元130的图像信号，驱动空间光调制器192。于是，投影单元190将来自光源196的光经空间光调制器192及透镜198进行投影。
另外，投影机20的构成包括生成用来显示第1、第2及第3校正图像的校正信息的校正信息生成单元114；生成校正图像的拍摄信息的传感器60；以及临时存储来自传感器60的拍摄信息等的存储单元140。
另外，投影机20的构成包括生成作为第1及第2拍摄图像的差分的第1差分图像和作为第1及第3拍摄图像的差分的第2差分图像的差分图像生成部160，以及执行除去外光的影响的处理的外光影响除去单元170。
另外，投影机20的构成包括根据拍摄信息检测传感器60的拍摄面(拍摄区域)中的投影区域的位置的投影区域检测单元150。另外，投影区域检测单元150的构成包括检测包括于差分图像中的中央块区域的多个中央基准位置的中央基准位置检测单元154；检测包括于差分图像中的周边块区域的多个周边基准位置的周边基准位置检测单元156；以及根据各基准位置生成表示投影区域的位置的投影区域信息的投影区域信息生成单元158。
另外，投影机20包括生成与相当于传感器60的拍摄区域中的屏幕10的投影对象区域的位置相关的投影对象区域信息的投影对象区域检测单元180。另外，投影对象区域检测单元180的构成包括检索范围决定单元182；边缘检测单元184；评价边缘检测点的检测点评价单元188；以及在临时检测投影对象区域生成临时检测信息的同时生成投影对象区域信息的投影对象区域信息生成单元186。
此外，投影机20具有校正投影图像12的失真的图像失真校正单元。更具体言之，投影机20，具有根据投影区域信息和投影对象区域信息对图像失真校正量进行计算的图像失真校正量运算单元162以及根据该图像失真校正量对图像信号进行校正的图像失真校正单元112。
另外，作为用来安装上述的投影机20的各单元的功能的硬件，比如，可以应用以下单元。
图3为示出本实施方式的一例的投影机20的硬件框图。
比如，作为输入信号处理单元110，比如，可利用A/D变换器930、图像处理电路970等安装；作为存储单元140，比如，可利用RAM950等安装；作为投影区域检测单元150、差分图像生成单元160、外光影响除去单元170、投影对象区域检测单元180，比如，可利用图像处理电路970等安装；作为图像失真校正量运算单元162，比如，可利用CPU910等安装；作为校正信息生成单元114，比如，可利用图像处理电路970、RAM950等安装；作为输出信号处理单元130，比如，可利用D/A变换器940等安装；作为空间光调制器192，比如，可利用液晶面板920等安装；作为驱动单元194，比如，可利用存储用来驱动液晶面板920的液晶光阀的驱动程序的ROM960等安装。
另外，这些单元各个之间可以经系统总线980相互交换信息。
另外，这些各部既可以像电路那样使用硬件安装，也可以使用软件，如驱动程序，进行安装。
此外，也可从存储用来使计算机用作投影对象区域信息生成单元186等的程序的信息存储媒体900读取程序而在计算机中安装投影对象区域信息生成单元186等的功能。
作为这种信息存储媒体900，比如，可使用CD-ROM、DVD-ROM、ROM、RAM、HDD等，其程序的读取方式既可以是接触方式，也可以是非接触方式。
另外，上述各功能也可以通过从主机装置等经传输路径下载用于安装上述各功能的程序等来安装来代替信息存储媒体900。
下面利用这些各单元对图像处理予以说明。
图4为示出本实施方式的一例的图像处理的流程的流程图。另外，图5为示出本实施方式的一例的校正图像的模式图，图5(A)为第1校正图像的模式图，图5(B)为第3校正图像的模式图。
首先，用户将投影机20设置成为朝向屏幕10，接通投影机20的电源。
首先，投影机20，将图5(A)所示的全白图像(整个图像为白色)13作为第1校正图像进行投影(步骤S1)。更具体言之，校正信息生成单元114，生成全白图像13用的校正信息(比如，RGB信号等)，投影单元190根据该校正信息投影全白图像13。
传感器60，通过自动曝光设定对屏幕10上的全白图像13进行拍摄而生成第1拍摄信息(步骤S2)。存储单元140，存储第1拍摄信息。
用户确认中央块区域是否进入到屏幕10的框内，并且在未进入时调整投影机20的位置等以使其进入，再次启动投影机20并再次执行步骤S1～S3的处理。
在中央块区域进入到屏幕10的框格的状态下，传感器60对屏幕10上的图形图像14以全白图像13拍摄时的曝光进行拍摄而生成第3拍摄信息(步骤S4)。存储单元140存储第3拍摄信息。
另外，投影机20，将全黑图像(整个图像为黑色)作为第2校正图像进行投影(步骤S5)。
传感器60，以拍摄全白图像13时的曝光对屏幕10上的全黑图像进行拍摄而生成第2拍摄信息(步骤S6)。存储单元140，存储第2拍摄信息。
然后，差分图像生成单元160，生成作为以第1拍摄信息所表示的第1拍摄图像和以第2拍摄信息所表示的第2拍摄图像的第1差分图像的黑白差分图像(步骤S7)。存储单元140存储黑白差分图像。
另外，差分图像生成单元160，生成作为第1拍摄图像和以第3拍摄信息所表示的第3拍摄图像的第2差分图像的图形差分图像(步骤S8)。存储单元140存储图形差分图像。
另外，外光影响除去单元170，判定在第2拍摄信息中是否存在具有高辉度值(大于等于预定值(比如，200等)的亮度指标值)的像素区域，在存在该像素区域时，就执行将黑白差分图像中的该像素区域的辉度值(比如，50等)置换为黑白差分图像中的该像素区域附近的辉度值(比如，30等)的处理(步骤S9)。
通过这样的处理可以除去黑白差分图像中的外光80的影响。
另外，投影区域检测单元150，根据图形差分图像，检测拍摄区域中的投影区域(步骤S10)。更具体言之，投影区域检测单元150，检测包括在图形差分图像中的中央块区域中的多个(在本实施例中为4个)中央基准位置和包括在图形差分图像中的周边块区域中的多个(在本实施例中为8个)周边基准位置。
图6为示出在检测本实施方式的一例的中央基准位置之际的第1阶段的检索方法的模式图。另外，图7为示出在检测本实施方式的一例的中央基准位置之际的第2阶段的检索方法的模式图。
中央基准位置检测单元154，为了检测与拍摄面相当的拍摄区域15中的投影区域(与投影图像12相当的区域)的位置，首先，检测图形图像的4个中央基准位置。另外，为了使说明易于理解起见，在各图中画出投影对象区域18，但在实际的差分图像中也有不包括投影对象区域18及投影对象区域18的外部的周边块区域17-1～17-4的一部分的场合。
更具体言之，中央基准位置检测单元154，对于差分图像，如图6所示，通过沿设想中央块区域16所处的纵向位置x＝xc上从y＝yp起到y＝ym止对每个像素检索差分值，判别差分值变化的点P1、P2。比如，假定是P1(xc，y1)、P2(xc，y2)的点。
另外，xc、yp、ym等的检索基准位置的值，比如，既可以由透镜198和传感器60的各自的视场角及位置决定，也可以通过实验决定，或者也可以相应于拍摄结果决定。对于后述的其他的检索基准位置也一样。
随后，中央基准位置检测单元154，如图7所示，沿以P1、P2为基准的横向位置y＝yc上从x＝xm起到x＝xp止对每个像素检索差分值，由此判别差分值变化的点P3、P4。另外，此处，比如，yc＝(y1+y2)/2。
这样，中央基准位置检测单元154，将表示中央块区域16的4个中央基准位置P1(xc，y1)、P2(xc，y2)、P3(x1，yc)、P4(x2，yc)的中央基准位置信息输出到周边基准位置检测单元156。
周边基准位置检测单元156，根据中央基准位置信息，检测图形图像的8个周边基准位置。
图8为示出在检测本实施方式的一例的周边基准位置之际的第1阶段的检索方法的模式图。另外，图9为示出在检测本实施方式的一例的周边基准位置之际的第2阶段的检索方法的模式图。另外，图10为示出在检测本实施方式的一例的周边基准位置之际的第3阶段的检索方法的模式图。
投影对象区域检测单元180的边缘检测单元184，根据中央块区域16的中央基准位置P1～P4，从P1和P2的各自的Y坐标点y1和y2向外侧沿位于中央块区域16的离P3、P4的每一个为横向长度的预定比例内侧的检索辅助线，以黑白差分图像作为检索对象对每一个像素进行边缘检测。结果，可检测到4个边缘检测点ZUVW。
另外，作为边缘检测处理的方法，比如，可以采用利用多个像素的滤色器检测边缘的方法及不利用滤色器而检测辉度值作为每个像素的边缘的方法等。
然后，周边基准位置检测单元156，计算将点Z的Y坐标值yZ和点U的Y坐标值yU之中的较小值与P1的Y坐标值y1之间的距离(差分值)的预定比例的值加到y1上所得到的值yP。另外，周边基准位置检测单元156，计算将点V的Y坐标值yV和点W的Y坐标值yW之中的较大值与P2的Y坐标值y2之间的距离的预定比例的值从y2减去所得的值yQ。
另外，周边基准位置检测单元156，计算位于离点Z及点W的X坐标值xZ为中央块区域16的横向长度的预定比例内侧的位置的X坐标值xR。另外，周边基准位置检测单元156，计算位于离点U及点V的X坐标值xU为中央块区域16的横向长度的预定比例内侧的位置的X坐标值xS。
随后，周边基准位置检测单元156，将表示这8个点的坐标的周边基准位置信息和中央基准位置信息输出到投影区域信息生成单元158。
投影区域信息生成单元158，根据周边基准位置信息和中央基准位置信息，利用近似直线(近似曲线也可以)检测投影区域的四角的位置。
图11为示出本实施方式的一例的近似直线的设定方法的模式图。
投影区域信息生成单元158，根据点P5、点P3及点P6的坐标，设定以图10的虚线表示的近似直线。利用同样的方法，投影区域信息生成单元158，如图11所示，设定以虚线表示的4条近似直线，判别各近似直线的4个交点A(xA，yA)～D(xD，yD)为中央块区域16的四角的点。
中央块区域16，由于是相当于将原投影图像12缩小为1/9的图像的区域，投影图像12相当的投影区域的四角的点EFGH如下。即E(xE，yE)＝(2*xA-xC，2*yA-yC)、F(xF，yF)＝(2*xB-xD，2*yB-yD)、G(xG，yG)＝(2*xC-xA，2*yC-yA)、H(xH，yH)＝(2*xD-xB，2*yD-yB)。
利用以上的方法，投影区域信息生成单元158，将表示投影图像12相当的投影区域的四角的点EFGH的投影区域信息输出到图像失真校正量运算单元162。
另外，投影对象区域检测单元180，根据黑白差分图像，检测拍摄区域15中的投影对象区域18(步骤S11)。下面，对投影对象区域18的位置检测处理予以说明。
图12为示出在检测本实施方式的一例的投影对象区域之际的检索方法的模式图。
首先，检索范围决定单元182，为决定边缘检测对象，根据黑白差分图像和上述的中央块区域16的四角ABCD的坐标信息，设定通过比区域ABCD稍微靠外侧的四条检索辅助线。更具体言之，检索范围决定单元182，将黑白差分图像作为对象，在比利用中央基准位置检测单元154所检测的中央块区域16的四角ABCD的坐标靠外侧p％处设定检索辅助线。
比如，第1检索辅助线y＝round[max(yA，yB)+(yA-yD)*p/100]、第2检索辅助线x＝round[max(xB，xC)+(xB-xA)*p/100]、第3检索辅助线y＝round[min(yC，yD)-(yA-yD)*p/100]、第4检索辅助线x＝round[min(xA，xD)-(xB-xA)*p/100]。另外，其中，max、min、round分别是返回自变量之中最大值的函数、返回自变量之中最小值的函数及返回将自变量的小数点第1位的值四舍五入后的整数的函数。
这样，通过设定4条检索辅助线，如图12所示，决定4条检索辅助线的4个交点IJKL。另外，如上所述，也可以不设定4条检索辅助线，而是将利用周边基准位置检测单元算出的Y＝yP、Y＝yQ及在判别P9～P12之际算出的(与Y＝yP、Y＝yQ相对应)与Y轴平行的两条直线设定为4条检索辅助线，将其交点作为IJKL。
边缘检测单元184，从交点IJKL中的每一个向着区域IJKL的外侧在检索辅助线上的检索线上将黑白差分图像作为检索对象对每一个像素进行边缘检测。结果，如图12所示，可检测到8个边缘检测点MNOPQRST。
进而，边缘检测单元184，分别在从线段TO向着投影对象区域18的边界线方向、在从线段NQ向着投影对象区域18的边界线方向、在从线段PS向着投影对象区域18的边界线方向、在从线段RM向着投影对象区域18的边界线方向对每一个像素进行边缘检测。
此处采用沿从线段TO向着投影对象区域18的边界线方向进行边缘检测的场合为例进行说明。边缘检测单元184，在线段TO中进行边缘检测的范围，比如，是与Y轴平行且正向方向，在线段IJ中设定7条，在线段TI、JO中分别各设置两条检索线。另外，将该设定7条检索线的区域称为中侧检索区域，将各设定两条检索线的两个区域称为外侧检索区域。
于是，边缘检测单元184，通过在这些检索线上对每一个像素进行边缘检测，可以在直线MN上检测到最多11个边缘检测点，但包括点MN时可检测到最多13个边缘检测点。边缘检测单元184，对其他的线段NQ、线段PS、线段RM进行同样的检测。
另外，边缘检测单元184，在边缘检测点的点对MN、OP、QR、ST的各点对之中的一方的点在拍摄区域15内检测不到的场合，就判断为在用来检索检测不到的点的外侧检索区域不存在投影对象区域18的边界线，在该区域内不进行检索线的设定及边缘检测。另外，边缘检测单元184，在边缘检测点的点对MN、OP、QR、ST的各点对的双方的点在拍摄区域15内都检测不到的场合，就判断在为与检测不到的线段平行的方向上不存在靠近的投影对象区域18的边界线，在用来检索检测不到的线段的中侧检索区域及外侧检索区域内不进行检索线的设定及边缘检测。
通过执行这些处理，边缘检测单元184，可以对存在投影对象区域18的可能性低的区域省略边缘检测，就可以更高速地执行处理。
投影对象区域信息生成单元186，根据由边缘检测单元184检测到的多个边缘检测点，通过设定线性近似直线或线性近似曲线可临时决定投影对象区域18。
然后，检测点评价单元188，在由边缘检测单元184检测到的多个边缘检测点之中，通过判定与由投影对象区域信息生成单元186所设定的线性近似直线或线性近似曲线的偏离是否大于等于预定值而对各边缘检测点进行评价。
这样，投影对象区域信息生成单元186，只使用未从处理对象排除的边缘检测点就可以以更高精度对投影对象区域18进行检测。
更具体言之，边缘检测单元184，根据黑白差分图像，对未从处理对象排除的边缘检测点的周边像素进行边缘检测。然后，边缘检测单元184，将边缘检测信息输出到投影对象区域信息生成单元186。
投影对象区域信息生成单元186，根据该边缘检测信息，通过再次设定线性近似直线或线性近似曲线，决定投影对象区域18。然后，投影对象区域信息生成单元186，生成表示投影对象区域18的四角的位置的投影对象区域信息并输出到图像失真校正量运算单元162。
随后，投影机20，根据投影区域信息及投影对象区域信息，对投影图像12的失真进行校正地投影图像(步骤S12)。
更具体言之，图像失真校正量运算单元162，根据来自投影区域信息生成单元158的投影区域信息及来自投影对象区域信息生成单元186的投影对象区域信息，掌握屏幕10和投影图像12的位置关系及形状，校正投影图像12的失真，计算图像失真校正量以使投影图像12成为所要求的纵横尺寸比(纵横比)。
然后，图像失真校正单元112，根据该图像失真校正量，对图像信号(R1、G1、B1)进行校正。结果，投影机20，可以以保持所要求的纵横比的形状将没有失真的图像进行投影。
当然，图像的失真校正方法并不限定于此。比如，投影机20，也可以检测拍摄图像的辉度值为最大的像素，根据该像素的位置校正图像的失真。
如上所述，根据本实施方式，投影机20，通过执行用来除去外光影响的处理，可以在除去产生强烈对比的外光80的影响的状态下，恰当地检测拍摄图像内的投影对象区域18。
另外，根据本实施方式，投影机20，通过对已除去外光影响的差分图像进行边缘检测等检测投影对象区域18等，可以以更高精度检测投影对象区域18等。
另外，根据本实施方式，投影机20，通过在临时检测投影对象区域18之后在其边界线附近检测投影对象区域18，可以在更短的时间并且正确地生成投影对象区域18的位置信息。结果，投影机20，可以减少整个图像处理系统的运算处理量，可以以低负载执行高速图像处理。
另外，根据本实施方式，投影机20，通过在进一步收窄成为边缘检测对象的区域的状态下进行边缘检测，可以在更短的时间内生成投影对象区域18的位置信息。
另外，投影机20，通过执行将从线性近似直线偏离的边缘检测点除外的处理，可以降低噪声等的影响，可以更正确地生成投影对象区域18的位置信息。
结果，投影机20，可以恰当地进行投影图像12的失真校正。
另外，投影机20，如图5(B)示出的图形图像14所示，通过使用不仅是中央而且其周边也具有特征的图像，与使用只是在中央处有特征的图形图像的场合相比，可以以更高精度判别投影区域的四角。
比如，投影机20，在判别如图6所示的点P1、点P2之际，也可以判别其附近的辉度值变化的点。然而，在采用这些间隔窄的多个点设定近似直线的场合，与采用间隔离开的多个点设定近似直线的场合相比，在构成近似直线的点之处的一个像素的误差对近似直线的影响更大。
在本实施方式中，投影机20，通过使用中央块区域16的基准点和周边块区域17-1～17-4的基准点，由于可以利用隔开间隔的多个点设定近似直线，故可以以更高的精度判别投影区域的四角。
另外，结果，投影机20，可以避免投影机20或传感器60的遮光的影响，可以精度高地掌握整个投影区域的位置。
此外，通过使用图形图像14，投影机20，即使是在投影图像12的周边部分超出屏幕10，也可以恰当地检测投影区域。
另外，根据本实施方式，投影机20，通过不对整个差分图像进行检索而只对差分图像中必要的区域进行检索，可以更简易而高速地检测出投影区域的位置。
另外，在对校正图像进行投影之际，通过暂时设定自动曝光对全白图像进行拍摄而生成第1拍摄信息，可以以适合使用环境的曝光生成第1拍摄信息。另外，投影机20，通过以全白图像拍摄时的曝光生成第2及第3拍摄信息，可以以适用于差分图像生成的曝光生成第2及第3拍摄信息。
特别是，通过以自动曝光设定拍摄全白图像，传感器60，在屏幕10受到外光80的影响的场合，在投影距离过远、屏幕10的反射率过低使投影光的反射光过弱，或在投影距离过近、屏幕10的反射率过高使投影光的反射光过强的任何一种场合之中，与以固定曝光进行拍摄的场合相比，都可以有效地利用传感器60的动态范围进行拍摄。
(变形例)以上对应用本发明的优选实施方式进行了说明，但本发明的应用并不限定于上述实施例。
比如，在上述实施例中，外光影响除去单元170，在第1或第2拍摄信息中存在具有大于等于预定值的辉度值的像素区域的场合，执行将黑白差分图像中的该像素区域的辉度值置换为黑白差分图像中的该像素区域附近的辉度值的处理，但作为此变形例，也可以不进行边缘检测处理而设定特殊值(比如，300等)作为黑白差分图像或图形差分图像的该像素区域的辉度值。
然后，边缘检测单元184，在检测到该特殊值的场合，针对该部分的边缘检测结果执行无效处理，中央基准位置检测单元154及周边基准位置检测单元156，在检测到该特殊值的场合，执行将该部分不作为中央基准位置及周边基准位置判别的处理。
此外，投影对象区域检测单元180及投影区域检测单元150，在检测对象区域中包括具有大于等于预定值(比如，推测为受到外光影响的最小值等)的辉度值的像素区域的场合，也可以执行忽略该像素区域、使其无效或排除而进行检测处理。
投影机20，通过这样的处理也可以除去外光的影响。
另外，在上述实施例中，传感器60，是使用全黑图像生成第2拍摄信息，但作为变形例，也可以对非投影时的屏幕10进行拍摄生成第2拍摄信息。
另外，外光影响除去单元170，也可以将图形差分图像作为对象执行外光影响除去的处理。
另外，差分图像生成单元160，也可以使用全黑图像和图形图像14的差分图像作为图形差分图像。
另外，投影单元190，也可以在不输入图像信号的状态下，在从光源196向屏幕10投影面状光的状态下，通过传感器60的拍摄，生成第1或第2拍摄信息。就是说，投影机20不一定必须进行全白图像13或全黑图像的投影。
另外，投影图像12和屏幕10的位置关系并不限定于图1所示的示例。比如，投影图像12的整个外框既可以是在屏幕10的外框的外侧，也可以是在其内侧。
另外，投影机20，除了校正图像的失真，也可以利用投影区域信息及投影对象区域信息来进行投影图像12的位置调整、检测在投影图像12中利用激光指示器等的指示位置等或利用投影对象区域信息进行投影图像12的色不均校正等。
另外，比如，检索顺序可以任意，投影机20，也可以在对差分图像沿横方向进行检索在检测到中央基准位置或周边基准位置之后，基于该中央基准位置或该周边基准位置在纵方向上进行检索。
此外，投影机20，也可以在检测投影对象区域18之后检测投影区域。
图形图像14，并不限定于上述的实施例。比如，图形差分图像也可以是成为与图形图像14同样的图形的图像。就是说，比如，第1校正图像可以是具有中央块区域16的图像，第3校正图像可以是具有周边块区域17-1～17-4的图像。
另外，中央块区域16及周边块区域17-1～17-4的形状不限定于矩形，比如，也可以采用圆形等矩形以外的形状。当然，整个校正图像的形状和中央块区域16的形状并不限定于相似形，只要是可以了解到两者为对应的形状即可。此外，周边块区域17-1～17-4的个数也是任意的。
另外，全白图像13、全黑图像、图形图像14的投影及拍摄的顺序是任意的。比如，投影机20，既可以最初在将图形图像14投影后用户确认是否中央块区域进入到屏幕10内之后执行步骤S1～S6的处理，也可以在投影全黑图像进行拍摄之后，投影图形图像14进行拍摄。
另外，在对屏幕10以外的黑板、白板等投影对象物投影图像的场合，本发明也是有效的。
另外，比如，在上述实施例中，是以将图像处理系统安装到投影机20的场合为例进行说明的，但也可以安装到投影机20以外的CRT(阴极射线管)等的投影机20以外的图像显示装置。另外，作为投影机20，除了液晶投影机之外，也可以使用利用例如DMD(数字微镜器件)的投影机等。另外，DMD是美国德克萨斯仪器公司的商标。
另外，上述的投影机20的功能，比如，既可以是安装于单个投影机之上，也可以分散安装于多个处理装置(比如，由投影机和PC分散处理)。
此外，在上述实施例中，是传感器60内置于投影机20中的结构，但也可以是传感器60和投影机20为互相独立的装置的结构。
权利要求
1.一种图像处理系统，其特征在于包括将第1校正图像或面状光及第2校正图像或面状光向投影对象物投影的投影单元；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息，并对投影有上述第2校正图像或面状光的上述投影对象物进行拍摄而生成第2拍摄信息的拍摄单元；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像的差分图像生成单元；在上述第1或第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值的处理以便不进行边缘检测处理的外光影响除去单元；以及根据利用上述外光影响除去单元处理后的第1差分图像，进行边缘检测处理，由此生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息的投影对象区域检测单元。
2.一种图像处理系统，其特征在于包括将第1校正图像或面状光向投影对象物投影的投影单元；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息，并对非投影时的上述投影对象物进行拍摄而生成第2拍摄信息的拍摄单元；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像的差分图像生成单元；在上述第1或第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值的处理以便不进行边缘检测处理的外光影响除去单元；以及根据利用上述外光影响除去单元处理后的第1差分图像，进行边缘检测处理，由此生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息的投影对象区域检测单元。
3.如权利要求1所述的图像处理系统，其特征在于具备生成与上述拍摄单元的拍摄区域中的投影区域的位置相关的投影区域信息的投影区域检测单元；上述投影单元，将第3校正图像向上述投影对象物投影；上述拍摄单元，对投影有上述第3校正图像的上述投影对象物进行拍摄而生成第3拍摄信息；上述差分图像生成单元，生成上述第1拍摄图像和由上述第3拍摄信息所表示的第3拍摄图像的第2差分图像；上述第2差分图像，由位于该差分图像的中央附近的中央块区域、位于该中央块区域的周边的周边块区域和上述中央块区域及上述周边块区域以外的背景区域构成；上述中央块区域及上述周边块区域中的各像素和上述背景区域中的各像素具不同的亮度指标值；上述投影区域检测单元包括根据上述第2差分图像，检测上述拍摄单元的拍摄区域中的上述中央块区域的多个中央基准位置的中央基准位置检测单元；根据上述中央基准位置，检测上述拍摄区域中的上述周边块区域的多个周边基准位置的周边基准位置检测单元；以及根据上述中央基准位置和上述周边基准位置，生成上述投影区域信息的投影区域信息生成单元。
4.如权利要求3所述的图像处理系统，其特征在于包括根据上述投影对象区域信息和上述投影区域信息，对图像的失真进行校正的图像失真校正单元；上述投影单元，将利用上述图像失真校正单元所校正的图像向上述投影对象物投影。
5.如权利要求1～4中的任何一项所述的图像处理系统，其特征在于上述拍摄单元，通过利用自动曝光进行拍摄而生成上述第1拍摄信息，通过以该自动曝光所决定的曝光进行拍摄而生成上述第2拍摄信息。
6.一种投影机，其特征在于包括将第1校正图像或面状光及第2校正图像或面状光向投影对象物投影的投影单元；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息，并对投影有上述第2校正图像或面状光的上述投影对象物进行拍摄而生成第2拍摄信息的拍摄单元；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像的差分图像生成单元；在上述第1或第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值的处理以便不进行边缘检测处理的外光影响除去单元；以及根据利用上述外光影响除去单元处理后的第1差分图像，进行边缘检测处理，由此生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息的投影对象区域检测单元。
7.一种图像处理方法，其特征在于将第1校正图像或面状光向投影对象物投影；对投影有上述第1校正图像或面状光的上述投影对象物进行拍摄而生成第1拍摄信息；将第2校正图像或面状光向上述投影对象物投影；对投影有上述第2校正图像或面状光的上述投影对象物进行拍摄而生成第2拍摄信息；生成由上述第1拍摄信息所表示的第1拍摄图像和由上述第2拍摄信息所表示的第2拍摄图像的第1差分图像；在上述第1或第2拍摄信息中存在具有大于等于预定值的亮度指标值的像素区域时，执行将上述第1差分图像中的该像素区域的亮度指标值置换为上述第1差分图像中的该像素区域附近的亮度指标值的处理或者将特殊值设定为上述第1差分图像中的该像素区域的亮度指标值的处理以便不进行边缘检测处理；根据该处理后的第1差分图像，进行边缘检测处理，由此生成与相当于上述拍摄单元的拍摄区域中的上述投影对象物的投影对象区域的位置相关的投影对象区域信息。
8.如权利要求7所述的图像处理方法，其特征在于将第3校正图像向上述投影对象物投影；对投影有上述第3校正图像的上述投影对象物进行拍摄而生成第3拍摄信息；生成上述第1拍摄图像和由上述第3拍摄信息所表示的第3拍摄图像的第2差分图像；上述第2差分图像，由位于该差分图像的中央附近的中央块区域、位于该中央块区域的周边的周边块区域和上述中央块区域及上述周边块区域以外的背景区域构成；上述中央块区域及上述周边块区域中的各像素和上述背景区域中的各像素具有不同的亮度指标值；根据上述第2差分图像，检测拍摄区域中的上述中央块区域的多个中央基准位置；根据上述中央基准位置，检测上述拍摄区域中的上述周边块区域的多个周边基准位置；根据上述中央基准位置和上述周边基准位置，生成与上述拍摄区域中的投影区域位置相关的投影区域信息。
9.如权利要求8所述的图像处理方法，其特征在于根据上述投影对象区域信息和上述投影区域信息，对图像的失真进行校正；将所校正的图像向上述投影对象物投影。
10.如权利要求7～9中的任何一项所述的图像处理方法，其特征在于通过以自动曝光进行拍摄而生成上述第1拍摄信息，通过以该自动曝光所决定的曝光进行拍摄而生成上述第2拍摄信息。
全文摘要
本发明的目的在于提供一种可以抑制拍摄图像中所包括的外光的影响而恰当地检测拍摄图像内的预定区域的图像处理系统。在投影机中设置将全白图像及全黑图像向屏幕投影的投影单元(190)；对全白图像进行拍摄而生成第1拍摄信息，并对全黑图像进行拍摄而生成第2拍摄信息的传感器；根据第1及第2拍摄信息生成差分图像的差分图像生成单元(160)；外光影响除去单元(170)；以及根据除去外光影响的差分图像，生成与相当于传感器(60)的拍摄区域中的屏幕的投影对象区域的位置相关的投影对象区域信息的投影对象区域检测单元(180)。
文档编号H04N1/407GK1702542SQ200510072320
公开日2005年11月30日 申请日期2005年5月26日 优先权日2004年5月26日
发明者松田秀树, 德山哲朗 申请人:精工爱普生株式会社