图像处理设备和方法与流程

本公开涉及一种图像处理设备和方法，并且具体涉及一种使得能够抑制主观图像质量降低的图像处理设备和方法。

背景技术：

在过去，已经存在向低帧速率图像投影设备分配高帧速率视频以对视频进行投影的方法(例如，参见ptl1至ptl3)。

[引用列表]

[专利文献]

[ptl1]

日本专利特开2009-110028号公报

[ptl2]

日本专利特开2005-136868号公报

[ptl3]

日本专利特开2004-266808号公报

技术实现要素：

[技术问题]

然而，在这些情况下，同时对多个帧图像进行投影。因此，包括移动的部分中可能已经发生叠加模糊，这导致主观图像质量降低。

鉴于这种情况已经做出了本公开，并且本公开使得能够抑制主观图像质量降低。

[问题的解决方案]

根据本技术的一个方面的图像处理设备包括：图像处理部，该图像处理部配置为在投影之前对多个帧图像中的每个帧图像执行图像处理，该图像处理在循环地使用多个投影部中的对应投影部来对该多个帧图像中的每个帧图像进行投影时抑制该多个帧图像的叠加在投影图像中的影响，该多个帧图像包括在移动图像中。

图像处理部可以执行用于对帧图像中的每个帧图像的像素值进行校正的图像处理。

图像处理部可以对像素值进行校正，使得将帧图像中的对应帧图像与投影图像之间的误差最小化。

图像处理部可以建立目标函数和约束条件式作为线性规划问题以获得校正过的像素值作为解。

图像处理部可以定义目标函数，使得将误差的总和最小化。

图像处理部可以定义约束条件式，使得帧图像中的对应帧图像小于被校正过的帧图像和误差的和，但是大于被校正过的帧图像与误差之间的差，并且使得误差是正的。

图像处理部可以进一步定义约束条件式，使得根据像素值的位深度来限制校正过的像素值的大小。

图像处理部可以通过使用内点法来获得校正过的像素值。

图像处理部可以通过使用单纯形法来获得校正过的像素值。

图像处理部可以针对帧图像中的对应帧图像的所有像素建立公式以获得解。

图像处理部可以针对移动图像的所有帧建立公式以获得解。

图像处理部可以优化用于对帧图像中的对应帧图像的像素值进行校正的滤波器，使得将误差最小化，并且通过使用优化过的滤波器来对帧图像进行校正。

图像处理部可以将预先准备的图像用作学习样本，通过最小二乘法来优化滤波器，滤波器被优化为使得将误差最小化。

图像处理部可以通过使用预先准备的图像的所有像素作为学习样本来优化滤波器。

可以进一步包括分配部，该分配部配置为循环地向多个投影部分配分别包括由图像处理部校正过的像素值的帧图像。

可以进一步包括多个投影部，该多个投影部配置为将由分配部分配的帧图像投影到投影部本身。

多个投影部可以分别以低于移动图像的帧速率的速率来对帧图像进行投影，帧图像被分配至投影部本身。

根据本技术的一个方面的图像处理方法包括：在投影之前对多个帧图像中的每个帧图像执行图像处理，该图像处理在周期地使用多个投影部中的对应投影部来对该多个帧图像中的每个帧图像进行投影时抑制该多个帧图像的叠加在投影图像中的影响，该多个帧图像包括在移动图像中。

在根据本技术的一个方面的图像处理设备和方法中，在投影之前对多个帧图像中的每个帧图像执行图像处理。该图像处理在循环地使用多个投影部中的对应投影部来对该多个帧图像中的每个帧图像进行投影时抑制该多个帧图像的叠加在投影图像中的影响。该多个帧图像包括在移动图像中。

[本发明的有益效果]

根据本公开，可以处理图像。具体地，可以抑制主观图像质量降低。

附图说明

[图1]图1是图示了图像投影系统的主要配置的示例的框图。

[图2]图2是用于描述执行图像投影的方式的示例的示意图。

[图3]图3是图示了投影图像的示例的示意图。

[图4]图4是用于描述执行图像投影的方式的示例的示意图。

[图5]图5是图示了图像投影系统的主要配置的示例的框图。

[图6]图6是图示了图像处理部的示例的框图。

[图7]图7是用于描述执行图像投影的方式的示例的示意图。

[图8]图8是用于描述图像显示处理的流程的示例的流程图。

[图9]图9是用于描述图像处理的流程的示例的流程图。

[图10]图10是用于描述输出图像计算处理的流程的示例的流程图。

[图11]图11是图示了图像处理部的示例的框图。

[图12]图12是用于描述执行图像投影的方式的示例的示意图。

[图13]图13是图示了系数b的示例的示意图。

[图14]图14是图示了系数dk的示例的示意图。

[图15]图15是图示了图像处理的流程的示例的流程图。

[图16]图16是用于描述学习处理的流程的示例的流程图。

[图17]图17是用于描述预测处理的流程的示例的流程图。

[图18]图18是图示了图像投影系统的主要配置的示例的框图。

[图19]图19是图示了图像投影系统的主要配置的另一示例的框图。

[图20]图20是图示了图像投影系统的主要配置的又一示例的框图。

[图21]图21是图示了图像投影系统的主要配置的再一示例的框图。

[图22]图22是图示了计算机的主要配置的示例的框图。

具体实施方式

在下文中，将描述用于实施本公开的模式(以下称为实施例)。应该注意，将按照以下顺序进行描述。

1.使用多个投影设备的高帧速率图像投影

2.第一实施例(图像投影系统/线性规划)

3.第二实施例(图像投影系统/最小二乘法)

4.第三实施例(图像投影系统/其它配置示例)

5.其它

<1.使用多个投影设备的高帧速率图像投影>

<图像投影系统>

在过去，例如，如在ptl1至ptl3中描述的，已经存在向低帧速率图像投影设备分配高帧速率视频以对视频进行投影的方法。在图1中图示的图像投影系统10是通过使用例如，四个投影设备12(投影设备12-1至12-4)来对运动图像进行投影的系统。

待输入的移动图像的帧速率是每秒120帧。形成对比，投影设备12-1至12-4中的每一个按照每秒30帧来对图像进行投影。因此，分配设备11如在图2中图示的那样按顺序并且循环地将输入的图像的每个帧图像分配至投影设备12-1至12-4。投影设备12-1至12-4中的每一个按顺序对分配至其的帧图像进行投影。由于每个投影设备12的帧速率是每秒30帧，因此，在完成对前一帧图像的投影的定时从分配设备11向每个投影设备12提供下一帧图像。因此，每个投影设备12对下一帧图像进行投影。按照这种方式，投影设备12在彼此偏移1/120秒的定时对相应的帧图像进行投影。

例如，投影设备12-1对帧编号为1、5、9、...的帧图像进行投影。在自此延迟1/120秒的定时，投影设备12-2对帧编号为2、6、10、...的帧图像进行投影。在自此延迟1/120秒的定时，投影设备12-3对帧编号为3、7、11、...的帧图像进行投影。在自此延迟1/120秒的定时，投影设备12-4对帧编号为4、8、12、...的帧图像进行投影。

因此，投影在屏幕13上的投影图像是通过相应的投影设备12投影的图像彼此叠加的图像。例如，如由虚线框21指示的，帧编号为4的投影图像是由投影设备12-1投影的帧编号为1的帧图像、由投影设备12-2投影的帧编号为2的帧图像、由投影设备12-3投影的帧编号为3的帧图像和由投影设备12-4投影的帧编号为4的帧图像彼此叠加的图像。如在图2中图示的，按照这种方式叠加的帧图像每1/120秒改变一次。即，由于投影图像每1/120秒改变一次，因此，投影图像的帧速率是每秒120帧。

然而，利用该方法，如由图2中的虚线框21指示的，处于相互不同的时间的帧图像在投影图像中彼此叠加。因此，在包括移动的图像的情况下，该部分中可能已经发生叠加模糊，这导致主观图像质量降低。

例如，在车辆31如在图3中的a中图示的那样从右向左移动的移动图像的情况下，车辆31的位置在帧与帧之间是不同的。因此，当这些帧图像彼此叠加时，如在图3中的b中图示的示例中，车辆31的叠加的位置彼此偏移。这导致发生所谓的叠加模糊，该叠加模糊显示为余像。因此，可能已经降低了主观图像质量。

形成对比，例如，另一种可能的方法是如在图4中图示的那样使每个投影设备12在仅1/120秒的持续时间内对每个帧图像进行投影。利用该方法，由相应的投影设备12投影的图像在投影图像中不彼此叠加。因此，可以抑制发生叠加模糊。然而，在这种情况下，与图2中的示例相比较，亮度被降低到四分之一。因此，可能已经降低了主观图像质量。

<对叠加模糊的补偿>

因此，在投影之前对多个帧图像中的每个帧图像执行图像处理。该图像处理在循环地使用多个投影部中的对应投影部来对多个帧图像中的每个帧图像进行投影时抑制多个帧图像的叠加在投影图像中的影响。多个帧图像包括在移动图像中。按照这种方式，可以在不降低亮度的情况下抑制发生叠加模糊。即，可以抑制主观图像质量降低。

<2.第一实施例>

<图像投影系统>

图5是图示了应用本技术的图像投影系统的一个实施例的主要配置的示例的框图。在图5中，图像投影系统100是可以通过使用多个投影设备中的对应投影设备按照高于该多个投影设备中的每个投影设备的帧速率的帧速率来对移动图像进行投影的系统。

如在图5中图示的，图像投影系统100包括中央处理单元111和投影设备112-1至112-4。中央处理单元111是应用本技术的图像处理设备的一个实施例，并且执行与待对其进行投影的移动图像的每个帧图像有关的处理。例如，中央处理单元111包括图像处理部121和分配部122。图像处理部121是应用本技术的图像处理部的一个实施例，并且对待对其进行投影的移动图像的每个帧图像执行与图像处理有关的处理。分配部122执行与待对其进行投影的移动图像的每个帧图像的分配有关的处理。

投影设备112-1至112-4中的每一个是具有对图像进行投影的功能并且执行与对图像的投影有关的处理的设备。应该注意，在描述中不需要将投影设备112-1至112-4彼此区分开来的情况下，投影设备112-1至112-4将被称为投影设备112。例如，每个投影设备112以每秒30帧的帧速率来对图像进行投影。

中央处理单元111接收帧速率为每秒120帧的输入图像(移动图像)。图像处理部121对输入图像的每个帧图像执行图像处理。该图像处理抑制了多个帧图像的叠加对投影在屏幕113上的投影图像的影响。稍后将详细描述该图像处理。图像处理部121以每秒120帧的帧速率来将已经对其执行了图像处理的每个帧图像提供至分配部122。

该分配部122按顺序并且循环地将提供的帧图像中的每一个分配至投影设备112-1到112-4中的对应投影设备。例如，分配部122将帧编号为1、5、9、...的帧图像分配至投影设备112-1，将帧编号为2、6、10、...的帧图像分配至投影设备112-2，将帧编号为3、7、11、...的帧图像分配至投影设备112-3，并且将帧编号为4、8、12、...的帧图像分配至投影设备112-4。

每个投影设备112按顺序输出分配至其的帧图像作为输出图像，并且将图像投影在屏幕113的相同位置。如上所述，帧速率为每秒120帧的移动图像的每四帧向投影设备112中的对应投影设备112分配一个帧。即，以每秒30帧的帧速率来向每个投影设备112提供帧图像。因此，可以按照每秒30帧的帧速率来对图像进行投影的每个投影设备112可以按顺序对提供的帧图像进行投影。即，图像投影系统100可以通过使用分别以低于输入图像的帧速率的速率来对图像进行投影的投影设备112以输入图像的帧速率来对输入图像进行投影。换句话说，图像投影系统100可以按照输入图像的帧速率来对其速率高于每个投影设备112的图像投影的帧速率的输入图像进行投影。

进一步地，由于分配部122按顺序分配每秒具有120帧的移动图像的每个帧图像，因此，将每个帧图像分配至投影设备112中的对应投影设备112的定时分别移位1/120秒。因此，每个投影设备112对对应的输出图像进行投影的定时也分别移位1/120秒。因此，如在图1中的图像投影系统10的情况下，图像投影系统100可以按照每秒120帧的帧速率来对图像进行投影。

例如，将中央处理单元111的输入图像的帧编号假设为i。进一步地，对于其帧编号为i的帧图像的任意像素，将输入图像的像素值假设为xi，同时将由对应的投影设备112投影的输出图像的像素值假设为yi。例如，在将对应的投影设备112的输出图像的帧编号假设为j的情况下，i与j之间的关系如下。

投影设备112-1：i＝4j+1

投影设备112-2：i＝4j+2

投影设备112-3：i＝4j+3

投影设备112-4：i＝4j+4

进一步地，对于相同的像素，将投影在屏幕113上的投影图像的像素值假设为zi。如果分配部122在图像处理部121不执行图像处理的情况下将输入图像的每个帧图像分配至投影设备112中的对应投影设备112，则用下面的公式(1)来表示输出图像的像素值yi与投影图像的像素值zi之间的关系。

yi＝xi...(1)

由于投影设备112-1至112-4分别移位1/120秒对图像进行投影，因此，用下面的公式(2)或者(3)来表示像素值yi与投影在屏幕113上的投影图像中的像素值zi之间的关系。即，添加和输出四个连续帧的像素值。因此，亮度是一个图像的亮度的四倍。

zi＝yi+yi+1+yi+2+yi+3...(2)

zi＝xi+xi+1+xi+2+xi+3...(3)

然后，如上所述，图像处理部121对待对其进行投影的图像执行图像处理。例如，图像处理部121执行用于对每个帧图像的像素值进行校正的图像处理。例如，图像处理部121对每个像素值进行校正，使得将帧图像中的对应帧图像与投影图像之间的误差最小化。按照这种方式，可以抑制在投影图像中发生叠加模糊。进一步地，由于不缩短每个投影设备112对每个帧图像进行投影的持续时间，因此，还可以抑制投影图像的亮度降低。即，可以抑制主观图像质量降低。

<线性规划>

此时，图像处理部121可以建立目标函数和约束条件式作为线性规划问题以获得校正过的像素值作为解。图6是图示了图像处理部121的主要配置的示例的框图。如在图6中图示的，图像处理部121包括存储部131和输出计算部132。存储部131存储输入的移动图像的所有帧图像。存储部131在预定定时或者基于来自外部(诸如，输出计算部132)的请求来将存储的像素值xi提供至输出计算部132。

输出计算部132获得存储在存储部131中的像素值xi。基于像素值xi，输出计算部132建立目标函数和约束条件式作为线性规划问题以获得校正过的像素值作为解。即，输出计算部132计算输出图像的像素值yi作为解，使得将输入图像与投影图像之间的误差(差值)最小化。

在这种情况下，如在图7中示出的，投影在屏幕113上的投影图像是由相应的投影设备112投影的四个输出图像彼此叠加的图像。在将投影图像相对于对应的输入图像的误差(差值)假设为ei的情况下，可以基于公式(3)通过使用该误差ei来将像素值zi与像素值xi之间的关系表示为下面的公式(4)。

zi＝4xi+ei...(4)

输出计算部132基于上面描述的公式(2)和(4)来建立约束条件式(诸如，下面的公式(5))。应该注意，用于获得优化的帧范围是i＝1至n。

4xi+ei＝yi+yi+1+yi+2+yi+3|i＝4～n...(5)

另外，输出计算部132使用公式(5)来建立两个约束条件式，诸如，下面的公式(6)和(7)。

4xi≤yi+yi+1+yi+2+yi+3+ei|i＝4～n...(6)

4xi≥yi+yi+1+yi+2+yi+3-ei|i＝4～n...(7)

另外，建立约束条件式，使得误差ei如在下面的公式(8)中那样是正值。

0≤ei|i＝4-～n...(8)

即，输出计算部132定义约束条件式，使得在校正之前的对应帧图像(输入图像)的像素值小于被校正过并且在投影图像中彼此叠加的多个帧图像(输出图像)的像素值和在校正之前的对应帧图像与投影图像之间的误差的和，但是大于被校正过的该多个帧图像的像素值的和与误差之间的差，并且使得误差是正的。

然后，输出计算部132定义目标函数，使得如在下面的公式(9)中那样将误差的总和最小化。

输出计算部132对感兴趣的坐标中的每个坐标执行类似的公式。通过使用如上面描述的那样建立的每个公式，输出计算部132获得待由对应的投影设备112进行投影的图像的像素值yi(即，通过图像处理部121的图像处理校正过的像素值)，使得将误差ei最小化。该解是任意的；例如，可以使用内点法、单纯形法等。

当已经针对帧图像的每个像素计算了最佳像素值yi时，输出计算部132以每秒120帧的帧速率来将移动图像的针对计算得出的最佳像素值yi被校正过的每个帧图像提供至分配部122。

该分配部122按顺序将图像处理部121已经按照这种方式对其执行了图像处理的帧图像(包括校正过的像素值)分配至相应的投影设备112。投影设备112中的每一个以每秒30帧的帧速率来按顺序将分配至其的帧图像投影到屏幕113。按照这种方式，投影在屏幕113上的投影图像相对于对应的输入图像具有最小误差，而没有降低亮度。因此，可以抑制主观图像质量降低。

应该注意，由于图像的动态范围(像素值的位深度)是预定的，因此，像素值yi受该约束条件式的影响。因此，可以添加根据位深度的限制作为约束条件式。例如，在像素值的位深度为8位的情况下，输出计算部132可以添加如在下面的公式(10)中表示的约束条件式。

0≤yi≤255|i＝1～n...(10)

进一步地，帧编号i＝1、2和3的部分是四个帧图像在投影图像中没有叠加并且因此，不包括在上述约束条件式中的部分。可以建立另一约束条件式以对该部分执行计算。按照这种方式，可以从第一帧开始抑制主观图像质量降低。可替代地，可以省略对该部分的图像处理。按照这种方式，可以抑制将以其它方式由执行图像处理引起的负荷增加。

<图像显示处理的流程>

接下来，将描述在这种图像投影系统100中执行的处理的流程。在图像投影系统100如上面描述的那样对高帧速率移动图像进行投影的情况下，图像投影系统100执行图像显示处理。将参照图8中的流程图来描述图像显示处理的流程的示例。

当图像显示处理开始时，图像处理部121在步骤s101中对帧速率为每秒120帧的输入图像执行图像处理。该图像处理抑制了多个帧图像的叠加在投影图像中的影响。在步骤s102中，分配部122向每个投影设备112分配已经对其执行了图像处理的帧速率为每秒120帧的图像。在步骤s103中，每个投影设备112以每秒30帧的帧速率来按顺序对分配至其的相应帧图像进行投影。当对图像的投影结束时，图像显示处理结束。

<图像处理的流程>

接下来，将参照图9中的流程图来描述在图8中的步骤s101中执行的图像处理的流程的示例。

当图像处理开始时，图像处理部121的存储部131在步骤s121中存储输入的移动图像的所有帧图像。在步骤s122中，输出计算部132使用存储在存储部131中的图像来获得相应的输出图像，这些相应的输出图像是待由相应的投影设备112以每秒120帧的帧速率来进行投影的图像。当已经获得输出图像时，图像处理结束，并且该处理返回至图8。

<输出图像计算处理的流程>

接下来，将参照图10中的流程图来描述在图9中的步骤s122中执行的输出图像计算处理的流程的示例。

当输出图像计算处理开始时，输出计算部132在步骤s141中针对误差ei和输出的yi建立约束条件式(例如，公式(8)和(10))。在步骤s142中，输出计算部132从未被处理的水平坐标中设置感兴趣的水平坐标。该感兴趣的水平坐标是要处理的水平坐标。在步骤s142中，输出计算部132从未被处理的垂直坐标中设置感兴趣的垂直坐标。该感兴趣的垂直坐标是要处理的垂直坐标。进一步地，在步骤s144中，输出计算部132从未被处理的帧中设置感兴趣的帧i(i＝1至n)。该感兴趣的帧i是要处理的帧。

在步骤s145中，输出计算部132从存储部131中读取感兴趣的像素的像素值xi。在步骤s146中，输出计算部132使用像素值xi、像素值yi和误差ei来建立约束条件式(例如，公式(6)和(7))。

在步骤s146中，输出计算部132确定是否已经对所有帧都执行了处理。在已经确定存在未被处理的帧的情况下，该处理返回至步骤s144，并且重复随后的处理。即，对每个帧重复步骤s144至s147中的每个处理。然后，在已经在步骤s147中确定已经对所有帧都执行了处理的情况下，该处理继续至步骤s148。

在步骤s148中，输出计算部132通过使用任意解(诸如，例如，内点法、单纯形法等)来计算输出的yi(i＝1至n)作为线性规划问题。

在步骤s149中，输出计算部132确定是否已经对所有垂直坐标都执行了处理。在已经确定存在未被处理的垂直坐标的情况下，该处理返回至步骤s143，并且重复随后的处理。即，对每个垂直坐标重复步骤s143至s149中的每个处理。然后，在已经在步骤s149中确定已经对所有垂直坐标都执行了处理的情况下，该处理继续至步骤s150。

在步骤s150中，输出计算部132确定是否已经对所有水平坐标都执行了处理。在已经确定存在未被处理的水平坐标的情况下，该处理返回至步骤s142，并且重复随后的处理。即，对每个水平坐标重复步骤s142至s150中的每个处理。然后，在已经在步骤s150中确定已经对所有水平坐标都执行了处理的情况下，输出图像计算处理结束，并且该处理返回至图9。

通过执行如上面描述的每个处理，图像处理部121可以对每个像素值进行校正，使得将输入图像与投影图像之间的误差最小化。因此，图像投影系统100可以抑制在投影图像中发生叠加模糊。进一步地，在这种情况下，由于不缩短每个投影设备112对每个帧图像进行投影的持续时间，因此，图像投影系统100还可以抑制投影图像的亮度降低。即，图像投影系统100可以抑制主观图像质量降低。

应该注意，虽然在上面的描述中针对每个帧图像的所有像素建立约束条件式以获得像素值，但是本实施例不限于此。可以针对部分像素建立约束条件式，并且可以通过针对部分像素的约束条件式来获得(多个)像素值。可替代地，通过线性规划获得其像素值的像素可以是每个帧图像的部分像素，并且预定函数等可以用于针对剩余像素的插值。进一步地，虽然在上面的描述中针对所有帧建立约束条件式以获得像素值，但是本实施例不限于此。可以针对部分帧建立约束条件式，并且可以通过针对部分帧的约束条件式来获得像素值。

<3.第二实施例>

<使用最小二乘法的滤波器优化和线性预测>

应该注意，虽然在上面的描述中通过使用线性规划来获得像素值，但是获得像素值的方法是任意的，而不限于上面描述的示例。例如，可以优化用于对对应的帧图像的像素值进行校正的滤波器，使得将输入图像与投影图像之间的误差(差值)最小化，并且可以通过使用优化过的滤波器来对帧图像进行校正。进一步地，此时，可以将预先准备的图像用作学习样本，通过最小二乘法来优化滤波器，使得将误差最小化。

图11是图示了在这种情况下的图像处理部121的主要配置的示例的框图。如在图11中图示的，在这种情况下的图像处理部121包括存储部131、学习部232和预测部233。与第一实施例中一样，存储部131存储输入的移动图像的所有帧图像。进一步地，存储部131在预定定时或者基于来自外部(诸如，学习部232、预测部233等)的请求来将存储的像素值xi提供至学习部232和预测部233。

学习部232执行与用于优化滤波器的学习处理有关的处理。例如，如在图12中图示的，学习部232通过将预先准备的预定移动图像用作学习样本来在空间方向和时间方向上形成滤波器，并且通过使用该滤波器来对学习样本执行滤波处理。然后，学习部232执行学习处理，使得滤波处理的结果与投影图像相匹配。

也可以将上述公式(2)表示为下面的公式(11)，其中，bj＝1。图13图示了bj的值的示例。

同样，在用输入图像的像素值xi的线性组合来表示输出图像的像素值yi的情况下，可以将输出图像的像素值yi表示为下面的公式(12)。

可以通过上面描述的公式(11)和(12)使用像素值xi来将像素值zi表示为公式(13)。

与在第一实施例的情况下一样，需要将输入图像与投影图像之间的误差ei最小化以优化输出图像的像素值yi，使得投影在屏幕113上的投影图像的像素值zi与输入图像的像素值x相匹配(输入图像的像素值xi的常数倍)。如上所述，可以通过使用误差ei来将像素值zi表示为下面的公式(14)。

zi＝4xi+ei...(14)

可以通过公式(13)和(14)来将误差ei表示为下面的公式(15)。

因此，通过将预先准备的移动图像用作学习样本，学习部232建立了如下面的公式(16)的最小化函数，其中，已知值是bi，变量是di，并且学习样本是xi，s，并且通过最小二乘法来计算系数dk。

图14图示了在m＝7的情况下计算系数dk的示例。在图14中的a中，针对表中的每个k图示了系数dk的值，这形成图14中的b中的曲线图。

学习部232将已经获得作为学习结果的系数dk提供至预测部233。

该预测部233执行与用于通过输入图像(的像素值xi)来预测输出图像(的像素值yi)的预测计算有关的处理。例如，预测部233将从学习部232提供的系数dk代入公式(12)以通过使用公式(12)来通过像素值xi预测像素值yi。预测部233按照类似的方式来对感兴趣的坐标中的每个坐标执行预测计算，并且针对每个坐标计算像素值yi。按照这种方式，可以获得输出图像的每个像素值yi，使得将投影图像与输入图像之间的误差(差值)最小化。预测部233以每秒120帧的帧速率来将输出图像(像素值yi)提供至分配部122。

该分配部122按顺序将图像处理部121已经按照这种方式对其执行了图像处理的帧图像(已经校正过的像素值)分配至相应的投影设备112。投影设备112中的每一个以每秒30帧的帧速率来按顺序将分配至其的帧图像投影到屏幕113。按照这种方式，投影在屏幕113上的投影图像相对于对应的输入图像具有最小误差，而没有降低亮度。因此，可以抑制主观图像质量降低。

在这种情况下也应该注意，帧编号i＝1、2和3的部分是四个帧图像在投影图像中没有叠加并且因此，不包括在上述约束条件式中的部分。可以建立另一约束条件式以对该部分执行计算。按照这种方式，可以从第一帧开始抑制主观图像质量降低。可替代地，可以省略对该部分的图像处理。按照这种方式，可以抑制将以其它方式由执行图像处理引起的负荷增加。

<图像显示处理的流程>

接下来，将描述在该图像投影系统100中执行的处理的流程。也是在这种情况下，在图像投影系统100如上面描述的那样对高帧速率移动图像进行投影的情况下，图像投影系统100执行图像显示处理。由于该图像显示处理与在第一实施例中描述的图像显示处理相似，因此，省略了其描述。

<图像处理的流程>

接下来，将参照图15中的流程图来针对该情况描述在图8中的步骤s101中执行的图像处理的流程的示例。

当图像处理开始时，输入预先准备的移动图像作为学习样本。在步骤s221中，图像处理部121的存储部131存储移动图像的所有帧图像。在步骤s222中，学习部232执行学习处理以获得系数dk。在步骤s223中，预测部233通过使用在步骤s222中获得的系数dk来执行用于预测每个输出图像的像素值yi的预测处理。当已经获得输出图像时，图像处理结束，并且该处理返回至图8。

<学习处理的流程>

接下来，将参照图16中的流程图来描述在图15中的步骤s222中执行的学习处理的流程的示例。

当学习处理开始时，学习部232在步骤s241中从学习样本的帧图像的未被处理的水平坐标中设置感兴趣的水平坐标。该感兴趣的水平坐标是要处理的水平坐标。在步骤s242中，学习部232从学习样本的帧图像的未被处理的垂直坐标中设置感兴趣的垂直坐标。该感兴趣的垂直坐标是要处理的垂直坐标。在步骤s243中，学习部232从学习样本的未被处理的帧中设置感兴趣的帧i(i＝4至n)。该感兴趣的帧i是要处理的帧。在步骤s244中，学习部232设置外围抽头回路j(j＝1至4)。在步骤s245中，学习部232设置外围抽头回路k(k＝-m至m)。

在步骤s246中，学习部232计算用于最小二乘法的加法矩阵。即，学习部232建立公式(16)。

在步骤s247中，学习部232确定是否已经对所有外围抽头回路k都执行了处理。在已经确定存在未被处理的外围抽头回路k的情况下，该处理返回至步骤s245，并且重复随后的处理。即，对每个外围抽头回路k重复步骤s245至s247中的每个处理。然后，在已经在步骤s247中确定已经对所有外围抽头回路k都执行了处理的情况下，该处理继续至步骤s248。

在步骤s248中，学习部232确定是否已经对所有外围抽头回路j都执行了处理。在已经确定存在未被处理的外围抽头回路j的情况下，该处理返回至步骤s244，并且重复随后的处理。即，对每个外围抽头回路j重复步骤s244至s248中的每个处理。然后，在已经在步骤s248中确定已经对所有外围抽头回路j都执行了处理的情况下，该处理继续至步骤s249。

在步骤s249中，学习部232确定是否已经对所有帧都执行了处理。在已经确定存在未被处理的帧的情况下，该处理返回至步骤s243，并且重复随后的处理。即，对每个帧重复步骤s243至s249中的每个处理。然后，在已经在步骤s249中确定已经对所有帧都执行了处理的情况下，该处理继续至步骤s250。

在步骤s250中，学习部232确定是否已经对所有垂直坐标都执行了处理。在已经确定存在未被处理的垂直坐标的情况下，该处理返回至步骤s242，并且重复随后的处理。即，对每个垂直坐标重复步骤s242至s250中的每个处理。然后，在已经在步骤s250中确定已经对所有垂直坐标都执行了处理的情况下，该处理继续至步骤s251。

在步骤s251中，学习部232确定是否已经对所有水平坐标都执行了处理。在已经确定存在未被处理的水平坐标的情况下，该处理返回至步骤s241，并且重复随后的处理。即，对每个水平坐标重复步骤s241至s251中的每个处理。然后，在已经在步骤s251中确定已经对所有水平坐标都执行了处理的情况下，该处理继续至步骤s252。

在步骤s252中，学习部232通过最小二乘法来对在步骤s246中计算得出的用于最小二乘法的加法矩阵进行求解，并且计算系数dk(k＝-m至+m)。当已经计算得出系数dk时，学习处理结束，并且该处理返回至图15。

<预测处理的流程>

接下来，将参照图17中的流程图来描述在图15中的步骤s223中执行的预测处理的流程的示例。

当预测处理开始时，预测部233在步骤s271中从输入图像的未被处理的帧中设置感兴趣的帧i。输入图像是待由投影设备112进行投影的移动图像内容。感兴趣的帧i是要处理的帧。在步骤s272中，预测部233从输入图像的帧图像的未被处理的水平坐标中设置感兴趣的水平坐标。该感兴趣的水平坐标是要处理的水平坐标。在步骤s273中，预测部233从输入图像的帧图像的未被处理的垂直坐标中设置感兴趣的垂直坐标。该感兴趣的垂直坐标是要处理的垂直坐标。

在步骤s274中，学习部233设置外围抽头回路k(k＝-m至m)。在步骤s275中，预测部233读取输入的像素值xi+k。在步骤s276中，预测部233通过预测计算来计算输出的yi。即，预测部233将通过图16中的学习处理获得的系数dk代入公式(12)以通过使用公式(12)来获得输出的yi。

在步骤s277中，预测部233确定是否已经对所有外围抽头回路k都执行了处理。在已经确定存在未被处理的外围抽头回路k的情况下，该处理返回至步骤s274，并且重复随后的处理。即，对每个外围抽头回路k重复步骤s274至s277中的每个处理。然后，在已经在步骤s277中确定已经对所有外围抽头回路k都执行了处理的情况下，该处理继续至步骤s278。

在步骤s278中，预测部233确定是否已经对所有垂直坐标都执行了处理。在已经确定存在未被处理的垂直坐标的情况下，该处理返回至步骤s273，并且重复随后的处理。即，对每个垂直坐标重复步骤s273至s278中的每个处理。然后，在已经在步骤s278中确定已经对所有垂直坐标都执行了处理的情况下，该处理继续至步骤s279。

在步骤s279中，预测部233确定是否已经对所有水平坐标都执行了处理。在已经确定存在未被处理的水平坐标的情况下，该处理返回至步骤s272，并且重复随后的处理。即，对每个水平坐标重复步骤s272至s279中的每个处理。然后，在已经在步骤s279中确定已经对所有水平坐标都执行了处理的情况下，该处理继续至步骤s280。

在步骤s280中，预测部233确定是否已经对所有帧都执行了处理。在已经确定存在未被处理的帧的情况下，该处理返回至步骤s271，并且重复随后的处理。即，对每个帧重复步骤s271至s280中的每个处理。然后，在已经在步骤s280中确定已经对所有帧都执行了处理的情况下，预测处理结束，并且该处理返回至图15。

通过执行如上面描述的每个处理，图像处理部121可以对每个像素值进行校正，使得将输入图像与投影图像之间的误差最小化。因此，图像投影系统100可以抑制在投影图像中发生叠加模糊。进一步地，在这种情况下，由于不缩短每个投影设备112对每个帧图像进行投影的持续时间，因此，图像投影系统100还可以抑制投影图像的亮度降低。即，图像投影系统100可以抑制主观图像质量降低。

应该注意，图像投影系统100可以通过如上面描述的那样执行图像投影来通过使用低帧速率投影设备112对高帧速率视频进行投影。因此，可以更廉价地实现高帧速率投影。进一步地，如上所述，图像投影系统100可以仅通过图像处理部121转换视频信号来抑制主观图像质量降低，而不需要特殊的查看设备(诸如，眼镜)。即，图像投影系统100可以更容易并且更廉价地抑制主观图像质量降低。另外，增加投影设备112的数量允许图像投影系统100实现更高帧速率的图像投影。

应该注意，在上面的描述中，虽然对每个帧图像的所有像素执行学习和预测，但是本实施例不限于此。可以对部分像素执行上述学习和预测。在这种情况下，可以多次对帧图像执行学习和预测。可替代地，可以使用预定函数等来提供针对插值的像素，而不执行学习和预测。

<4.第三实施例>

<其它配置>

应该注意，应用本技术的图像投影系统100的配置不限于图5中的上述示例。例如，中央处理单元111的数量和投影设备112的数量中的每一个是任意的。例如，可以存在多个中央处理单元111。投影设备112的数量可以是三个或者更少，或者可以是五个或者更多。进一步地，相应的投影设备112的规格(例如，分辨率、亮度、帧速率等)可以或者可以不都相同。

进一步地，如在图18中图示的，例如，中央处理单元111的图像处理部121和分配部122中的每一个可以是独立的设备，并且代替中央处理单元111，图像投影系统100可以包括图像处理设备311和分配设备312。

进一步地，如在图19中图示的，每个设备可以经由网络330相互连接。在图19中的示例中，图18中的图像处理设备311、分配设备312和每个投影设备112经由网络330连接至彼此。

该网络330是任意通信网络。网络330采用的通信方法是任意的，并且例如，可以是有线通信、无线通信或者其两者。进一步地，网络330可以包括单个通信网络，或者可以包括多个通信网络。例如，网络330可以包括符合任意通信标准的通信网络和/或通信路径，诸如：互联网；公共交换电话网；用于无线移动终端的广域通信网络，诸如，所谓的3g网络或者4g网络；wan(广域网)；lan(局域网)；用于执行符合蓝牙(注册商标)标准的通信的无线通信网络；用于近场通信(诸如，nfc(近场通信))的通信路径；用于红外通信的通信路径；和符合标准(诸如，hdmi(注册商标)(高清晰度多媒体接口)或者usb(通用串行总线))的有线通信的通信网络。

设备分别可通信地连接至网络330。应该注意，该连接可以是有线的(即，经由有线通信的连接)、无线的(即，经由无线通信的连接)或者其两者。设备可以分别经由网络330来与彼此通信(传输和接收信息等)。换句话说，设备可以分别经由另一设备(设备、传输路径等)连接至彼此以与彼此通信。也是利用这种配置，本技术可以如在上面描述的其它实施例的情况下那样应用于图像投影系统100，并且图像投影系统100可以提供上面描的功能效应。

应该注意，在图19中的示例中，可以提供图5中的中央处理单元111，而不是图像处理设备311和分配设备312。

进一步地，例如，如在图20中图示的，图像投影系统100的整个配置可以配置为单个设备。在图20中图示的图像投影设备351包括图像处理部121、分配部122和投影部362-1至362-4。

投影部362-1至362-4是彼此相似的处理部。在本说明书中不需要将投影部362-1至362-4彼此区分开来的情况下，投影部362-1至362-4将被称为投影部362。每个投影部362执行与投影设备112相似的处理并且对分配至其的帧图像进行投影。

因此，本技术可以如在图像投影系统100的情况下那样应用于图像投影设备351，并且图像投影设备351可以提供上面描述的功能效应。不用说，图像投影设备351的配置是任意的，而不限于图2中的示例。例如，图像处理部121的数量、分配部122的数量和投影部362的数量中的每一个是任意的。进一步地，相应的投影设备112的规格(例如，分辨率、亮度、帧速率等)可以或者可以不都相同。

进一步地，例如，如在图21中图示的，图像处理部121、分配部122和部投影设备112可以配置为单个设备。在图21中图示的图像投影设备381包括图像处理部121、分配部122和投影部362-1。不仅并入图像投影设备381的投影部362-1，而且外部投影设备112-1、投影设备112-3和投影设备112-4也连接至分配部122。该分配部122循环地将从图像处理部121提供的每个帧图像分配至投影部362-1和投影设备112-1至112-4中的对应投影设备。本技术也可以如在图像投影系统100的情况下那样应用于这种图像投影设备381，并且图像投影设备381可以提供上面描述的功能效应。

<5.其它>

<帧速率>进一步地，虽然在上面的描述中输入图像的帧速率为每秒120帧，但是帧速率是任意的，而不限于该示例。进一步地，虽然在上面的描述中由投影设备112(或者投影部362)中的每一个进行的图像投影的帧速率为每秒30帧，但是该帧速率也是任意的，而不限于该示例。例如，输入图像的帧速率可以与投影图像的帧速率不同。

<本技术的应用领域>

本技术可以应用于在任意领域(例如，交通、医疗护理、犯罪预防、农业、畜牧业、采矿业、美容、工厂、家用电子产品、气象学和自然监控)中使用的系统、设备、处理部等，只要系统、设备、处理部等用于图像处理。

例如，本技术也可以应用于被用于查看的系统和装置。进一步地，例如，本技术也可以应用于被用于交通管理的系统和装置。另外，例如，本技术也可以应用于被用于安全性的系统和装置。进一步地，例如，本技术也可以应用于被用于运动的系统和装置。另外，例如，本技术也可以应用于被用于农业的系统和装置。进一步地，例如，本技术也可以应用于被用于畜牧业的系统和装置。另外，例如，本技术也可以应用于用于监测自然状态(诸如，火山、森林和海洋)的系统和装置。进一步地，例如，本技术可以应用于用于观测天气、温度、湿度、风速、日照时间等的气象观测系统和气象观测设备。另外，例如，本技术也可以应用于用于观察野生动植物生态(诸如，鸟、鱼、爬行动物、两栖动物、哺乳动物、昆虫和植物)的系统、装置等。

<软件>

上面描述的一系列处理可以由硬件或者软件执行。进一步地，部分处理可以由硬件执行，而其它处理可以由软件执行。在由软件执行一系列处理的情况下，将构成软件的程序安装在计算机中。此处，计算机的示例包括并入专用硬件的计算机和例如，能够利用安装在其中的各种程序来执行各种功能的通用个人计算机。

图22是图示了根据程序来执行上面描述的一系列处理的计算机的硬件配置的示例的框图。

在图22中图示的计算机800中，cpu(中央处理单元)801、rom(只读存储器)802和ram(随机存取存储器)803经由总线804连接至彼此。

进一步地，输入/输出接口810也连接至总线804。输入部811、输出部812、存储部813、通信部814和驱动器815连接至输入/输出接口810。

输入部811包括例如，键盘、鼠标、麦克风、触摸板、输入终端等。输出部812包括例如，显示器、扬声器、输出终端等。存储部813包括例如，硬盘、ram盘、非易失性存储器等。例如，通信部814包括网络接口。驱动器815驱动可移动介质821，诸如，磁盘、光盘、磁光盘或者半导体存储器。

在如上配置的计算机中，例如，cpu801经由输入/输出接口810和总线804来将存储在存储部813中的程序加载到ram803中，并且执行该程序，通过该程序，执行上述一系列处理。ram803还适当地存储cpu801执行各个系列的处理所需的数据等。

可以将待由计算机(cpu801)执行的程序记录在例如，用作封装介质等的可移动介质821中并且可以应用该程序。在这种情况下，可以通过将可移动介质821附接至驱动器815经由输入/输出接口810来将程序安装在存储部813中。进一步地，还可以经由有线或者无线传输介质(诸如，局域网、互联网和数字卫星广播)来提供程序。在这种情况下，程序可以由通信部814接收并且可以安装在存储部813中。此外，程序可以预先安装在rom802或者存储部813中。

<补充>

本技术的实施例不限于上面描述的实施例，并且在不脱离本技术的范围的情况下，可以进行各种修改。

例如，本技术也可以实施为构成设备或者系统的任何配置，例如，用作系统lsi(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元以及进一步向单元添加另一功能(即，设备的局部配置)等的集合。

应该注意，在本说明书中，系统是指多个组成元件(设备、模块(组件)等)的类集，并且所有组成元件是否在同一外壳内并不重要。因此，在任何一种情况下，存储在单独的外壳中并且经由网络连接的多个设备以及将多个模块存储在单个外壳中的单个设备都是系统。

进一步地，例如，在上面被描述为单个设备(或者处理部)的配置可以被划分和配置为多个设备(或者处理部)。相反，在上面被描述为多个设备(或者处理部)的配置可以组合和配置为单个设备(或者处理部)。进一步地，不用说，可以向每个设备(或者每个处理部)的配置添加除了上述配置之外的配置。另外，可以将一个设备(或者处理部)的配置的一部分包括在另一设备(或者另一处理部)的配置中，只要整个系统的配置和操作基本相同。

进一步地，例如，本技术可以配置为经由网络来在多个设备之间共享和协作地处理单个功能的云计算。

进一步地，例如，可以在任意设备中执行上面描述的程序。在这种情况下，如果设备具有必要的功能(功能块等)并且能够获得必要的信息，就足够了。

进一步地，例如，在上面描述的流程图中描述的步骤中的每个步骤可以由单个设备或者由多个设备以共享方式执行。另外，在单个步骤包括多个处理的情况下，包括在单个步骤中的多个处理可以由单个设备或者由多个设备以共享方式执行。换句话说，可以将包括在单个步骤中的多个处理作为多个步骤中的处理执行。相反，可以组合被描述为多个步骤的处理并且将其作为单个步骤执行。

在由计算机执行的程序中，可以按照在本说明书中描述的顺序中的时间顺序来执行描述程序的步骤中的处理。可替代地，可以并行执行步骤中的处理，或者可以在调用等的必要定时单独执行步骤中的处理。即，可以按照与上面描述的顺序不同的顺序来执行每个步骤中的处理，只要不存在矛盾。另外，可以与另一程序的处理并行地执行描述该程序的步骤中的处理，或者可以结合另一程序的处理来执行描述该程序的步骤中的处理。

可以将本说明书中描述的多种现有技术中的每种现有技术作为单种技术独立地实施，只要不存在矛盾。不用说，可以组合地实施多种任意的现有技术。例如，也可以结合在另一实施例中描述的部分或者所有现有技术来实施在一个实施例中描述的部分或者全部技术。进一步地，也可以结合上面未描述的另一种技术来实施上面描述的部分或者全部任意现有技术。

应该注意，也可以如下配置本技术。

(1)一种处理设备包括：

配置为在投影之前对多个帧图像中的每个帧图像执行图像处理的图像处理部，图像处理在循环地使用多个投影部中的对应投影部来对该多个帧图像中的每个帧图像进行投影时抑制该多个帧图像的叠加在投影图像中的影响，该多个帧图像包括在移动图像中。

(2)根据(1)的图像处理设备，其中，图像处理部执行用于对帧图像中的每个帧图像的像素值进行校正的图像处理。

(3)根据(2)的图像处理设备，其中，图像处理部对像素值进行校正，使得将帧图像中的对应帧图像与投影图像之间的误差最小化。

(4)根据(3)的图像处理设备，其中，图像处理部建立目标函数和约束条件式作为线性规划问题以获得校正过的像素值作为解。

(5)根据(4)的图像处理设备，其中，图像处理部定义目标函数，使得将误差的总和最小化。

(6)根据(4)或者(5)的图像处理设备，其中，图像处理部定义约束条件式，使得帧图像中的对应帧图像小于被校正过的帧图像和误差的和，但是大于被校正过的帧图像与误差之间的差，并且使得误差是正的。

(7)根据(6)的图像处理设备，其中，图像处理部进一步定义约束条件式，使得根据像素值的位深度来限制校正过的像素值的大小。

(8)根据(4)至(7)中任一项的图像处理设备，其中，图像处理部通过使用内点法来获得校正过的像素值。

(9)根据(4)至(7)中任一项的图像处理设备，其中，图像处理部通过使用单纯形法来获得校正过的像素值。

(10)根据(4)至(9)中任一项的图像处理设备，其中，图像处理部针对帧图像中的对应帧图像的所有像素建立公式以获得解。

(11)根据(4)至(10)中任一项的图像处理设备，其中，图像处理部针对移动图像的所有帧建立公式以获得解。

(12)根据(3)至(11)中任一项的图像处理设备，其中，图像处理部优化用于对帧图像中的对应帧图像的像素值进行校正的滤波器，使得将误差最小化，并且通过使用优化过的滤波器来对帧图像进行校正。

(13)根据(12)的图像处理设备，其中，图像处理部将预先准备的图像用作学习样本，通过最小二乘法来优化滤波器，滤波器被优化为使得将误差最小化。

(14)根据(13)的图像处理设备，其中，图像处理部通过使用预先准备的图像的所有像素作为学习样本来优化滤波器。

(15)根据(2)至(14)中任一项的图像处理设备，其进一步包括：

配置为循环地向多个投影部分配分别包括由图像处理部校正过的像素值的帧图像的分配部。

(16)根据(15)的图像处理设备，其进一步包括：配置为将由分配部分配的帧图像投影到投影部本身的多个投影部。

(17)根据(16)的图像处理设备，其中，多个投影部分别以低于移动图像的帧速率的速率来对帧图像进行投影，帧图像被分配至投影部本身。

(18)一种图像处理方法包括：

在投影之前对多个帧图像中的每个帧图像执行图像处理，该图像处理在循环地使用多个投影部中的对应投影部来对该多个帧图像中的每个帧图像进行投影时抑制该多个帧图像的叠加在投影图像中的影响，该多个帧图像包括在移动图像中。

[参考符号列表]

100图像投影系统、111中央处理单元、112投影设备、113屏幕、121图像处理部、122分配部、131存储部、132输出计算部、232学习部、233预测部、311图像处理设备、312分配设备、330网络，351图像投影设备、362投影部、381图像投影设备、800计算机。