超分辨率装置和方法

专利名称：超分辨率装置和方法
技术领域：
本发明涉及超分辨率装置和方法。
背景技术：
具有大量像素和高分辨率的电视或显示器正在被广泛使用。这些电视或显示器在 显示图像时将图像数据中的多个像素转换成显示面板的多个像素。在增加像素数目的 超分辨率转换中，通常采用复帧劣化逆转换法(multiple frame deterioration reverse conversion method)来获得比传统线性内差法(linear interpolation method)更清晰的 图像(例如，参见USP 6， 285, 804， S. Park等人，"Super resolution Image Reconstruction: A Technical Overview (超分辨率图像重建技术综述)"，IEEE Signal Processing Magazine (IEEE信号处理杂志)，USA, IEEE 2003年5月，第21-36页，其内容通过 引用包含在此)。利用在参考帧中出现的被拍摄对象也出现在别的帧中这一事实，复帧劣化逆转换 法以像素间隔以下的高精确度检测被拍摄对象的移动，并且获得多个采样值，采样值 的位置相对于被拍摄对象的同一局部位置发生微小移位。在复帧劣化逆转换法中，需要很多低分辨率图像，以获得足够数目的采样值，因 而导致存储器数量增加。另外，还有一个问题是需要通过块匹配搜索处理获得多个对 应点的关系，因而导致计算量增加。发明内容在这种情况下，本发明的目的是提供超分辨率装置和方法，用较少的存储器和计 算量获得清晰的超分辨率图像。为实现上述目的，本发明的一个方面是一种超分辨率装置，包括-候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标
像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的像素值，将包括目 标像素以及目标像素周边像素的区域设定为目标像素区域，以及设定搜索区域用于在 屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；匹配差值计算单元，计算目标像素区域中所包含像素的像素值的变化样式与包含 搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的变化样式 之间的差值；差值比较单元，比较由匹配差值计算单元计算得到的搜索区域中各个像素的变化 样式的差值，获得具有最小差值的第一像素位置，以及具有第二差值在第一像素位置 周边的第二像素位置；存储器，存储由差值比较单元计算得到的第一像素位置及其第一差值，以及第二 像素位置及其第二差值；十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其第一差值， 以及第二像素位置及其第二差值，以十进制精度计算搜索区域中具有最小差值的位置， 并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；外插向量计算单元，利用十进制精度向量计算十进制精度向量的外插向量，该外 插向量终止于不包括在搜索区域中的屏幕上的像素；以及超分辨率像素值计算单元，根据十进制精度向量、外插向量以及从图像数据获得 的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。


图1是根据本发明的实施例的超分辨率装置的框图；图2是根据本发明的实施例的超分辨率装置的框图；图3是根据本发明的实施例的超分辨率装置的操作实例的流程图；图4是显示低分辨率图像数据的屏幕和像素之间的位置关系的示意图；图5是显示通过对图4所示图像进行超分辨率处理所获得的超分辨率图像的示意图；图6是显示通过匹配图4中图像的像素间隔和图5中图像的像素间隔所获得的低 分辨率图像的示意图；图7是显示图4和图5中的像素之间的位置关系的示意图；图8是显示被拍摄数据的位置坐标和亮度之间的关系的示意图； 图9是显示目标像素和目标图像区域的设定的示意图； 图IO是显示目标像素和搜索区域的设定的示意图； 图11是说明抛物线拟合法的示意图；图12是显示通过匹配处理计算自相一致位置的示意图； 图13是显示通过外插估算生成自相一致位置的示意图； 图14是显示通过内插估算生成自相一致位置的示意图； 图15是显示通过复制生成自相一致位置的示意图；图16是显示在屏幕空间内计算得到的多个自相一致位置的示意图； 图17是显示通过重叠法获得超分辨率图像的像素值时的操作实例的流程图； 图18是显示用于说明初步估算的超分辨率图像的样本值的计算方法的屏幕、像素 以及矩形的示意图；图19是显示通过为每个样本值确立条件式的超分辨率的操作实例的流程图；图20是显示在超分辨率处理之后位置坐标和亮度之间的关系的示意图。
具体实施方式
以下参考附图，对本发明实施例所对应的超分辨率装置和方法进行说明。 图1是根据本发明的实施例的超分辨率装置的框图。如图1所示，超分辨率装置包括存储器101，候补区域设定单元102，匹配差值计 算单元103，差值比较单元104，存储器105，抛物线拟合单元107，存储器108，自 相一致位置估算单元109。在本说明书中，术语"自相一致(self-congruent)"表示在 同一帧中像素的亮度变化样式相似。术语"自相一致位置(self-congruent position)"是用向量表示的自相一致位置。存储器101获取并存储低分辨率图像数据。低分辨率图像数据可以是电影或静止 图像，是通过在屏幕中配置多个像素获得的并以像素值表示像素亮度的图像数据。在 本实施例中，低分辨率图像数据获取自图像源，即诸如照相机或电视机的图像数据生 成单元(未显示)。具体而言，低分辨率图像数据是由照相机摄取的或者由电视机接收 的图像数据。候补区域设定单元102将低分辨率图像数据中的多个像素中的至少一个像素设定
为目标像素，并将包括目标像素和目标像素周边像素的区域设定为目标像素区域，还 设定搜索区域用来在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样 式。之后，候补区域设定单元102生成信号，指示目标像素、目标区域和搜索区域， 并且将这些信号输出到存储器101和存储器105。基于指示目标像素、目标区域和搜索区域的信号，存储器101将来自低分辨率像 素图像数据的包括目标像素的目标像素区域的图像数据，以及搜索区域中的图像数据 输出到匹配差值计算单元103。存储器101向超分辨率像素值计算单元106逐个提供 低分辨率图像数据。匹配差值计算单元103计算目标像素区域中所包含像素的像素值的变化样式和搜 索区域中所包含像素的像素值的变化样式之间的差值，搜索区域中所包含像素是指包 含搜索区域中的搜索像素和搜索像素周边像素的区域中的像素。匹配差值计算单元103计算目标像素区域中的图像数据和搜索区域中的图像数据 之间的差值。例如，可以通过对各像素值的绝对距离求和或平方距离求和来计算差值。 目标像素区域的图像数据可以是，例如，目标块的数据。匹配差值计算单元103依次 改变搜索区域中要计算差值的图像部分，并且获得要计算差值的目标像素区域中图像 部分的图像数据的差值。差值比较单元104计算出在搜索区域中由匹配差值计算单元103计算得到的多个 差值中具有最小差值的像素位置。存储器105从候补区域设定单元102获取位置信息，并存储由差值比较单元104 计算得到的具有最小差值的像素位置和匹配差值，还存储围绕在具有最小差值的像素 位置周围的像素位置以及这些位置的匹配差值。抛物线拟合单元107根据存储在存储器105中的具有最小差值的像素位置和匹配 差值，以及围绕在具有最小差值的像素位置周围的像素位置和这些位置的匹配差值， 运用对称函数，以十进制精度计算具有最小差值的像素位置，并且将计算得到的位置 确定为自相一致位置。对一个目标像素至少获得一个自相一致位置。在下文中将对抛 物线拟合单元107进行详细说明。自相一致位置估算单元109根据由抛物线拟合单元107计算得到的自相一致位置 的变化量，估计和计算至少一个自相一致位置。 存储器108存储自相一致位置的信息，该位置由抛物线拟合单元107和自相一致 位置估算单元109获得。在为低分辨率图像的预定像素获得自相一致位置之后，超分辨率像素值计算单元 106从存储器101获得低分辨率图像的图像数据，并从存储器108获得自相一致位置， 同时利用低分辨率图像的每个像素数据的自相一致位置，确立条件式，从而获得方案， 确定超分辨率图像的像素值，并输出像素值数据。接下来，参考图2，对采用过采样法替代抛物线拟合法的超分辨率装置进行说明。图2中的超分辨率装置配置为此种方式，去除了图1中的抛物线拟合单元107，而 用过采样单元110和存储器111替代。候补区域设定单元102将图像数据中所包含的多个像素中的至少一个像素设定为 目标像素，该图像数据包括屏幕上分布的多个像素和表示像素亮度的像素值，并将包 括目标像素以及目标像素周边像素的区域设定为目标像素区域，还设定搜索区域用来 搜索目标像素区域中所包含像素的像素值的多个变化样式。过采样单元110在图像数据的像素之间插入另一像素，该图像数据的目标像素区 域和搜索区域被设置为生成内插图像数据。换句话说，过采样单元uo根据差值计算 的间隔增加低分辨率数据的数据量。存储器111暂时存储由过采样单元110采样的数据，并向匹配差值计算单元103 提供该数据。匹配差值计算单元103计算目标像素区域中所包括像素的像素值的变化样式与包 括搜索区域中的搜索像素和搜索像素周边像素的区域中所包括像素的像素值的变化样 式之间的差值。差值比较单元104计算出搜索区域中由匹配差值计算单元103计算得到的多个差 值中具有最小差值的像素的位置。存储器105从候补区域设定单元102获取由差值比较单元104计算得到的具有最 小差值的计算像素位置的位置信息，并且存储从目标像素开始到具有最小匹配差值的 像素结束的积分精度向量。自相一致位置估算单元109根据匹配差值计算单元103计算得到的差值和存储器 105计算得到的积分精度向量的变化量，估计和计算一个或多个自相一致位置。存储器108存储由自相一致位置估算单元109获得的自相一致位置。
在为低分辨率图像的预定像素获得自相一致位置之后，超分辨率像素值计算单元106从存储器101获得低分辨率图像的图像数据，并从存储器108获得自相一致位置， 同时利用低分辨率图像的每个像素数据的自相一致位置确立条件式，求解确定超分辨 率图像的像素值，并输出像素值数据。以下参考图3，结合图1对超分辨率装置的操作实施例进行说明。在下述说明中图 像可以称为帧。如图3所示，在步骤S201中，候补区域设定单元102按照预定顺序将低分辨率图 像数据的像素设定为目标像素。对于静止图像，该顺序是光栅顺序，例如，在屏幕上 从左上像素向右，从最上一行向下。然后，在步骤S202中，匹配差值计算单元103，差值比较单元104，和抛物线拟 合单元107在低分辨率图像数据的屏幕范围内检测对应于目标像素的点(自相一致位 置)。接下来，在步骤S203中，自相一致位置估算单元109根据抛物线拟合单元107计 算的自相一致位置的变化量，估算并生成新的自相一致位置。接下来，在步骤S204中，匹配差值计算单元103确定是否已为高分辨率处理所用 的低分辨率图像数据的每个像素获得自相一致位置。如果否，处理返回到步骤S201， 在其中处理下一个像素，如果是，处理前进到步骤S205。接下来，在步骤S205中，超分辨率像素值计算单元106利用低分辨率图像数据的 像素值以及检测到的自相一致位置，计算对应于低分辨率图像数据的超分辨率图像数 据的像素值，并且终止处理。将参考图16对超分辨率图像数据的像素值的计算进行说 明。图4显示低分辨率图像的屏幕301和像素302之间的位置关系。 该图像的亮度在屏幕范围中基本上连续分布。然而，对于此处处理的数码图像数据，像素在屏幕空间内分布为离散的采样点，并且其周围的亮度由每个像素本身的亮度代表。图4显示屏幕被分为横向6个、纵向4个的24个正方形，并且24个像素301分 布在上述各个正方形的中心作为采样点302。接下来图5显示通过使图4所示屏幕横向2倍、纵向2倍，对图4所示屏幕应用 超分辨率处理的状态。超分辨率图像数据中的像素的采样点401由空心圆表示。在这
种方式下，像素的采样点401的间隔是低分辨率图像数据的一半。图6用与超分辨率图像数据的间隔相同的间隔显示原始低分辨率图像数据的像素。在这种情况下，低分辨率图像数据的尺寸小于超分辨率图像数据的尺寸。在这种情况下，当调整低分辨率图像数据的屏幕尺寸以匹配超分辨率图像数据的屏幕时，像素的采样点间隔将增加，并且当调整像素的采样点间隔以匹配超分辨率图像数据的采样点间隔时，屏幕的尺寸将减少。然而，这些现象说明同一件事，所以在本说明书中，为了便于说明，低分辨率图像如图4和图6所示。图7是利用实心圆显示低分辨率图像数据的像素的采样点，并且以空心圆显示超分辨率图像数据的像素的采样点的示意图。超分辨率的处理是根据由实心圆表征的采样点的亮度值，获取由空心圆表示的采样点的亮度值。接下来，利用图8到图11，以具体实例对图3中说明的步骤S202进行说明。 在相关技术的复帧劣化逆转换法中，执行超分辨率处理是通过以子像素精度计算多个帧中的对应相同点，增加低分辨率图像数据的采样点的数目。换句话说，需要在多个帧中通过对具有相同亮度变化的部分以不同相位进行采样获得大量像素值，因此需要很大的存储器。图8显示实际图片的数据。横轴代表像素的横坐标，纵轴代表亮度。5行数据分别用不同的曲线表示。如图所 示，在同一帧中存在有即使行不同但亮度非常相近的位置。图像的这种特性被称为在 局部样式上具有自相一致特性，并且在特定目标像素周围存在的自相一致位置被称为 自相一致位置。在本发明中，由于利用被拍摄对象在帧内的自相一致特性实现超分辨率，因此不 再需要在存储器中保持多个低分辨率图像数据，从而能够以较小的存储容量实现超分 辨率。图9是显示图1和图2所示的候补区域设定单元102设定目标像素和目标区域的 状态的示意图。如图9所示，候补区域设定单元102提取一些正方形像素，例如，从目标像素801 位于中心的帧802中提取具有5x5像素或3x3像素的正方形方块803。图IO是显示图1和图2所示的候补区域设定单元102设定搜索区域901的状态的 示意图。在该图中表示的实例是将搜索区域设定为y坐标固定、在x方向上设定6个
像素。匹配差值计算单元103为搜索区域901中包括的各个像素搜索像素值的变化样 式接近图9所示的目标图像区域803的部分。匹配差值计算单元103计算的各个图像区域的匹配差值可以是SSD(平方距离和)， 即图像区域中各个像素值之间的平方距离之和，或者SAD (绝对距离和)，即绝对距 离之和。在这种情况下，搜索区域在y坐标固定的情况下设定于x方向。用这种方式获取 子像素估算的方法在低分辨率图像数据的亮度在横向发生变化时尤为有效。虽然没有在图中显示，但是当低分辨率图像数据的亮度在纵向发生变化时，固定x 坐标、将搜索区域设定为y方向并且获取子像素估算的方法也是有效的。因此，如果边缘为纵向，就用候补区域设定单元102将至少一个搜索区域设定在 与边缘垂直的横向，如果边缘为横向，则用候补区域设定单元102将至少一个搜索区 域设定在纵向的方法是有效的。换句话说，检测目标像素的像素值的倾斜方向，用以 在倾斜方向上搜索自相一致位置。调用来自候补区域设定单元102的像素的位置信息，通过比较匹配差值计算单元 103计算得到的匹配差值，获得具有最小差值的像素位置，并且将具有最小差值的像 素位置及其匹配差值、以及围绕在具有最小差值的像素位置周围的像素的位置和这些 位置的匹配差值存储在存储器中。接下来，对在预设搜索区域中的子像素(具有十进制精度)的估算进行说明。估 算子像素的一个方法是抛物线拟合法(例如，见"Signification and Property of Sub pixel Estimation in Image Matching (图像匹配中子像素估算的含义和性质)"，Shimizu, Okutomi，其内容通过引用包含在此)。抛物线拟合法根据目标像素区域和预设搜索区域内像素周围的候补图像区域之间 的具有积分精度的匹配差值，计算具有十进制精度的最小匹配差值的位置。通过在搜索区域中以积分精度移动候补图像区域的位置计算匹配差值，并且计算 搜索区域空间内具有积分精度的匹配差值地图。图11是显示抛物线拟合法的匹配方法的曲线图，其中横轴表示像素，纵轴表示匹 配差值。如图11所示，通过在具有最小匹配差值的积分精度的位置移位量(x = m)周围 应用抛物线(或者对称连续函数)，可以计算出子像素精度的位置移位量，作为应用到 积分精度的离散匹配差值图的抛物线(或者对称连续函数)的顶点位置。 图12是利用抛物线拟合法计算十进制精度向量的状态的示意图。如图12所示，根据在搜索区域901中的每个像素上计算得到的匹配差值，在搜索 区域卯l中以十进制精度计算出具有最小差值的位置，并且计算出从目标像素801开 始并终止于该位置的具有十进制精度的向量1101。除了抛物线拟合法，也可以采用Shimizu， Okutomi在"Signification and Property of Sub pixel Estimation in Image Matching (图像匹配中子像素估算的含义和性质)"中提 出的等角拟合法。在利用结合图2所说明的过采样单元110的方法中，低分辨率图像数据被放大， 例如，通过诸如线性内插或立方巻积法的放大方法放大到两倍。当在该状态下搜索像 素精度时，相当于用原始低分辨率图像数据中的0.5个像素的精度计算移位量。以这 种方式，在过采样法中，必需加倍数据量使精度(获得差值的间隔)减半，并且使数 据量增加到四倍，而使精度降到四分之一。以下参考图13到图15，对图3中步骤S203所执行的估算生成自相一致位置进行 说明。由于需要计算搜索区域中的图像区域之间的匹配差值，并且计算次数与获得自相 一致位置的数量相对应，所以在步骤S202中执行的自相一致位置计算需要很大的处 理量。因此，在步骤S203中，根据步骤S202中计算的自相一致位置，通过外插估算、 内插估算和复制估算，用很小的处理量生成新的自相一致位置。这里外插估算是指从由匹配计算得到的一个或多个自相一致位置以外的搜索区域 中估算的新的自相一致位置。内插估算是指从由匹配计算得到的两个或多个自相一致位置以内的搜索区域中估 算的新的自相一致位置。复制估算是指估算通过匹配计算得到的目标像素的自相一致位置作为附近的目标 像素的自相一致位置。图13是显示通过外插估算生成自相一致位置的示意图；如图13所示，用图3中的步骤S202计算得到目标像素1201上一行上的自相一致 位置1202。通过外插，目标像素1201上两行上的自相一致位置可以估算为将目标像 素1201上一行上的自相一致位置1202的变化量的两倍。参考标号1203代表通过外插 估算获得的目标像素1201上两行上的自相一致位置。外插的执行不仅可以从一个自相一致位置估算一个位置，还可以估算多个自相一 致位置。同样可以将新的自相一致位置估算在十进制倍乘变化量的位置，以及积分倍 乘变化量的位置上。换句话说，通过利用由图1中的抛物线拟合单元107在搜索区域中以十进制精度 计算的具有十进制精度的向量1202，该向量从目标像素开始并且终止于具有最小差值 的位置，或者通过利用在图像数据的像素之间内插另一个像素而获得的具有积分精度 的向量1202，在该图像数据中设定目标像素区域和搜索区域以生成内插图像数据，并 且之后用图2中的过采样单元110计算具有最小差值的位置，计算出具有十进制精度、 终止于屏幕上不包括在搜索区域中的像素的外插向量1203。图14是用于说明通过内插估算生成自相一致位置的示意图。如图14所示，目标像素1301上一行上的自相一致位置1302以及目标像素1301 上三行上的自相一致位置1303通过图3中的步骤S202计算得到。在目标像素1301 上两行上的自相一致位置1302可以通过内插，估算为从目标像素位置1301到一行之 上的自相一致位置1302的变化量，与从目标像素位置1301到三行之上的自相一致位 置1303的变化量之间的内部划分点。内插估算不仅可以从两个自相一致位置1302， 1303估算单个自相一致位置1304， 而且可以通过内部划分为n个相等的块，获得多个自相一致位置。换句话说，通过利用由图1中的抛物线拟合单元107在搜索区域中以十进制精度 计算的具有十进制精度的向量1202，该向量从目标像素开始并且终止于具有最小差值 的位置，或者通过利用在图像数据的像素之间内插另一个像素得到的具有积分精度的 向量1302、 1303，在该图像数据中设置目标像素区域和搜索区域以生成内插图像数据， 并且之后用图2中的过采样单元UO计算具有最小差值的位置，计算出具有十进制精 度、终止于屏幕上不包括在搜索区域中的像素的内插向量1304。图15是说明通过复制估算生成自相一致位置的示意图。如图15所示，用图3中的步骤S202计算得到目标像素1401上一行上的自相一致 位置1402。通过将目标像素位置1401的变化量复制到自相一致位置1402，可以生成 目标像素位置1401上一行上的自相一致位置1404以及目标像素位置1401下一行上的 自相一致位置1406。
换句话说，通过利用由图1中的抛物线拟合单元107在搜索区域中以十进制精度 计算的具有十进制精度的向量1202，该向量从目标像素开始并且终止于具有最小差值 的位置，或者通过利用由在图像数据的像素之间内插另一个像素而获得的具有积分精 度的向量1402，在该图像中设定目标像素区域和搜索区域以生成内插图像数据，并且 之后用图2中的过采样单元110计算具有最小差值的位置，并计算具有十进制精度、 终止于屏幕上不包括在搜索区域中的像素的自相一致向量。如上所述，通过在图3中的步骤S203估算自相一致位置，可以用较小的处理量计 算出自相一致位置。另外，自相一致位置可以被缓冲，以提高图像质量。此外，由于 自相一致位置在更靠近目标像素的位置，从而可以在目标像素位置1401上一行的自相 一致位置之上的0.5行和1.5行生成自相一致位置，从而实现图像质量的提高。以下参考图16，对图3中的步骤S205中执行的超分辨率图像数据的像素值计算进 行说明。当图3中的步骤S204的步骤结束时，可以获得图16中交叉符号指示的自相一致 位置。在这种方式下，尽管存在多种方式从分布不均匀的采样点获得以晶格样式分布 的像素的值，例如，当采用重叠法(例如，非均匀内插，见S. Park等人"Super resolution Image Reconstruction: A Technical Overview (超分辨率图像重建技术综述)"第25 页)可以通过预测接近的采样值，获得超分辨率图像数据的像素值，并且找到超分辨 率图像数据像素的最接近位置的采样值，并且确定该采样值为超分辨率图像数据的像 素值。另一方面，可以随着距离超分辨率图像数据的像素的距离减少，增加采样值的 权重，并且将采样值的加权平均值确定为超分辨率图像数据的像素值。再另一方面， 可以采用一定距离之内的采样值的平均值作为超分辨率图像数据的像素值。接下来参考图17，对通过重叠法获得超分辨率图像数据的像素值的流程图进行说明。如图17所示，在步骤S1601中，对超分辨率图像数据的每个像素获得到各个采样 点的距离。接下来，在步骤S1602中，作为采样值的加权平均值，获得各个像素值。此时， 采样值到各个像素的距离越近，其权重越大。当采用POCS法(例如，见S. Park等，"Super resolution Image Reconstruction: A Technical Overview (超分辨率图像重建技术综述)"第29页)替代重叠法时，过程
将更复杂，不过可以获得更清晰的图像。在POCS法中，通过双线性内插法或者立方巻积法，对超分辨率图像数据的每个像素提供初步估算的超分辨率图像。然后，将计算出当使用超分辨率图像数据的初始 估算超分辨率图像的像素值时各个采样值位置处的估算超分辨率图像。以下参考图18，对初步采样值的计算方法进行说明。如图18所示，屏幕1701被分成多个正方形1702。代表各个正方形的亮度分布的 像素值是其中央的像素值1703。正方形的尺寸由像素密度决定。例如，当分辨率在横 向和纵向方向上减半时，正方形的尺寸将在横向和纵向方向上增加一倍。在图18中，超分辨率图像数据的像素由空心圆表示，并且与分辨率减半的低分辨 率图像数据对应的采样点用实心圆表示。当初步估算的超分辨率图像的像素值被应用到超分辨率图像数据的像素时，将计 算初步估算的超分辨率图像在采样点1704处的采样值，作为从1705到1708的像素的 像素值的平均值。此为采样点1704位于超分辨率图像数据的像素中央的情况。当位于采样点1709的位置时，将确定该采样点所示正方形1710交叠部分的加权 平均值作为初始估算的超分辨率图像的采样值。例如，过将阴影部分1702的表面积转 化为权重，确定像素1711的权重。与正方形1710交叠的9个正方形进行加权，以致 正比于交叠的表面积，并且然后从9个像素值获得加权平均值，作为初步估算的超分 辨率图像的采样值。如果超分辨率图像数据精确，作为低分辨率图像数据成像的采样值必须匹配初步 估算的超分辨率图像的采样值。然而，它们一般不匹配。因此需要更新初步估算的超分辨率图像的采样值以达到 匹配。要获得采样值与初始釆样值之间的差值，并且将该差值加上或者减去初步估算 的超分辨率图像的像素值以消除差值。由于存在很多像素值，差值被除以采样中所用 的权重，并且被加到每个像素值上或从其上减去。相应而言，在这时计算的采样点上， 采样值与初步估算的超分辨率图像的采样值匹配。然而，在另一个采样点上的更新处 理中，相同超分辨率图像的像素数据可以被更新。因此，该更新步骤对每个采样点重 复很多次。由于通过这种重复处理，超分辨率图像数据逐渐接近精确值，在重复预定 次数之后获得的图像被输出为超分辨率图像数据。在这种方式下，POCS法是一种获得超分辨率图像数据的像素值的方法，使用超
分辨率图像数据的像素值作为未知值，求解条件表达式，其给出从未知值获得的估算 超分辨率图像的采样值等于实际成像的低分辨率图像数据的像素值的采样值的条件，并且可以使用迭代反投射法(见S. Park等，"Super resolution Image Reconstruction: A Technical Overview (超分辨率图像重建技术综述)"第31页)或MAP法(见S.Park 等，"Super resolution Image Reconstruction: A Technical Overview (超分辨率图像重建 技术综述)"第28页)作为替代方法，求解出这些条件表达式。 图19是为超分辨率确立条件表达式的流程图。如图19所示，在步骤S1801中，对低分辨率图像数据的像素，即对各个采样值 建立上述条件表达式。接下来，在步骤S1802中，通过联立方程求解条件表达式，得到超分辨率图像数 据的像素值。图20显示在通过向固定图像采用相关技术中的立方巻积法以及本实施例的对应 方法，得到的超分辨率图像中的特定行的亮度值的状态。横轴代表像素，纵轴代表亮 度值。这是大幅光影图像中白线的放大部分。如图20所示，y坐标中633所示暗部中的暗度得到加强，y坐标中637所示亮部 中的亮度得到加强。
权利要求
1.一种超分辨率装置，其特征在于，包括候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；匹配差值计算单元，计算至少一个以下两者之间的差值目标像素区域中所包含像素的像素值的第一变化样式，和包含搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二变化样式；差值比较单元，比较第一和第二变化样式之间的至少一个差值，获得具有第一最小差值的第一像素位置，以及具有第二差值在第一像素位置周边的第二像素位置；存储器，存储第一像素位置及其第一最小差值，以及第二像素位置及其第二差值；十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其第一最小差值，以及第二像素位置及其第二差值，以十进制精度计算搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；外插向量计算单元，利用十进制精度向量计算十进制精度向量的外插向量，该外插向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及超分辨率像素值计算单元，根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
2. —种超分辨率装置，其特征在于，包括-候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素 区域，以及设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素 的像素值的多个变化样式；匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与 第一和第二搜索区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二 差值，第一和第二区域中所包含的像素包括第一和第二搜索像素以及第一和第二搜索 像素周边的像素；差值比较单元，比较第一和第二变化样式之间的差值，获得具有第一和第二最小差值的第一和第二像素位置，具有第三差值在第一搜索像素周边的第三像素位置，以 及具有第四差值在第二搜索像素周边的第四像素位置；存储器，存储由差值比较单元计算的第一像素位置及其第一最小差值，第二像素 位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值；十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其第一最小差 值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及 其第四差值，以十进制精度计算第一和第二搜索区域中具有最小差值的位置，并且计 算从目标像素开始并终止于具有最小差值的位置的第一十进制精度向量和第二十进制 精度向量；内插向量计算单元，利用第一和第二十进制精度向量计算第一和第二十进制精度 向量的内插向量，该内插向量从具有最小差值的位置开始并终止于不包括在第一和第 二搜索区域中的屏幕上的像素；以及超分辨率像素值计算单元，根据十进制精度向量、内插向量以及从图像数据获得 的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
3. —种超分辨率装置，其特征在于，包括 候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图 像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素 区域，以及设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的 多个变化样式；匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与 包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二 变化样式之间的差值；差值比较单元，比较第一和第二变化样式之间的至少一个差值，获得具有第一最 小差值的第一像素位置，以及具有第二差值在第一像素位置周边的第二像素位置；存储器，存储由差值比较单元计算的第一像素位置及其第一最小差值，以及第二 像素位置及其第二差值；十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其第一最小差 值，以及第二像素位置及其第二差值，以十进制精度计算搜索区域中具有最小差值的 位置，并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；一致向量计算单元，利用十进制精度向量计算十进制精度向量的一致向量，该一 致向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及超分辨率像素值计算单元，根据十进制精度向量、 一致向量以及从图像数据获得 的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
4. 一种超分辨率装置，其特征在于，包括 候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图 像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素 区域，以及设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的 多个变化样式；过采样单元，在图像数据的像素之间内插另一像素；匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与 包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二 变化样式之间的差值；积分精度向量计算单元，比较由匹配差值计算单元计算得到的搜索区域中的各个 像素的变化样式的差值，以获得具有最小差值的像素位置，并且计算从目标像素开始 并终止于搜索像素的积分精度向量；外插向量计算单元，利用积分精度向量计算积分精度向量的外插向量，该外插向 量从搜索像素开始并终止于不包括在搜索区域中的屏幕上的像素；以及超分辨率像素值计算单元，根据十进制精度向量、外插向量以及从图像数据获得 的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
5.—种超分辨率装置，其特征在于，包括 候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图 像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素 区域，以及设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素 的像素值的多个变化样式；过采样单元，在图像数据的像素之间内插另一像素；匹配差值计算单元，在内插图像数据中计算目标像素区域中所包含像素的像素值 的变化样式与第一和第二区域中所包含像素的像素值的第一和第二变化样式之间的第 一和第二差值，第一和第二区域中所包含的像素包括第一和第二搜索区域中的第一和 第二搜索像素以及第一和第二搜索像素周边的像素；积分精度向量计算单元，比较由匹配差值计算单元计算得到的第一和第二搜索区 域的各个差值，以分别获得具有最小差值的第一像素位置和第二像素位置，并且计算 从目标像素开始并分别终止于第一和第二像素位置的第一和第二积分精度向量；内插向量计算单元，利用第一和第二积分精度向量计算第一和第二积分精度向量 的内插向量，该内插向量从具有最小差值的位置开始并终止于不包括在第一和第二搜 索区域中的屏幕上的像素；以及超分辨率像素值计算单元，根据积分精度向量、内插向量以及从图像数据获得的 像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
6. —种超分辨率装置，其特征在于，包括 候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图 像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素 区域，以及设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的 多个变化样式；过采样单元，在图像数据的像素之间内插另一像素；匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与 包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二 变化样式之间的差值；积分精度向量计算单元，比较由匹配差值计算单元计算得到的第一和第二变化样 式的差值，以获得具有最小差值的像素位置，并且计算从目标像素开始并终止于搜索 像素的积分精度向量；一致向量计算单元，利用积分精度向量计算积分精度向量的一致向量，该一致向 量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及超分辨率像素值计算单元，根据积分精度向量、 一致向量以及从图像数据获得的 像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
7. —种超分辨率方法，其特征在于，包括将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包 括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域， 设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化 样式；计算目标像素区域中所包含像素的像素值的变化样式与包含搜索区域中的搜索像 素和搜索像素周边像素的区域中所包含像素的像素值的变化样式之间的差值；比较搜索区域中的各个像素的变化样式的差值，获得具有最小差值的第一像素位 置，以及具有第二差值在第一像素周边的第二像素位置；存储第一像素位置及其第一最小差值，以及第二像素位置及其第二差值；根据第一像素位置及其第一差值以及第二像素位置及其第二差值，以十进制精度 计算搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差 值的位置的十进制精度向量；利用十进制精度向量计算十进制精度向量的外插向量，该外插向量从具有最小差 值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大 于图像数据中所包括像素数目的超分辨率图像的像素值。
8. —种超分辨率方法，其特征在于，包括将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域， 设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；计算目标像素区域中所包含像素的像素值的第一变化样式与第一和第二区域中所 包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一和第二区域中 所包含的像素包括第一和第二搜索区域中的第一和第二搜索像素以及第一和第二搜索 像素周边的像素；通过差值比较单元比较第一和第二搜索区域中各像素的第一和第二变化样式之间 的差值，获得具有最小差值的第一和第二像素位置，具有第三差值在第一像素周边的 第三像素位置，以及具有第四差值在第二像素周边的第四像素位置；存储计算得到的第一像素位置及其第一差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值； 根据存储在存储器中的第一像素位置及其第一差值，第二像素位置及其第二差值， 第三像素位置及其第三差值，以及第四像素位置及其第四差值，以十进制精度计算第 一和第二搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最 小差值的位置的第一十进制精度向量和第二十进制精度向量；利用第一和第二十进制精度向量计算第一和第二十进制精度向量的内插向量，该 内插向量从具有最小差值的位置开始并终止于不包括在第一和第二搜索区域中的屏幕 上的像素；以及根据十进制精度向量、内插向量以及从图像数据获得的像素值，计算像素数目大 于图像数据中所包括像素数目的超分辨率图像的像素值。
9.一种超分辨率方法，其特征在于，包括将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域， 设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；对搜索区域中的各像素计算目标像素区域中所包含像素的像素值的变化样式与包 含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的变化样 式之间的差值；由差值比较单元比较由匹配差值计算单元计算得到的搜索区域中各像素的变化样 式的差值，获得具有最小差值的第一像素位置；在存储器中存储第一像素位置及其第一差值，以及在第一像素周边的第二像素位 置及其第二差值；根据存储在存储器中的第一像素位置及其第一差值，以及第二像素位置及其第二 差值，以十进制精度计算搜索区域中具有最小差值的位置，并且计算从目标像素开始 并终止于具有最小差值的位置的十进制精度向量；利用十进制精度向量计算十进制精度向量的一致向量，该一致向量从具有最小差 值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及根据十进制精度向量、 一致向量以及从图像数据获得的像素值，计算像素数目大 于图像数据中所包括像素数目的超分辨率图像的像素值。
10. —种超分辨率方法，其特征在于，包括将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域， 设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；在图像数据的像素之间内插另一像素，设定目标像素区域和搜索区域生成内插图 像数据；计算目标像素区域中所包含像素的像素值的变化样式与包含搜索区域中的搜索像 素和搜索像素周边像素的区域中所包含像素的像素值的变化样式之间的差值；比较搜索区域中的各个像素的变化样式的差值，以获得具有最小差值的第一像素 位置，并且计算从目标像素开始并终止于搜索像素的积分精度向量；利用积分精度向量计算积分精度向量的外插向量，该外插向量从搜索像素开始并 终止于不包括在搜索区域中的屏幕上的像素；以及根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大 于图像数据中所包括像素数目的超分辨率图像的像素值。
11. 一种超分辨率方法，其特征在于，包括将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域， 设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；在图像数据的像素之间内插另一像素，设定目标像素区域以及第一和第二搜索区 域生成内插图像数据；在内插图像数据中计算目标像素区域中所包含像素的像素值的变化样式与第一和 第二区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一 和第二区域中所包含的像素包括第一和第二搜索区域中的第一和第二搜索像素以及第 一和第二搜索像素周边的像素；比较第一和第二搜索区域的变化样式的各个差值，以分别获得具有最小差值的第 一像素位置和第二像素位置，并且计算从目标像素开始并分别终止于第一和第二像素 的第一和第二积分精度向量；利用第一和第二积分精度向量计算第一和第二积分精度向量的内插向量，该内插 向量从具有最小差值的位置开始并终止于不包括在第一和第二搜索区域中的屏幕上的 像素；以及根据积分精度向量、内插向量以及从图像数据获得的像素值，计算像素数目大于 图像数据中所包括像素数目的超分辨率图像的像素值。
12.—种超分辨率方法，其特征在于，包括将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域， 设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；在图像数据的像素之间内插另一像素，设定目标像素区域和搜索区域生成内插图像数据；计算目标像素区域中所包含像素的像素值的变化样式与包含搜索区域中的搜索像 素和搜索像素周边像素的区域中所包含像素的像素值的变化样式之间的差值；比较搜索区域中的各个像素的变化样式的差值，以获得具有最小差值的第一像素 位置，并且计算从目标像素开始并终止于搜索像素的积分精度向量；利用积分精度向量计算积分精度向量的一致向量，该一致向量从具有最小差值的 位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及根据积分精度向量、 一致向量以及从图像数据获得的像素值，计算像素数目大于 图像数据中所包括像素数目的超分辨率图像的像素值。
全文摘要
一种超分辨率装置和方法，包括将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的像素值，设定包括目标像素及其周边像素的区域作为目标区域，设定用于在目标像素区域中搜索像素值变化样式的区域；计算第一变化样式和第二变化样式之间的差值；比较第一和第二变化样式之间的差值；根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
文档编号H04N7/01GK101163224SQ20071018190
公开日2008年4月16日 申请日期2007年10月10日 优先权日2006年10月10日
发明者五十川贤造, 井田孝, 松本信幸, 田口安则, 竹岛秀则 申请人:株式会社东芝