专利名称：图像处理装置和方法
技术领域：
本公开涉及图像处理装置和方法。特别地，本公开涉及允许更易于执行图像特征分析的图像处理装置和方法。
背景技术：
除了过去的组织诊断之外，由数字病理学成像(DPI)系统做出病理诊断的应用范围也同样已经扩展到细胞诊断。组织诊断是一种在检查或手术等中，使用手术刀切除例如要切割的病变部位，之后将其切分为薄片并进行着色以使用显微镜进行观察的方法。通常在组织诊断中，将细胞作为一组进行观察，比如，诊断细胞群在大小、形状、排列方式等方面是否存在异常，或者本来不存在的细胞是否出现在细胞群中。另一方面，细胞诊断是一种对已经自然脱落的细胞(咳痰细胞诊断)、已经剥落的细胞(剥脱性细胞诊断)、或者由针刺等吸入的细胞(吸入细胞学)进行染色并随后使用显微镜进行观察的方法。通常在细胞诊断中，对少数细胞进行观察，从而诊断在每一个细胞中，每一个细胞的细胞核的大小、形状等方面是否存在异常。在DPI系统中，以数字数据的形式管理组织和细胞的图像(由显微镜获得的观察图像)。因此，可根据用途等针对观察图像(即数字数据)进行各种适当的图像处理。作为各种图像处理中的一种，已知关于图像的特征分析，例如感兴趣区域(R0I， Region of Interest)的检测。这种情况下，通过分析图像特征，分析结果可应用于其他各种图像处理和其他各种诊断中。例如，提出了一种方法，其中在组织诊断中，对观察图像执行基于边缘检测的ROI 检测，并且从检测结果中计算得到细胞的密集度，从而确定癌细胞。例如，在日本专利公开 2009-175040中公开了这种方法。另一方面，通常在细胞诊断的情况下，与许多情形下，与组织诊断的情况相比，在被观察的细胞图像中，存在不需要观察、不存在细胞的大量区域(空白区域)。此外，不同于组织诊断，在细胞诊断的情况下，观察对象不是组织的切断面。因此， 比如在一些情形下，细胞彼此重叠并且各个细胞的大小彼此不同。总之，在一些情形下，观察区域内的每一个部分在深度方向上的焦点位置不同。为了处理这种情况，在细胞诊断的情形下，在一些情形下，生成被称为所谓的Z stack的深度方向中的焦点位置控制，并且生成在深度方向的焦点位置互不相同的多个观察图像。已经说明了 在许多情形下，细胞诊断下的观察图像具有不同于与组织诊断下的观察图像的特征。因此，适用于细胞诊断的观察图像特征的特征分析优选地对于细胞诊断的观察图像执行。
发明内容
然而，迄今为止，还没有提出使用适当的方法对细胞分析的观察图像特征进行特征分析的方法。因此，分析处理的负荷不必要的增大等。因此，可能不能有效地进行图像的特征分析。已经做出了本公开以便解决上述问题，因此需要提供允许更易于进行图像特征分析的图像处理装置和方法。为了实现上述需求，根据本发明的实施例，提供了一种图像处理装置，其包括缩小部，以预定的缩小比例缩小要进行特征分析的图像；ROI掩膜生成部，其分析作为缩小部以预定的缩小比例缩小的图像的缩小图像的特征，并且生成ROI掩膜，作为掩膜信息，其指示感兴趣区域，作为在缩小图像中感兴趣的区域；ROI掩膜放大部，将ROI掩膜生成部生成的ROI掩膜的尺寸放大到在图像被缩小部以预定的缩小比例缩小之前的尺寸；以及ROI掩膜更新部，其分析由缩小部以预定的缩小比例缩小之前的图像的设置为作为ROI掩膜中不感兴趣区域的空白区域的区域的特征，并且使用分析结果更新ROI掩膜；ROI表示感兴趣区域。在本发明的该实施例中，以预定的缩小比例缩小要执行特征分析的图像。分析作为以预定的缩小比例缩小的图像的缩小图像的特征，并且生成感兴趣区域(ROI)掩膜，作为掩膜信息，其指示作为缩小图像中的感兴趣的区域的感兴趣区域。因而生成的ROI掩膜的尺寸被放大到图像被以预定的缩小比例缩小之前的尺寸。而且，分析图像被以预定的缩小比例缩小之前的图像的设置为作为ROI掩膜中不感兴趣的区域的空白区域的区域特征， 并且使用分析结果更新ROI掩膜。根据本发明的另一实施例，提供了一种用于图像处理装置中的图像处理方法。该图像处理方法包括由缩小部以预定的缩小比例缩小要执行特征分析的图像；由ROI掩膜生成部分析作为由缩小部以预定的缩小比例缩小的图像的缩小图像的特征，并且生成作为掩膜信息的ROI掩膜，其指示作为缩小图像中的感兴趣的区域的感兴趣的区域；由ROI掩膜放大部放大ROI掩膜生成部生成的ROI掩膜尺寸至以预定的缩小比例缩小之前的图像的尺寸；以及由ROI掩膜更新部分析在以预定的缩小比例缩小之前的图像的设置为作为ROI掩膜中不感兴趣的区域的空白区域的区域的特征，并且使用分析结果更新ROI掩膜；ROI表示感兴趣区域。如上所述，根据本发明的一个实施例，图像可以被处理，尤其是更易于分析图像特征。
图1为示出根据本公开实施例的ROI检测装置的主要配置的框图；图2为说明原始图像和缩小图像之间的处理对象块的差别的图；图3为示出图1中所示的ROI掩膜生成部的主要配置的框图；图4为说明缩小图像中的块尺寸的图；图5为示出图1中所示的掩膜区域扩展部的主要配置的框图；图6为说明设置为保护区域的图像样式的示例的图；图7为说明保护区域的设置情形的示例的图；图8为说明掩膜扩展情形的示例的图；图9为示出图1中所示的ROI掩膜更新部的主要配置的框图10为说明掩膜的更新情形的图；图11为说明边缘提取情形的示例的图；图12为说明掩膜合成的示例的图；图13为说明ROI检测处理的流程的流程图；图14为说明ROI掩膜生成处理的流程的流程图；图15为说明掩膜区域扩展处理的流程的流程图；图16为说明ROI掩膜更新处理的流程的流程图；以及图17为示出应用了本公开的个人计算机的主要配置的框图。
具体实施例方式在下文中将参照附图详细描述本公开的实施例。需要注意，下面将根据以下次序进行说明1. ROI检测装置(实施例)；以及2.个人计算机(应用示例)。1.实施例[R0I检测装置]图1为示出作为根据本公开实施例的图像处理装置的感兴趣区域(ROI)检测装置的主要配置的框图。ROI检测装置100分析输入图像的特征。此外，ROI检测装置100根据区域特征并基于分析结果将输入图像内的区域分类为局部区域。尤其是，ROI检测装置100 每预定局部区域分析输入图像的特征，并且根据局部区域的特征将局部区域分类为子局部区域。更具体地说，ROI检测装置100根据图像特征生成掩膜信息，作为将输入图像内的局部区域分类为局部区域的信息。例如，ROI检测装置100通过这样的图像分析来检测感兴趣区域，其指示输入图像的感兴趣的部分。简言之，ROI检测装置100生成指定输入图像内感兴趣区域的掩膜信息。 此外，比如，ROI检测装置100可检测指示输入图像内不感兴趣的部分的空白区域。简言之， ROI检测装置100生成指定输入图像内空白区域的掩膜信息。由ROI检测装置100以这样的方式生成的掩膜信息可用于多种图像处理中。ROI检测装置100包括图像缩小部101、ROI掩膜生成部102、感兴趣区域扩展部 103,ROI掩膜放大部104以及ROI掩膜更新部105。而且，ROI检测装置100包括感兴趣区域扩展部106、掩膜合成部107、边缘检测部108以及边缘掩膜生成部109。[分级型ROI检测概述]ROI检测装置100以块为处理单元、对于每个具有预定尺寸的局部区域(块)分析作为处理对象的图像的特征。简言之，ROI检测装置100每个预定块确定感兴趣程度，例如，确定块是否为感兴趣区域(ROI)。换句话说，由ROI检测装置100生成的掩膜信息表示每个块的图像特征。ROI检测装置100以多个图像尺寸分级地分析输入图像的特征。例如，ROI检测装置100缩小输入图像以生成缩小图像，并且相应地对缩小图像和原始图像(未缩小的输入图像)进行特征分析。而且，ROI检测装置100通过使用这两种分析结果生成掩膜信息。此时，ROI检测装置100每多个块(具有相同尺寸)，分析具有多个图像尺寸的输入图像的特征。因此，如图2所示，一块中包含的图像的范围对于每个图像尺寸而不同。在图2的左侧示出了原始图像中的块的示例，而在图2的右侧示出了缩小图像中的块的示例。 尽管左侧和右侧示例的块尺寸彼此相同，但是其中包含的图像的范围在缩小图像中比原始图像中更宽。ROI检测装置100以这样的方式对多个范围分析特征，从而可以抑制感兴趣区域的错误检测以及检测遗漏。例如，当输入图像为从细胞诊断获得的观察图像时，一般来说，在输入图像内的区域中存在细胞全体出现的部分以及不存在任何细胞的部分。在细胞诊断中，细胞成为观察对象。因此，在从细胞诊断获得的观察图像中，一般来说，存在细胞的部分成为感兴趣区域 (ROI)，并且不存在任何细胞的部分变为空白区域。ROI检测装置100每个块获得像素值的偏移值，并且根据偏移值确定关注的块是否为存在细胞的部分(关注的区域是否为感兴趣区域)等。一般地，当块中存在细胞时，容易生成各种分量，并且像素值的方差变大。相反，当在块中不存在任何细胞时，获得统一的图像，并且像素值的方差变小。然而，当在细胞诊断中处理Z stack时，需要立体抓取细胞的尺寸和形状。因此， 在一些情况下，在深度方向上改变焦点位置的同时，生成多个图像。因此，也可以认为，在一些情况下，作为处理对象的块图像没有被聚焦。当错过了焦点时，图像被散焦，因此边缘分量变得容易削弱。因此，一般地，使用整个块的像素值的方差的方法比采用边缘检测的方法在焦点的错失方面要好，进而可以精确地确定块中细胞的存在或不存在。然而，由于当焦点极大地错失时方差变小，存在导致细胞的检测遗漏的可能性。另外，也可以认为在细胞的结构方面，块位于细胞内的平坦部分，如图2的左手侧所示。这种情况下，也可以认为像素值变得均勻以减小方差，因而关注的块被指定为空白区域。当引起了感兴趣区域的检测遗漏以及错误检测时，可能感兴趣区域的检测遗漏和错误检测对利用感兴趣区域的掩膜信息的图像处理产生了负面影响。例如，在根据掩膜信息只压缩输入图像的空白区域的情况下，存在这样的可能性当本质上设置为感兴趣区域 (例如细胞等)的部分由于检测遗漏而被设置为掩膜信息中的空白区域时，该部分被压缩以减小图像质量。另一方面，在缩小图像的情况下，由于如图2右侧所示，与原始图像中相比，在缩小图像中，块中包含的图像的范围更宽，因此包含细胞的边缘部分等的可能性变大。另外， 块中包含的图像范围扩展，从而一般来说，像素值的方差易于变大。然而，当由于图像缩小使得块内不存在任何细胞的部分变宽时，也可以认为该块中像素值的方差减小，因此这部分被设置为空白区域。因此，如上所述的ROI检测装置100以多种分级型方式进行特征分析。例如，ROI 检测装置100相应地对缩小图像和原始图像进行特征分析，并且根据两个分析结果生成掩膜信息。结果，与只使用原始图像或者只使用缩小图像的情形相比，ROI检测装置100可以抑制感兴趣区域的检测遗漏和错误检测。换句话说，ROI检测装置100通过以多种分级型方式仅仅执行特征分析，更易于执行更精确的特征分析，而不要求复杂处理或高级分析处理。
[输入图像]输入到ROI检测装置100的输入图像为YUV的Y平面(亮度分量)。需要注意，可通过执行RGB的灰度级变换来得到输入图像。另外，当在方差处理中(将在下文描述)还使用了 YUV的U平面和V平面(色差分量)时，可更加稳妥地检测细胞(感兴趣区域)。下文中将详细描述图1中示出的ROI检测装置100的各部分。[图像缩小部]首先将描述图像缩小部101。图像缩小部101以预定的缩小率缩小输入图像，以生成缩小图像(下采样)。例如，针对分级型ROI检测中的第一分级处理，图像缩小部101将输入图像在高度和宽度上缩小为四分之一。输入图像的缩小比例依据电子显微镜的级别的放大率、观测对象(比如细胞)的尺寸等按要求改变。缩小输入图像的方法是任意的。例如，也可使用二维抑制滤波器或者二维均值滤波器。前者为高精度和低速度的滤波器。并且，尽管后者在精度上不及前者，但是后者为高速滤波器。另外，像素也只是变稀疏。图像缩小部101将由此生成的缩小图像的信息提供给ROI掩膜生成部102。[R0I掩膜生成部]ROI掩膜生成部102分析输入到其的缩小图像的特征并生成指示缩小图像中感兴趣区域的掩膜信息(R0I掩膜)。图3为示出ROI掩膜生成部102的主要配置的框图。如图 3所示，ROI掩膜生成部102包括方差计算部121以及ROI等级设置部122。方差计算部121对于输入到其的缩小图像的每个NXN(N 任意自然数)像素块， 计算像素值的方差值。从表达式(1)中计算像素值的方差V(X)V(X) = E (X2)-(E(X))2 (1)其中E(X)代表期望值。例如，如图4所示，当从64X64像素中获得缩小图像，并从8 X 8像素获得块时，缩小图像被分割为64个块。这种情况下，方差计算部121计算缩小图像的64个方差V(X)的值。需要注意，块尺寸(NXN)是任意的。不过，当掩膜信息用于遵循联合图像专家组 (JPEG)或运动图像专家组(MPEG)的压缩处理时，块尺寸被设置为适合压缩处理块的尺寸， 由此压缩处理期间的算术运算变简单。方差计算部121将由此计算出的块的方差V(X)的值提供给ROI等级设置部122。 此时，方差V(X)以及对应于方差V(X)的区域(比如块)被明确指定。明确指定的方法是任意的。例如，可预先设置以预定顺序排列缩小图像的像素的排列顺序，并且以该排列顺序将对应于像素的方差V(X)的值提供给ROI等级设置部122。这一操作可以不在像素中进行，但可以在块中进行。可以理解，该操作也可在其他单元中执行。ROI等级设置部122根据从方差计算部121提供给其的方差V(X)的值，相应地设置指示块中区域的类别(感兴趣程度)的ROI等级。例如，ROI等级设置部122以“空白区域”设置具有方差V(X) = 0的块的ROI等级。另外，ROI等级设置部122以“细胞区域等级低”设置具有方差V(X) = 1的块的ROI等级，并且以“细胞区域”设置具有方差V(X) = 2的块的ROI等级。
设置为“空白区域”的ROI等级指示关注的区域不是感兴趣的区域(空白区域)。 总之，设置为“空白区域”的ROI等级指示关注的区域是不存在细胞的区域。设置为“细胞区域”的ROI等级指示关注的区域为感兴趣的区域(感兴趣区域)。 简言之，由设置为“细胞区域”的ROI等级指示关注的区域是存在细胞的区域。设置为“细胞区域等级低”的ROI等级指示关注的区域为感兴趣区域之一。不过， 设置为“细胞区域等级低”的ROI等级有别于设置为“细胞区域”的ROI等级。这种情况下，通过使用缩小图像来获得像素值的方差V(X)的值。因此，考虑去除空白区域中包含的相机噪声以及有损方案(stain solution)的噪声二者，设置方差V(X) 的阈值。在具有方差V(X) = 1的块中，尽管包含细胞图像的可能性低，但是包含细胞图像的可能性并不为0。因此，为安全起见(为抑制感兴趣区域的检测遗漏的目的)，具有方差 V(X) = 1的块被设置为感兴趣区域。然而，这一部分被设置为“细胞区域等级低”的ROI等级，其不同于具有方差V(X) = 2或2以上的块的被设置为“细胞区域”的ROI等级，从而允许根据处理使用应用来执行最优处理。例如，假设在编码处理的量化处理中使用掩膜信息，并且根据ROI等级设置量化参数。这种情况下，ROI等级被分离以将具有方差V (X) = 1的块与具有方差V (X) = 2或2 以上的块分开，从而可以将具有方差V(X) = 1的块的量化参数设置得比具有方差V(X)= 2或2以上的块的量化参数更低。结果，可增强图像数据的编码效率，同时抑制视觉影响。当以这种方式根据方差V (X)的值设置ROI等级时，ROI设置部122向感兴趣区域扩展部103提供关于ROI等级的预定多条信息，其作为指示各个块的ROI等级的掩膜信息 (R0I掩膜)。ROI掩膜为预定的多条信息，其指示缩小图像的像素的ROI等级。换句话说，ROI 掩膜为预定的多条信息，其指示缩小图像中ROI等级的区域。[感兴趣区域扩展部]感兴趣区域扩展部103根据预定的规则扩展提供给其的ROI掩膜中的感兴趣区域的范围。这是用来防止本质上设置为感兴趣区域(例如包含细胞图像的块)的部分被设置为空白区域的处理，也就是说，用于抑制感兴趣区域的检测遗漏的处理。图5为示出感兴趣区域扩展部103的主要配置的框图。如图5所示，感兴趣区域扩展部103包括掩膜分析部141以及ROI等级设置部142。掩膜分析部141指定要被扩展的区域。例如，如由图6中圆圈包围的各部分那样， 即使在细胞诊断的观察图像中细胞聚集的部分中，在一些情况下在各细胞之中也可引起间隔。也可以认为R0I掩膜生成部102依据块的位置将这样的区域设置为空白区域。然而， 细胞互相邻近的区域中包含待观察的信息的可能性大，因而在许多情况下，将这样的区域设置为感兴趣区域。为安全起见(为了抑制感兴趣区域的检测遗漏的目的)，感兴趣区域扩展部103 扩展感兴趣区域，以防止这种部分被设置为空白区域。为此，掩膜分析部141指定这样的部分。扩展方法为任意的。例如，ROI掩膜中确定存在细胞的区域可被均勻扩展。例如， 掩膜分析部141分析ROI掩膜，以指定与设置为感兴趣区域的块相邻的空白区域的块作为处理对象块。此时，靠近设置为感兴趣区域的块并且不与感兴趣区域相邻的块也包含在处理对象块中。另外，感兴趣区域中，可仅仅扩展设置为“细胞区域”的ROI等级的块。另外，例如，根据区域周围的各区域情形，可再次查看ROI掩膜中确定不存在细胞的区域。例如，当掩膜分析部141通过分析ROI掩膜的区域分布模式，确定每个被设置为感兴趣区域(或细胞区域)的多个块存在于设置为空白区域的块周围时，掩膜分析部141指定设置为空白区域的块作为处理对象块。在处理对象块周围的感兴趣区域(或细胞区域) 的块的比率(或数目)是任意的，其用作关注的块是否被设置为处理对象块的参考(阈值)。当要求更稳妥地获得感兴趣区域时，采用前者。另一方面，当要求确实提取空白区域时，采用后者。掩膜分析部141将分析结果与ROI掩膜一起提供给ROI等级设置部142。例如， 如图7所示，ROI等级设置部142将指定的处理对象块的ROI等级设置为“保护区域”。设置为“保护区域”的ROI等级指示关注的区域为感兴趣区域之一。然而，设置为“保护区域” 的ROI等级有别于设置为“细胞区域”的ROI等级以及设置为“细胞区域等级低”的ROI等级。ROI等级设置部142将处理对象块设置为不同于确定存在细胞的块的“细胞区域” 和“细胞区域等级低”的ROI等级，从而允许根据处理使用应用执行最优处理。当已经按照上述方式扩展了感兴趣区域时，ROI等级设置部142将ROI掩膜提供给ROI掩膜放大部104。需要注意，感兴趣区域扩展部103可被略去。这种情况下，由ROI掩膜生成部102 生成的ROI掩膜被提供到ROI掩膜放大部104。[R0I掩膜放大部]ROI掩膜放大部104放大ROI掩膜。根据具有第一分级的图像尺寸的输入图像创建要提供到ROI掩膜放大部104的ROI掩膜。因此，ROI掩膜放大部104以这样的方式变换ROI掩膜的尺寸，使得ROI掩膜可用于第二分级中的处理。更特别地，ROI掩膜放大部104根据缩小图像对创建的ROI掩膜上采样，以便ROI 掩膜的尺寸返回至原始图像的尺寸(上采样)。总之，ROI掩膜放大部104以在图像缩小部 101中输入图像缩小过程中的缩小比例相对应的放大比例来放大ROI掩膜，从而获得指示原始图像(缩小前的输入图像)的感兴趣区域的掩膜信息。放大方法是任意的。例如，如图8所示，可按照像素缩小部101中输入图像缩小过程中的缩小比例来放大ROI掩膜中的像素的数量。例如，当在图像缩小部101中输入图像在高度和宽度上被缩小为四分之一时，ROI掩膜放大部104将ROI掩膜中的一个像素复制为高度和宽度上的四个像素(总共16个像素)。这种情况下，由于ROI掩膜中的像素值表示ROI等级，因此只需要简单执行复制(改变像素值并非基本优选的，这是因为ROI等级必须被改变)。在图8中，由每个具有四个圆角的四边形环绕的每个圆圈表示ROI掩膜的像素。并且，阴影圆圈表示感兴趣区域，开圆表示空白区域。ROI掩膜放大部104在高度和宽度上将具有四个圆角的四边形内的左上端的像素复制为四个像素，以生成具有四个圆角的四边形内的16个像素。也就是说，具有相同ROI等级的每个区域在高度和宽度上被放大四倍。
需要注意，由于块尺寸对于多分级为通用的，所以原样保持块尺寸NXN。另外，如上所述的复制可不按像素执行，而是按块来执行。ROI掩膜放大部104提供放大像素尺寸的 ROI掩膜到ROI掩膜更新部105[R0I掩膜更新部]ROI掩膜更新部105通过使用原始图像(图像尺寸未变化的输入图像)，进一步校正从ROI掩膜放大部104提供给其的ROI掩膜的空白区域，从而抑制感兴趣区域的检测遗漏。图9为示出ROI掩膜更新部105的主要配置的框图。如图9所示，ROI掩膜更新部105包括空白区域指定部161、方差计算部162以及ROI等级设置部163。空白区域指定部161根据具有尺寸被放大到原始图像的尺寸的ROI掩膜来指定输入图像(原始图像)中的空白区域部分。而且，空白区域指定部161将ROI掩膜和输入图像中的空白区域部分二者发送到方差计算部162。方差计算部162在提供到其的输入图像中的空白区域部分中对于每个块获得方差值。总之，例如如图10所示，方差计算部162仅针对每个被指定为输入图像的空白区域的块来获取方差值(获取NXN像素的方差值)。在方差计算部162中可抑制由缩小处理造成的检测遗漏。方差计算部162将由此计算的方差值以及ROI掩膜二者提供给ROI等级设置部163。ROI等级设置部163根据由此计算的方差值重置ROI掩膜中的空白区域的ROI等级。例如，ROI等级设置部122设置具有方差V(X) = 0的块的每个ROI等级以及具有方差V(X) = 1的块的ROI等级为“空白区域”。另外，比如，ROI等级设置部122设置具有方差V(X) = 2或2以上的块的ROI等级为“细胞区域”。由于使用原始图像获得方差，因此在空白区域中也存在大量噪声。因此，由于大量噪声，每个方差被计算出以至于相对高的可能性高。为了处理这种情况，ROI等级设置部 122还设置具有方差V(X) = 1的块的ROI等级作为“空白区域”，从而抑制这种噪声分量造成的错误检测。当按上述方式重置ROI掩膜中的空白区域的ROI等级时，ROI等级设置部163将更新的ROI掩膜提供至感兴趣区域扩展部106。[感兴趣区域扩展部]感兴趣区域扩展部106根据预定的规则，对具有原始图像尺寸的更新的ROI掩膜执行与感兴趣区域扩展部103中相同的扩展处理，以放大感兴趣区域(或者细胞区域)的范围。这种处理是为了防止本质上被设置为感兴趣区域(例如，其中包含细胞图像的块) 的部分被设置为空白区域，也就是说，为了抑制感兴趣区域的检测遗漏的处理。感兴趣区域扩展部106具有与感兴趣区域扩展部103相同的配置，并且执行与感兴趣区域扩展部103中相同的处理。因此，参照图5和图6给出的感兴趣区域扩展部103 的描述同样可以应用到感兴趣区域扩展部106的描述中。当感兴趣区域扩展部106已扩展感兴趣区域(或者细胞区域)时，感兴趣区域扩展部106将ROI掩膜提供给掩膜合成部107。需要注意，感兴趣区域扩展部106可被略去，这与感兴趣扩展部103的情形类似。这种情况下，已被ROI掩膜更新部105更新的ROI掩膜被提供至掩膜合成部107。[边缘检测部]现在，图1中示出的ROI检测装置100基于边缘检测执行感兴趣区域检测，其与通过使用像素值的方差V (X)的值的分级型感兴趣区域检测相分离。一般地，在细胞核或者核体中，边缘是连续的。因此，与使用方差V(X)的值的方法相比，在基于滞后从外围边缘信息检测连续边缘，并使用边缘检测结果的方法中，能够更精确地指定感兴趣区域。然而，如上所述，边缘检测对于焦点丢失具有低容限。因此，ROI检测装置100同时使用这两种方法。 通过采用这样的过程，ROI检测装置100能够更易于执行感兴趣区域的更精准的检测，而不需要任何复杂的算术运算。边缘检测部108对输入图像(原始图像)执行边缘检测。使用Sobel滤波器进行边缘检测，并且使用Carmy边缘检测器执行边缘确定。尽管Carmy边缘检测器的滞后阈值是任意的，但是其阈值优选地设置为在聚焦过程中适于提取细胞轮廓的值。例如，Low可设为50，并且HIGH可设为100。边缘检测部108将检测结果提供至边缘掩膜生成部109。[边缘掩膜生成部]边缘掩膜生成部109根据从边缘检测部108获得的边缘检测结果，对于每个块 (具有NXN个像素)确定是否包含边缘。而且，边缘掩膜生成部109生成边缘掩膜作为掩膜信息，其中包含边缘的块的ROI等级被设置为“最感兴趣区域”。此时块尺寸设置为与上述的ROI掩膜的块尺寸相同。设置为“最感兴趣区域”的ROI等级指示关注的区域为感兴趣区域之一。设置为 “最感兴趣的区域”的ROI等级在感兴趣程度上与作为其他感兴趣区域的“细胞区域”、“细胞区域等级低”以及“保护区域”的任何一个相比，具有更高的等级。总之，确定在检测到边缘的区域(块)中，存在细胞的可靠性最高。图11示出边缘掩膜的一个示例。在图11中，曲线表示边缘，并且每个四边形表示块。包含曲线的倾斜样式的四边形是ROI等级被设置为“最感兴趣区域”的块。当边缘掩膜生成部109已生成指示设置为“最感兴趣区域”的这种ROI等级的边缘掩膜时，边缘掩膜生成部109将由此生成的边缘掩膜提供至掩膜合成部107。[掩膜合成部]掩膜合成部107合成由感兴趣区域扩展部106分级检测并提供至其的ROI掩膜和从边缘掩膜生成部109提供至其的边缘掩膜。总之，例如，如图12所示，掩膜合成部107在 ROI掩膜的感兴趣区域的分布上重写边缘掩膜的最感兴趣区域的分布，从而在ROI掩膜的感兴趣区域的分布中反映边缘掩膜的最感兴趣区域的分布。如上所述，设置为“最感兴趣区域”的ROI等级在感兴趣程度方面，与设置为“细胞区域”、“细胞区域等级低”和“保护区域”的任何一个ROI等级相比，具有更高的等级。因此， 掩膜生成部107将设置为“最感兴趣的区域”的ROI等级优先化于设置为“细胞区域”、“细胞区域等级低”和“保护区域”的任意一个ROI等级之上。例如，当针对同一块，在ROI掩膜中设置被设置为“细胞区域”的ROI等级并在边缘掩膜中设置被设置为“最感兴趣区域”的 ROI等级时，掩膜合成部107以设置为“最感兴趣区域”的ROI等级来设置该块。掩膜合成部107输出合成结果，作为ROI掩膜。[R0I检测处理的流程]
接下来，将给出关于ROI检测装置100执行的处理流程的描述。首先，将参照图13 中示出的流程图来描述ROI检测处理的流程。当已经将关于输入图像的信息输入到ROI检测装置100时，该ROI检测装置开始执行用于生成输入图像的ROI掩膜的ROI检测处理。当已经开始ROI检测处理时，在步骤SlOl，图像缩小部101以预定的缩小比例来缩小输入图像。在步骤S102，ROI掩膜生成部102使用缩小图像生成ROI掩膜。在步骤S103，感兴趣区域扩展部103执行感兴趣区域扩展处理，以扩展已在步骤 S102中生成的ROI掩膜的感兴趣区域。感兴趣区域扩展处理的细节将在下文描述。在步骤S104，ROI掩膜放大部104放大ROI掩膜。在步骤S105，ROI掩膜更新部 105使用输入图像(原始图像)更新ROI掩膜。在步骤S106，感兴趣区域扩展部106执行感兴趣区域扩展处理，以扩展更新的ROI 掩膜的感兴趣区域。需要注意，由于类似于步骤S103中的处理来执行感兴趣区域扩展处理，因此为简便起见，此处略去其详细描述。在步骤S107，边缘检测部108从输入图像(原始图像)中检测边缘。在步骤S108， 边缘掩膜生成部109使用从步骤S107的处理中获得的边缘检测结果来生成边缘掩膜。在步骤S109，掩膜合成部107合成在步骤S106的处理中放大感兴趣区域的ROI掩膜以及在步骤S108的处理中生成的边缘掩膜。在已经结束步骤S109中的处理后，ROI检测装置100输出已和步骤S109中的处理中的边缘掩膜合成的ROI掩膜，作为ROI检测结果，进而结束图13所示的ROI检测处理。[R0I掩膜生成处理的流程]接下来，将参照图14所示的流程图，给出有关图13的步骤S102中的处理中执行的ROI掩膜生成处理的流程的描述。当已开始ROI掩膜生成处理时，在步骤S121，方差计算部121关于缩小图像，对于每个预定部分区域(块)，计算像素值的方差V(X)的值。在步骤S122，ROI等级设置部122根据步骤S121中的处理中计算的方差V(X)的值，设置各个部分区域(块)的ROI等级。当ROI等级设置部122已设置ROI等级时，在步骤S123，该ROI等级设置部122输出各个块的ROI等级，作为ROI掩膜。当已经结束步骤S123中的处理时，ROI掩膜生成部102结束图14所示的ROI掩膜生成处理。并且，ROI检测装置100的操作返回至图13所示的S102中的处理，并且执行在步骤S103中的处理中或处理后的预定的多项处理。[感兴趣区域扩展处理的流程]接下来，将参照图15所示的流程图给出有关图13的步骤S103的处理中执行的感兴趣区域扩展处理的流程的描述。当已经开始感兴趣区域扩展处理时，在步骤S141，掩膜分析部141分析ROI掩膜中的ROI等级的格式，并且在步骤S142，指定具有预定周围格式的部分区域。例如，掩膜分析部141指定设置为感兴趣区域的块周围的块，或者大部分周围块均被设置为感兴趣区域的块。在步骤S143，ROI等级设置部142设置步骤S142中的处理中指定的部分区域的 ROI等级为“保护区域”。
当已结束步骤S143中的处理时，感兴趣区域扩展部103结束图15所示的感兴趣区域扩展处理。并且，ROI检测装置100的操作返回至图13所示的步骤S103中的处理。之后，执行步骤S104中的处理中或处理后的预定的多项处理。需要注意，在图13所示的步骤S106，感兴趣区域扩展部106还执行与感兴趣区域扩展部103中相同的感兴趣区域扩展处理。[R0I掩膜更新处理的流程]接下来，将参照图16所示的流程图，关于图13的步骤S105中的处理中执行的ROI 掩膜更新处理的流程给出描述。当已经开始ROI掩膜更新处理时，在步骤S161，空白区域指定部161指定对应于 ROI掩膜的“空白区域”的部分区域(块)。在步骤S162，方差计算部162获得关于步骤S161中指定的部分区域(块)的像素值的方差V(X)的值。在步骤S163，ROI等级设置部163根据步骤S162中计算的方差V(X)的值设置部分区域的ROI等级。当以上述方式已更新ROI掩膜时，在步骤S164，ROI等级设置部163输出更新的 ROI掩膜。在步骤S164，ROI掩膜更新部105结束图16中示出的ROI掩膜更新处理。并且， ROI检测装置100的操作返回至图13所示的步骤S105中的处理。之后，执行步骤S106中的处理中或者处理后的预定的多项处理。按照上述方式，ROI检测装置100在分级处理中更精确地生成ROI掩膜。采用这样的步骤，ROI检测装置100可高速且低负荷地生成更加精确的ROI掩膜，而不需要复杂的算术运算处理。因此，ROI检测装置100同样可以抑制成本上升。总之，ROI检测装置100可以更易于分析图像特征。[R0I掩膜的使用示例]以上述方式生成的ROI掩膜可用于各种图像处理中。例如，当输入图像经历与 JPEG编码系统一致的压缩编码时，可使用ROI掩膜。在遵循JPEG编码系统的压缩编码中的应用中，不同于运动图像压缩，控制图像内的量化参数是不可能的。为了应对这种情况，可以想到利用ROI掩膜，仅对不存在细胞的部分(空白区域)执行滤波处理，从而降低位数量。结果，可以在不增加视觉影响的情况下， 以图像质量恶化是不显眼的方式提高了编码效率。需要注意，在这种情况下，块尺寸优选设置为8X8的像素，作为JPEG编码系统中的正交变换处理单元。此外，对于“保护区域”，优选地，“细胞区域”被统一扩展(优选执行更安全的设置)，这样滤波不影响作为感兴趣区域的“细胞区域”。另外，由于如上所述不可能执行精细的量化控制，因此可略去边缘掩膜的生成和合成。此外，例如，当输入图像经历与MPEG编码系统或者AVC (高级视频编码)编码系统一致的压缩编码时，可利用该ROI掩膜。在例如MPEG编码系统或者AVC编码系统的运动图像压缩系统的情形下，对于每个宏块可控制量化参数。因此在这种情况下，块尺寸优选设置为(16X16)像素，以对应宏块尺寸。另外，对于“保护区域”优选执行部分扩展。在这种情况下，在部分扩展中，只有被大部分是“细胞区域”的周围块包围的“空白区域”被设置为“保护区域”。此外，由于可以执行精细的量化控制，因此优选地，也生成边缘掩膜，其与ROI掩膜合成。在运动图像压缩中，可以设置精细的量化控制，以便以聚焦区域为中心，量化参数设置为高，量化参数逐步变更，等等。因此，进一步期待编码效率的提升。如已经说明的那样，通过利用ROI掩膜，可对于每个部分区域控制压缩比。结果， 可提高编码效率，使得图像质量恶化不显著。另外，根据压缩方法可易于执行归功于ROI掩膜的适当的加权使用。另外，ROI掩膜还可用于摄影等过程中的去噪滤波处理、滤波器强度设置等。此外， 由于聚焦位置可由ROI等级表示，因此例如ROI掩膜还可用于观看者等的聚焦位置的引导控制。需要注意，当如上所述的ROI检测用于具有Z stack的细胞诊断中的观测图像时， 为了增强安全性，也可采用如下过程。也就是说，可一个放置在另一个上地堆叠Z stack的各层(焦点位置彼此不同的各图像)中检测到的ROI掩膜，并且曾确定为细胞的部分适合于在Z-方向上被保护。总之，ROI掩膜在层间彼此合成。例如，当在ROI掩膜中针对彼此相同的块来设置彼此不同的ROI等级时，采用不同的ROI等级中最高的ROI等级。结果，可能抑制由于焦点丢失等导致的感兴趣区域的检测遗漏。当然，对于每层可以改变一个块的ROI等级，而不需要执行这种合成。总之，ROI检测装置100可以更易于执行特征分析，该特征分析可用于各种图像处理或者可生成ROI掩膜。2.应用示例[个人电脑]上述处理系列既可通过硬件执行，也可通过软件执行。这种情况下，例如，可按照图17示出的个人计算机的形式来配置执行该系列处理的部分。在图17中，个人计算机300的中央处理单元(CPU) 301根据只读存储器(ROM) 302 中存储的程序，或者从存储部件313加载到随机访问存储器(RAM) 303的程序，执行多项处理。CPU 301执行多项处理所需要的数据等也可适当存储在RAM 303中。CPU 301、ROM 302以及RAM 303经由总线304彼此连接。I/O接口 310也连接到总线304。输入部分311、输出部分312、存储部分313以及通信部分314连接至I/O接口 310。 这种情况下，输入部分311由键盘、鼠标等构成。输出部分312由诸如阴极射线管(CRT)或液晶显示(IXD)设备之类的显示设备、扬声器等构成。存储部分313由硬盘等构成。而且， 通信部分314由调制解调器等构成。通信部分314通过包括因特网的网络进行通信处理。在必要时，驱动器315连接到I/O接口 310。而且，I/O接口 310可适当装配有可移动介质321，例如磁盘、光盘、磁光盘、或半导体存储器。此外在必要时，从可移动介质321 中读取的计算机程序可安装在存储部分313中。当由软件执行上述一系列处理时，组成软件的程序从网络或者记录介质安装在个人计算机300中。记录介质(例如，如图17所示)由可移动介质321 (例如磁盘(包括软盘)、光盘(包括只读光盘存储器(CD-ROM)或者数字通用光盘(DVD))、磁光盘(包括微型光盘(MD)) 或者半导体存储器)构成，其中与个人计算机300的主体相分离地，记录了被分发以便传送到用户的程序。此外，记录介质由ROM 302中或存储部分313中包括的硬盘等构成，其中记录了之前并入个人计算机300的主体中状态下发送给用户的程序。需要注意，计算机执行的程序可以是这样的程序根据所述程序，按照本说明书中描述的顺序以时间序列执行预定的多项处理，或者可以是这样的程序根据所述程序，并行执行或例如在进行调用时的必需时间执行预定的多项处理。此外，在本说明书中，描述记录介质中记录的程序的步骤包括预定的多项处理，该多项处理并非必须按照时间序列的方式进行处理，除了按照描述的顺序以时间序列方式执行预定的多项处理之外，还可并行处理或分别执行。此外，在本说明书中，系统表示包含多个设备(单元)的整个装置。此外，在前文中，作为一个单元(或处理部分)描述的配置可被分割以配置为多个单元(或多个处理部分)。与此相反，在前文中，作为多个单元(或多个处理部分)描述的配置可集中配置为一个单元(或一个处理部分)。另外，当然，不同于上述配置的配置也可加入各单元(或各处理部分)的配置中。而且，只要在整个系统的层面上配置和操作基本相同，某一单元(或，某一处理部分)的配置的一部分也可被包括在其它单元(或其他处理部分)的配置中。总之，本发明的实施例绝不限于上述的实施例，并且不偏离本发明的技术主题时可做出多种变化。本发明包含与2010年7月15日在日本专利局申请的日本优先权专利申请JP 2010-160558中公开的主题有关的主题，将其全部内容通过引用结合于此。
权利要求
1.一种图像处理设备，包括缩小部，以预定的缩小比例缩小要执行特征分析的图像；ROI掩膜生成部，分析作为由该缩小部以预定缩小比例缩小的图像的缩小图像的特征， 并生成ROI掩膜作为掩膜信息，所述掩膜信息指示作为缩小图像中的感兴趣的区域的感兴趣区域；ROI掩膜放大部，将由该ROI掩膜生成部生成的该ROI掩膜的尺寸放大到图像被该缩小部以预定的缩小比例缩小之前的尺寸；以及ROI掩膜更新部，其分析设为作为该ROI掩膜中不感兴趣的区域的空白区域的、图像被该缩小部以预定缩小比例缩小之前的区域的特征，并且使用分析结果更新该ROI掩膜，其中，ROI代表感兴趣区域。
2.根据权利要求1所述的图像处理设备，其中该ROI掩膜生成部对于缩小图像具有预定尺寸的每个局部区域获取像素值的偏移，并且根据偏移值的大小确定局部区域的感兴趣程度，从而生成该ROI掩膜。
3.根据权利要求2所述的图像处理设备，其中该ROI掩膜生成部将偏移值等于或大于 1的局部区域设置为感兴趣区域。
4.根据权利要求3所述的图像处理设备，其中该ROI掩膜生成部将偏移值等于或者大于2的局部区域设置为比偏移值为1的局部区域的感兴趣程度更高的感兴趣区域。
5.根据权利要求1所述的图像处理设备，其中该ROI掩膜更新部对于设置为图像空白区域的区域中具有预定尺寸的每一局部区域获取像素值的偏移，并且根据偏移值的大小确定局部区域的感兴趣程度，从而更新该ROI掩膜的空白区域。
6.根据权利要求5所述的图像处理设备，其中该ROI掩膜更新部将偏移值等于或者大于2的局部区域设置为感兴趣区域。
7.根据权利要求1所述的图像处理设备，进一步包括扩展部，其扩展由该ROI掩膜生成部生成的该ROI掩膜的感兴趣区域。
8.根据权利要求1所述的图像处理设备，进一步包括扩展部，其扩展由该ROI掩膜更新部更新的该ROI掩膜的感兴趣区域。
9.根据权利要求1的图像处理设备，进一步包括边缘分量检测部，检测图像的边缘分量；边缘掩膜生成部，生成边缘掩膜作为掩膜信息，其中包含由该边缘分量检测部检测到的边缘分量的区域被设置为感兴趣区域；以及掩膜合成部，将由该ROI掩膜更新部更新的该ROI掩膜与该边缘掩膜进行合成。
10.一种用于图像处理设备中的图像处理方法，包括由缩小部以预定的缩小比例缩小要执行特征分析的图像；由ROI掩膜生成部分析作为由该缩小部以预定的缩小比例缩小的图像的缩小图像的特征，并且生成ROI掩膜作为掩膜信息，所述掩膜信息指示作为缩小图像中的感兴趣区域的感兴趣区域；由ROI掩膜放大部将由该ROI掩膜生成部生成的该ROI掩膜的尺寸放大到图像被以预定的缩小比例缩小之前的尺寸；以及由ROI掩膜更新部分析设置为作为该ROI掩膜中不感兴趣的区域的空白区域的、图像被以预定缩小比例缩小之前的区域的特征，并且使用分析结果更新该ROI掩膜， 其中，ROI表示感兴趣区域。
全文摘要
公开了图像处理装置和方法。所述图像处理装置包括缩小部，以预定的缩小比例缩小要进行特征分析的图像；ROI掩膜生成部，其分析作为按照预定的缩小比例缩小的图像的缩小图像的特征，并且生成ROI掩膜，作为掩膜信息，其表示缩小图像中感兴趣的区域的感兴趣区域；ROI掩膜放大部，其将ROI掩膜的尺寸放大到图像被缩小部缩小之前的尺寸；以及ROI掩膜更新部，其分析被缩小部缩小之前的图像的设置为作为ROI掩膜中不感兴趣的区域的空白区域的区域特征，并且使用分析结果更新ROI掩膜。
文档编号G01N21/84GK102375992SQ20111019034
公开日2012年3月14日 申请日期2011年7月8日 优先权日2010年7月15日
发明者渡边真司 申请人:索尼公司