图像获取装置、图像获取方法以及信息处理程序的制作方法

图像获取装置、图像获取方法以及信息处理程序的制作方法
【专利摘要】本发明涉及图像获取装置、图像获取方法以及信息处理程序。一种图像获取装置包括：宏观照相单元，以第一放大倍率执行载玻片的至少样本安装区域的图像的宏观照相，病理样本安装在所述载玻片的所述样本安装区域上；微观照相单元，以大于第一放大倍率的第二放大倍率微观地为指定的照相区域照相；第一判断单元，判断在分割通过宏观照相而获得的图像的多个局部区域的每个中是否存在病理样本的图像；第二判断单元，将被判断为包括病理样本的图像的多个局部区域中的至少一个的一组判断为样本图像区域；以及区域扩展单元，通过扩展样本图像区域产生扩展区域，并且使得微观照相单元将扩展区域作为照相区域进行照相。
【专利说明】图像获取装置、图像获取方法以及信息处理程序
[0001]相关申请的交叉引用
[0002]本申请要求于2013年I月16日提交的日本在先专利申请JP2013-005264的权益，通过引用将其全部内容结合于此。
【技术领域】
[0003]本公开涉及一种图像获取装置、图像获取方法以及用来使用显微镜获取图像的信息处理程序。
【背景技术】
[0004]从过去，在数字显微镜装置中，在其上安装病理样本的整个制备的载玻片(载玻片)已经使用显微镜被照相并被转变为载玻片的数字图像(参见，例如日本专利申请公开第2011-137780 (在下文中，称作专利文献I);应注意，在专利文献I中公开的技术中，以低放大倍率搜索损伤区域，且所述放大倍率在类似于使用显微镜的用于相关技术的病理诊断的方法之后阶梯式增大)。
[0005]然而，微观地对整个载玻片照相花费时间，并且拍摄的图像的数据量是巨大的。
[0006]在这方面，在数字显微镜装置中，在微观地对载玻片进行照相中，将被微观地照相的区域已经被限制为包括病理样本的区域以用来减少进行照相所需要的时间以及图像数据量。
[0007]对于限制的区域，数字显微镜装置首先执行整个载玻片的宏观照相。然后，基于作为通过宏观照相获得的整个图像的缩略图，数字显微镜装置将缩略图分割为作为通过单个微观照相获得的部分的局部区域，并且对于每个部分，判断病理样本的图像是否存在。
[0008]然后，数字显微镜装置仅微观地对被判断为包括病理样本的图像的局部区域进行照相。因此，照相所需的时间和图像数据量被消减。
[0009]上述程序中最重要的处理是判断在局部区域中是否存在病理样本的图像的处理。使用在局部区域中的像素的亮度值作为指数或使用通过检测在局部区域中的边缘而获得的边缘分量指数值作为指数来进行该判断(参见，例如日本专利申请公开第2012-8100号)。

【发明内容】

[0010]然而，当病理样本的类型是脂肪组织、经受特殊染色的组织或微小样本时，甚至在适当地执行上述判断时，从计算中可以理解的是，存在这样一种可能性:即使局部区域实际上包括病理样本但所述局部区域可能被判断为不包括样本的图像。这是因为对整个载玻片照相的宏观照相机不能对大约几微米的脂肪细胞成像。此外，能够容易地设想，具经受蓝色特殊染色的具有短波长的区域的条件将变得很重要。即使当宏观照相的分辨率提高时，这种条件也没有被显著地改善。
[0011]具体地，取决于病理样本的类型，在对每个局部区域检测包括样本的图像的区域的处理中，可能出现漏检，并且因此不能适当地执行微观照相。[0012]鉴于如上所述的情况，存在利用其载玻片的微观图像能够被适当地获取的图像获取装置、图像获取方法以及信息处理程序的需要。
[0013](I)根据本公开的实施方式，设置了图像获取装置，包括:宏观照相单元，被配置为以第一放大倍率执行载玻片的至少样本安装区域的图像的宏观照相，病理样本安装在所述载玻片的所述样本安装区域上；微观照相单元，被配置为以大于第一放大倍率的第二放大倍率微观地为指定的照相区域照相；第一判断单元，被配置为判断在分割通过宏观照相而获得的图像的多个局部区域的每个中是否存在病理样本的图像；第二判断单元，被配置为将被判断包括病理样本的图像的多个局部区域的至少一个的一组判断为样本图像区域；以及区域扩展单元，被配置为通过扩展样本图像区域产生扩展区域，并且使得微观照相单元将扩展区域作为照相区域进行照相。
[0014]在本公开的实施方式中，不是将由第二判断单元判断的样本图像区域作为照相区域进行照相微观地照相，而是通过由区域扩展单元扩展样本图像区域产生扩展区域，扩展区域作为照相区域被微观地照相。因此，即使在通过第一判断单元判断是否存在病理样本的图像的判断过程中存在图像检测遗漏时，这样的检测遗漏能够被补偿，并且因此漏检率能够被降低。结果，能够适当地获取载玻片的微观图像。
[0015](2)在根据这个实施方式的图像获取装置中，当样本图像区域的亮度值和被判断为不包括病理样本的图像的局部区域的亮度值之间的差值小于第一阈值时，区域扩展单元可以通过扩展样本图像区域产生扩展区域。
[0016]在这个实施方式中，当样本图像区域的亮度值和被判断为不包括病理样本的图像的局部区域的亮度值之间的差值小于第一阈值时，即，当病理样本的图像的对比度被判断为低时，扩展将被微观地照相的区域。
[0017]这是因为，当病理样本的图像的对比度低时，在通过第一判断单元判断是否存在病理样本的图像的判断中易于发生图像漏检。通过确定用于扩展所述区域的条件并仅在满足所述条件时扩展并微观地对所述区域照相，这可以消减微观照相所需的时间并减少通过微观照相而获得的图像数据量而同时降低漏检率。
[0018](3)在根据这个实施方式的图像获取装置中，当包含在样本图像区域中的局部区域的数目小于预定第二阈值时，区域扩展单元可以以局部区域为单位在外周方向上通过扩展样本图像区域产生扩展区域；当包含在样本图像区域中的局部区域的数目等于或大于预定第二阈值时，区域扩展单元可以在包括样本图像区域的矩形区域中通过扩展样本图像区域来产生扩展区域；并且矩形区域在纵向方向上具有为设置在所述矩形区域的所述纵向方向上的局部区域的数目的包含在所述样本图像区域中的局部区域的数目的最大值且在横向方向上具有为设置在所述矩形区域的所述横向上的局部区域的数目的包含在所述样本图像区域中的局部区域的数目的最大值。
[0019]在这个实施方式中，当包含在样本图像区域中的局部区域的数目小于预定第二阈值时，确定样本是微小样本，并且确定没有被检测到的样本的组织片段很可能存在于所检测的局部区域的外围。然后，样本图像区域以局部区域为单元在外周方向上扩展。结果，能够降低漏检率。
[0020]此外，当包含在样本图像区域中的局部区域的数目等于或大于预定第二阈值时，确定样本不是微小样本，并且样本图像区域被扩展至包括样本图像区域的矩形区域。因此，能够降低漏检率。
[0021](4)在根据这个实施方式的图像获取装置中，当在样本图像区域中存在被判断为不包括病理样本的图像的局部区域时，区域扩展单元可以通过将局部区域添加至样本图像区域而产生扩展区域。
[0022]在这个实施方式中，当在样本图像区域中存在被判断为不包括病理样本的图像的局部区域时，判断没有被检测到的病理样本的图像很可能存在于局部区域中，从而局部区域被添加到用于扩展的照相区域。结果，能够降低漏检率。
[0023](5)根据这个实施方式的图像获取装置进一步可以包括整个区域指定单元，被配置为当不存在被判断为包括病理样本的图像的局部区域时，使得微观照相单元对整个样本安装区域进行照相。
[0024]在这个实施方式中，即使当不存在被判断为包括病理样本的图像的局部区域时，微观照相单元将整个样本安装区域作为照相区域进行照相。因此，即使当病理样本的图像通过第一判断单元在判断处理中没有被检测到，病理样本的未被检测的图像肯定能够被微观地照相。
[0025](6)在根据这个实施方式的图像获取装置中，当样本图像区域的亮度值和被判断为不包括病理样本的图像的局部区域的亮度值之间的差值小于第一阈值并且包含在样本图像区域中的局部区域的数目小于第二阈值时，第一判断单元可以调整用于判断是否存在病理样本的图像的参数,并且再次执行判断。
[0026]在这个实施方式中，当病理样本的图像对比度低并且病理样本是微小样本时，调整用于判断是否存在病理样本的图像的参数，以便再次进行关于是否存在图像的判断。因此，能够降低漏检率。
[0027](7)根据本公开的另一实施方式，提供了一种图像获取方法包括:通过宏观照相单元以第一放大倍率进行载玻片的至少样本安装区域的图像的宏观照相，病理样本安装在载玻片的安装区域上；通过第一判断单元判断在分割通过宏观照相获得的图像的多个局部区域的每个中是否存在病理样本的图像；通过第二判断单元将被判断为包括病理样本的图像的多个局部区域的至少一个的一组判断为样本图像区域；通过区域扩展单元扩展样本图像区域产生扩展区域；以及通过微观照相单元以大于第一放大倍率的第二放大倍率微观地对所产生的扩展区域照相。
[0028](8)根据本公开的另一实施方式，提供了一种使得计算机用作一下单元的信息处理程序:第一判断单元，被配置为对分割通过使得宏观照相单元执行载玻片上的至少样本安装区域的图像的宏观照相而获得的图像的多个局部区域的每一个以第一放大倍率判断是否存在病理样本的图像，所述病理样本安装在所述载波片的所述样本安装区域上；第二判断单元，被配置为将被判断为包括病理样本的图像的多个局部区域的至少一个的一组判断为样本图像区域；以及区域扩展单元，被配置为通过扩展样本图像区域产生扩展区域，并且使得微观照相单元以大于第一放大倍率的第二放大倍率微观地对扩展区域照相。
[0029]如上所述，根据本公开的实施方式，能够适当地获取载玻片的微观图像。
[0030]如附图所示，根据以下本公开的最佳模式的实施方式，本公开的这些以及其他的目标、特征与优点将变得更加显而易见。【专利附图】

【附图说明】
[0031]图1是示出了根据本公开的实施方式的数字显微镜装置I的硬件结构的示意图；
[0032]图2是示出了用于实现在计算装置80中执行的处理的功能模块的功能性框图；
[0033]图3是示出了通过对病理样本的整个载玻片10执行宏观照相而获得的缩略图的实例的示图；
[0034]图4是示出了被判断为包括病理样本的图像的一组局部区域被提取为缩略图上的样本图像区域的实例的示图；
[0035]图5是脂肪细胞的缩略图的实例；
[0036]图6是具有轻染色的载玻片的缩略图的实例；
[0037]图7是包括极小的病理样本的图像的缩略图的实例；
[0038]图8是示出了外周扩展处理的实例的示图；
[0039]图9是示出了矩形扩展处理的实例的示图；
[0040]图1O是示出了封闭区域处理的实例的示图；
[0041]图11是示出了微观照相的顺序和在连接因失败终止的情况下的连接部分的状态的示图；
[0042]图12是示出了微观照相的顺序和在连接被适当地执行的情况下的连接部分的状态的示图；
[0043]图13是用于说明区域扩展和微观照相的处理流程的流程图；以及
[0044]图14是用于说明区域扩展和微观照相的处理流程的变形例的流程图。
【具体实施方式】
[0045]在下文中，将参考附图描述本公开的实施方式。
[0046](概要)
[0047]如上所述，本公开用于在分割缩略图的局部区域的每个中检测病理样本的图像时补偿漏检并降低漏检率，所述缩略图为通过对病理样本的载玻片执行宏观照相而获得的图像。
[0048]更具体地，在判断在每个局部区域中是否存在病理样本的图像之后，基于作为预定条件的缩略图的图像和背景的对比度以及被判断为包括病理样本的图像的局部区域的数量和设置，如下所述地以多种方式扩展照相区域。结果，降低了漏检率。
[0049]存在4种照相区域扩展方法。应注意的是，在以下描述中，被判断包括病理样本的图像的一组局部区域将被称作样本图像区域，实际上被微观地照相的区域被称作照相区域。
[0050]第一扩展涉及当满足预定条件时沿着其外周方向扩展样本图像区域(在下文中，称作外周扩展处理)。第二扩展涉及当满足预定条件时将样本图像区域扩展至包括样本图像区域的矩形区域(在下文中，称作矩形扩展处理)。第三扩展涉及当在样本图像区域内存在被判断为不包括病理样本的图像的局部区域时，将所述局部区域添加至照相区域(在下文中，称作封闭区域处理)。第四扩展涉及当不存在被判断包括病理样本的图像的局部区域时，将能够安装病理样本的整个区域设置为照相区域(在下文中，称作整个区域指定处理)。
[0051]应注意的是，关于某个局部区域是否包括病理样本的图像的判断使用局部区域中的像素的亮度值或如上所述通过检测局部区域中的图像的边缘而获得的边缘分量指数值作为指数。通过将所述指数与预定阈值进行比较来做出所述判断。
[0052]因此，当不存在被判断为包括病理样本的图像的局部区域时，例如，关于是否存在图像的判断的灵敏度通过降低用于判断的阈值而提高，并且此后再次进行关于是否存在图像的判断。然后，可以对通过判断而检测的样本图像区域执行照相区域扩展。
[0053](数字显微镜装置的结构的概要)
[0054]接下来，将描述根据这个实施方式的数字显微镜装置的硬件结构的概要。图1是示出了这个实施方式的数字显微镜装置I的硬件结构的示意图。
[0055]数字显微镜装置I包括载玻片10、载波片加载器20、系统控制装置30、镜台40、宏观照相机50、图像捕捉装置60、存储装置70、计算装置80、主照相机90以及物镜100。
[0056]载玻片10是制备的载玻片，其中，将被微观地照相的病理样本被安装在载片(slide glass)上。载波片加载器20存储多个载玻片10，并响应于来自系统控制装置30的指令将目标载玻片10提供给镜台40。
[0057]系统控制装置30控制包括载波片加载器20、镜台40以及图像捕捉装置60的数字显微镜装置I的整个系统的移动。镜台40将从载波片加载器20供给的载玻片10移动至宏观照相机50和主照相机90的照相位置。宏观照相机50响应于来自图像捕捉装置60的指令，执行通过镜台40从载波片加载器20传送的整个载玻片10的宏观照相以作为缩略图。
[0058]响应于来自系统控制装置30的指令，图像捕捉装置60使用宏观照相机50和主照相机90对载玻片10照相。所拍摄的缩略图和微观图像被存储在存储装置70中。存储装置70存储通过宏观照相机50拍摄的缩略图和通过主照相机90拍摄的微观图像，并响应于来自计算装置80的请求将存储的图像供给计算装置80。存储装置70可以结合到计算装置80中。
[0059]计算装置80将关于载玻片10的照相顺序、照相方法等的指令传输至系统控制装置30，并且执行包含在诸如从如上所述的存储装置70中获取的缩略图中的样本图像的扩展的图像处理。计算装置80是通常使用的个人电脑(PC)或与PC类似的装置，并且包括CPU81、存储器82以及存储单元83。CPU81执行存储在存储器82、存储单元83等中的程序，以实现下文将描述的功能模块。
[0060]主照相机90以用于病理诊断的光学放大倍率对通过镜台40从载波片加载器20传送的载玻片10进行微观地照相。当主照相机90对载玻片10微观地照相时，物镜100以适当的放大倍率放大图像。
[0061]上述结构是这个实施方式的数字显微镜装置I的硬件结构的概要。
[0062](数字显微镜装置中的处理流程)
[0063]接下来，参考图1，将描述在数字显微镜装置I中的病理样本的照相的流程的概要。
[0064]首先，用户在载波片加载器20中设置载玻片10,在每个载玻片中，切片的病理样本被安装在载片上，并且所述载波片已经利用嵌入材料和盖片构成。
[0065]接下来，基于来自系统控制装置30的指令，目标载玻片10从载波片加载器20中被卸除，并且通过镜台40被移至宏观照相机50的照相位置。[0066]然后，基于来自系统控制装置30的指令，图像捕捉装置60使用宏观照相机50执行载玻片10的缩略图的宏观照相。所拍摄的缩略图经由图像捕捉装置60被存储在存储装置70中。
[0067]随后，计算装置80从存储装置70中获取缩略图，将缩略图分割为用作在单个微观照相中的照相范围的基础的局部区域，并且判断在每个局部区域中是否捕获了病理样本的图像。基于判断结果，计算装置80计算在缩略图中捕获的病理样本的图像的位置，或计算通过主照相机90拍摄的微观照相的照相坐标。
[0068]更具体地，计算装置80确定作为通过主照相机90 —次在缩略图上微观地拍摄的区域的基础的局部区域，并且判断在任意局部区域中是否捕获了病理样本的图像。
[0069]应注意，虽然计算装置80执行上述计算，但是系统控制装置30使用镜台40将经受宏观照相的载玻片10移动至主照相机90的照相位置。
[0070]最后，一旦通过计算装置80进行的微观照相的照相坐标的计算和通过镜台40的载玻片10到微观照相位置的移动结束，系统控制装置30就使用主照相机90执行微观照相。使用作为照相区域的被判断为包括病理样本的图像的局部区域和通过扩展处理被设置为照相目标的局部区域执行微观照相。
[0071]通过微观照相而拍摄的图像首先经由图像捕捉装置60被存储在存储装置70中，并且然后通过计算装置80处理。
[0072]以上描述给出了关于数字显微镜装置I中用于对病理样本的载玻片10照相的处理的概要。
[0073](计算装置80的功能模块)
[0074]接下来，将描述用于实现通过计算装置80执行的处理的功能模块的概要。图2是示出了用于实现在计算装置80中执行的处理的功能模块的功能性框图。
[0075]计算装置80包括缩略图获取单元81、图像判断单元82、样本图像区域判断单元83、区域扩展单元84、微观照相单元85以及整个区域指定单元86的功能模块。
[0076]缩略图获取单元81经由图像捕捉装置60将指令传输至宏观照相机50，并且执行载玻片10的宏观照相。缩略图获取单元81还从存储装置70中获取缩略图。当获取的缩略图是RAW数据时，缩略图获取单元81可以对缩略图执行展开处理。
[0077]应注意的是，当如在日本专利申请公开第2012-8100号(在下文中，称作专利文献2)表示的通过检测在局部区域中的图像的边缘而获得的边缘分量指数值被用作图像判断单元82中的指数时，缩略图获取单元81需要调整在宏观照相中使用的照明，从而抑制负冲(undershoot)和过冲(overshoot),并且因此将缩略图的像素的亮度值抑制在边缘可检测的范围内。
[0078]图像判断单元82将缩略图分割为局部区域，并使用亮度值或边缘分量指数值作为指数来判断在每个局部区域中是否捕获了病理样本的图像。
[0079]样本图像区域判断单元83将被判断为包括病理样本的图像的一组局部区域提取为样本图像区域。该处理通过把将要被微观地照相的照相区域限制到包括病理样本的图像的局部区域，而来缩短全部微观照相所需的时间。
[0080]区域扩展单元84对样本图像区域执行第一扩展处理至第三扩展处理，即，外周扩展处理、矩形扩展处理以及封闭区域处理(closed area processing),并且获得照相区域，下文将给出其细节。
[0081]微观照相单元85通过主照相机90对照相区域进行照相。
[0082]当通过图像判断单元82判断不存在包括病理样本的图像的局部区域时，整个区域指定单元86将整个缩略图指定为照相区域。换言之，执行上述整个区域指定处理。
[0083]以上描述是计算装置80的功能模块的概要。
[0084](从缩略图获得样本图像区域的处理)
[0085]接下来，参考图3和图4，将描述从使用宏观照相机50通过宏观照相而获得的缩略图中获得样本图像区域的处理的概要。图3是示出了通过对病理样本的整个载玻片10执行宏观照相而获得的缩略图的实例的示图。图4是示出了被判断为包括病理样本的图像的一组局部区域被提取为缩略图上的样本图像区域的实例的示图。
[0086]从缩略图获得样本图像区域的原因在于通过将在缩略图上限制将被微观地照相的范围并通过限制照相范围来优化用于微观照相的照相时间，通过对不包括病理样本的局部区域不执行微观照相，而减少通过微观照相获得的图像数据的数据量。
[0087]首先，缩略图获取单元81从存储装置70中获取缩略图。在图3所示的缩略图的实例中，通过染色动物的病理样本而获得的部分SPL在左手侧，离中心稍微靠左以及图像的右一半示出。
[0088]接下来，图像判断单元82将整个缩略图分割为局部区域。局部区域的尺寸基于由主照相机90 —次微观照相的范围的尺寸来确定。应注意，因为在对载玻片10微观地照相之后用来连接(拼接)通过微观照相而获得的多个图像的边缘部分被设置在实际的微观照相中，所以一次将被微观照相的范围和由局部区域确定的区域并不完全匹配。
[0089]随后，图像判断单元82判断是否每个分割的局部区域包括病理样本的图像。这种判断在如上所述的专利文献2中那样使用亮度值或边缘分量指数值。
[0090]最后，样本图像区域判断单元83仅提取被判断为包括病理样本的图像的局部区域，并且将这些区域设定为样本图像区域。在图4所示的实例中，病理样本的图像的范围由均为水平长的长方形的多个局部区域KA覆盖，并且被提取为样本图像区域SA。
[0091]应注意的是，在这个实例中，所有包括病理样本的图像的矩形区域被提取，并且不存在包括病理样本的局部区域的漏检。
[0092]以上描述是从缩略图中获得样本图像区域的处理的概要。
[0093](漏检易于发生的载玻片的类型及其原因)
[0094]接下来，将描述包括病理样本的局部区域的漏检易于发生的载玻片的类型及其原因。
[0095]大致存在漏检易于发生的以下3种载玻片的类型。
[0096]第一种类型的载玻片是脂肪细胞是病理样本的载玻片。在脂肪细胞不包括细胞核的情况中，在通过宏观照相获得的缩略图中，仅拍摄到低对比度图像，并且因此图像趋向于未不能被检测。
[0097]图5是脂肪细胞的缩略图的实例。在图像的中心，具有细胞核的细胞聚合，并且因此图像和背景的对比度高。另一方面，因为广泛地分散在外周的脂肪细胞没有细胞核，所以图像和背景的对比度极低。
[0098]另一种类型的载玻片是轻染色的载玻片。具体地，当载玻片以蓝色染色时，当短波长光用于照明时，漏检易于发生。
[0099]图6是轻染色的载玻片的缩略图的实例。
[0100]因为染色轻，所以图像和背景的对比度极低。
[0101]第三类型的载玻片是病理样本的图像极小的载玻片。因为病理样本的图像极小，所以难以将图像和在缩略图中捕获的灰尘和噪声区分，结果是，漏检易于发生。在这种类型的载玻片中，可以降低用于判断是否存在图像的阈值以用来减少漏检(提高检测灵敏度)，但在这种情况下，大部分的灰尘和噪声被错误地检测为病理样本的图像，这是不是实际的。
[0102]图7是包括病理样本的极小的图像的缩略图的实例。可以看出，样本被获取为在图像的中心的微小的点。
[0103]以上描述已经给出关于漏检易于发生载玻片的类型及其原因。
[0104](判断漏检易于发生的载玻片的方法)
[0105]接下来，将描述判断漏检易于发生的载玻片的方法。应注意，判断处理通过区域扩展单元84执行。
[0106]如上所述，已经发现，在漏检易于发生的载玻片中，缩略图中的病理样本的图像和背景的对比度极低，或缩略图中获取的病理样本的图像极小。在这方面，对于载玻片判断，例如，能够使用以下两个指数。
[0107]首先，对于在缩略图中病理样本的图像是否是低对比度的判断，可以使用被判断为不包括病理样本的图像的局部区域的亮度值和被判断为包括病理样本的图像的局部区域(即，样本图像区域)的亮度平均值之间的比较，其数值表达式如下。
[0108]C=Lblank- (1/Ν) Σ I (x, y)
[0109]Lblank表示被判断为不包括病理样本的图像的局部区域的亮度值，N表示包含在样本图像区域中的像素数，I (X，y)表示样本图像区域中的在坐标(X，y)处的像素的亮度值，以及(1/Ν)Σ1 (x，y)表示样本图像区域的亮度平均值。
[0110]值C是通过从被判断为不包括病理样本的图像的局部区域的亮度值减去样本图像区域的亮度平均值而获得值，并且通常采用正值。随着值增加对比度变得更高，并且随着值减少对比度变得更低。
[0111]接下来，为了判断在缩略图中获取的病理样本的图像是否极小，可以使用被判断包括病理样本的图像的局部区域的数目，其数值表达式如下。
[0112]n〈NTh
[0113]η表示被判断为包括病理样本的图像的局部区域的数目，而NTh表示用于判断在缩略图中获取的病理样本的图像是否是极小的局部区域的数目的阈值。
[0114]至此，已经描述了判断漏检易于发生的载玻片的方法。
[0115](扩展处理)
[0116]接下来，将描述用于补偿漏检(降低漏检率)所执行的扩展处理，在所述漏检中，尽管在局部区域中实际上存在病理样本的图像，但是判断不包括病理样本的图像。应注意的是，将还描述在什么情况下执行哪种扩展处理。
[0117]在以上描述中，作为扩展处理的实例，已经描述了包括外周扩展处理、矩形扩展处理、封闭区域处理以及整个区域指定处理的4种类型的处理。当然，四种仅是一种实例，并且扩展处理不限于那些方法。在此，将描述扩展处理的细节。[0118]应注意，扩展处理用来通过将病理样本的图像甚至在检测灵敏度提高时仍不能被检测的局部区域，即，没有被判断被包括病理样本的图像的局部区域，设定为照相区域，而降低漏检率。
[0119](外周扩展处理)
[0120]外周扩展处理是缩略图是低对比度图像且病理样本的图像极小时通过区域扩展单元84执行的扩展处理。在这个扩展处理中，样本图像区域通过对应于几个局部区域的量在外周方向上以局部区域为单位被扩展。执行这种扩展的原因在于，因为根据经验，组织片段很可能存在于微小样本的外围。
[0121]图8是示出了外周扩展处理的实例的示图，并且照相区域PA被扩展至由包括病理样本SPL的图像的局部区域KA组成的样本图像区域的外围。
[0122](矩形扩展处理)
[0123]矩形扩展处理是缩略图是低对比度图像并且病理样本的图像不微小时通过区域扩展单元84执行的扩展处理。通常，样本图像区域的形状符合病理样本的形状。然而，在这个扩展处理，样本图像区域被扩展至包括样本图像区域的矩形区域。
[0124]作为沿横向的矩形区域的长度，使用样本图像区域的横向上设置的局部区域的最大值。此外，作为沿纵向的矩形区域的长度，使用样本图像区域的纵向上设置的局部区域的最大值。
[0125]这个扩展对于将没有被检测但很可能包含病理样本的图像的局部区域结合到照相区域是有效的，并且被有效地用在已经经受特殊染色的载玻片或脂肪细胞的载玻片上。
[0126]图9是示出了矩形扩展处理的实例的示图，并且照相区域PA通过将包括病理样本SPL的图像的样本图像区域扩展至矩形区域而产生。
[0127](封闭区域处理)
[0128]封闭区域处理是在样本图像区域内存在被判断为不包括病理样本的图像的局部区域时通过区域扩展单元84执行的扩展处理。在这个扩展处理中，样本图像区域内被判断为不包括病理样本的图像的局部区域被添加到样本图像区域以用于扩展。这是因为，根据经验，已知脂肪细胞很可能分散在由病理样本围绕的区域中。
[0129]图10是示出了封闭区域处理的实例的示图。在图的左侧示出的病理样本SPLl的图像中，因为被判断为不包括病理样本的图像的局部区域存在于样本图像区域的中心，所以该局部区域被增加到照相区域PA。此外，尽管脂肪细胞被稀疏地分散在图的右侧示出的病理样本SPL2的图像内，但在是否存在病理样本的图像的判断中，包括脂肪细胞的局部区域没有被检测到。然而，因为局部区域被样本图像区域围绕，所以局部区域被添加到照相区域PA。
[0130](整个区域指定处理)
[0131]整个区域指定处理是当完全不存在通过样本图像区域判断单元83判断为包括病理样本的图像的局部区域时通过整个区域指定单元86执行的扩展处理。在这个扩展处理中，即使当完全不存在被判断为包括病理样本的图像的局部区域时，为安全起见，可能包括样本的所有区域被设置为照相区域。
[0132]至此，已经描述了扩展处理的细节。
[0133](通过扩展处理连接微观地拍摄的图像的过程中的注意事项)[0134]接下来，将描述通过扩展处理连接微观地拍摄的图像的过程中的注意事项。
[0135]在数字显微镜装置I中，通过区域扩展单元84或整个区域指定单元86产生的照相区域通过微观照相单元85以由照相图(photographing map)确定的顺序逐一地被微观地照相，以由此获得多个图像。所获得的图像以与通过照相图确定的照相顺序相同的顺序经受连接(拼接)处理。在连接处理中，将被连接的两个图像需要包括通过拍摄相同的边缘范围而获得的边缘部分。两个图像被连接从而使得包含在相同边缘范围中的图像中的图像—致。
[0136]如上所述，在这个实施方式的数字显微镜装置I中，由于扩展处理，没有被检测到的病理样本的图像的局部区域也可以被微观地照相。图像没有被检测到的局部区域的图像的连接需要仔细地执行，因为很可能不存在用于边缘部分的连接的定位的图像。
[0137]在此，将首先描述连接失败实例，并且然后将描述适当的连接实例。
[0138]图11是示出了微观照相的顺序和在连接因失败终止的情况下的连接部分的状态的示图。应注意的是，在右侧的示图和在左侧的示图表示缩略图上的相同部分，并且局部区域的符号也相同。
[0139]示出了微观照相的顺序的示图在图11的左侧示出。在示图中，被判断为包括病理样本的图像的局部区域是在示图的下侧示出的局部区域KA2、KA3以及KA6，并且通过扩展处理被设置为照相区域的局部区域是在示图的上侧示出的局部区域KA1、KA4以及KA5。微观照相以如由在示图中的箭头表示的局部区域ΚΑΙ、KA2、KA3、KA4、KA5以及KA6的所述顺序执行。
[0140]示出了用于连接微观地拍摄的图像的边缘部分的位置的示图在图11的右侧示出。首先，根据微观照相的顺序，局部区域KAl的图像和局部区域KA2的图像在边缘SI处连接。因为边缘SI是包括病理样本SPL的图像的部分，所以图像能够以高准确度连接。接下来，局部区域KA2的图像和局部区域KA3的图像在边缘S2处连接。这种连接也能够以高准确度执行。这也适用于随后的边缘S3。
[0141]然而，局部区域KA4的图像和局部区域KA5的图像连接的边缘S4位于在不存在病理样本SPL的图像的部分，并且因此连接准确度降低。因此，在那个连接之后的局部区域KA6的连接中，连接偏差很可能出现在边缘S5和边缘S6处。
[0142]图12是示出了微观照相的顺序和连接被适当地执行的情况下的连接部分的状态的示图。应注意，在右侧的示图和在左侧的示图表示缩略图上的相同部分，并且局部区域的符号也相同。
[0143]示出了微观照相的顺序的示图在图12的左侧示出。微观照相以如由在示图中的箭头表示的局部区域KA2、KA3、KA6、KA1、KA4、KA5的所述顺序执行。换言之，在对最初包含在样本图像区域中的局部区域微观地照相之后，对通过扩展处理被设置为照相区域的局部区域照相。结果，如在图12的右侧所示，连接以边缘S2、S6、S1、S3以及S5的所述顺序执行，并且不使用对于连接不适当的边缘S4。因此，连接处理被适当地执行直至最后。
[0144]在对照相区域微观地照相中，微观照相的顺序需要被确定，以使用在如上所述的适当位置处的边缘。
[0145]至此，通过扩展处理连接微观地拍摄的图像的注意事项。
[0146](区域扩展和微观照相的处理流程)[0147]接下来，将描述区域扩展和微观照相的处理流程。图13是用于说明区域扩展和微观照相的处理流程的流程图。
[0148]首先，缩略图获取单元81经由图像捕捉装置60将指令传输至宏观照相机50，以执行载玻片10的宏观照相。进一步，缩略图获取单元81从存储装置70中获取缩略图(步骤STD0
[0149]接下来，图像判断单元82判断在局部区域的每一个中是否存在病理样本的图像(步骤ST2)。
[0150]然后，样本图像区域判断单元83将被判断为包括病理样本的图像的一组局部区域提取为样本图像区域(步骤ST3)。
[0151]随后，整个区域指定单元86判断是否存在被判断为包括病理样本的图像的局部区域(步骤ST4)。
[0152]当不存在被判断为包括病理样本的图像的局部区域(步骤ST4中的“否”)时，整个区域指定单元86将整个缩略图指定为照相区域，并且微观照相单元85使用主照相机90对照相区域照相。然后，处理结束(步骤ST5)。
[0153]当存在被判断为包括病理样本的图像的局部区域(步骤ST4中的“是”)时，区域扩展单元84执行封闭区域处理(步骤ST6)。在封闭区域处理中，当在样本图像区域内存在被判断为不包括病理样本的图像时，执行将局部区域添加至样本图像区域的处理。
[0154]接下来，区域扩展单元84判断作为处理目标的缩略图是否具有低对比度(步骤ST7)。判断标准如上所述。
[0155]当缩略图不是低对比度(步骤ST7中的“否”)时，区域扩展单元84不再执行区域扩展处理，并且将当前照相区域原样递交给微观照相单元85，以便微观照相单元85使用主照相机90对照相区域照相，并且结束处理(步骤ST8)。
[0156]当缩略图是低对比度(步骤ST7中的“是”)时，接下来，区域扩展单元84判断在作为处理目标的缩略图中的病理样本的图像是否是微小样本(步骤ST9)。
[0157]当在缩略图中的病理样本的图像不是微小样本(步骤ST9中的“否”)时，区域扩展单元84通过矩形扩展处理指定通过扩展其获得的照相区域，并且微观照相单元85使用主照相机90对照相区域照相，并且结束处理(步骤ST10)。
[0158]当缩略图中的病理样本的图像是微小样本(步骤ST9中的“是”)时，区域扩展单元84指定通过外周扩展处理对其扩展而获得的照相区域，微观照相单元85使用主照相机90对照相区域照相，并且结束处理(步骤STlI)。
[0159]至此，已经描述了区域扩展和微观照相的处理流程。
[0160](区域扩展和微观照相的处理流程(变形例))
[0161]接下来，将描述区域扩展和微观照相的处理流程的变形例。图14是用于说明区域扩展和微观照相的处理流程的变形例的流程图。
[0162]这里所描述的区域扩展和微观照相处理的流程与以上描述的处理的流程之间的大的差别在于，并且在变形例中，在调整用于判断是否存在病理样本的图像的参数之后，再次执行从判断至扩展处理的处理。通过重新调整参数，降低了漏检率。
[0163]应注意的是，本文中使用的参数包括软件参数和硬件参数。虽然下文将给出细节，但是用于在每个局部区域中通过图像判断单元82判断是否存在病理样本的图像的阈值是参数的实例。参数被调整为提高图像的检测灵敏度。
[0164]首先，缩略图获取单元81经由图像捕捉装置60将指令传输至宏观照相机50，以执行载玻片10的宏观照相。进一步，缩略图获取单元81从存储装置70中获取缩略图(步骤STD0
[0165]接下来，图像判断单元82判断在每个局部区域中是否存在病理样本的图像(步骤ST2)。
[0166]然后，样本图像区域判断单元83将被判断为包括病理样本的图像的一组局部区域提取为样本图像区域(步骤ST3)。
[0167]随后，整个区域指定单元86判断是否存在被判断为包括病理样本的图像的局部区域(步骤ST4)。
[0168]当不存在被判断为包括病理样本的图像的局部区域(步骤ST4中的“否”)时，接下来，整个区域指定单元86判断是否已经执行了参数重新调整(步骤ST100)。
[0169]当已经执行参数重新调整时(步骤STlOO中的“是”)，整个区域指定单元86将整个缩略图指定为照相区域，并且微观照相单元85使用主照相机90对照相区域照相，并且结束处理(步骤ST5)。
[0170]当没有执行参数重新调整时(步骤ST100中的“否”)，处理前进至步骤ST300以用来执行参数重新调整。
[0171]当存在被判断为包括病理样本的图像的局部区域时(步骤ST4中的“是”)，区域扩展单元84执行封闭区域处理(步骤ST6)。
[0172]接下来，区域扩展单元84判断作为处理目标的缩略图是否为低对比度(步骤ST7)。
[0173]当缩略图不是低对比度时(步骤ST7中的“否”)，区域扩展单元84不再执行区域扩展处理，并且将当前照相区域原样递交给微观照相单元85，以便微观照相单元85使用主照相机90对照相区域照相，并且结束处理(步骤ST8)。
[0174]当缩略图为低对比度时(步骤ST7中的“是”)，接下来，区域扩展单元84判断作为处理目标的在缩略图中的病理样本的图像是否是微小样本(步骤ST9)。
[0175]当在缩略图中的病理样本的图像不是微小样本时(步骤ST9中的“否”)，区域扩展单元84指定通过矩形扩展处理将其扩展而获得的照相区域，并且微观照相单元85使用主照相机90对照相区域照相，并且结束处理(步骤ST10)。
[0176]当在缩略图中的病理样本的图像是微小样本时(步骤ST9中的“是”)，区域扩展单元84判断是否执行参数重新调整(步骤ST200)。
[0177]当不执行参数重新调整时(步骤ST200中的“否”)，区域扩展单元84指定通过外周扩展处理将其扩展而获得的照相区域，并且微观照相单元85使用主照相机90对照相区域照相，并且结束处理(步骤STlI)。
[0178]当执行参数重新调整时(步骤ST200中的“是”)，图像判断单元82重新调整用于检测图像的参数(步骤ST300)。在参数重新调整之后，处理返回至步骤ST1，并且重复所述处理。
[0179]应注意的是，需要仔细地重复所述处理，以便不将提高检测灵敏度太多。当灵敏度提高太多时，噪声、灰尘等的影响变大，并且过多的检测趋向发生。当过多的检测趋向发生时，不必要的局部区域被微观地照很多相，并且因此照相所需的时间增加。因此，当考虑到噪声的影响时，需要执行参数重新调整。
[0180]至此，已经描述了处理区域扩展和微观照相的流程的变形例。
[0181](将被重新调整的参数)
[0182]接下来，将描述在上述变形例的流程中将被重新调整的参数的实例。应注意的是，参数影响关于由图像判断单元82执行的病理样本的图像是否包含在局部区域中的判断处
理的结果。
[0183]首先，在由图像判断单元82执行的病理样本的图像是否包含在局部区域中的判断处理中，与亮度值或边缘分量指数值比较的阈值，诸如标准偏差，变为参数。通过降低阈值，即，降低判断标准，能够提高灵敏度。
[0184]接下来，在通过缩略图获取单元81执行的宏观照相处理中，照明强度或曝光时间变为参数。通过改变曝光时间(光量)，缩略图的亮度值能够保持在合适的范围内。
[0185]接下来，在同样通过缩略图获取单元81执行的展开处理中，动态范围变为参数。展开处理可以通过改变动态范围而被执行。
[0186]此外，在展开的预处理中，可以使用用于非锐化掩模处理的参数。
[0187]至此，已经描述了将被重新调整的参数的实例。
[0188](本公开的效果)
[0189]根据本公开，能够降低漏检率，同时抑制了从载玻片10中获取病理图像所需的处理时间。此外，能够改善通过数字显微镜装置I拍摄的可靠性(稳定性)。
[0190]本领域中的技术人员应理解的是，根据设计需求以及其它因素，可进行各种修改、组合、子组合以及变形，只要它们在所附权利要求或者其等同范围内。
【权利要求】
1.一种图像获取装置，包括: 宏观照相单元，被配置为以第一放大倍率执行对载玻片的至少样本安装区域的图像的宏观照相，病理样本安装在所述载玻片的所述样本安装区域上； 微观照相单元，被配置为以大于所述第一放大倍率的第二放大倍率微观地为指定的照相区域照相； 第一判断单元，被配置为判断在分割通过所述宏观照相而获得的所述图像的多个局部区域的每个中是否存在所述病理样本的图像； 第二判断单元，被配置为将被判断为包括所述病理样本的所述图像的多个局部区域中的至少一个的一组判断为样本图像区域；以及 区域扩展单元，被配置为通过扩展所述样本图像区域产生扩展区域，并且使所述微观照相单元将所述扩展区域作为照相区域来进行照相。
2.根据权利要求1所述的图像获取装置， 其中，当所述样本图像区域的亮度值和被判断为不包括所述病理样本的所述图像的所述局部区域的亮度值之间的差值小于第一阈值时，所述区域扩展单元通过扩展所述样本图像区域来产生所述扩 展区域。
3.根据权利要求2所述的图像获取装置，其中: 当包含在所述样本图像区域中的局部区域的数目小于预定第二阈值时，所述区域扩展单元通过以所述局部区域为单位在外周方向上扩展所述样本图像区域来产生所述扩展区域； 当包含在所述样本图像区域中的局部区域的所述数目等于或大于所述预定第二阈值时，所述区域扩展单元在包括所述样本图像区域的矩形区域中通过扩展所述样本图像区域来产生所述扩展区域；以及 所述矩形区域在纵向方向上具有是设置在所述矩形区域的所述纵向方向上的局部区域的数目的包含在所述样本图像区域中的局部区域的数目的最大值且在横向方向上具有是设置在所述矩形区域的所述横向方向上的局部区域的数目的包含在所述样本图像区域中的局部区域的数目的最大值。
4.根据权利要求1所述的图像获取装置， 其中，当在所述样本图像区域中存在被判断为不包括所述病理样本的所述图像的局部区域时，所述区域扩展单元通过将所述局部区域添加至所述样本图像区域来产生所述扩展区域。
5.根据权利要求1所述的图像获取装置，进一步包括: 整个区域指定单元，被配置为当不存在被判断为包括所述病理样本的所述图像的局部区域时，使所述微观照相单元对整个样本安装区域进行照相。
6.根据权利要求3所述的图像获取装置， 其中，当所述样本图像区域的所述亮度值和被判断为不包括所述病理样本的所述图像的所述局部区域的所述亮度值之间的所述差值小于所述第一阈值并且包含在所述样本图像区域中的局部区域的所述数目小于所述第二阈值时，所述第一判断单元调整用于判断是否存在所述病理样本的所述图像的参数，并且再次执行所述判断。
7.根据权利要求1所述的图像获取装置，其中，由所述区域扩展单元执行的处理包括外周扩展处理、矩形扩展处理、封闭区域处理和整个区域指定处理。
8.一种图像获取方法，包括: 通过宏观照相单元以第一放大倍率执行对载玻片的至少样本安装区域的图像的宏观照相，病理样本安装在所述载波片的所述样本安装区域上； 通过第一判断单元判断在分割通过所述宏观照相获得的所述图像的多个局部区域的每个中是否存在所述病理样本的图像； 通过第二判断单元将被判断为包括所述病理样本的所述图像的所述多个局部区域的至少一个的一组判断为样本图像区域； 通过区域扩展单元扩展所述样本图像区域来产生扩展区域；以及通过微观照相单元以大于所述第一放大倍率的第二放大倍率微观地对所产生的扩展区域照相。
9.一种使计算机用作以下单元的信息处理程序: 第一判断单元，被配置为针对分割通过使宏观照相单元以第一放大倍率执行对载玻片的至少样本安装区域的图像的宏观照相而获得的图像的多个局部区域的每一个来判断是否存在病理样本的图像，所述病理样本安装在所述载波片的所述样本安装区域上； 第二判断单元，被配置为将被判断为包括所述病理样本的所述图像的所述多个局部区域的至少一个的一组判断为样本图像区域；以及 区域扩展单元，被配置为通过扩展所述样本图像区域来产生扩展区域，并且使微观照相单元以大于所述第一放大倍率的第二放大倍率微观地对所述扩展区域照相。
【文档编号】G01N21/84GK103926687SQ201410010847
【公开日】2014年7月16日 申请日期:2014年1月9日 优先权日:2013年1月16日
【发明者】渡边真司 申请人:索尼公司