图像处理装置、图像处理方法和电子设备的制作方法
【专利摘要】本发明提供一种图像处理装置、图像处理方法和电子设备。图像处理装置包括预处理单元，其对输入图像进行包括多层分割的预处理，以得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域；计算单元，其针对每个图像区域计算图像特征，并且基于该图像特征、利用训练好的图像语义分类器确定该图像区域的语义；输入图像语义确定单元，其根据每个父区域的语义及所包含的子区域的语义确定该父区域的最终语义，从而确定与输入图像相对应的语义信息；以及检索单元，其根据语义信息进行检索，以获得与输入图像相关的信息。本发明能够在不清楚检索对象的确切名称的情况下获取与检索对象相关的信息。
【专利说明】图像处理装置、图像处理方法和电子设备
【技术领域】
[0001]本公开涉及图像处理领域，尤其涉及一种图像处理装置、图像处理方法以及电子设备。
【背景技术】
[0002]随着互联网在工作和生活中的广泛应用，人们越来越多地使用检索方式来获取所需信息。目前的检索方式主要依赖于文本，即通过用户输入与所需信息相关的关键词来进行检索，例如，当用户需要了解与待检索对象(诸如发光二极管的电子元件)有关的信息，通常需要将“发光二极管”作为关键词进行检索，从而获得关于发光二极管的元件结构、性能参数等信息。然而，例如由于电子元器件产品种类繁多，用户不可能了解每一种电子元件的准确名称是什么，因此当用户不清楚待检索对象的准确名称的情况下或者不方便进行文字输入时，可能无法使用传统的文本检索方法获取与该电子元件相关的信息。
[0003]另一方面，随着智能手机和平板电脑等移动设备的发展，用户能够方便地获得待检索对象(例如电子元件)的图像，例如通过手机对待检索对象进行拍照，因此，如何利用待检索相关信息的对象(例如，电子元件)的图像获取与其相关的信息成为当前检索领域关注的焦点。
【发明内容】
[0004]在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不意图确定本公开的关键或重要部分，也不意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0005]鉴于现有技术的上述缺陷，本公开的目的之一是提供一种图像处理装置、图像处理方法以及电子设备，以至少克服现有的文本检索必须精确了解诸如电子元件的检索对象的准确名称的问题。
[0006]根据本发明的一个方面，提供一种获取与输入图像相关的信息的图像处理装置，包括:预处理单元，用于对所述输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域；计算单元，用于针对每个图像区域计算图像特征，并且基于该图像特征、利用训练好的图像语义分类器确定该图像区域的语义；输入图像语义确定单元，用于根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息；以及检索单元，用于根据所述语义信息进行检索，从而获得与所述输入图像相关的信息。
[0007]根据本发明的另一个方面，还提供了一种根据输入图像获取与该输入图像相关的信息的图像处理方法，包括:对所述输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域；针对所述多个图像区域中的每个图像计算图像特征，并且基于该图像特征、利用训练好的图像语义分类器确定该图像区域的语义；根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息；以及根据所述语义信息进行检索，从而获得与所述输入图像相关的信息。
[0008]根据本发明的另一个方面，还提供了一种电子设备，该设备包括如上所述的图像处理装置，所述电子设备尤其是手机、计算机、平板电脑、以及个人数字助理。
[0009]依据本发明的其它方面，还提供了一种使得计算机用作如上所述的图像处理装置的程序。
[0010]依据本发明的又一方面，还提供了相应的计算机可读存储介质，该计算机可读存储介质上存储有能够由计算设备执行的计算机程序，所述程序在执行时能够使所述计算设备执行上述图像处理方法。
[0011]上述根据本发明实施例的图像处理装置和图像处理方法以及电子设备，至少能够获得以下益处之一:能够在不清楚检索对象的确切名称的情况下获取与检索对象相关的信息；并且能够提高诸如图像检索之类的图像处理的精度。
[0012]通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
【专利附图】
【附图说明】
[0013]本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中:
[0014]图1是示意性地示出根据本公开实施例的图像处理装置的一种示例结构的框图。
[0015]图2是示意性地示出如图1所示的输入图像语义确定单元的一种可能的示例结构的框图。
[0016]图3是示意性地示出如图2所示的语义确定子单元的一种可能的示例结构的框图。
[0017]图4是示意性地示出根据本公开另一实施例的图像处理装置的一种示例结构的框图。
[0018]图5是示意性地示出如图4所示的相似性计算单元的一种可能的示例结构的框图。
[0019]图6是示意性地示出如图5所示的第二计算子单元的一种可能的示例结构的框图。
[0020]图7是示意性地示出如图5所示的第二计算子单元的另一种可能的示例结构的框图。
[0021]图8是示意性地示出如图7所示的局部匹配模块的另一种可能的示例结构的框图。
[0022]图9是示出根据本公开实施例的图像处理方法的一种示例性处理的流程图。
[0023]图10示出了可用来实现根据本公开实施例的图像处理装置和图像处理方法的一种可能的信息处理设备的硬件配置的结构简图。
[0024]本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本公开实施例的理解。
【具体实施方式】
[0025]在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0026]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的装置结构和/或处理步骤，而省略了与本公开关系不大的其他细节。
[0027]下面将以电子元件作为待检索对象对本公开的图像处理装置以及其所包含的各个部件进行详细描述，但是本公开不限于此。通过以下描述，本领域技术人员容易理解还可以将本公开的图像处理装置用于获取与诸如图书、生活用品等其他产品相关的信息。
[0028]如图1所示，根据本公开实施例的图像处理装置I包括:预处理单元10，用于对输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域；计算单元20，用于针对每个图像区域计算图像特征，并且基于图像特征、利用训练好的图像语义分类器确定该图像区域的语义；输入图像语义确定单元30，用于根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息；以及检索单元40，用于根据语义信息进行检索，从而获得与输入图像相关的信息。
[0029]如图1所示，预处理单元10可以接收例如来自用户的输入图像，并对输入图像进行预处理以得到多个图像区域。其中，上述输入图像例如可以是手机拍摄的多个电子元件，如继电器、三极管等等。此外，对输入图像进行的多层分割例如可以采用本领域公知的分水岭算法设定不同的分割参数，从而对图像进行由粗到细的分层分割，得到多个图像区域。
[0030]在一种具体实施例中，预处理单元10可以对输入图像进行两层分割来获得多个图像区域。在这种情况下，根据图像的灰度、边缘、纹理、结构等特性首先将输入图像进行粗分割得到多个父区域(例如3个)，然后根据灰度、边缘、纹理、结构等特性对每个父区域进一步进行细分割，从而针对每个父区域得到多个子区域(例如5个)，从而获得包括所有父区域和所有子区域的多个图像区域。其中，上述所分割的层数以及父区域和子区域的数量仅为示例性的，本公开不限于此，而是可以根据图像处理的精确度要求对父区域和子区域的数量进行任意设置。在本公开中，父区域是指在进行分割时作为分割对象的图像区域，在对父区域进行一层分割后得到的多个图像区域作为该父区域的子区域。
[0031]通过上述对输入图像的预处理之后，可以得到多个图像区域用于计算单元20的
进一步处理。[0032]接下来，计算单元20计算通过预处理单元10预处理之后获得多个图像区域中的每个图像区域的图像特征(在上述示例中，计算2个父区域和2X3个子区域中每个图像区域的图像特征)，例如图像区域的灰度、纹理等等。然后，针对每个图像区域，计算单元20基于计算好的该图像区域的图像特征，利用训练好的图像语义分类器，对该图像区域的类别进行判断，以对该图像区域的类别进行识别，即确定该图像区域的语义。
[0033]在此以电子元件作为待检索对象为例，对利用图像语义分类器的运作进行描述。图像语义分类器是预先经过训练的诸如对电子元件种类进行分类的分类器。分类器训练方法包括:建立电子元件图像数据库，包括市场上可获得的各种电子元件的图像数据，并且在该数据库中根据电子元件的类别分成了多个图像子集，例如电容元件、电阻元件等等；提取数据库中电子元件的图像特征，例如颜色特征、纹理特征等等；以及根据电子元件的特征，训练电子元件类别分类器，例如可以采用SVM(支持向量机)算法训练电子元件类别分类器。上述分类器的训练方法仅为示例性的，本领域技术人员可以理解，还可以通过本领域公知的其它的训练方法来对分类器进行训练，从而利用训练好的分类器将每个图像区域分到相应的电子元件类别，即通过该相应的电子元件类别可以获得该图像区域的语义信息。
[0034]例如，在对输入图像进行两层分割的上述示例中，基于计算的图像特征并且利用图像语义分类器，将输入图像的第一父区域Al和第二父区域A2的语义分别确定为“三极管”和“继电器”，并且将第一父区域Al所包括的三个子区域A11、A12和A13的语义分别确定为“三极管”、“三极管”和“二极管”，将第二父区域所包括的三个子区域A21、A22和A23为“继电器”、“接触器”和“接触器”，从而得到多个图像区域中每个图像区域相对应的语义。
[0035]因此，计算单元20通过上述处理可以获得经预处理单元10预处理后获得的多个图像区域中每个图像区域的语义信息。
[0036]接下来，输入图像语义确定单元30根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息。
[0037]图2示出如图1所示的输入图像语义确定单元30的一种具体实现方式。
[0038]根据本公开的优选实施例，如图所示，输入图像语义确定单元30可以包括语义确定子单元301和语义综合子单元302。
[0039]在此，仍以对输入图像进行两层分割为例对语义确定子单元301和语义综合子单元302进行详细说明，但本公开不限于此。
[0040]如图2所示，语义确定子单元301根据所述计算单元20确定的第一父区域Al的语义以及该第一父区域所包括的所有子区域All、A12和A13的语义，确定该第一父区域的最终语义，并根据所述计算单元确定的第二父区域A2的语义以及该第二父区域所包括的所有子区域A21、A22和A23的语义，确定该第二父区域的最终语义，从而得到所有父区域(即通过对输入图像进行第一层分割所得到的多个区域)的最终语义。
[0041]根据本公开的优选实施例，语义确定子单元301可以实现为如图3所示的结构。如图3所示，语义确定子单元301可以包括语义判断模块3011和语义确定模块3012。
[0042]如图3所示，语义判断模块3011用于针对每个父区域，判断该父区域所包括的子区域中语义与该父区域的由所述计算单元确定的语义相同的子区域的数目是否大于预定值(例如I)。例如在上述示例中，第一父区域Al的语义被计算单元确定为“三极管”，并且第一父区域Al所包括的三个子区域All、A12和A13的最终语义(由于只进行了两层分割，因此子区域A11、A12和A13的最终语义为由计算单元20确定的语义)分别被确定为“三极管”、“三极管”和“二极管”，在此情况下，语义判断模块3011将第一父区域中所包括的语义与其语义(即计算单元20确定的Al的语义“三极管”)相同的子区域的数目判定为2，其大于预定值I。类似地，将第二父区域A2中所包括的语义与其语义(“继电器”)相同的子区域的数目判定为不大于预定值I。
[0043]然后，由语义确定模块3012根据判定结果确定每一个父区域的最终语义。根据本公开的一个实施例，在语义判断模块3011的判定结果为大于预定值时，将由计算单元20确定的父区域的语义作为该父区域的最终语义，例如，在上述示例中将“三极管”作为第一父区域Al的最终语义。而在语义判断模块3011的判定结果为小于预定值时，语义确定模块3012将由计算单元20确定的该父区域的语义以及该父区域内所有子单元的语义进行综合，作为该父区域的最终语义，例如在上述实例中，通过合并第二父区域A2的语义“继电器”以及其子区域A21、A22和A23的语义“继电器”、“接触器”和“接触器”，从而得到“继电器”和“接触器”两个语义作为第二父区域的最终语义。
[0044]虽然，上面以合并方式为例示出了在语义判断模块3011的判断结果为语义与其父区域的语义相同的子区域的数目小于预定值的情况下、语义确定模块3012对父区域及其子区域的语义进行的综合，但是本公开不限于此，还可以通过其他综合方式确定父区域的语义，例如取子区域的语义中出现次数最多的语义与父区域结合作为该父区域的最终语义。
[0045]回到图2，在得到每个父区域的最终语义之后，语义综合子单元302将通过语义确定子单元301确定的每个父区域的最终语义进行综合得到输入图像的最终语义。可以采用与上述对父区域及其子区域的语义的综合类似的方式对每个父区域的语义进行综合，进而得到输入图像的最终语义。在上述示例中，语义综合子单元302例如通过对第一父区域“三极管”和第二父区域的语义“接触器”和“继电器”进行合并来得到“三极管”、“接触器”和“继电器”作为输入图像的语义。
[0046]转至图1，在由图像语义确定单元30确定了针对整个输入图像的语义信息之后，检索单元40可以根据所确定的针对整个输入图像的语义信息在信息源中进行检索，以获得与输入图像有关的信息。信息源可以是各种专用数据库(例如电子元件数据库)，也可以通用数据库、网站等等。
[0047]根据本公开的一个实施例，在图像语义确定单元30确定了针对整个输入图像的语义信息为多个语义后，检索单元40可以针对每个语义分别进行检索，或者也可以针对多个语义中的任意语义的组合进行检索。在上述实例中，例如可以针对“三极管”、“接触器”和“继电器”分别进行检索，也可以针对三极管”、“接触器”和“继电器”中的任意两个或三个一起作为检索关键字进行检索，以获得相关的信息。
[0048]在此需要说明，虽然为了便于描述，以对输入图像进行两层分割为例描述了本公开的上述实施例，但是这并不构成对本公开的限定。在上述具体实施例的公开的基础上，根据对检索精度的具体要求，本领域技术人员容易想到通过改变输入图像语义确定单元30中的语义确定子单元的操作，实现对输入图像进行一层分割、三层或更多层分割后的图像中每一层区域的最终语义的确定，从而实现能够对输入图像进行一层分割、三层或更多层分割的图像处理装置。例如预处理单元10对输入图像进行N层(N为正整数)分割，从而得到多个图像区域，该多个图像区域包括经第一层分割后得到的多个第一层区域、经第二层分割后得到的多个第二层区域、...经第N-1层分割后得到的多个第N-1层区域以及经第N层分割后得到的多个第N层区域，其中在进行第K层分割时(K为大于I且小于等于N的正整数)，以多个第K-1层区域中的每个区域作为父区域，将其分割为多个第K层区域作为该K-1层区域的子区域。在此情况下，语义确定子单元301可以根据计算单元20确定的第N-1层区域的语义以及该第N-1层区域所包括的所有第N层区域的最终语义(第N层区域由于不包括子区域，因此将计算单元20确定的该第N层区域的语义作为该第N层区域的最终语义)，确定该第N-1层区域的最终语义，并根据所述计算单元确定的第N-2层区域的语义以及该第N-2层区域所包括的所有第N-1层区域的所述最终语义，确定第N-2层区域的最终语义，以此类推，直到确定第一层区域(即对输入图像进行第一层分割后获得的多个图像区域)的最终语义。即，在对输入图像进行了 N层分割的情况下，将由计算单元20确定的第N层区域的语义作为该第N层区域的最终语义，并且针对第一层至第N-1层区域中的第i层区域(其中i为大于等于I且小于等于N-1的正整数)，根据由计算单元20确定的第i层区域的语义与该i层区域所包括的所有第i+1层区域的最终语义来确定该第i层区域的最终语义。
[0049]通过以上描述可知，根据本公开实施例的上述图像处理装置是基于作为待检索对象的输入图像来获取与输入图像有关的信息的，因此用户无需了解代检索对象的确切名称，而是可以利用诸如智能手机对待检索对象进行拍照，来获取与待检索对象有关的信息。此外，对待检索对象的检索是基于输入图像首先确定其语义信息，再以语义信息作为关键字进行检索，因此提高了图像检索精度。并且，由于将图像分割为多个图像区域并基于多个图像区域分别获取相对应的语义信息，因此能够进一步提高了图像检索精度。
[0050]此外，根据本公开的图像处理装置尤其适用于获取多个待检索对象之间的关联信息的情况，例如用户想要了解两个电子元件(诸如继电器、电容)之间的电气连接关系，用户可以对两个电子元件同时进行拍照，获得同时包括两个电子元件的输入图像，在此情况下，使用本公开的上述图像处理装置，可以获得这两个电子元件的语义作为与输入图像对应的语义信息，从而使用这语义进行检索，得到用户所需的诸如电路图的信息。
[0051]如图4所示，根据本公开的另一个实施例的图像处理装置10可以包括:预处理单元10、计算单元20、图像语义确定单元30、检索单元40、相似度计算单元50以及后处理子单元60。其中预处理单元10、计算单元20、图像语义确定单元30、检索单元40的配置与图1所示的相同，在此不再赘述。
[0052]相似度计算单元50用于判断检索结果与输入图像的相似度。如图5所示，根据本公开实施例的检索结果相似度计算单元50可以包括第一计算子单元501和第二计算子单元502中的至少一个。下面，以相似度计算单元50同时包括第一计算子单元501和第二计算子单元502的情况为例来进行描述，相似度计算单元50只包括第一计算子单元501或第二计算子单元502的情况容易根据以下描述获知，不再赘述。
[0053]如图5所示，相似度计算单元50所计算的相似度例如可以包括图像相似度和语义相似度。在此情况下，第一计算子单元501用于计算每个检索结果中包含的语义信息与由语义确定单元确定的输入图像的语义之间的语义相似度，第二计算子单元502用于计算每个检索结果与输入图像之间的图像相似度。[0054]语义相似度的计算是本领域公知常识，因此省略了对第一计算单元501计算语义相似度的操作的具体描述。
[0055]图6示出了如图5所示的第二计算子单元502的一种具体实现方式。
[0056]如图6所示，第二计算子单元502包括图像分割模块5021、整体匹配模块5022和图像相似度计算模块5023。[0057]针对检索结果中包含的图像区域，图像分割模块5021用于将检索得到的每个图像以及输入图像分别分割成多个图像区域。类似于预处理单元10对输入图像的预处理，图像分割子单元5021也可以根据图像的灰度、边缘、纹理、结构等特性对输入图像和检索得到的图像进行分割，从而得到多个图像区域。当然，本领域技术人员可以理解，也可以利用预处理单元10在对输入图像进行预处理时得到的多个图像区域作为在此使用的多个图像区域，并且使用与分割输入图像相同的分割方式对检索得到的输入图像进行分割。
[0058]整体匹配模块5022针对输入图像的每个图像区域与检索得到的图像的多个图像区域中的每一个进行比较，以确定是否整体匹配，例如两个所比较的图像区域是否在整体上具有一定的相似度(例如达到预定的第一相似度阈值)，如果具有一定的相似度(例如≥50%)，则认为输入图像的该图像区域与检索得到的图像能够匹配，否则不匹配。
[0059]在整体匹配模块5022得到整体匹配的结果之后，图像相似度计算模块5023可以结合整体匹配模块5022的匹配结果，确定输入图像与检索得到的每个图像的图像相似度。例如，当输入图像的四个图像区域中有三个图像区域确定为与检索得到的图像的相应图像区域匹配，则确定输入图像与该检索得到的图像的相似度为75%。
[0060]虽然以上针对输入图像与一个检索得到的图像的图像相似度的确定进行了描述，但是本领域技术人员可以理解，也可以针对检索结果中的每个图像、任意多个图像的组合中的每个图像，判断其与输入图像的图像相似度。
[0061]图7是示意性地示出如图5所示的第二计算子单元502的另一种可能的示例结构的框图。如图7所示，第二计算子单元502除了包括图像分割模块5021、整体匹配模块5022和图像相似度计算模块5023之外，还包括局部匹配模块5024。其中图像分割模块5021、整体匹配模块5022和图像相似度计算模块5023的配置和功能与图5所示的相同，在此不再赘述。
[0062]局部匹配模块5024用于在针对整体匹配模块5022的整体匹配的结果是不匹配时，确定该图像区域的局部匹配度。
[0063]如图8所示，局部匹配模块5024包括局部相似度判断子模块5024A、图像再分割子模块5024B以及图像再匹配子模块5024C。
[0064]局部相似度判断子模块5024A在整体匹配模块5022的整体匹配的结果是不匹配时，对被整体匹配模块5022确定为不匹配的输入图像的图像区域与检索得到每个图像的多个图像区域中的每一个是否存在局部相似进行判断，例如相似度是否达到第二相似度阈值(例如30%)。例如，当整体匹配模块5022确定输入图像的某个图像区域与检索得到的某个图像的相似度为40% (小于第一相似度阈值50%)而不与其整体匹配时，由于该相似度大于第二相似度阈值30%，因此局部相似度判断子模块5024A判定输入图像的该图像区域与检索得到的图像存在局部相似。
[0065]在局部相似度判断子模块5024A判定输入图像与检索得到的图像存在局部相似后，图像再分割子模块5024B将该图像区域再分割为多个图像子区域，例如可以采用与图像分割模块5021对输入图像进行分割时采用的类似方式对图像区域进行再分割。
[0066]图像再匹配子模块5024C将经过再分割的图像子区域与检索得到的图像的每个图像区域进行整体匹配，并根据每个图像子区域的匹配结果确定该图像区域的局部匹配度。例如，将一个判定为整体不匹配的图像区域分割为4个图像子区域，以与如上参照整体匹配模块5022描述的整体匹配方式类似的方式，判断4个子区域中有2个子区域能够与检索得到的图像整体匹配，在此情况下，将该图像区域的局部匹配度确定为2/4=0.5。
[0067]这样，在整体匹配模块5022得到整体匹配的结果并且局部匹配模块5024得到整体不匹配的图像区域的局部匹配结果之后，图像区域相似度计算模块5023可以根据这两个模块的匹配结果，确定输入图像与检索得到的每个图像的图像相似度。例如，当输入图像的4个图像区域中有2个图像区域通过整体匹配模块5022被确定为与检索得到的图像的图像区域整体匹配，而剩余两个整体不匹配的图像区域在通过局部匹配子单元504判定局部匹配度分别为0.5和0.3之后，确定输入图像与该检索得到的图像的相似度为2/4+0.5X1/4+0.3X1/4=0.7。
[0068]在通过检索结果相似度判定单元50计算出所述输入图像与检索结果的语义相似度和/或图像相似度之后，后处理单元60基于判定结果对检索结果进行后处理，例如根据语义相似度和/或图像相似度，从高到低对检索结果排序。在一个例子中，所获得的检索结果可以是按照检索结果与输入图像之间的图像相似度与语义相似度的加权和的高低顺序进行排序的。
[0069]通过以上描述可知，根据本公开实施例的图像处理装置能够对检索后得到的图像与输入图像的相似度进行后验证，从而能够以与输入图像的相似度对检索得到的图像进行排序，从而能够提高检索结果与输入图像的相关程度。
[0070]此外，本公开的实施例还提供了一种图像处理方法，下面结合图9来描述该图像处理方法的一种示例性处理。
[0071]图9是示意性地示出根据本公开的图像处理方法的一种示例性处理的流程图。
[0072]如图9所示，根据本公开的实施例的图像处理方法的处理流程900开始于步骤S910，然后执行步骤S920。
[0073]在步骤S920中，对所述输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域；然后执行步骤S930。
[0074]可以通过执行上述结合图1描述的预处理单元10的处理来获得多个图像，在此省略其描述。
[0075]在步骤S930中，计算每个图像区域的图像特征，并且基于该图像特征利用训练好的图像语义分类器确定该图像区域的语义。然后执行步骤840。
[0076]在步骤S940中，根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息。然后执行步骤S950。与输入图像相对应的语义信息可以通过执行参照图1-图3描述的图像语义确定单元30的处理来获得，在此省略其描述。
[0077]在步骤S950中，根据所述语义信息进行检索，从而获得与所述输入图像相关的信息。然后执行步骤S960。
[0078]在另一个例子中，所获得的检索结果可以是按照检索结果与输入图像之间的图像相似度与语义相似度的加权和的高低顺序进行排序的。
[0079]其中，检索结果与输入图像之间的图像相似度可以通过参考上文中结合图4-图6描述的相似度计算单元50的示例处理。
[0080]处理流程900结束于步骤960。
[0081]此外，本公开的实施例还提供了一种电子设备，该电子设备被配置包括如上所述的图像处理装置I。该电子设备例如可以是以下设备中的任意一种:手机；计算机；平板电脑；以及个人数字助理等。相应地，该电子设备能够拥有如上所述的图像处理装置的有益效果和优点。
[0082]上述根据本公开的实施例的图像处理装置中的各个组成单元、子单元等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的机器(例如图10所示的通用机器1000)安装构成该软件或固件的程序，该机器在安装有各种程序时，能够执行上述各组成单元、子单元的各种功倉泛。
[0083]图10是示出了可用来实现根据本公开的实施例的图像处理装置和图像处理方法的一种可能的信息处理设备的硬件配置的结构简图。
[0084]在图10中，中央处理单元(CPU) 1001根据只读存储器(ROM) 1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM) 1003的程序执行各种处理。在RAM 1003中，还根据需要存储当CPU 1001执行各种处理等等时所需的数据。CPU 100KROM 1002和RAM1003经由总线1004彼此连接。输入/输出接口 1005也连接到总线1004。
[0085]下述部件也连接到输入/输出接口 1005:输入部分1006 (包括键盘、鼠标等等)、输出部分1007(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1008 (包括硬盘等)、通信部分1009 (包括网络接口卡例如LAN卡、调制解调器等)。通信部分1009经由网络例如因特网执行通信处理。根据需要，驱动器1010也可连接到输入/输出接口 1005。可拆卸介质1011例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1010上，使得从中读出的计算机程序可根据需要被安装到存储部分1008 中。
[0086]在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质1011安装构成软件的程序。
[0087]本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
[0088]此外，本公开还提出了 一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本公开的实施例的图像处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本公开的公开中。[0089]在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
[0090]此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。
[0091]此外，显然，根据本公开的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
[0092]而且，本公开的目的也可以通过下述方式实现:将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
[0093]此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
[0094]上述这些机器可读存储介质包括但不限于:各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
[0095]另外，客户信息处理终端通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到信息处理终端中然后执行该程序，也可以实现本公开的各实施例。
[0096]此外，虽然本公开的图像处理装置以电子元件作为输入图像的对象进行了描述，但是本公开不限于此。通过以上描述，本领域技术人员容易理解还可以将本公开的图像处理装置用于获取与诸如图书、生活用品等其他产品相关的信息。
[0097]另外，本公开的图像处理装置使用的各种上述阈值参数可以基于图像处理装置和图像处理方法的实际应用场景而设定，或者可以通过有限次实验来确定。
[0098]综上，在根据本发明的实施例中，本发明提供了如下方案:
[0099]附记1.一种获取与输入图像相关的信息的图像处理装置，包括:
[0100] 预处理单元，用于对所述输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域；
[0101]计算单元，用于针对每个图像区域计算图像特征，并且基于该图像特征、利用训练好的图像语义分类器确定该图像区域的语义；
[0102]输入图像语义确定单元，用于根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息；以及
[0103]检索单元，用于根据所述语义信息进行检索，从而获得与所述输入图像相关的信
息O
[0104]附记2.根据附记I所述的图像处理装置，其中所述预处理单元用于对所述输入图像进行N层分割，从而得到包括经第一层分割后得到的多个第一层区域、经第二层分割后得到的多个第二层区域、…经第N-1层分割后得到的多个第N-1层区域以及经第N层分割后得到的多个第N层区域的多个图像区域，其中N为正整数，并且在进行第K层分割时，以第K-1层区域作为父区域，将其分割为多个第K层区域作为该K-1层区域的子区域，K为大于I且小于等于N的正整数，其中
[0105]所述输入图像语义确定单元包括:
[0106]语义确定子单元，用于将由所述计算单元确定的每个第N层区域的语义作为该第N层区域的最终语义，并根据所述计算单元确定的第N-1层区域的语义以及该第N-1层区域所包括的所有第N层区域的最终语义，确定该第N-1层区域的最终语义，并根据所述计算单元确定的第N-2层区域的语义以及该第N-2层区域所包括的所有第N-1层区域的最终语义，确定第N-2层区域的最终语义，以此类推，直到确定第一层区域的最终语义；
[0107]语义综合子单元，将通过语义确定子单元确定的每个第一层区域的最终语义进行综合得到输入图像的最终语义。
[0108]附记3.根据附记I或2所述的图像处理装置，其中所述语义确定子单元包括:
[0109]语义判断模块，用于针对每个父区域，判断该父区域所包括的子区域中最终语义与该父区域的由所述计算单元确定的语义相同的子区域的数目是否大于预定值；
[0110]语义确定模块，用于在所述语义判断模块的判断结果为大于预定值时，将由所述计算单元确定的该父区域的语义作为该父区域的最终语义，并且在所述语义判断模块的判断结果为不大于预定值时，将由所述计算单元确定的该父区域的语义以及该父区域内所有子区域的最终语义进行综合，以确定该父区域的最终语义。
[0111]附记4.根据附记1-3中任一项所述的图像处理装置，其中所述检索单元根据所述语义信息中的各个语义分别进行检索或根据所述语义信息中的多个语义进行检索。
[0112]附记5.根据附记1-4中任一项所述的图像处理装置，其中所述图像处理装置还包括:
[0113]相似度计算单元，用于计算所述输入图像与所述检索单元获得的检索结果的相似度；以及
[0114]后处理单元，基于所述相似度计算单元计算的相似度对检索结果进行后处理。
[0115]附记6.根据附记5所述的图像处理装置，其中所述相似度计算单元包括第一计算子单元和/或第二计算子单元，所述第一计算子单元用于计算图像语义确定单元所确定的语义信息与检索得到的语义的语义相似度，所述第二计算子单元用于计算输入图像与检索得到的图像的图像相似度；所述后处理单元用于按照所述检索结果与所述输入图像之间的相似度的高低对所述检索结果进行排序，并且输出排序后的检索结果。
[0116]附记7.根据附记6所述的图像处理装置，其中所述第二计算子单元包括:
[0117]图像分割模块，用于将检索得到的图像以及所述输入图像分别分割成多个图像块；
[0118]整体匹配模块，用于针对输入图像的每个图像块，将该图像块与检索得到的图像的多个图像块中的每一个进行整体匹配；以及
[0119]图像相似度计算模块，用于根据匹配结果计算所述输入图像与检索得到的图像的图像相似度。
[0120]附记8.根据附记7所述的图像处理装置，其中第二计算子单元还包括局部匹配模块，所述局部匹配模块包括:
[0121]局部相似度判断子模块，用于当整体匹配模块的匹配结果是不匹配时，对由整体匹配模块确定为不匹配的输入图像的图像块与检索得到的图像的多个图像块中的每一个是否存在局部相似进行判断；以及
[0122]图像再分割子模块，用于在局部相似度判断子模块的判断结果是存在局部相似时，将输入图像的确定为局部相似的图像块进一步分割成多个图像子块；以及
[0123]图像再匹配子模块，用于对该多个图像子块中的每一个与检索得到的图像的多个图像块中的每一个进行整体匹配，以根据匹配结果计算该图像块与检索得到的图像的局部相似度；
[0124]所述图像相似度计算模块根据所述整体匹配模块的匹配结果以及所述局部匹配模块的匹配结果，计算所述输入图像与检索得到的图像的图像相似度。
[0125]附记9.一种根据输入图像获取与该输入图像相关的信息的图像处理方法，包括以下步骤:
[0126]对所述输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域；
[0127]针对所述多个图像区域中的每个图像计算图像特征，并且基于该图像特征、利用训练好的图像语义分类器确定该图像区域的语义；
[0128]根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息；以及
[0129]根据所述语义信息进行检索，从而获得与所述输入图像相关的信息。
[0130]附记10.根据附记9所述的图像处理方法，其中所述预处理步骤对所述输入图像进行N层分割，从而得到包括经第一层分割后得到的多个第一层区域、经第二层分割后得到的多个第二层区域、…经第N-1层分割后得到的多个第N-1层区域以及经第N层分割后得到的多个第N层区域的多个图像区域，其中N为正整数，并且在进行第K层分割时，以第K-1层区域作为父区域，将其分割为多个第K层区域作为该K-1层区域的子区域，K为大于I且小于等于N的正整数，其中
[0131]所述确定与所述输入图像相对应的语义信息的步骤包括:
[0132]将由计算步骤所确定的每个第N层区域的语义作为该第N层区域的最终语义，并根据计算步骤所确定的第N-1层区域的语义以及该第N-1层区域所包括的所有第N层区域的最终语义，确定该第N-1层区域的最终语义，并根据计算步骤所确定的第N-2层区域的语义以及该第N-2层区域所包括的所有第N-1层区域的最终语义，确定第N-2层区域的最终语义，以此类推，直到确定第一层区域的最终语义；
[0133]将确定的每个第一层区域的最终语义进行综合得到输入图像的最终语义。
[0134]附记11.根据附记9或10所述的图像处理方法，其中所述语义确定步骤包括:
[0135]针对每个父区域，判断该父区域所包括的子区域中最终语义与该父区域的由计算步骤所确定的语义相同的子区域的数目是否大于预定值；
[0136]在判断结果为大于预定值时，将由计算步骤所确定的该父区域的语义作为该父区域的最终语义，并且判断结果为不大于预定值时，将由计算步骤所确定的该父区域的语义以及该父区域内所有子区域的最终语义进行综合，以确定该父区域的最终语义。
[0137]附记12.根据附记9-11中任一项所述的图像处理方法，其中所述检索步骤包括根据所述语义信息中的各个语义分别进行检索或根据所述语义信息中的多个语义进行检索。[0138]附记13.根据附记9-12中任一项所述的图像处理方法，还包括:
[0139]计算所述输入图像与所述检索单元获得的检索结果的相似度；以及
[0140]基于所述相似度计算单元计算的相似度对检索结果进行后处理。
[0141]附记14.根据附记13所述的图像处理方法，其中相似度计算步骤包括计算图像语义确定单元所确定的语义信息与检索得到的语义的语义相似度，计算输入图像与检索得到的图像的图像相似度；后处理步骤包括按照所述检索结果与所述输入图像之间的相似度的高低对所述检索结果进行排序，并且输出排序后的检索结果。
[0142]附记15.根据附记14所述的图像处理方法，其中图像相似度计算步骤包括:
[0143]将检索得到的图像以及所述输入图像分别分割成多个图像块；
[0144]针对输入图像的每个图像块，将该图像块与检索得到的图像的多个图像块中的每一个进行整体匹配；以及
[0145]根据匹配结果计算所述输入图像与检索得到的图像的图像相似度。
[0146]附记16.根据附记15所述的图像处理方法，其中图像相似度计算步骤还包括以下步骤:
[0147]当整体匹配的匹配结果是不匹配时，对整体匹配步骤确定为不匹配的输入图像的图像块与检索得到的图像的多个图像块中的每一个是否存在局部相似进行判断；以及
[0148]在局部相似度判断步骤的判断结果是存在局部相似时，将输入图像的确定为局部相似的图像块进一步分割成多个图像子块；以及
[0149]对该多个图像子块中的每一个与检索得到的图像的多个图像块中的每一个进行整体匹配，以根据匹配结果计算该图像块与检索得到的图像的局部相似度；
[0150]图像相似度计算步骤根据整体匹配步骤的匹配结果以及局部匹配步骤的匹配结果，计算所述输入图像与检索得到的图像的图像相似度。
[0151]附记17.—种电子设备，包括如权利要求1-8中任一项所述的图像处理装置，所述电子设备尤其是手机、计算机、平板电脑、以及个人数字助理。
[0152]附记18.—种使得计算机用作如权利要求1-8中任一项所述的图像处理装置的程序。
[0153]附记19.一种计算机可读存储介质，其上存储有能够由计算设备执行的计算机程序，所述程序在执行时能够使所述计算设备执行根据附记9-16中任意一项所述的图像处
理方法。
[0154]最后，还需要说明的是，在本文中，诸如左和右、第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
【权利要求】
1.一种获取与输入图像相关的信息的图像处理装置，包括: 预处理单元，用于对所述输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域； 计算单元，用于针对每个图像区域计算图像特征，并且基于该图像特征、利用训练好的图像语义分类器确定该图像区域的语义； 输入图像语义确定单元，用于根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息；以及 检索单元，用于根据所述语义信息进行检索，从而获得与所述输入图像相关的信息。
2.根据权利要求1所述的图像处理装置，其中所述预处理单元用于对所述输入图像进行N层分割，从而得到包括经第一层分割后得到的多个第一层区域、经第二层分割后得到的多个第二层区域、…经第N-1层分割后得到的多个第N-1层区域以及经第N层分割后得到的多个第N层区域的多个图像区域，其中N为正整数，并且在进行第K层分割时，以第K-1层区域作为父区域，将其分割为多个第K层区域作为该K-1层区域的子区域，其中K为大于I且小于等于N的正整数，其中 所述输入图像语义确定单元包括: 语义确定子单元，用于将由所述计算单元确定的每个第N层区域的语义作为该第N层区域的最终语义，并根据所述计算单元确定的第N-1层区域的语义以及该第N-1层区域所包括的所有第N层区域的最终语义，确定该第N-1层区域的最终语义，并根据所述计算单元确定的第N-2层区域的语义以及该第N-2层区域所包括的所有第N-1层区域的最终语义，确定第N-2层区域的最终语义，以此类推，直到确定第一层区域的最终语义；` 语义综合子单元，将通过语义确定子单元确定的每个第一层区域的最终语义进行综合得到输入图像的最终语义。
3.根据权利要求1或2所述的图像处理装置，其中所述语义确定子单元包括: 语义判断模块，用于针对每个父区域，判断该父区域所包括的子区域中最终语义与该父区域的由所述计算单元确定的语义相同的子区域的数目是否大于预定值； 语义确定模块，用于在所述语义判断模块的判断结果为大于预定值时，将由所述计算单元确定的该父区域的语义作为该父区域的最终语义，并且在所述语义判断模块的判断结果为不大于预定值时，将由所述计算单元确定的该父区域的语义以及该父区域内所有子区域的最终语义进行综合，以确定该父区域的最终语义。
4.根据权利要求1-3中任一项所述的图像处理装置，其中所述检索单元根据所述语义信息中的各个语义分别进行检索或根据所述语义信息中的多个语义进行检索。
5.根据权利要求1-4中任一项所述的图像处理装置，其中所述图像处理装置还包括: 相似度计算单元，用于计算所述输入图像与所述检索单元获得的检索结果的相似度；以及 后处理单元，基于所述相似度计算单元计算的相似度对检索结果进行后处理。
6.根据权利要求5所述的图像处理装置，其中所述相似度计算单元包括第一计算子单元和/或第二计算子单元，所述第一计算子单元用于计算图像语义确定单元所确定的语义信息与检索得到的语义的语义相似度，所述第二计算子单元用于计算输入图像与检索得到的图像的图像相似度；所述后处理单元用于按照所述检索结果与所述输入图像之间的相似度的高低对所述检索结果进行排序，并且输出排序后的检索结果。
7.根据权利要求6所述的图像处理装置，其中所述第二计算子单元包括: 图像分割模块，用于将检索得到的图像以及所述输入图像分别分割成多个图像块； 整体匹配模块，用于针对输入图像的每个图像块，将该图像块与检索得到的图像的多个图像块中的每一个进行整体匹配；以及 图像相似度计算模块，用于根据匹配结果计算所述输入图像与检索得到的图像的图像相似度。
8.根据权利要求7所述的图像处理装置，其中第二计算子单元还包括局部匹配模块，所述局部匹配模块包括: 局部相似度判断子模块，用于当整体匹配模块的匹配结果是不匹配时，对由整体匹配模块确定为不匹配的输入图像的图像块与检索得到的图像的多个图像块中的每一个是否存在局部相似进行判断；以及 图像再分割子模块，用于在局部相似度判断子模块的判断结果是存在局部相似时，将输入图像的确定为局部相似的图像块进一步分割成多个图像子块；以及 图像再匹配子模块，用于对该多个图像子块中的每一个与检索得到的图像的多个图像块中的每一个进行整体匹配，以根据匹配结果计算该图像块与检索得到的图像的局部相似度； 所述图像相似度计算模块根据所述整体匹配模块的匹配结果以及所述局部匹配模块的匹配结果，计算所述输入图像与检索得到的图像的图像相似度。
9.一种根据输入图像获取与该输入图像相关的信息的图像处理方法，包括:` 对所述输入图像进行包括多层分割的预处理，从而得到包括多个父区域和多个子区域的多个图像区域，其中每个父区域包括将其作为分割对象分割后得到的多个子区域； 针对所述多个图像区域中的每个图像计算图像特征，并且基于该图像特征、利用训练好的图像语义分类器确定该图像区域的语义； 根据每个父区域的语义及其所包含的子区域的语义确定该父区域的最终语义，从而确定与所述输入图像相对应的语义信息；以及 根据所述语义信息进行检索，从而获得与所述输入图像相关的信息。
10.一种电子设备，包括如权利要求1-8中任一项所述的图像处理装置，所述电子设备尤其是手机、计算机、平板电脑、以及个人数字助理。
【文档编号】G06F17/30GK103678315SQ201210320320
【公开日】2014年3月26日 申请日期:2012年8月31日 优先权日:2012年8月31日
【发明者】曹琼, 刘汝杰 申请人:富士通株式会社