图像识别控制装置和图像识别控制方法
【专利摘要】本发明的图像识别控制装置和图像识别控制方法,涉及图像拍摄装置、图像处理装置，以及图像拍摄的应用领域。现有技术的图像拍摄装置，拍摄时需依靠使用者的主观经验来拍摄被摄体图像；本发明提供一种图像识别控制装置和图像识别控制方法，基于特定信息关联的被摄体识别信息，来检测所拍摄的图像中是否具有特定被摄体像，并根据特定信息的排序顺序，来方便地切换被摄体识别信息。或还当检测到特定被摄体像时，通知使用者。由此，对使用者的技术要求降低，拍摄质量和速度提高，工作强度减低。
【专利说明】图像识别控制装置和图像识别控制方法
【技术领域】
[0001]本发明的图像识别控制装置和图像识别控制方法，涉及手持拍摄或在线拍摄的各种图像拍摄装置，接收和处理图像的图像处理设备，以及拍摄图像的应用领域。
【背景技术】
[0002]作为公知的技术，图像拍摄装置在各领域的应用广泛，例如，在注重状态检修的工业领域，使用可见光拍摄装置、热成像装置、紫外拍摄装置等拍摄装置，定期对设备等进行拍摄为状态检修的重要一环。
[0003]在该类应用中，拍摄的工作量相当繁重，以一个电力500KV变电站为例，通常具有几十个设备区，而每个设备区又有几十个需要进行拍摄的被摄体，目前，拍摄人员按照主观经验来拍摄被摄体，拍摄效率低，工作强度大，还容易误拍和遗漏被摄体，其原因为:被摄体数量众多，其中同类被摄体多，并且很多不同类型的电力被摄体外形近似，有时还需要从多个角度来拍摄，容易漏拍或误拍。并且，使用者一直困惑于对正确拍摄部位、拍摄角度下被摄体成像形态等的认知，这取决于使用者的主观意念和经验，导致目前如果要确保检测的质量则需边拍摄边思考，拍摄速度很慢，如果加快速度则易遗漏关键拍摄部位或被摄体缺陷，影响状态评估的效果。通常需要数年的实践积累，使用者才能达到较高的检测水平。
[0004]存在这样的技术，采用相机采集数字化的图像，采用图像信号处理部件实时地检测、识别与跟踪目标，200710072483.6公开了这样的图像系统。
[0005]然而，但是在图像拍摄的应用领域需要拍摄的被摄体众多，如何变换合适的被摄体识别信息，来检测特定被摄体是一个有待解决的问题。
[0006]因此，所理解需要一种图像拍摄装置，其能方便地变换被摄体识别信息，能检测所拍摄的图像中是否具有特定被摄体像，当检测到特定被摄体像，则代表该图像的质量能符合被摄体识别信息(例如模板)的要求，保证了被摄体像的形态正确，避免了遗漏关键拍摄部位或被摄体缺陷，从而使拍摄的操作简单；或还能通知使用者，利于进一步进行分析、存储等处理或操作。
【发明内容】
[0007]本发明提供一种图像识别控制装置和图像识别控制方法，基于特定信息关联的被摄体识别信息，来检测所拍摄的图像中是否具有特定被摄体像，并且，根据特定信息的排序顺序，来方便地切换被摄体识别信息。或还当检测到特定被摄体像时，通知使用者。由此，对使用者的技术要求降低，拍摄质量和速度提高，工作强度减低。
[0008]为此，本发明采用以下技术方案，图像识别控制装置，包括:
[0009]图像获取部，用于连续获取图像数据帧；
[0010]信息存储部，用于预先存储特定信息及其关联的被摄体识别信息；
[0011]特征登记部，用于登记被摄体识别信息；
[0012]识别部，用于根据特征登记部登记的被摄体识别信息，基于所获取的图像数据帧进行检测处理；
[0013]切换指示部，用于发出切换指示；
[0014]所述特征登记部，用于响应切换指示部的指示，基于特定信息的排序顺序，来切换所登记的被摄体识别信息；并且，所述识别部，用于根据切换后的被摄体识别信息，对所获取的图像数据帧进行检测处理。
[0015]本发明的图像识别控制方法，包括:
[0016]图像获取步骤，用于连续获取图像数据帧；
[0017]特征登记步骤，用于基于信息存储部中预先存储特定信息及其关联的被摄体识别信息，登记被摄体识别信息；
[0018]识别步骤，用于根据特征登记步骤登记的被摄体识别信息，基于所获取的图像数据帧进行检测处理；
[0019]切换指示步骤，用于发出切换指示；
[0020]所述特征登记步骤，用于响应切换指示步骤的指示，基于特定信息的排序顺序，来切换所登记的被摄体识别信息；并且，所述识别步骤，用于根据切换后的被摄体识别信息，对所获取的图像数据帧进行检测处理。
【专利附图】
【附图说明】:
[0021]图1是表示本发明的实施例1的图像识别控制装置的示例的图像拍摄装置100的概略构成的框图。
[0022]图2是实施例1的图像拍摄装置100的外型图。
[0023]图3是实施例1存储介质中存储的被摄体信息、被摄体识别信息等的示意图。
[0024]图4是检测窗口的示意图。
[0025]图5是多个检测窗口检测的示意图。
[0026]图6是实施例1的处理过程的显示界面的显示例。
[0027]图7是表示实施例1的控制流程图。
【具体实施方式】
[0028]现在将根据附图详细说明本发明的典型实施例。注意，以下要说明的实施例用于更好地理解本发明，所以不限制本发明的范围，并且可以改变本发明的范围内的各种形式。而且，虽然本发明在以下实施例中用于手持式的图像拍摄设备，但对于本发明来说拍摄功能不是必须的，可以使用要进行特定被摄体检测的任意图像数据源。因此本发明广泛用于读出和播放或显示记录图像、或者从外部接收和处理图像的图像处理设备。所述图像处理设备包括如个人计算机、个人数字助理等各种装置。
[0029]实施例1
[0030]实施方式I的图像拍摄装置100基于信息存储部中存储的特定信息(被摄体信息)及其关联的被摄体识别信息，响应切换指示部的指示，基于特定信息的排序顺序，来切换所登记的被摄体识别信息；并且，所述识别部，用于根据切换后的被摄体识别信息，对所获取的图像数据帧进行检测处理。并且，图像拍摄装置100基于所检测到的特定被摄体像，对使用者进行通知。[0031]图1是表示本发明的实施例1的图像识别控制装置的示例的图像拍摄装置100的概略构成的框图。
[0032]具体而言，图像拍摄装置100具有拍摄部1、临时存储部2、闪存3、通信I/F4、存储卡I/F5、存储卡6、图像处理部7、识别部8、显示控制部9、显示部10，控制部11、操作部12、控制部11通过控制与数据总线13与上述相应部分进行连接，负责图像拍摄装置100的总体控制。
[0033]以可见光拍摄装置为例，一种实施方式，拍摄部I由未图示的光学部件、镜头驱动部件、图像传感器、信号预处理电路等构成。光学部件由光学透镜组成，被摄体像从光学部件入射到图像传感器。镜头驱动部件根据控制部11的控制信号驱动透镜来执行聚焦或变焦操作，此外，也可为手动调节的光学部件。图像传感器例如由CMOS型的图像传感器等构成，把通过光学部件的被摄体像转换为电信号。信号预处理电路包括采样电路、AD转换电路等，将从图像传感器产生的电信号在规定的周期下进行取样、自动增益控制、AD转换等信号处理；各种信号处理的结果是，生成数字图像信号。本实施例中，拍摄部I作为拍摄部的实例，用于拍摄获得(数字)图像信号。图像处理部7用于对通过拍摄部I获得的图像信号进行规定的处理，获得图像的图像数据帧；例如实施白平衡补偿处理、Y补偿处理、YC转换处理等各种图像处理，生成由数字化的亮度信号与色差信号构成的图像数据帧。此外，基于控制部11的控制，图像处理部7用于将图像信号按照规定的处理获得图像数据帧，而后该图像数据帧被记录到如存储卡8等记录介质。图像处理部7可以采用DSP或其他微处理器或可编程的FPGA等来实现，或者，也可与控制部11为一体或为同一的微处理器。不限于可见光拍摄装置，对于各种类型的拍摄装置，图像处理部7的处理是将数字图像信号进行转换为适合于显示用、记录用等数据的处理。
[0034]当图像拍摄装置100为各种不同类型的成像装置时，存在光学部件、图像传感器等的差异，及图像处理方式的不同。如图像拍摄装置100为热成像装置时，一种实施方式，拍摄部I由未图示的光学部件、镜头驱动部件、红外探测器、信号预处理电路等构成。光学部件由红外光学透镜组成，用于将接收的红外辐射聚焦到红外探测器。镜头驱动部件根据控制部11的控制信号驱动透镜来执行聚焦或变焦操作。红外探测器如制冷或非制冷类型的红外焦平面探测器，把通过光学部件的红外辐射转换为电信号。信号预处理电路包括采样电路、AD转换电路等，将从红外探测器读出的信号在规定的周期下进行取样、自动增益控制等信号处理，经AD转换电路转换为数字(热)图像信号。图像处理部7用于对通过拍摄部I获得的(热)图像信号进行规定的处理，图像处理部7的处理如修正、插值、伪彩、压缩、解压等，进行转换为适合于显示用、记录用等数据的处理。其中，(热)图像信号生成热图像(红外热像)的处理如伪彩处理，一种实施方式，根据(热)图像信号AD值的范围或AD值的设定范围来确定对应的伪彩板范围，将(热)图像信号的AD值在伪彩板范围中对应的具体颜色值作为热图像(红外热像)中对应像素位置的图像数据。
[0035]上述这些差异不造成下面实施方式的重大区别。下面的实施例的思想适用于普遍的图像拍摄装置，如可见光拍摄装置、热成像装置、紫外拍摄装置、激光成像装置等各种类型的成像装置。在实施例中，拍摄部I作为获取部的实例。
[0036]所谓图像数据帧，可以是图像信号(图像探测器输出信号经AD转换后获得的AD值数据)，或图像的图像数据，或其他基于图像信号生成的数据等。在下文中所谓的图像数据帧以图像信号为例。
[0037]临时存储部2如RAM、DRAM等易失性存储器，作为对拍摄部I输出的图像数据帧进行临时存储的缓冲存储器，例如重复如下处理，即将获取的图像数据帧临时存储规定时间份，并在由所述获取部(拍摄部I)获取新的帧时，删除旧的帧后存储新的图像数据帧；同时，作为图像处理部7、识别部8、控制部11等的工作存储器起作用，暂时存储由图像处理部7和控制部11进行处理的数据。不限于此，图像处理部7、识别部8、控制部11等处理器内部包含的存储器或者寄存器等也可以解释为一种临时存储介质。
[0038]闪存3，存储有用于控制的程序，以及各部分控制中使用的各种数据。在实施例中，以闪存3作为存储被摄体信息等的信息存储部(也可是其他与图像拍摄装置100连接或安装在图像拍摄装置100的存储介质如存储卡8等)的实例。
[0039]本实施例中，如图3所示(以下称为表3)，与识别处理等有关的数据存储在闪存3中，例如存储被摄体识别信息的数据库(表3)，将每个被摄体的被摄体信息、被摄体识别信息、规定的判断值相互对应，存储在该特征数据库中，此外，也可以以特定格式的数据文件等来存储。在此，规定的判断值预先存储在闪存3中的表3中，但也可以为其他方式来准备，如使用者设置的判断值。
[0040]其中，被摄体信息为与被摄体有关的信息，例如代表被摄体地点、类型、编号等的信息，此外，还可以例举被摄体有关的归属单位、分类等级(如电压等级、重要等级等)、型号、制造厂商、性能和特性、过去的拍摄或检修的履历、制造日期、使用期限等各种信息。存储被摄体信息的一种优选实施方式，被摄体信息由多个属性的属性信息构成，如表4中的被摄体信息“变电站I设备区I设备I A相”具有变电站属性对应的属性信息“变电站I”、设备区属性对应的属性信息“设备区I”、设备类型属性对应的属性信息“设备I ”、相别属性对应的属性信息“A相”。但不限于此，也可以其他形式如单一属性信息来存储被摄体信息。
[0041]优选的，信息存储部，用于预先存储附加了排序顺序的多个被摄体信息，其中所述排序顺序代表了该多个被摄体信息之间的排序顺序，多个是指二个或以上。在此，信息存储部所指的，即可以是图像拍摄装置100中的存储介质，如闪存9、存储卡6等非易失性存储介质，又如临时存储部2等易失性存储介质；还可以是与图像拍摄装置100有线或无线连接的其他存储介质，如通过与通信I/F4有线或无线连接的进行通讯的其他存储装置或其他的摄影装置、计算机等中的存储介质。优选的，将被摄体信息预先存储在图像拍摄装置100中或与其连接的非易失性存储介质中。
[0042]排序顺序代表这些被摄体信息所附加的排序顺序；排序顺序为可识别的排序信息，例如数字、字母、编码等可识别的排序信息；优选的，排序顺序代表了这些附加了排序顺序的被摄体信息对应的被摄体的拍摄顺序，排序顺序可以是在外部计算机或在图像拍摄装置100中预先设置的，例如根据变电站中的被摄体的拍摄路径而对被摄体信息进行编排制定的代表拍摄顺序的排序顺序，编排的方式，例如按照规定的录入顺序录入被摄体信息获得的具有排序顺序(录入顺序)的被摄体信息，例如设置代表排序顺序的数字，例如编排排序规则(如时间的排序规则、字母的排序规则等)来获得附加了排序顺序的被摄体信息。
[0043]此外，排序顺序也可以通过图像拍摄装置100的排序部(控制部11具有排序部，未图示)来实现，例如通过特定信息(例如被摄体信息)的关键字排序，例如数字排序规则、字母排序规则、中文拼音排序规则、中文笔画排序规则及使用者对关键字进行人工排序获得的排序后的特定息等。
[0044]通信I/F4是例如按照USB、1394、网络等通信规范，将图像拍摄装置100与外部装置进行连接并数据交换的接口，作为外部装置，例如可以列举个人计算机、服务器、PDA (个人数字助理装置)、其他的图像拍摄装置、可见光拍摄装置、存储装置等。
[0045]存储卡I/F5，作为存储卡6的接口，在存储卡I/F5上，连接有作为可改写的非易失性存储器的存储卡6，可自由拆装地安装在图像拍摄装置100主体的卡槽内，根据控制部11的记录控制单元(省略图示)的控制记录图像数据帧等数据。
[0046]图像处理部7用于对通过拍摄部I获得的图像数据帧进行规定的处理，例如其在显示定时每次到来之际，从临时存储在所述临时存储部2的规定时间份的图像数据帧中，选择并读出每个规定时间间隔的帧；图像处理部7的处理如修正、插值、伪彩、合成、压缩、解压等，进行转换为适合于显示用、记录用等数据的处理。图像处理部7例如可以采用DSP或其他微处理器或可编程的FPGA等来实现，或者，也可与识别部8、控制部11为一体。
[0047]识别部8基于获取的图像数据帧，进行与被摄体识别信息之间的相关度计算；所谓图像数据，可以是图像信号(AD值)，或图像的图像数据，或其他基于图像信号获得的数据等；例如，识别部8可以通过读取临时存储部2中所存储的拍摄部I拍摄获得的图像数据帧，或通过读取临时存储部2中所存储的图像处理部对拍摄部I拍摄获得的图像数据帧进行规定处理获得的数据，来执行与所登记的被摄体识别信息之间的相关度的检测处理。也可以是外部输入的数据通过规定处理获得的，例如通过I/F4从其他图像拍摄装置所接收后解码获得的图像数据帧。也可以是从记录介质中获取的，例如从存储卡6中读取图像文件而获得。
[0048]所谓被摄体识别信息可以是用于模板匹配的模板数据；此外，被摄体识别信息也可以是参数描述的特征量，所谓特征量(点、线、面等特征)，例如，为根据检测窗口中所包含的像素的状态所决定的值，如为特定检测窗口中的规定部分像素的比例、像素值的平均值、特定被摄体的轮廓的中心点、面积等。例如，对于表3中的被摄体1，被摄体识别信息为模板数据301，对于表3中的被摄体3，被摄体识别信息为特征量303。在具体应用中，可以根据情况选择其中一种或多种方式的结合。
[0049]识别部8包括检测窗口设置单元、检测单元、判断单元(未图示)。
[0050]检测窗口设置单元，用于设置检测窗口。例如根据一定范围的检测区域(如图5中的G1)，在该检测区域Gl中设置多个检测窗口，可以是多个不同尺寸的检测窗口，也可以是近一步倾斜后的检测窗口，如图4所示，其中图4 (a)为标准的检测窗口，图4 (b)为根据缩小尺寸的检测窗口，图4 (c)为放大尺寸设置的检测窗口，图4 (d)为按照规定角度倾斜而设置的检测窗口。为了等于检测窗口的尺寸，此处模板图像以缩小或放大或还倾斜的状态被使用，或者，也可以准备及存储尺寸等于窗口尺寸的模板图像以备使用。此外，也可将检测窗口中的图像数据以缩小或放大或还倾斜的状态被使用，以对应模板图像。检测窗口不限定于方形，也可以是其它形状，例如可以根据模板的形状来定。
[0051]检测区域也可由使用者根据拍摄习惯来设置；或者也可以是预存的如与被摄体信息关联的；也可以根据上次标识的位置生成的；也可不设置检测区域，即默认图像数据帧的范围为检测区域。也可以是使用者指定的位置和尺寸来设置多个检测窗口。此外，并非必须设置多个检测窗口，也可以只设置一个检测窗口。[0052]需要注意的是，对于图像拍摄的应用领域，例如变电站中充斥着大量外形类似，但名称不同的设备，为避免误导使用者及误拍摄，优选的是设置检测区域。在图像上重叠显示检测区域的标识(如图6(b)所示)，使用者易于明白所拍摄的被摄体像的大致位置、尺寸等，便于拍摄参照。但检测区域也可不显示。
[0053]检测单元，基于控制部11的控制，从临时存储部2读取图像数据帧，将所读取的图像数据帧中基于检测窗口设置单元所设置的检测窗口中的图像数据，根据被摄体识别信息，获得用于评价相关度的值。当设置了多个检测窗口时，例如可将其中检测获得的最大相关度的值作为该图像数据帧的相关度的值。
[0054]识别部8的检测处理可以是基于模板匹配的检测方式，基于检测窗口中的图像数据与模板图像进行相关度的计算和比较；例如，检测单元计算检测窗口中的图像和作为模板的图像相互对应的位置的像素之间的差的和，所计算出的差的和越小，相关度越高。
[0055]也可配置为提取特征量进行匹配的实施方式，利用模板与检测窗口中的图像数据的特征量之间的比较来确定相关度。例如，提取检测窗口中的被摄体图像的特定像素的比例，与模板图像中的特定像素的比例越接近，相关度越高。
[0056]识别部8的检测处理也可以是基于参数描述的特征量的检测实施方式，进行规定的运算来获得检测窗口中的图像数据的特征量，并与特征量的基准值(被摄体识别信息)进行比较，来获得相关度的值。例如，所述特征量的基准值为特定像素值的像素的比例，检测单元计算图像数据中特定像素值的像素的比例，与特征量的基准值进行比较，来获得二者之间的相关度的值。
[0057]优选的方式，采用轮廓图像作为匹配的模板，识别部8例如通过以下的处理来检测图像数据帧中是否具有特定被摄体，首先，识别部8提取位于检测窗口中的图像数据，按照AD值的预定阀值对读取的检测窗口中的图像数据进行二值化；接着，提取该二值图像的具有预定像素值(I或O)的像素相连通的连通图像；而后判断该连通图像是否具有预定范围的大小；如果判断出该连通图像的大小在预定范围内，则近一步在提取的连通图像与所登记的模板之间执行比较处理，例如计算二者之间的重叠面积在各自总面积中的比例之和，由此，获得所提取图像数据与模板之间相关度。
[0058]判断单元，将相关度根据规定的判断值进行判断；例如，当搜索到与模板之间的类似程度的相关度的值超过了规定的判断值时，将该窗口中的图像数据判断为与该模板图像类似，确定检测到特定被摄体。
[0059]对于检测的示例，如图5所示，识别部8从图像数据帧501的规定检测区域Gl的左上角到右下角移动窗口 Jl以进行检测，剪切窗口中的图像数据，并检测其与模板图像Tl的相关度。具体而言，窗口 Jl从左端向右以规定值的窗口位移(例如一个像素)逐步地移动，并在到达右端后，被设置返回左端并向下移动窗口位移，以及随后再次逐步地向右移动。为高精度地检测被摄体，检测的窗口尺寸、窗口位移、窗口的倾斜角度的变换范围被预先定义，例如窗口尺寸的变化范围从150 X 50像素到120 X 40像素，窗口位移的变化范围从10个像素到I个像素，窗口的倾斜角度的变化范围为基于中心点的0°到10°。识别部8逐次的，每次5个像素地改变窗口尺寸，并每次I个像素地改变窗口位移,并每次2°地改变窗口倾斜角度。识别部8进行模板图像Tl和图像数据帧501的相关度计算；在完成所有检测窗口的检测后，从中选择相关度最高的检测窗口所获得的相关度的值，作为该图像数据帧501对应的相关度的值。
[0060]注意，可以基于被摄体识别信息，来计算图像数据帧的相关度的各种方法，上述例举的处理仅是可使用方法的示例。
[0061]此外，根据应用的不同，在计算与特定被摄体有关的规定信息时，识别部8也可配置为去除判断单元的结构。
[0062]控制部11控制了图像拍摄装置100的整体的动作，在存储介质例如闪存3中存储有用于控制的程序，以及各部分控制中使用的各种数据。控制部11例如由CPU、MPU、S0C、可编程的FPGA等来实现。
[0063]并且，控制部11具有切换指示部11A，用于发出切换指示，所述切换指示可以是使用者通过操作部12发出，但也可以由其他部件发出，例如接收与图像拍摄装置100连接的其他装置发出的触发信号，而发出切换指示；也可以由例如识别部6，在检测到特定被摄体像时，发出切换指示，也可以有图像拍摄装置100的其他处理部件例如分析部、诊断部、记录部(未图示)等在进行规定的处理后，切换指示部11A，发出切换指示。
[0064]并且，控制部11具有特征登记部11B，用于登记用来相关度计算有关的被摄体识别信息；并且，所述特征登记部，响应切换指示部IlA的指示，基于特定信息的排序顺序，来切换所登记的被摄体识别信息。例如，根据特定信息的排序顺序，在接收到切换指示时，切换至排序顺序中的下一特定信息关联的被摄体识别信息，将该识别信息登记为用于识别处理的被摄体识别信息。所登记的被摄体识别信息例如被存储在临时存储部2的规定位置，或存储时以标记与存储的其他被摄体识别信息区别。
[0065]并且，控制部11具有选择部(未图示)，用于从信息存储部所存储的被摄体信息来选择被摄体信息；可以是响应使用者对所显示的被摄体指示信息的选择，来选择被摄体信息。也可以响应切换指示部的指示，按照基于被摄体信息的排序顺序，来切换所选择的被摄体信息。
[0066]显示控制部9，用于将临时存储部2所存储的显示用的图像数据显示在显示部10。例如，在拍摄待机模式中，连续显示拍摄获得的图像数据帧生成的图像；在回放模式，显示从存储卡6读出和扩展的图像，此外，还可显示各种设定信息。具体而言，显示控制部9具有VRAM、VRAM控制单元、信号生成单元(未图示)等，并且，信号生成单元在控制部11的控制下，从VRAM中定期读出图像数据帧(从临时存储部2读出并存储到VRAM的图像数据帧)，产生视频信号输出，显示在显示部10。在图像拍摄装置100中，显示部10例如是液晶显示装置。不限于此，显示部10还可以是与图像拍摄装置100连接的其他显示装置，而图像拍摄装置100自身的电气结构中可以没有显示部。基于控制部11的控制，显示控制部，用于基于信息存储部中存储的被摄体信息，显示规定数量的被摄体信息获得的被摄体指示信息；并且，优选的方式，将被摄体信息获得的被摄体指示信息与图像共同显示。
[0067]另外，在实施例中，显示部10用于在检测到具有大于规定的判断值的相关度的图像数据帧时，进行通知；除了以标识的方式来指示被摄体像的位置外，例如以文字和图像进行警告，显示相关度的信息，例如显示规定时间内最大相关度的图像数据帧获得的图像，或者还伴随着文字、图像的透明率、颜色、尺寸、闪烁、的变化等方式来进行通知。其中，相关度的信息，例如可以将相关度的值换算为示意匹配程度的便于使用者理解的信息，进行显示；例如将相关度的值换算为百分比作为示例(根据相关度的值与百分比的规定的对照表)，也可以是其他的方式，例如显示计算相关度的值。优选的，相关度的信息可显示在标识上。
[0068]此外，通知的方式也可以是通过图像拍摄装置100中的振动部件、指示灯(未图示)，分析部件(未图示)，诊断部件(未图示)，基于控制部11的控制，在检测到最大相关度的图像数据帧时，也可由指示灯产生灯光变化，由振动装置产生震动，由分析部件进行分析并显示分析结果，由诊断部件进行诊断并显示诊断结果，图像的彩色变化；或同时以上述方式之一或多个进行通知，只要是使用者可以感知的方式都可。其中，通知的方式可以持续规定的时间。
[0069]操作部12:用于使用者进行各种指示操作，或者输入设定信息等各种操作，控制部11根据操作部12的操作信号，执行相应的程序。参考图2来说明操作部12，提供使用者操作的按键有记录键1、调焦键2、确认键3、回放键4、菜单健5、方向键6等；此外，也可采用触摸屏7或语音识别部件(未图示)等来实现相关的操作。
[0070]参考图6来说明拍摄过程中的显示界面的变化，参见图7来说明图像拍摄装置100的检测模式的控制流程。本应用场景如使用者手持图像拍摄装置100对变电站的被摄体进行拍摄。控制部11基于闪存3中存储的控制程序，以及各部分控制中使用的各种数据，控制了图像拍摄装置100的整体的动作及执行多种模式处理的控制。在接通电源后，控制部11进行内部电路的初始化，而后，进入待机拍摄模式，即拍摄部I拍摄获得图像数据帧，存储在临时存储部2中；图像处理部7将拍摄部I拍摄获得的图像数据帧进行规定的处理，存储在临时存储部2的规定区域中，显示部10上以动态图像形式连续显示图像，在此状态，控制部11实施其控制，持续监视是否按照预定操作切换到了其他模式的处理或进行了关机操作，如果有，则进入相应的处理控制。检测模式的控制步骤如下:
[0071]步骤A01，获取图像数据帧，例如将拍摄部I即时拍摄获得图像数据帧传送到临时存储部2 ;控制部11按照排序顺序从闪存3的表3中读取要进行显示的规定数量的被摄体信息；显示部10显示这些被摄体信息生成的被摄体指示信息与拍摄部拍摄获得的图像数据帧生成的图像；如图6 (a)所示。其中，根据被摄体信息所获得的被摄体指示信息，可以是被摄体信息的全部或规定的部分信息来获得，可预先规定被摄体信息中用于获得被摄体指示信息的信息的构成。
[0072]优选的实施方式，将被摄体信息中用来生成被摄体指示信息的规定信息，按照规定位置进行树状显示。具体而言，显示控制部具有树状结构分配单元，用于分配树状结构的层次及各层次对应的属性信息；基于存储介质中存储的被摄体信息的属性信息，所述显示控制部使显示部显示所述图像数据帧生成的图像的同时，将规定数量的被摄体信息的属性信息按照树状结构分配单元分配的树状结构的层次及各层次对应的属性信息进行显示。例如图6显示界面中的被摄体指示信息，显示控制部将被摄体指示信息按照代表变电站、设备区、设备类型及相别的规定属性的属性信息分为三层按照规定位置显示；与显示界面中的被摄体指示信息显示为一排相比，显然，同一排的字数减少，使用者便于观察和选择。
[0073]控制部11判断使用者是否进行的调整操作，例如，是否进行了拖动了如图6中所示的滚动条600进行了被摄体指示信息的显示调整，或者，使用者按动了方向键进行了翻页的调整操作，如有，例如根据使用者对滚动条的调整量，来确定调整后的规定数量的被摄体信息，而后将对应的被摄体指示信息进行显示。
[0074]以往使用者会困惑于被摄体像的形态特征和在其所在的图像中的成像位置、大小、角度，为保证拍摄质量规范；使用者进行了对被摄体指示信息的选择；当使用者根据对拍摄现场的被摄体“变电站I设备区I设备I B相”的认知，例如核对现场的设备指示牌，通过操作部11 (如触摸屏，或方向键)对显示部10上601所显示的“变电站I设备区I设备I A相”予以选择。则进入步骤A02。
[0075]此外，不限于使用者的选择，选择部也可根据所读取的被摄体信息，按照被摄体信息的排列顺序，自动将排序第一位(或其他规定位例如默认位)的被摄体信息进行选择。
[0076]步骤A02，选择部响应使用者的选择操作，就选择了与该被摄体指示信息对应的被摄体信息；而后，特别显示该被摄体信息获得的被摄体指示信息。在此，被摄体指示信息与图像在显示界面中的共同显示，还可以进一步将所选择的被摄体信息获得的被摄体指示信息或被摄体指示信息叠加在图像中，如图6中的图像显示窗口 602所示。
[0077]在此，特别显示，是指，以使用者可从规定数量的被摄体指示信息中认知所选择的被摄体指示信息的方式，来显示所选择的被摄体指示信息。例如，采用便于使用者辨别的显示位置、颜色、背景、大小、字体、文字说明等的不同来作为区别于其他的被摄体指示信息的特别显示方式。如图6中的被摄体指示信息显示窗口 602所示，控制部11控制，使用者所选择的“设备I B相”的下划线标记，以区别于其他的被摄体指示信息。
[0078]并且，特征登记部IlB登记用于匹配的模板数据301。例如，控制部11基于闪存3中存储的表3，将被摄体信息生成的被摄体指示信息显示在显示部10，当使用者根据拍摄现场的被摄体“被摄体1”，通过操作部12来选择显示部10上所显示的“被摄体1”，特征登记部IlB根据使用者的选择，就确定了用来匹配的被摄体识别信息，从闪存3中读取模板数据301，传送到临时存储部2。
[0079]接着，在步骤A03，检测窗口设置单元，读取图像数据帧，设置检测窗口。例如，基于规定的检测区域Gl的左上角，首先设置了检测窗口 ；
[0080]步骤A04，进行检测窗口中的图像数据与被摄体识别信息之间的相关度计算的处理。
[0081]识别部8基于检测窗口设置单元所设置的检测窗口，及特征登记单元所登记的模板，抽取位于该检测窗口中的图像数据，进行模板匹配，计算二者之间的相关度，并存储所得到的相关度的值。
[0082]在步骤A05中，识别部8判断在图像数据帧中设置检测窗口时，是否已经针对所有检测窗口计算了相关度。如果剩余还没有计算相关度的区域(步骤A05中为否)则回到步骤A03中，检测窗口设置单元在预定方向上将检测窗口的位置偏移预定像素数，将该位置设置为检测窗口的下一位置，并重复后续的处理。
[0083]此外，从图像数据帧中搜索与模板类似的帧部分时，对于放大及缩小、以及将检测窗口倾斜规定角度后的检测窗口时，也进行类似上述说明的检测处理。
[0084]如果已经针对要在图像数据帧中设置的所有检测窗口计算了相关度(步骤A05中为是)，则在步骤A06中将检测到的最大相关度的值及所对应的检测窗口的位置参数保持在临时存储部2的规定区域。
[0085]并且，在步骤A07，如果相关度小于规定的判断值，则识别部8判断没有检测到特定被摄体像，跳到步骤A09，如没有切换指示(A09:否)和退出(All:否)，则回到步骤A01，继续显示图像和被摄体信息，这时，使用者可以调整图像拍摄装置100，来对准被摄体进行拍摄，如图6(b)所示，由于未在检测区域Gl中检测到匹配的被摄体像，则没有通知标识的指示或通知。当在步骤A07检测到的相关度大于规定的判断值，则进入步骤A08。
[0086]步骤A08，在此，进行规定的处理，例如进行通知处理，根据相关度最大的检测窗口的位置生成标识，例如直接根据检测窗口的位置和尺寸生成标识BI。例如，将生成的标识与该图像数据帧获得的图像进行合成如重叠，而后进行显示，如图6 (c)所示的标识BI和标识BJ0
[0087]规定的处理可以是通知处理、记录处理、分析处理、诊断处理、数据的发送处理等各种处理中的一项或一项以上。
[0088]步骤A09，判断是否有切换指示，例如使用者在上述处理完成后，通过操作部12发出切换指示；此外，也可由图像拍摄装置100在完成上述处理后，发出切换指示；或者，也可在步骤A07检测到特定被摄体像之后，规定处理之前，即自动发出切换指示，而后再进行规定的处理。
[0089]响应切换指示，回到步骤AOI,选择部响应切换指示,按照基于被摄体信息的排序顺序，来切换所选择的被摄体信息，如图6 Cd)所示，显示部10特别显示:变电站I设备区I设备I B相，并且，特征登记部IlB将变电站I设备区I设备I B相关联的被摄体识别信息(模板数据302)，登记为识别处理的被摄体识别信息。而后，重复上述的处理。
[0090]步骤All，如结束，则退出。
[0091]这样，对连续拍摄获得的图像数据帧，当检测到特定被摄体像时，例如当检测到相关度超过规定的判断值的图像数据帧时，能不断地通知使用者，即根据检测到的被摄体的使用者就不必需通过人为的主观判断被摄体像的形态特征等，能达到减轻拍摄工作量、避免拍摄错误部位、角度的有益效果。
[0092]需要指出的是，识别部8基于获取部连续获取的图像数据帧，检测是否具有特定被摄体像，并计算特定被摄体像有关的规定信息；例如，可以是对连续获取的图像数据帧依次全部进行检测处理，也可以只读取规定间隔的图像数据帧进行检测处理；或者对读取的图像数据帧或检测窗口中的图像数据检测前进行了缩小处理；以此，能减轻伴随着检测的处理负担。
[0093]并且，生成带有体现该特定被摄体像位于图像中的位置的标识的图像，并不限定于将检测出被摄体像的该帧图像数据获得的图像与由此生成的标识来获得，也可将后续规定数量的新获得的图像数据帧获得的图像与该标识来获得。
[0094]并且，所述特定信息并不必须是被摄体信息，也可以是排序顺序的信息。
[0095]或者，对拍摄是否检测到特定的被摄体像，并不限于相关度的值与判断值之间的比较，也可变更为例如根据检测获得的规定信息和/或评价值及对应的比较值的比较结果，作为检测到特定被摄体像的依据。所述规定信息例如特定被摄体像的位置、尺寸、倾斜角度、分析值(例如温度值、特征像素的比例等)、与被摄体识别信息的相关度的值中的一种或任意组合的信息。
[0096]并且，在本实施例中，被摄体指示信息始终与图像共同显示，其中也可以重叠在图像中显示；或并不始终共同显示，而是基于使用者的操作才显示规定数量的被摄体指示信息；或不显示。
[0097]如上所述，在本实施例中，由于通过附加了排序顺序的被摄体信息及其关联的被摄体识别信息，能便于使用者根据现场设备情况来选择被摄体信息，从而登记被摄体识别信息，便于识别处理。而当检测到特定被摄体像时，进行通知，例如对其中的被摄体像的位置等予以通知，使用者观察到该标识，就知道拍摄了符合要求的被摄体像，可进行下一步的存储、分析等处理和操作；而后通过排序的切换，能方便地根据特别显示的被摄体信息来进行拍摄，而被摄体识别信息的切换，则能方便地登记识别处理的被摄体识别信息；能达到大幅度降低视觉对准的操作难度，大幅度降低拍摄的体力强度的有益效果，大幅度提高拍摄效率。设定了规定的检测区域，能便于使用者理解拍摄的范围，便于拍摄优质的图像；普通使用者容易掌握这种拍摄技能。
[0098]而且，上实施例仅是示例，本发明不限于此。在上述实施例中的结构和操作可以根据需要改变。
[0099]并且，对是否检测到特定的被摄体像，并不限于相关度的值与判断值之间的比较，也可变更为例如根据检测获得的规定信息和/或评价值及对应的比较值的比较结果，作为检测到特定被摄体像的依据。所述规定信息例如特定被摄体像的位置、尺寸、倾斜角度、分析值(例如温度值、特征像素的比例等)、与被摄体识别信息的相关度的值中的一种或任意组合的信息。
[0100]并且，可以不仅检测整个被摄体的整体区域，而且检测将被摄体划分为多个部件构成的多个检测窗口，这样，能够更精确检测；其中，对于各部件，与整体相同，准备对应的被摄体识别信息(可以是模板或特征量)。
[0101]本发明的方面还可以通过独处和执行记录在存储装置上的程序来执行上述实施例的功能的系统或设备的计算机(或诸如CPU、MPU等的装置)、以及通过其步骤由系统或设备的计算机通过例如读出和执行记录在存储装置上的程序来执行上述实施例的功能而知性的方法来实现。为此目的，例如经由网络或从用作存储装置的各种类型的记录介质(例如，计算机可读介质)中将程序或被摄体信息、被摄体识别信息等提供至图像拍摄装置100。
[0102]虽然，可以通过硬件、软件或其结合来实现附图中的功能块，但通常不需要设置以一对一的对应方式来实现功能块的结构。可以通过一个软件或硬件模块来实现多个功能的块。
【权利要求】
1.图像识别控制装置，包括: 图像获取部，用于连续获取图像数据帧； 信息存储部，用于预先存储特定信息及其关联的被摄体识别信息； 特征登记部，用于登记被摄体识别信息； 识别部，用于根据特征登记部登记的被摄体识别信息，基于所获取的图像数据帧进行检测处理； 切换指示部，用于发出切换指示； 所述特征登记部，用于响应切换指示部的指示，基于特定信息的排序顺序，来切换所登记的被摄体识别信息；并且，所述识别部，用于根据切换后的被摄体识别信息，对所获取的图像数据帧进行检测处理。
2.如权利要求1所述的图像识别控制装置，其特征在于，所述特定信息为被摄体信息。
3.如权利要求1所述的图像识别控制装置，其特征在于，具有排序部，用于对所述特定信息进行排序。
4.如权利要求2所述的图像识别控制装置，其特征在于，具有 选择部，用于选择被摄体信息； 显示部，用于显示规定数量的被摄体信息获得的被摄体指示信息，其中，以特别显示的方式，来显示根据选择部所选择的被摄体信息获得的被摄体指示信息； 其中，所述选择部用于响应切换指示部的指示，按照基于被摄体信息的排序顺序，来切换所选择的被摄体信息。 特征登记部，用于根据选择部选择的被摄体指示信息来登记被摄体识别信息。
5.如权利要求1所述的图像识别控制装置，其特征在于，所述识别部，对所获取的图像数据帧进行检测处理，检测与特定被摄体像有关的规定信息，所述规定信息至少包括特定被摄体像的位置、尺寸、倾斜角度、相似度的值中的一种或任意组合的信息。
6.如权利要求1所述的图像识别控制装置，其特征在于，所述识别部，对所获取的图像数据帧进行检测处理，检测所述图像数据帧中是否具有特定被摄体像。
7.如权利要求6所述的图像识别控制装置，其特征在于，所述识别部，根据图像数据帧中规定的检测区域来检测所述图像数据帧中是否具有特定被摄体像。
8.如权利要求5所述的图像识别控制装置，其特征在于，所述识别部，根据图像数据帧中规定的检测区域来检测所述图像数据帧中与特定被摄体像有关的规定信息。
9.如权利要求1-8所述的图像识别控制装置，其特征在于，具有规定处理部，相应规定的指示，进行记录、通知、分析、诊断、数据发送的处理中的一项或一项以上。
10.图像识别控制装置，包括: 图像获取步骤，用于连续获取图像数据帧； 特征登记步骤，用于基于信息存储部中预先存储特定信息及其关联的被摄体识别信息，登记被摄体识别信息； 识别步骤，用于根据特征登记步骤登记的被摄体识别信息，基于所获取的图像数据帧进行检测处理； 切换指示步骤，用于发出 切换指示； 所述特征登记步骤，用于响应切换指示步骤的指示，基于特定信息的排序顺序，来切换所登记的被摄体识别信息；并且，所述识别步骤，用于根据切换后的被摄体识别信息，对所获取的图像数据帧进行检 测处理。
【文档编号】G06K9/00GK103902967SQ201310742851
【公开日】2014年7月2日 申请日期:2013年12月27日 优先权日:2012年12月27日
【发明者】王浩 申请人:杭州美盛红外光电技术有限公司