专利名称：模式识别器、模式识别方法以及用于模式识别的程序的制作方法
技术领域：
本发明涉及模式识别器、模式识别方法以及用于模式识别的程序，以识别输入数据的模式，以及涉及识别字典创建设备、识别字典创建方法以及用于识别字典创建的程序，以创建用于模式识别的识别字典。
背景技术：
将输入数据分成两组的已知典型方法包括在专利文献(PTL) I和非专利文献(NPL) I中描述的技术。PTLl中描述的软空白(margin)分类系统被配置为确定包括训练集合的每个数据向量中的权重向量和偏差的参数，并且基于多个约束确定针对每个数据向量的松弛变量的·最小非负值。PTLl中描述的软空白分类系统被配置为确定成本函数的最小值以满足多个约束。NPLl中描述的方法是当不能线性地分离输入数据时将模式映射到有限或无限维特征空间中，并且对特征空间执行线性分离。引用列表专利文献专利文献I :日本专利申请特开No. 8-087572(1996) (0009段)非专利文献NPLl C. Cortes and V. N. Vapnik, " Support vector Networks, " MachineLearning, vol. 20，pp.273-297，1995.
发明内容
技术问题以下描述了使用PTLl和NPLl中描述的分类方法的典型模式识别器。图17示出了典型模式识别器。图17中示出的模式识别器包括数据输入部201、特征提取部202、识别字典创建部203、分类部206和结果输出部208。识别字典创建部203包括损失计算部204和空白计算部205。在被称作学习创建识别字典的阶段，特征提取部202将从数据输入部201输入的数据转换成d维特征向量，并且识别字典创建部203创建识别字典207。在识别数据阶段，特征提取部202将从数据输入部201输入的数据转换成d维特征向量，并且分类部206使用识别字典207对数据进行分类，并且其后，结果输出部208输出分类结果。这里，识别字典创建部203创建识别字典207，使得评价函数最小化，评价函数是通过将损失计算部204所计算的损失与空白计算部205所计算的空白的倒数相加来获得的。图18示出了根据可以被线性分离的数据来创建识别字典的处理。首先，参照图18描述可以被线性分离的数据集合的情况。图18中的黑点(下文中描述为“ ”)指示属于负类别的数据，并且白点(下文中描述为“〇”)指示属于正类别的数据。在典型模式识别器中，找到在负数据和正数据之间具有最大空白的平行空白边界(即，实线302和实线303)，并且创建识别字典，使得位于距离平行空白边界相等距离处的虚线301用作判定边界。接着，参照图19描述了不能对数据集合进行线性分离的情况。图19示出了根据不能被线性分离的数据来创建识别字典的处理。类似于图18，实线402和实线403是平行空白边界，并且虚线401是位于距离平行空白边界相等距离处的判定边界。然而，与图18的情况不同，方框所包围的数据406、407包含在数据集合中，并因此可以对数据进行线性分离。在如上不能对数据集合进行线性分离的情况下，典型模式识别器的识别字典创建部203计算与指示为“ ”的数据的空白边界(S卩，实线402)的偏差量404和与指示为“〇”的数据的空白边界(即实线403)的偏差量405的总和作为损失。然后，识别字典创建部
203创建具有空白边界和判定边界的识别字典，使得该损失可以最小化，并且空白可以最大化。同时，识别字典创建部203找到判定边界，以使表达式I所定义的值L最小化。[数学公式I]L=、i_+Cx(损失)(表达式 D
(空白)表达式I中的因子C是确定空白与损失之间的平衡的参数，并且该因子的值可以使用交叉验证通过试误法来确定。但是，在使用典型模式识别器将输入数据分成组的方法中，当用于学习的数据包含噪声或者数据数目较小时，存在针对没有学习的新数据的分类精度劣化的问题。参照图12和21，以下描述该问题。图20示出了不能对数据进行线性分离的情况。图20的数据504是由于噪声而位于远离原始分布位置处的数据，或者是由于数据数目较少而看起远离分布的数据。在这样的情况下，典型模式识别器将判定边界(虚线501)设置在与使数据之间的空白最大化的实线502和实线503等距的位置处。以下描述了将没有学习的新数据添加至图20的数据集合的情况。图21示出了将没有学习的新数据添加至图20的数据集合的情况。当在图21的虚线602的位置处设置判定边界时，指示为“〇”的数据的误差数目变为I，并且指示为“ ”的数据的误差数目变为1，并且从而误差总数变为2。然而，在典型模式识别器所使用的方法中，由于在虚线601的位置处设置判定边界，因此指示为“〇”的数据的误差数目变为3 (即，误差总数变为3)，并因此分类精度不幸地劣化。这样，即使在用于学习的数据包含噪声或者数据数目较少的情况下，也需要针对没有学习的新数据的高分类精度。为了克服上述问题，本发明的示例性目的是提供一种模式识别器、一种模式识别方法以及一种用于模式识别的程序，即使在用于学习的数据包含噪声或者数据数目较小的情况下也能够以高分类精度来执行对没有学习的新数据的模式识别，以及提供一种识别字典创建设备、一种识别字典创建方法以及一种用于识别字典创建的程序，以创建用于模式识别的识别字典。问题的解决方案根据本发明的模式识别器包括损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及模式分类装置，使用识别字典对数据的模式进行分类。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类。根据本发明的识别字典创建设备创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式。识别字典创建设备包括损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；以及识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化。根据本发明的模式识别方法包括以下步骤针对每个类别计算特征向量的损失， 特征向量对属于该类别的数据的特征加以指示；基于针对每个类别而计算的损失，来计算类别之间损失差的总和；基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化；以及使用校正后的识别字典来对数据的模式进行分类。根据本发明的识别字典创建方法是创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式。该方法包括以下步骤针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；基于针对每个类别而计算的损失，来计算类别之间损失差的总和；基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化。根据本发明的模式识别程序使计算机执行以下处理，包括损失计算处理，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算处理，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建处理，基于损失计算处理中针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及模式分类处理，使用识别字典对数据的模式进行分类。在识别字典创建处理中，基于输入特征向量来校正识别字典，以使损失计算处理中针对类别而计算的损失总和与损失差计算处理中计算的类别之间损失差的总和之和最小化，并且在模式分类处理中，使用校正后的识别字典来对数据的模式进行分类。根据本发明的识别字典创建程序应用于被配置为创建模式识别器所使用的识别字典的计算机，模式识别器被配置为识别数据的模式。该程序使计算机执行以下处理，包括损失计算处理，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算处理，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建处理，基于损失计算处理中针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。在识别字典创建处理中，基于输入特征向量来校正识别字典，以使损失计算处理中针对类别而计算的损失总和与损失差计算处理中计算的类别之间损失差的总和之和最小化。
本发明的有利效果根据本发明，即使在用于学习的数据包含噪声或者数据数目较少的情况下，也可以以高分类精度来执行对没有学习的新数据的模式识别。
图I示出了示意根据本发明的模式识别器的一个示例性实施例的框图。图2示出了示意创建识别字典的示例性处理的流程图。图3示出了示意使用识别字典的示例性识别处理的流程图。图4示出了确定判定边界的示例性操作。图5示出了确定判定边界的示例性操作。图6示出了确定判定边界的示例性操作。图7示出了确定判定边界的示例性操作。图8示出了确定判定边界的示例性操作。图9示出了确定判定边界的示例性操作。图10示出了示意创建识别字典的示例性处理的流程图。图11示出了计算类别I的连续损失的示例性处理的流程图。图12示出了计算类别2的连续损失的示例性处理的流程图.图13示出了示意计算评价值的示例性处理的流程图。图14示出了示意针对一个输入数据而执行的示例性分类处理的流程图。图15示出了根据本发明的模式识别器的示例性最小配置的框图。图16示出了示意根据本发明的识别字典创建设备的示例性最小配置的框图。图17示出了典型模式识别器。图18示出了根据能够被线性分离的数据来创建识别字典的处理。图19示出了根据不能被线性分离的数据来创建识别字典的处理。图20示出了不能被线性分离的数据集合。图21示出了将没有学习的新数据添加至数据集合的情况。
具体实施例方式以下参照附图描述本发明的示例性实施例。图I是示出了根据本发明的模式识别器的一个示例性实施例的框图。本发明的模式识别器包括、数据输入部101 ;特征提取部102 ;识别字典创建部103 ;分类部106 ;以及结果输出部108。识别字典创建部103还包括连续损失计算部104、损失差计算部105和识别字典确定部109。数据输入部101向特征提取部102通知输入至识别器的要识别的数据。要识别的数据的示例包括摄像机拍摄的图像数据。特征提取部102基于从数据输入部101通知的数据，来提取d个特征值(下文中可以被描述为d维特征向量)。特征提取部102所执行的一个示例性提取方法是将图像数据转换成单色灰度图像，并然后将整个图像划分成10高X 10宽的区域，并且找到每个区域中图像亮度值的平均，从而可以获得100维特征向量。通过特征提取部102提取多维特征向量的方法不限于上述方法。由于广泛已知从输入数据中提取多维特征向量的方法，因此省略对其详细描述。在被称作“学习”以创建识别字典107的阶段，识别字典创建部103将特征提取部102所提取的d维特征向量输入到连续损失计算部104和损失差计算部105中，并且基于连续损失计算部104和损失差计算部105的计算结果来创建识别字典107。连续损失计算部104基于d维特征向量来计算针对每个类别的损失。然后，连续损失计算部104计算所计算的类别损失的总和。在以下描述中，为了与典型方法所计算的损失相区分，连续损失计算部104所计算的损失被描述为连续损失。
损失差计算部105基于d维特征向量来计算一个类别的损失与另一类别的损失之间的差。然后损失差计算部105计算类别之间所有差的总和。识别字典确定部109确定要基于连续损失计算部104所计算的连续损失的总和与损失差计算部105所计算的类别之间损失差的总和而创建的识别字典。在识别数据的阶段，分类部106使用特征提取部102所提取的d维特征向量和识别字典107来执行对数据模式的分类处理，并且向结果输出部108通知分类结果。例如，分类部106可以对输入数据的模式进行分类，以识别数据所属的类别。由于广泛已知使用d维特征向量和识别字典的分类方法，因此省略对其详细描述。结果输出部108输出从分类部106接收到的分类结果。接着，以下详细描述识别字典创建部103的操作。识别字典创建部103的连续损失计算部104根据以下示例的表达式2来计算针对第k类别的连续损失。[数学公式2]
权利要求
1.一种模式识别器,包括 损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及 模式分类装置，使用识别字典对数据的模式进行分类， 其中，识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类。
2.根据权利要求I所述的模式识别器，其中，损失计算装置基于风险的总和来计算每个类别的损失，所述风险的总和对特征向量所属类别的分类误差度加以指示。
3.根据权利要求I或2所述的模式识别器，其中， 损失计算装置使用核函数来计算每个类别的损失，并且 模式分类装置使用基于核函数而创建的识别字典来对数据的模式进行分类。
4.根据权利要求I至3中任一项所述的模式识别器，还包括特征向量提取装置，从作为要识别数据输入的数据中提取特征向量， 其中，损失计算装置为每个类别计算特征向量提取装置所提取的特征向量的损失，并且 模式分类装置使用识别字典对特征向量提取装置所提取的特征向量的模式进行分类。
5.一种识别字典创建设备，创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式，所述识别字典创建设备包括 损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；以及 识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典； 其中，识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化。
6.根据权利要求5所述的识别字典创建设备，其中，损失计算装置基于风险的总和来计算每个类别的损失，所述风险的总和对特征向量所属类别的分类误差度加以指示。
7.一种模式识别方法，包括以下步骤 针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 基于针对每个类别而计算的损失，来计算类别之间损失差的总和； 基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化；以及 使用校正后的识别字典来对数据的模式进行分类。
8.一种识别字典创建方法，创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式，所述方法包括以下步骤 针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 基于针对每个类别而计算的损失，来计算类别之间损失差的总和； 基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化。
9.一种模式识别程序，使计算机执行以下处理，包括 损失计算处理，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 损失差计算处理，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建处理，基于损失计算处理中针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及 模式分类处理，使用识别字典对数据的模式进行分类， 其中，在识别字典创建处理中，基于输入特征向量来校正识别字典，以使损失计算处理中针对类别而计算的损失总和与损失差计算处理中计算的类别之间损失差的总和之和最小化,并且 在模式分类处理中，使用校正后的识别字典来对数据的模式进行分类。
10.一种识别字典创建程序，应用于被配置为创建模式识别器所使用的识别字典的计算机，模式识别器被配置为识别数据的模式，所述程序使计算机执行以下处理，包括 损失计算处理，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示； 损失差计算处理，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；以及 识别字典创建处理，基于损失计算处理中针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典； 其中，在识别字典创建处理中，基于输入特征向量来校正识别字典，以使损失计算处理中针对类别而计算的损失总和与损失差计算处理中计算的类别之间损失差的总和之和最小化。
全文摘要
损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示。损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和。识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类。
文档编号G06T7/00GK102713945SQ20108006144
公开日2012年10月3日 申请日期2010年12月20日 优先权日2010年1月14日
发明者佐藤敦 申请人:日本电气株式会社