专利名称：模式分类方法
技术领域：
本发明通常涉及模式分类的方法和实现该方法的系统。
背景技术：
模式分类在很多现实应用中是众所周知的，例如，语音识别、车辆座位乘员分类、数据挖掘、风险预测、诊断分类等。模式分类器的首要目标是将测试模式指定到预定义的类别组中的一个或多个类别。可以将该测试模式认为是特征矢量，或者更准确地，可以将该测试模式认为是量化这些特征的数字。对于给定的输入模式，统计分类器计算不同类别的条件概率(以下也将其称为“类别成员概率”)。这些类别成员概率与1的偏差通常被解释为错误分类的风险。
模式分类中的挑战是减少误分类。作为解决这一问题的第一方案，已知的是提供具有“拒绝”选项的分类器。对于给定的输入模式，只要没有一个不同类别的条件概率超过所需的最小阈值，分类器就可以使用该拒绝选项。另外，分类器将输入模式指定到具有最高条件概率的类别。因此，接近于由分类器隐含定义的决策边界(decision boarder)的测试模式倾向于被拒绝，而远离该边界的测试模式将被指定到类别。对于该技术的详细描述，感兴趣的读者可参考1970年1月，第一期，IT-16册，IEEE信息理论学报，作者为C.K.Chow，标题为“On Optimum Recognition Error and RejectTradeoff(识别错误和拒绝之间的最优折中)”的文章。
误分类问题的另一方面是类别成员概率的不确定性的估计。通常，在训练过程期间，通过训练模式对分类器进行训练。优选地根据分类器应该能够区分的不同类型(类别)的情形来选择这些训练模式。将要被分类的测试模式的类别成员概率以训练过程中使用的训练模式为基础。理想地，应该准备用于可能发生的所有类型的情形的分类器。在现实应用中，这通常是不可能实现的，例如，由于“不可预料的”情形和有限的资源。因此，特征空间，即由所有可能模式跨越的空间，无法类似地与训练模式相对应。直观地，如果测试模式周围的训练模式的密度很高，则对给定的测试模式做出响应，由该分类器输出的类别成员概率的不确定性将很小。同样地，如果该测试模式周围的训练模式的密度很低，则不确定性将很高。在美国专利5,335,291(Kramer等人)中详细解释了该方案背后的思想，该专利描述了神经网络，为了验证分类是否可靠，该神经网络考虑在将要被分类的测试模式附近的训练数据的局部数量。神经网络输出的有益部分被表示为置信区间。
由于分类器允许将测试模式标记为“未知”和/或在类别成员概率的不确定性太高时使用拒绝选项，因此在例如车辆座位乘员分类、诊断分类等安全性重要的情况中，提供类别成员概率的确定性(或不确定性)的分类器是很有吸引力的。
发明内容
本发明的目的在于提供一种以改进方式计算类别成员概率的模式分类方法。
通过如权利要求1所述的方法实现该目的。
为了将测试模式指定到从预定义的类别组中所选择的类别，已知的是计算对于该测试模式的类别成员概率，并且基于在特征空间中测试模式的相邻位置上训练模式的数量而计算对于类别成员概率的置信区间。根据本发明的重要方面，通过计算训练模式的密度函数与集中于测试模式的高斯平滑函数的卷积，而得到在测试模式的相邻位置中训练模式的数量，其中训练模式的密度函数表示为高斯函数的混合(叠加)。在该方法中非常感兴趣的是相邻位置中训练模式的数量并不是通过对位于距所述测试模式一定距离内的训练模式进行实际计数而得到。事实上，这将需要庞大的计算能力，此外，这将预示着要将训练模式全部存储在存储器中。为了实现本方法，将定义训练模式的密度函数与高斯平滑函数的卷积的参数保存在存储器中。基于训练模式的数量，这些参数可能仅需要对于存储相应的训练模式组所必需的存储器空间的一小部分。
此外，本领域技术人员将很容易理解，可通过采用以下解析等式计算平滑函数的卷积和高斯函数的混合 (等式1) 其中x表示测试模式，NN(x)表示在x的相邻位置中训练模式的数量，K是整数，μk是特征空间中的矢量，S′k是矩阵并且N′k是实数。
具体地，K可以表示在混合中高斯函数的数量，μk是第k阶高斯函数的中心，S′k是矩阵并且N′k是实数，S′k和N′k依赖于平滑函数和第k阶高斯函数。由于这个等式仅依赖于在训练过程期间可以离线计算的参数μk，S′k(或等效地，S′k-1)和N′k(k＝1，....，K)，因此本方法的实现仅需要知道这些参数以计算在该测试模式附近训练模式的数量。因此，通过对上述等式(1)的估计能够简单地计算在测试模式的相邻位置中训练模式的数量。
如果假设训练数据的密度函数可以按照如下方式表示为高斯函数的混合，则上述等式(1)可被更好地理解 (等式2) 其中K表示混合中高斯函数的数量，x′是特征空间中的变量，ρ(x′)是在x′处的训练模式的密度，μk是第k阶高斯函数的中心，Sk是描述第k阶高斯函数的宽度的矩阵，d是特征空间的尺寸并且其中Nk表示归一化因数，用来进行如下计算 (等式3) 其中，Ntot是特征空间中训练模式的总数量。优选地使用例如期望最大化算法而离线计算参数μk，Sk(和Sk-1)和Nk。后者在作者为M.Figueiredo等的“Unsupervised learning of finite mixture models(有限混合模式的无监督知识)”(2002年3月，第3期，24册，1-16页，IEEE模式分析和机器智能学报)中进行了解释。
为了计算在测试模式的相邻位置中训练模式的数量，通常计算训练模式密度函数在该相邻位置上的积分 (等式4) 其中，通过以x为中心r为半径的空间S(x，r)给出了该相邻位置。发明人已经提出由密度函数ρ(x′)与集中于该测试模式的高斯平滑函数(也被称为“核(kernel)”)的卷积来代替密度ρ(x′)在相邻位置S(x，r)上的的积分 NN(x)＝∫ρ(x′)g(x′，x，r)dx′，(等式5) 其中，在整个特征空间上进行该积分。
该平滑函数可以表示为 (等式6) 其中，x表示测试模式，x′表示特征空间中的变量，d表示特征空间的尺寸，C表示定义特征空间上的度量(metric)的对称矩阵(例如，训练模式的协方差矩阵)，并且r表示该相邻位置相对于该度量的半径。采用如在等式(2)中定义的ρ(x′)和如在等式(6)中定义的g(x′，x，r)，可以将等式(5)写成与等式(1)相同，其中下述符号表示为 在计算了测试模式的相邻位置中训练模式的数量NN之后，可以基于以下等式计算置信区间 (等式7) 其中pe表示对于测试模式的类别成员概率(或该类别成员概率的估计值)(通过对用于测试模式的类别成员概率函数的估计而得到)，P+表示置信区间的上限而P-表示置信区间的下限，并且λ表示预定义的置信水平。可以根据应用来设置该置信水平。在本发明中，术语“置信区间”不应该被解释为局限于区间〔P-，P+〕；而其也应该被解释为包括区间〔0，P+〕和〔P-，1〕。因此，将所提供的P-和P+中的至少一个看作是本发明意义上的置信区间。
该相邻位置的半径选择得越大，在该相邻位置训练模式的数量也就越多。因此，随着相邻位置半径的增加，置信区间在收缩。换句话说，等式(7)暗含地假设所估计的类别成员概率pe接近于该相邻位置上类别成员概率的平均值。这适用于将该相邻位置的半径选择得足够小，以使得在测试模式的相邻位置中类别成员概率的变化也很小的情况。因此，对于选择相邻位置的半径的可能规则是将其定义为至少大致是不同类别的训练模式的几何中心之间最小距离的一半。也可以将该相邻位置的半径选择为不同类别的最小半径。因此，将相对于通过矩阵C给出的度量来计算有关的半径和距离。例如，可以将适配到某一类别的训练模式的密度的高斯宽度作为该类别的半径。
根据本发明的优选实施例，计算对于该测试模式的多个类别成员概率并且计算对于该类别成员概率中最高的一个的置信区间。只有当该置信区间的下限超出预定义的阈值时，才可以随后将该测试模式指向到其类别成员概率最高的类别。在相反的情况中，可以将该测试模式分类为未知或将该测试模式指定到其它类别。在测试模式序列的例子中(例如，在作为乘员分类系统中)，如果基于类别成员概率的给定测试模式的分类被认为不可靠，则可以将该模式指定到与最后的前述测试模式相同的类别。
上述方法也可以用于对测试模式序列的测试模式进行分类。在这种情况下，该序列的每一个测试模式都被指定到从预定义的类别组中选择的类别，并且将各自模式已经被指定的该类别返回作为初始分类。对于每一个测试模式，接着基于类别成员概率的置信区间或基于所考虑的测试模式的相邻位置中训练模式的数量而确定与各个初始分类相关联的品质因数。采用该品质因数以过滤掉那些不满足与该品质因数相关的特定标准的初始分类。例如，该品质因数可以是置信区间宽度倒数的对数，或者是训练模式的数量，在最易懂的实施例中将其与阈值进行比较。可选择地，也可根据其它合适的规则来推导该品质因数。例如，可以通过Kalman滤波技术进行滤波，其中可采用该品质因数来加权不同的初始分类。
根据本发明的最优选实施例，本发明在车辆座位乘员分类系统中实现，并且本方法包括提供与乘员相关的传感器数据并且使用该传感器数据作为要被指定到特定乘员类别的测试模式。
参考附图并根据下面对一些非限制性实施例的详细描述，本发明的进一步细节和优点将变得清楚，其中 图1示出了具有表示属于两个不同类别的训练模式的数据点的两个云图的2D特征空间的示意图； 图2示出了通过决策载体将图1的特征空间分割为两个区域的划分； 图3示出了类别成员概率的置信区间的下边界的轮廓线； 图4示出了根据本发明的方法的优选实施例的流程图；以及 图5示出了测试模式序列分类的示意图。
具体实施例方式 图1示出了具有表示属于两个不同类别的训练模式的数据点14的两个云图10，12的二维特征空间的示例。在所示的例子中，可以将特征空间的模式明显地表示为以相应数据点14的坐标作为阵列元素的阵列。例如，可以通过对其分类已知的情形设置一个或多个传感器来实现训练模式的收集，该传感器的输出将被指定到不同的类别。在当前例子中，所收集的模式的表示产生与第一分类和第二分类相对应的两个云图10，12。
一旦已经收集了训练模式，在该特征空间上生成类别成员概率函数。这可以通过文献中清楚记载的各种方法实现。图2示出了通过使用图1所示的数据并且根据下述方法进行训练的第二阶判别函数而进行的特征空间的分隔，该方法在John Wiley和Sons，纽约(1990)并且作者为J.Schürmann的文章“Pattern ClassificationStatistical and Neural Network basedApproaches(模式分类基于统计和神经网络的方案”)中有所描述。轮廓线16显示了类别成员概率函数从云图10，12向决策边界18的减小，正如Chow在以上参考的论文中所提到的。在决策边界18本身处，对于任何一个类别，概率都为0.5。类别成员概率函数没有对特征空间中存在没有选择训练数据的区域的事实进行说明。例如，假设在坐标分别为(0.6，0.6)和(0.2，0.6)的点P1和P2处具有两个测试模式。这些测试模式具有大致相同的类别成员概率。P1位于属于普通类别的训练模式的云图12中，而P2基本位于训练模式的任一云图之外。因此，直观上很清楚P2的类别成员概率的不确定性高于P1的类别成员概率的不确定性。
因此，本方法建议基于在将要被分类的测试模式附近的训练模式的数量而计算给定测试模式的类别成员概率的置信区间。为所谓的柏努利(Bernoulli)处理很好地建立对于估计概率的置信区间的概念，该柏努利处理在统计上遵循二项式分布。该二项式分布给出了准确地获得N个Bernoulli试验的n个成功的离散概率分布P(n|N)(其中每一个Bernoulli试验的结果为真的概率是p，而该结果为假的概率是q＝1-p)。该二项式分布由下式给出 该二项式分布的均值是μn＝Np，并且方差是σ2＝Npq。在N＞＞1/(p(1-p))的限制条件下，该二项式分布接近于高斯分布。从N次采样中提取的概率p的估计值p估计＝n/N的方差为 对于p的估计值pe，置信区间的宽度由下式给出 其中，λ由已经选择的置信水平确定。由所谓的erf函数(erf-function)给出λ与置信水平之间的关系，通常采用查找表进行估计 例如，可在网址http://mathworld.wolfram.com/ConfidenceInterval.html上找到关于置信区间的更多细节。
现在在统计分类器的例子中使用等式(10)p表示实际的类别成员概率，并且N表示在测试点的相邻位置中的采样数量(标记为NN)。
为了得到置信区间(1)的边界p-和p+，需要解算以下等式 其中，pe是类别成员概率的估计值，即，在测试模式处估计的类别成员概率函数的值。结果为等式(7) 其中， 图3示出了估计的类别成员概率的置信区间的下限(p-)的轮廓线20。在该例子中，训练模式的密度已经通过两个高斯函数近似表示，每一个高斯函数对应于每一个云团10，12。在具有高训练模式密度的区域(例如P1附近)中，置信区间的尺寸很小，从而最终的下限p-约等于估计的后验概率pe本身。在具有较低训练模式密度的区域中，例如P2附近，置信区间的宽度增加，并且置信区间的下限趋近于0。在图3中，位于外部轮廓线20.1外侧的区域对应于低于0.1的置信区间的下限。对于被指定到类别的测试模式，如果要求置信水平的下限至少为0.1，则可以将这些区域中的测试模式检测为“未知”并且拒绝这些测试模式，以避免错误分类。
图4示出了用于模式分类的方法的优选实施例的流程图。该方法包括优选为离线执行的一定数量的步骤以及在已经确定将要被分类的测试模式之后在线执行的一定数量的步骤。
在流程图的左侧中表示离线步骤。这些步骤基本上包括训练分类器、设置参数以及将在线步骤所需的那些数据存储到存储器中。作为示例，假设以一个或多个传感器的传感器输出的形式提供将要被分类的测试模式。为了收集训练模式(步骤42)，可以将该一个或多个传感器设置在分类系统的操作期间期望遇到的情形中，并且收集该传感器输出。可选择地或额外地，也可以根据传感器输出的仿真而获得训练模式。
在已经记录训练模式之后，计算类别成员函数(步骤44)。稍后，这些类别成员函数将测试模式作为输入，并输出属于不同类别的该测试模式的估计概率。另外，使用训练模式以生成用于计算训练模式密度与高斯平滑函数的卷积的函数(步骤46，47和48)。在步骤46中，采用高斯混合模型近似训练模式的密度，该高斯混合模型即有限数量高斯函数的叠加。在步骤47中，固定用于确定测试模式的相邻位置和可以离线设置或计算的那些参数，例如相邻位置的宽度和/或形状。可以使用等式(2)表示卷积，并且存储用于确定该等式的参数以使其在要计算测试模式的相邻位置中训练模式的数量时可用(步骤48)。可以理解的是在测试模式的分类期间，无需重复高斯混合模型(步骤46)和类别成员函数(步骤44)的耗时的计算。为了完整而应该说明的是，类别成员函数的计算48也可以基于训练模式密度的高斯混合模型。
本方法的实施例的在线步骤包括首先从一个或多个传感器获取50测试模式。从存储器中获取类别成员函数，并且计算测试模式的不同类别成员概率(步骤52)。在步骤54中，从存储器中获取定义等式(2)并且因而定义将要计算的卷积的参数，并且确定测试模式的相邻位置中训练数据的数量。
根据置信水平(在离线步骤49中设置)，计算对于在52中发现的最高类别成员概率的置信区间(步骤56)。在步骤58中，输出测试模式已经被指定到的类别。在类别成员概率的不确定性被认为太高而不能命名分类的情况中，输出可以是“未知”。
图5示出了本方法如何对与现实场景60、62、64、66相对应的测试模式序列的测试模式进行分类。为了说明，假设已经训练了该分类系统，使其根据对象(类别2)来识别面部(本示例中的类别1)，从而将从相片中提取的特征用作输入。表示面部的特征可以包括嘴、眼睛、耳朵等。沿着时间轴68的场景60，62，64，66的描绘略图表示在吹口香糖气泡的小孩。对于每一个测试模式，计算类别成员概率，并且将具有最高概率的类别返回作为初始分类。对于每一个测试模式，基于类别成员概率的置信区间或基于在所考虑的测试模式的相邻位置中的训练模式的数量，确定与各自初始分类相关联的品质因数Q。例如，品质因数接近100％表示初始分类的不确定性低，并且该分类应该用作输出69。如果系统在训练期间遇到不期望出现的情景(如情景64)，则初始分类可能是错误的。但在相同的时间内，低品质因数表示初始分类是不可靠的。因此，在存在未知情景64时，系统不认为初步分类是有效的并且将其丢弃(如附图标记70所示)。在该例子中，系统采用最终有效分类作为输出，在该例子中是情景62的分类。
权利要求
1、一种用于将测试模式指定到从预定义的类别组中选择的类别的方法，包括
计算对于所述测试模式的类别成员概率；
基于特征空间中所述测试模式的相邻位置中训练模式的数量而计算对于所述类别成员概率的置信区间；
其特征在于，通过计算所述训练模式的密度函数与集中于所述测试模式的高斯平滑函数的卷积而获得所述测试模式的所述相邻位置中所述训练模式的数量，所述训练模式的所述密度函数被表示为高斯函数的混合。
2、如权利要求1所述的方法，其中，通过以下函数计算所述训练模式的所述密度函数与所述第一平滑函数的所述卷积
其中，x表示所述测试模式，NN(x)表示在x的相邻位置中所述训练模式的数量，K表示所述混合中高斯函数的数量，μk表示第k阶高斯函数的中心，S′k表示矩阵并且N′k表示实数，S′k和N′k依赖于所述平滑函数和所述第k阶高斯函数。
3、如权利要求2所述的方法，其中，所述训练模式的所述密度函数可表示为
其中，K表示所述混合中所述高斯函数的数量，x′表示所述特征空间中的变量，ρ(x′)表示在x′处所述训练模式的密度，μk表示所述第k阶高斯函数的中心，Sk表示描述所述第k阶高斯函数的宽度的矩阵，d表示所述特征空间的尺寸，并且其中Nk表示归一化因数，该归一化因数用于进行以下计算
其中，Ntot是所述特征空间中所述训练模式的总数量。
4、如权利要求3所述的方法，其中，所述平滑函数可表示为
其中，x表示所述测试模式，x′表示所述特征空间中的变量，d表示所述特征空间的尺寸，C表示在所述特征空间上定义度量的对称矩阵，r表示所述相邻位置相对于所述度量的半径。
5、如权利要求4所述的方法，其中，所述N′k通过下述等式给出
并且其中S′k通过下述等式给出
其中Tk通过下述等式定义
6、如权利要求4或5所述的方法，其中，C是所有训练模式的协方差矩阵。
7、如权利要求1-6中的任意一项所述的方法，其中，基于以下等式计算所述置信区间
其中，NN表示所述测试模式的所述相邻位置中所述训练模式的数量，pe表示对于所述测试模式的所述类别成员概率，P+表示所述置信区间的上限，P.表示所述置信区间的下限，并且λ表示预定义的置信水平。
8、如前述权利要求的任意一项所述的方法，其中，计算对于所述测试模式的多个类别成员概率，其中对于所述类别成员概率中最高的一个计算所述置信区间；并且其中只有在所述置信区间的下限超出预定义的阈值时，才将所述测试模式指定到其类别成员概率最高的类别。
9、如权利要求8所述的方法，其中，如果所述置信区间的下限没有超出预定义的阈值，则将所述测试模式分类为未知。
10、一种用于将测试模式指定到从预定义的类别组中选择的类别的方法，包括
计算对于所述测试模式的类别成员概率；
基于特征空间中所述测试模式的相邻位置中训练模式的数量而计算对于所述类别成员概率的置信区间；
其特征在于，根据以下等式获得所述测试模式的所述相邻位置中所述训练模式的数量
其中，x表示所述测试模式，NN(x)表示在x的相邻位置中所述训练模式的数量，K表示整数，μk表示所述特征空间中的矢量，S′k表示矩阵并且N′k表示实数。
11、一种用于对测试模式序列的测试模式进行分类的方法，包括
按照前述权利要求的任意一项所述的方法，将所述序列的每一个测试模式指定到从预定义的类别组中选择的类别，并且将其中所述各自模式已经被指定到的类别返回作为初始分类；
基于所述置信区间或基于所述各自测试模式的相邻位置中所述训练模式的数量，对于所述序列的每一个测试模式，确定与所述初始分类相关联的品质因数；
基于所述相关联的品质因数而过滤出初始分类。
12、一种用于对车辆座位乘员进行分类的方法，包括
提供与所述乘员相关的传感器数据，
按照前述权利要求的任意一项所述的方法而使用所述传感器数据作为测试模式。
全文摘要
用于将测试模式指定到从预定义的类别组中选择的类别，计算对于所述测试模式的类别成员概率，并且基于特征空间中所述测试模式的相邻位置中训练模式的数量来计算对于所述类别成员概率的置信区间。通过计算训练模式的密度函数与集中于所述测试模式的高斯平滑函数的卷积而得到所述测试模式的相邻位置中所述训练模式的数量，其中所述训练模式的密度函数表示为高斯函数的混合。能够分析地表示所述平滑函数与所述高斯函数的混合的卷积。
文档编号G06K9/62GK101496035SQ200780028017
公开日2009年7月29日 申请日期2007年7月17日 优先权日2006年7月28日
发明者B·米尔巴赫, P·德瓦拉科塔 申请人:Iee国际电子工程股份公司