数据处理设备、数据处理方法和程序的制作方法

专利名称：数据处理设备、数据处理方法和程序的制作方法
技术领域：
本发明涉及数据处理设备、数据处理方法和程序，尤其涉及能够获得适当地表示例如建模对象的HMM(隐马尔可夫模型)的数据处理设备、数据处理方法和程序。
背景技术：
基于从建模的对象(下文中，称为建模对象)观察到的传感器信号(即，作为对该建模对象的感测结果而获得的传感器信号)，已经提出了例如K-均值聚类法(K-means clustering)或S0M(自组织映射)，作为用于构成建模对象的状态的学习方法。在K-均值聚类法或SOM中，在观察到的传感器信号的信号空间上，状态被布置为代表向量(representative vector)。在K-均值聚类法中，为了初始化，将代表向量适当地布置在信号空间上。另外，将各时刻的传感器信号向量分配给最近的代表向量，并且利用分配给各代表向量的向量的平均向量，重复更新代表向量。在SOM中，为学习代表向量，使用竞争邻域学习(competitive neighborhood learning)。在关于SOM的研究中，广泛提出被称为成长网格(growing grid)的学习方法，在这种学习方法中，逐渐增加状态(这里为代表向量)，并且学习这些状态。在K-均值聚类法或SOM中，将状态(代表向量)布置在信号空间上，但是不学习关于这些状态如何转移的信息。因为这个原因，在K-均值聚类法或SOM中，难以处理被称为感知混淆(perceptual aliasing)的丨、可题。这里，感知混淆指如下问题尽管建模对象处于不同状态，但是如果从这些建模对象观察到的传感器信号相同，则不能区分这些建模对象。例如，在设置有摄像头的可移动机器人通过摄像头观察风景图像作为传感器信号的情况下，如果在环境中存在多个在其中观察到相同的风景图像的场所，则存在不能区分这些场所的问题。另一方面，已经提出了使用HMM(隐马尔可夫模型)作为学习方法，在该学习方法中，观察到的传感器信号被处理为时序数据，并且被作为具有状态和状态转移二者的概率模型学习。HMM是语音识别广泛使用的许多模型之一，并且是如下定义的状态转移概率模型 由表示状态转移的状态转移概率或在各状态下发生状态转移时观察到某个观察值的概率分布(如果观察值是离散值，则该概率分布为离散值的概率值，而如果观察值是连续值，则该概率分布是表示概率密度的概率密度函数等)定义。估计HMM的参数(即，状态转移概率、概率分布等)，以最大化似然性。作为HMM参数的估计方法，广泛使用Baum-Welch算法(前向-后向算法)。另夕卜，作为HMM参数的估计方法，例如，存在蒙特卡洛期望最大化算法 (Monte-Carlo EM)或平均场近似。
HMM是其中经由状态转移概率每个状态都可以转移到其它状态的状态转移概率模型，并且根据HMM，建模对象(由其观察到的传感器信号)被建模为其中状态发生转移的过程。然而，在HMM中，通常，仅由概率确定观察到的传感器信号对应于哪个状态。因此， 作为基于观察到的传感器信号来确定似然性最高的状态转移过程、即最大化似然性的状态序列(下文中，也称为最大似然性路径)的方法，广泛使用维特比(Viterbi)算法。利用维特比算法，能够沿最大似然性路径指定与各时刻的传感器信号对应的状态。根据HMM，即使在不同情形(状态)下从建模对象观察到的传感器信号相同，由于该时刻前后的传感器信号的时变过程的差异，能够将相同的传感器信号处理为不同的状态转移过程。另外，HMM没有完全解决感知混淆的问题，但是，由于将不同的状态分配给相同的传感器信号，所以HMM能够比SOM等更明确地(更适当地)对建模对象建模。同时，在对HMM的学习中，如果状态的数量和状态转移的数量变大，则难以适当地 (正确地)估计参数。特别地，Baum-Welch算法不保证确定最优参数，因此，如果参数的数量增加，则很难确定适当的参数。另外，当建模对象是未知对象时，不容易适当地设置HMM的结构或参数的初始值， 并且这是难以估计适当的参数的因素。HMM被有效地用于语音识别的原因在于所处理的传感器信号限于语音信号， 能够使用大量关于语音的知识，并且对语音适当地建模的HMM结构能够使用从左到右 (left-to-right)的结构等，这些是作为长期研究的结果而获得的。因此，在建模对象是未知对象并且没有事先给出用于确定HMM的结构的信息或初始值的情况下，很难使得HMM(其可能具有大的规模)用作实际的模型。另外，已经提出了通过使用被称为赤池信息量准则(Akaike，sinformation criterion)(所谓的AIC)的评价准则来确定HMM的结构的方法，而非事先给出HMM的结构。在使用AIC的方法中，每当HMM的状态数量或状态转移的数量增加一时，估计参数，并且通过使用AIC作为评价准则重复评价HMM来确定HMM的结构。使用AIC的方法应用于诸如音素模型的小规模HMM。然而，使用AIC的方法不考虑大规模HMM的参数估计，因此，难以对复杂的建模对象适当地建模。换言之，由于仅通过增加一个状态和一个状态转移来校正HMM的结构，因此不一定确保评价准则的单调性改善。因此，即使将使用AIC的方法应用于由大规模HMM表示的复杂的建模对象，也不能确定适当的HMM结构。因此，本申请人先前已经提出了一种能够获得诸如HMM等的状态转移概率模型的学习方法，即使建模对象复杂，该学习方法也能对建模对象适当地建模(例如，参考日本未审专利申请2009-223443号公报)。在日本未审专利申请2009-223443号公报中公开的方法中，在调整时序数据和HMM的结构的同时，学习HMM。

发明内容
存在对于用于获得如下HMM的各种方法的需求对建模对象适当地建模的HMM， 即，适当地表示建模对象的HMM。希望获得适当地表示建模对象的HMM。根据本发明实施例，提供了一种数据处理设备或使计算机用作数据处理设备的程序，该数据处理设备包括参数估计装置，所述参数估计装置使用时序数据执行用于估计 HMM(隐马尔可夫模型)的参数的参数估计；以及结构调整装置，所述结构调整装置从所述 HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM的结构的结构调整， 其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态，所述结构调整装置获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度； 以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。根据本发明实施例，提供了一种数据处理方法，其包括以下步骤使数据处理设备使用时序数据执行用于估计HMM(隐马尔可夫模型)的参数的参数估计；以及使所述数据处理设备从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且使所述数据处理设备通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整步骤包括将所述HMM的每个状态关注为关注状态；对于所述关注状态，获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM 的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。根据上面描述的配置，使用时序数据执行用于估计HMM(隐马尔可夫模型)的参数的参数估计；从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且执行通过分割所述分割对象和合并所述合并对象来调整所述HMM的结构的结构调整。在结构调整中，将所述HMM的每个状态关注为关注状态；对于所述关注状态，获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中， 所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度。另外，选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。根据本发明的另一个实施例，提供了一种数据处理设备或使计算机用作数据处理设备的程序，该数据处理设备包括参数估计装置，所述参数估计装置使用时序数据执行用于估计HMM(隐马尔可夫模型)的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象， 并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，所述结构调整装置获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。根据本发明的另一个实施例，提供了一种数据处理方法，其包括步骤使数据处理设备使用时序数据执行用于估计HMM(隐马尔可夫模型)的参数的参数估计；以及使所述数据处理设备从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整步骤包括将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，获得通过对所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。根据上面描述的另一种配置，使用时序数据执行用于估计HMM(隐马尔可夫模型) 的参数的参数估计，从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM的结构的结构调整。在所述结构调整中，将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。另外，该数据处理设备可以是独立的设备或可以是构成单个设备的内部块。并且，该程序可以通过经由传输介质传输或可以通过被记录在记录介质中来提{共。根据本发明，能够获得适当地表示建模对象的HMM。


图1是示出根据实施例的数据处理设备的配置示例的概要的图。图2是示出遍历型HMM的示例的图。图3是示出从左到右型HMM的示例的图。图4是示出数据处理设备的详细配置示例的框图。图5是示出状态分割的图。图6是示出状态合并的图。图7是示出为选择分割对象和合并对象而模拟的、作为用于学习HMM的学习数据的观察时序数据的图。图8A至8D是示出用于选择分割对象和合并对象的模拟结果的图。图9是示出使用平均状态概率作为对象度值而执行的、选择分割对象和合并对象的图。图10是示出使用平均状态概率作为对象度值而执行的、选择分割对象和合并对象的图。图11是示出使用本征值差作为对象度值而执行的、选择分割对象和合并对象的图。图12是示出使用本征值差作为对象度值而执行的、选择分割对象和合并对象的图。图13是示出使用合成值作为对象度值而执行的、选择分割对象和合并对象的图。图14是示出使用合成值作为对象度值而执行的、选择分割对象和合并对象的图。图15是示出数据处理设备中的学习处理的流程图。图16是示出结构调整处理的流程图。图17是示出学习处理的第一模拟的图。图18是示出在作为第一模拟的HMM的学习中、学习次数与HMM的似然性(对数似然性)之间的关系的图。图19是示出学习处理的第二模拟的图。图20是示出在作为第二模拟的HMM的学习中、学习次数与HMM的似然性(对数似然性)之间关系的图。图21是示意性示出如下状态的图在解空间中有效地搜索作为适当地表示建模对象的HMM的参数的良解。图22是示出根据本发明实施例的计算机的配置示例的框图。具体实施例本发明提供一种数据处理设备，包括参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态，所述结构调整装置获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。本发明一种数据处理方法，包括如下步骤使数据处理设备使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及使所述数据处理设备从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且使所述数据处理设备通过分割所述分割对象和合并所述合并对象来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整步骤包括将所述HMM的每个状态关注为关注状态；对于所述关注状态，获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度； 以及选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。本发明提供一种程序，使得计算机用作参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态，所述结构调整装置获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。本发明提供一种数据处理设备，包括参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，所述结构调整装置获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值， 所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。本发明提供一种数据处理方法，包括如下步骤使数据处理设备使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及使所述数据处理设备从所述 HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且使所述数据处理设备通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整步骤包括将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，获得通过对所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。本发明提供一种程序，使得计算机用作参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，所述结构调整装置获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值， 所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。本发明提供一种数据处理设备，包括参数估计单元，所述参数估计单元使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及结构调整单元，所述结构调整单元从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整单元将所述HMM的每个状态关注为关注状态；对于所述关注状态，所述结构调整单元获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及所述结构调整单元选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。本法发明提供一种数据处理设备，包括参数估计单元，所述参数估计单元使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及结构调整单元，所述结构调整单元从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM 的结构的结构调整，其中，所述结构调整单元将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，所述结构调整单元获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值， 所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及所述结构调整单元选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。根据实施例的数据处理设备的概述图1是示出根据本发明实施例的数据处理设备的配置示例的概要的图。在图1中，数据处理设备存储包括状态和状态转移的状态转移概率模型。数据处理设备用作学习设备，其使用状态转移概率模型执行对建模对象建模的学习。例如，以时序方式从建模对象观察通过感测建模对象获得的传感器信号。数据处理设备使用从建模对象观察到的传感器信号学习状态转移概率模型，即， 这里，估计状态转移概率模型的参数并且确定结构。这里，例如，可以使用HMM、贝叶斯网络或POMDP (部分可观察马尔可夫决策过程) 等作为状态转移概率模型。下文中，例如，使用HMM作为状态转移概率模型。图2是示出HMM的示例的图。HMM是包括状态和状态转移的状态转移概率模型。图2示出具有三个状态的HMM的示例。在图2中(图3同样如此)，圈表示状态，箭头表示状态转移。另外，在图2中，Si(在图2中，i = 1、2和3)表示状态，并且Eiu表示从状态Si到状态~的(状态转移的)状态转移概率。另外，bj (ο)表示在状态~下观察到观察值ο的概率分布，并且η i表示状态Si处于初始状态的初始概率。如果观察值ο是离散值，则在观察到为离散值的观察值ο的情况下，概率分布 bj (ο)是离散概率值，并且如果观察值O是连续值，则在观察到为连续值的观察值O的情况下，概率分布是表示概率密度的概率密度函数。例如，可以使用混合正态概率分布作为概率密度函数。这里，HMM由状态转移概率Eiij、概率分布bj(o)和初始概率π i定义。因此，状态转移概率 ^、概率分布h(o)和初始概率、是HMM的参数λ = {aiJ, bj(o), Jii, i = 1, 2，...，N，j = 1，2，...，N}，N 表示 HMM 的状态数量。如上所述，例如，广泛使用Baum-Welch算法作为用于估计HMM的参数λ的方法。 Baum-Welch算法是基于ΕΜ(期望最大化)算法的参数估计方法。根据Baum-Welch算法，估计HMM的参数λ，使得基于观察到的时序数据ο = O1, 02，. . .，Ot从作为观察到(发生)时序数据的概率的发生概率获得的似然性最大。这里，Ot表示在时间t观察到的观察值(传感器信号的采样值)，并且T表示该时序数据的长度(采样数量)。另外，Baum-Welch算法是基于似然性最大化的参数估计方法，而不保证最优化，但是由于该算法依赖于HMM的结构或参数λ的初始值而收敛到局部解，因此其具有初始值依赖性。HMM广泛用于语音识别，但是在用于语音识别的HMM中，事先确定状态的数量或状态转移方法等。图3是示出用于语音识别的HMM的示例的图。图3中的HMM也被称为从左到右型ΗΜΜ。在图3中，状态的数量是3，并且状态转移限于如下结构该结构允许自转移(从状态Si到状态Si的状态转移)和从某个状态到位于该某个状态更右侧的状态的状态转移。与图3中的具有状态转移限制的HMM不同，图2所示的对状态转移没有限制(即， 能够实现从任意状态Si到任意状态~的状态转移)的HMM被称为遍历型ΗΜΜ。遍历型HMM是下述这样的HMM 其结构具有最高自由度，但是如果状态数量增加， 则难以估计参数入。例如，如果遍历型HMM的状态数量是100，则状态转移的数量是一万(= 100X100)。因此，在这种情况下，例如，就参数λ中的状态转移概率而言，需要估计一万个状态转移概率％j。另外，例如，如果遍历型HMM的状态数量是1000，则状态转移的数量是一百万(= 1000X1000)。因此，在这种情况下，例如，就参数λ中的状态转移概率 」而言，需要估计一百万个状态转移概率Aj。有限制的状态转移对于根据建模对象的必要状态转移是足够的，但是如果事先不知道限制状态转移的最佳方式，则很难适当地估计如此大量的参数λ。另外，如果事先不知道状态的适当数量，并且如果事先也不知道用于确定HMM的结构的信息，则也很难获得适当的参数入。换言之，例如，在具有一百个状态的HMM中，如果对于各状态的状态转移的转移目的地(包括自转移)限于五个，则要估计的状态转移概率^^能够从不限制状态转移的情况下的一万个减少至五百个。然而，当在HMM的状态数量固定后限制状态转移时，由于破坏了 HMM的灵活性， HMM的初始值依赖性显著，因此，难以获得适当的参数，即，难以获得适当地表示建模对象的 HMM0即使事先没有限制HMM的结构(S卩，HMM的状态数量和状态转移数量)，图1中的数据处理设备仍执行用以估计HMM的参数λ的学习，同时对于建模对象确定HMM的适当的结构。根据实施例的数据处理设备的配置示例图4是示出图1的数据处理设备的配置示例的框图。在图4中，数据处理设备包括时序数据输入单元11、参数估计单元12、评价单元 13、模型存储单元14、模型缓冲器15以及结构调整单元16。时序数据输入单元11接收从建模对象观察到的传感器信号。时序数据输入单元 11基于从建模对象观察到的传感器信号，将从建模对象观察到的时序数据(下文中，也称为观察时序数据)O = O1, O2, . . . , O1输出至参数估计单元12。换言之，例如，时序数据输入单元11将从建模对象观察到的时序传感器信号标准化到预定信号范围内，这些信号被作为观察时序数据ο提供至参数估计单元12。另外，响应于来自评价单元13的请求，时序数据输入单元11将观察时序数据ο提供至参数估计单元12。参数估计单元12使用来自时序数据输入单元11的观察时序数据O，估计存储在模型存储单元14中的HMM的参数λ。换言之，按照例如Baum-Welch算法，参数估计单元12使用来自时序数据输入单元 11的观察时序数据O，执行参数估计，以估计存储在模型存储单元14中的HMM的新参数λ。参数估计单元12将通过HMM的参数估计获得的新参数λ提供至模型存储单元 14，并以覆写的方式存储该参数λ。另外，在估计HMM的参数λ时，参数估计单元12使用存储在模型存储单元14中的值作为参数λ的初始值。这里，在参数估计单元12中，用于估计新参数λ的处理被计数为学习次数中的1。每次估计新参数λ时，参数估计单元12将学习的次数增加1，并且将该学习的次数提供至评价单元13。另外，参数估计单元12从由新参数λ定义的HMM获得观察到来自时序数据输入单元11的观察时序数据O的似然性，并且将该似然性或通过对该似然性取对数获得的对数似然性提供至评价单元13和结构调整单元16。评价单元13基于来自参数估计单元12的似然性或学习次数，评价已学习的 ΗΜΜ(即，在参数估计单元12中估计了参数λ的HMM)，并且根据HMM评价结果判断是执行用于对存储在模型存储单元14中的HMM的结构进行调整的结构调整，还是结束对HMM的学习。换言之，在来自参数估计单元12的学习次数达到预定数量之前，评价单元13使用未充分获得的HMM评价观察时序数据ο的特性(时序模式)，并且确定对HMM的学习继续进行。另外，如果来自参数估计单元12的学习次数达到预定数量，则评价单元13使用充分获得的HMM评价观察时序数据ο的特性，并且确定对HMM的学习结束。替代地，在来自参数估计单元12的似然性达到预定值之前，评价单元13使用未充分获得的HMM评价观察时序数据ο的特性(时序模式)，并且确定对HMM的学习继续进行。另外，如果来自参数估计单元12的似然性达到预定值，则评价单元13使用充分获得的HMM评价观察时序数据ο的特性，并且确定对HMM的学习结束。如果确定对HMM的学习继续进行，则评价单元13请求时序数据输入单元11提供观察时序数据。另一方面，如果确定对HMM的学习结束，则评价单元13经由结构调整单元16读取存储在模型缓冲器15中的、作为后面描述的最佳模型的HMM，并且输出所读取的HMM作为学习之后的HMM(表示从其观察到观察时序数据的建模对象的HMM)。另外，使用来自参数估计单元12的似然性，评价单元13获得似然性增量，该似然性增量为在估计了参数之后的HMM中观察到观察时序数据的似然性相对于在估计该参数之前的HMM中观察到观察时序数据的似然性的增量，并且如果该增量小于预定值(等于或小于该预定值)，则确定需要调整HMM的结构。另一方面，如果在估计了参数之后的HMM中观察到观察时序数据的似然性的增量不小于该预定值，则评价单元13确定不调整HMM的结构。此外，如果确定调整HMM的结构，则评价单元13请求结构调整单元16调整存储在模型存储单元14中的HMM的结构。例如，模型存储单元14存储作为状态转移概率模型的HMM。换言之，如果从参数估计单元12提供了 HMM的新参数，则模型存储单元14将所存储的值(所存储的HMM的参数)更新(覆写)为新参数。另外，还通过由结构调整单元16进行的HMM的结构调整来更新存储在模型存储单元14中的HMM (HMM的参数)。在结构调整单元16的控制下，模型缓冲器15将存储在模型存储单元14中的 HMM (HMM的参数)中的、观察到观察时序数据的似然性最大的HMM作为最适当地表示从其观察到观察时序数据的建模对象的最佳模型存储在模型存储单元14中。响应于来自评价单元13的请求，结构调整单元16进行结构调整，以调整存储在模型存储单元14中的HMM的结构。另外，由结构调整单元16执行的对于HMM的结构调整包括结构调整所必需的HMM 的参数调整。这里，通过构成HMM的状态数量和状态之间的状态转移(状态转移概率不是0. 0 的状态转移)确定HMM的结构。因此，HMM的结构可以指HMM的状态数量和状态转移。由结构调整单元16执行的HMM的结构调整的类型包括状态的分割和状态的合并。结构调整单元16从存储在模型存储单元14中的HMM的状态中选择作为待分割的对象的状态的分割对象以及作为待合并的对象的状态的合并对象，并且通过分割该分割对象(分割对象为状态)和合并该合并对象(合并对象为状态)，来执行结构调整。在分割状态时，增加HMM的数量以扩大HMM的规模，从而适当地表示建模对象。另一方面，在合并状态时，由于冗余状态的去除导致状态的数量减少，从而适当地表示建模对象。另外，根据HMM的状态数量的变化，状态转移的数量也变化。基于从参数估计单元12提供的似然性，结构调整单元16对要存储在模型缓冲器 15中的最佳模型进行控制。状态的分割图5是示出作为由结构调整单元16执行的结构调整的状态分割的图。这里，在图5中(下面描述的图6同样如此)，圈表示HMM的状态，而箭头表示状态转移。另外，在图5中，互相连接两个状态的双向箭头表示从两个状态中的一个状态到另一个状态的状态转移以及从该另一个状态到该一个状态的状态转移。此外，在图5中，每个状态都可以执行自转移，并且在该图中未示出表示自转移的箭头。并且，在该图中，在表示状态的圈内部的数字i是用于区分状态的索引，并且在下文中，通过状态Si表示以数字i作为索引的状态。在图5中，执行状态分割之前的HMM(分割前的HMM)具有6个状态Sl、s2、s3、s4、& 和S6，其中，在状态S1和&之间、状态S1和、之间、状态&和&之间、状态&和&之间、 状态&和％之间、状态、和S5之间、以及状态S5和％之间的双向状态转移以及自转移分别都是可能的。现在，例如，如果在分割前的HMM的状态S1至S6中选择状态S5作为分割对象，则在以状态S5作为分割对象的状态分割中，结构调整单元16向HMM添加新状态s7。另外，结构调整单元16添加如下各状态转移作为与新状态S7的状态转移(其状态转移概率不是0. 0)与作为分割对象的状态S5具有状态转移的状态s2、s4和Se与状态S7 之间的状态转移、自转移、以及作为分割对象的状态S5与状态S7之间的状态转移。结果，在该状态分割中，作为分割对象的状态^被分割为状态^和新状态S7，此外，根据新状态S7的添加，添加与新状态S7的状态转移。另外，在该状态分割中，对于执行了状态分割之后的HMM(分割后的HMM)，根据新状态S7的添加和与该新状态S7的状态转移的添加，调整HMM的参数。换言之，结构调整单元16设置状态S7的初始概率π 7和概率分布b7 (ο)，并且将预定值设置为与状态S7的状态转移的状态转移概率a”.和％7。具体地，例如，结构调整单元16将作为分割对象的状态&的初始概率Ji5的一半设置为状态S7的初始概率JI7，并且相应地，将作为分割对象的状态^的初始概率JI5设置为当前值的一半。另外，结构调整单元16将作为分割对象的状态S5的概率分布b5(o)设置为(赋予)状态S7的概率分布b7 (O)。此外，结构调整单元16将作为分割对象的状态S5与状态s2、S4和S6中每一个之间的状态转移的状态转移概率 和ai5的一半设置为与状态S7的状态转移中的、与除作为分割对象的状态S5之外的状态s2、S4和％的状态转移的状态转移概率a”.和 7(a72 = a52/2、&74 — ^54/2 λ a76 — a56/2、a27 — ^25/2、— a45/2、和 a67 — a65/2)。当对状态S7与除作为分割对象的状态S5之外的状态s2、S4和％之间的状态转移的状态转移概率％和ai7进行设置时，结构调整单元16将作为分割对象的状态S5与状态 S2、S4和S6中每一个之间的状态转移的状态转移概率 和ai5设置为当前值的一半。
另外，结构调整单元16将作为分割对象的状态S5的自转移的状态转移概率a55的一半设置为状态S7与作为分割对象的状态^之间的状态转移的状态转移概率％7和^5以及状态S7的自转移的状态转移概率a77，并因而将作为分割对象的状态S5的自转移的状态转移概率 5设置为当前值的一半。之后，结构调整单元16标准化状态分割后的HMM所需的参数，并且结束状态分割。换言之，结构调整单元16标准化状态转移概率％」，使得状态分割后的HMM的状态转移概率Eiij满足等式Σ Bij = 1(其中，i = 1、2.....N)。这里，等式Σ Bij = 1中的Σ意为当表示状态的变量j从1变化至状态分割之后的 HMM的状态的数量N时求和。在图5中，状态分割后的HMM的状态的数量N是7。在状态转移概率aij的标准化处理中，通过将标准化之前的状态转移概率~除以关于作为标准化之前的状态转移概率 」的转移目的地的状态~的总和an+ai2+. . . +aiN,获得标准化之后的状态转移概率。并且，在图5中，通过以一个状态&作为分割对象来执行状态分割，但是也可以通过以多个状态作为分割对象来执行状态分割，并且可以对多个分割对象并行执行状态分割。如果通过以一个或多个的M个状态作为分割对象来执行状态分割，则分割之后的 HMM比分割之前的HMM再增加M个状态。这里，在图5中，基于与作为分割对象的状态&有关的HMM的参数，设置与从作为分割对象的状态S5分割的新状态S7有关的HMM的参数(初始概率π 7、状态转移概率％和 ai7以及概率分布b7(o))，但是，另外，可以事先准备新状态的固定参数作为与新状态^有关的HMM的参数，并且可以设置这些固定参数。状态的合并图6是示出作为由结构调整单元16执行的结构调整的状态合并的图。在图6中，以与图5中的分割之前的HMM相同的方式，执行状态合并之前的HMM(合并前的HMM)具有6个状态Sl、s2、s3、s4、&和s6，其中，状态S1和&之间、状态S1和、之间、状态&和&之间、状态&和S5之间、状态&和％之间、状态、和S5之间、以及状态S5 和％之间的双向状态转移以及自转移分别都是可能的。现在，例如，如果在合并前的HMM的状态S1至S6中选择状态S5作为合并对象，则在以状态S5作为合并对象的状态合并中，结构调整单元16去除作为合并对象的状态^。另外，结构调整单元16在与作为合并对象的状态^存在状态转移(其状态转移概率不是0.0)的其它状态s2、、和S6(下文中，也称为合并状态)之间(即，在状态&和、 之间，状态S2和％之间以及状态、和％之间)添加状态转移。结果，在状态合并中，作为合并对象的状态^被并入与状态^存在状态转移的各其它状态(合并状态)S2, S4和S6，而与状态S5的状态转移以状态S5为旁路的方式被并入 (被移交至)与其它状态S2、S4和S6的状态转移中。另外，在状态合并中，对于执行了状态合并之后的HMM(合并后的HMM)，根据对于作为合并对象的状态S5的去除和对于与状态S5的状态转移的合并(在合并状态之间添加状态转移)，来调整HMM的参数。也就是说，结构调整单元16将预定值设置为各合并状态s2、s4和S6之间的状态转移的状态转移概率。具体地，例如，结构调整单元16将如下值设置为从任意合并状态Si到另一个合并状态S^的状态转移)的状态转移概率将从合并状态Si到作为合并对象的状态S5 (的状态转移)的状态转移概率^5乘以从作为合并对象的状态S5到合并状态~ (的状态转移) 的状态转移概率 获得的值( = ai5Xa5J)。另外，结构调整单元16将作为合并对象的状态S5的初始概率η 5平均地分配给各合并状态S2、S4和％或合并后的HMM的所有状态Sl、s2, s3、S4和S60换言之，如果对其平均地分配了作为合并对象的状态S5的初始概率π 5的状态Si 的数量是K，则状态Si的初始概率π i被设置为当前值与作为合并对象的状态S5的初始概率η 5的1/Κ的和。此后，结构调整单元16标准化状态合并后的HMM所需的参数，并且结束状态合并。换言之，以与状态分割相同的方式，结构调整单元16标准化状态转移概率，使得状态合并后的HMM的状态转移概率满足等式Σ aij = 1(其中，i = 1、2.....N)。并且，在图6中，通过以一个状态S5作为合并对象来执行状态合并，但是，可以通过以多个状态作为合并对象来执行状态合并，并且可以对于多个合并对象并行执行状态合并。如果通过以一个或多个状态的M个状态作为合并对象来执行状态合并，则合并后的HMM比合并前的HMM再减少M个状态。这里，在图6中，基于作为合并对象的状态^与各合并状态之间的状态转移概率， 设置各合并状态之间的状态转移概率，但是，另外，可以事先准备对于合并的、固定的状态转移概率作为各合并状态之间的状态转移概率，并且可以设置该固定的状态转移概率。另外，在图6中，作为合并对象的状态S5的初始概率η 5被平均地分配给合并状态 S2> S4和％或合并后的HMM的所有状态Sl、s2, s3、S4和％，但是也可以不平均地分配作为合并对象的状态S5的初始概率π 5。然而，如果作为合并对象的状态^的初始概率Ji5被不平均地分配，则需要标准化初始概率η i，使得状态合并后的HMM的初始概率π i满足等式Σ π i = 1。这里，等式Σ Jii = 1中的Σ意为在表示状态的变量i从1变化到状态合并后的 HMM的状态数量N时求和。在图6中，状态合并后的HMM的状态的数量N是5。在初始概率π i的标准化处理中，通过将标准化前的初始概率π i除以标准化前的初始概率η i的总和π i+ Ji 2+. . . + Ji N，获得标准化后的初始概率π it)分割对象和合并对象的选择方法图7和8是示出在结构调整单元16中分割和合并状态的情况下、用于选择分割对象和合并对象的选择方法的图。换言之，图7是示出作为用于学习本申请人为选择分割对象和合并对象而对其进行模拟的HMM的学习数据的观察时序数据的图。在该模拟中，以存在于二维空间(平面)上的任意位置处并且输出该位置的坐标的信号源作为建模对象，并且该信号源输出的坐标被用作观察值O。另外，信号源按照具有如下获得的16个点中的每个点(的坐标)的平均值、并且方差为0. 00125的16个正态分布出现通过在二维空间上对于χ坐标以0. 2的间隔均分0. 2至0. 8的范围并且对于y坐标以0. 2的间隔均分0. 2至0. 8的范围，获得这16个点。这里，在图7中，16个圈表示按照如上所述的正态分布出现的信号源(信号源的位置)的概率分布。换言之，圈的中心表示出现该信号源的位置(其坐标)的平均值，并且圈的直径表示出现信号源的位置的方差。信号源从16个正态分布中随机选择一个正态分布，并且按照该正态分布出现。此外，信号源输出它出现的位置的坐标，并且再次选择正态分布。另外，信号源重复该处理，直到16个正态分布中的每个均被选择了足够的预定次数或者更多次数为止，从而从外部观察到作为观察值ο的坐标的时间序列。另外，在图7的模拟中，限制对正态分布的选择，以从与先前选择的正态分布横向相邻的正态分布和纵向相邻的正态分布执行。换言之，与先前选择的正态分布横向相邻的正态分布和纵向相邻的正态分布被称为相邻正态分布，并且如果相邻正态分布的总数是C，则选择全部相邻正态分布的概率为 0. 2，而选择先前选择的正态分布的概率为1-0. 2C。在图7中，用于互相连接表示正态分布的圈的虚线表示在该模拟中选择正态分布的限制。执行对于HMM的学习，并且如果以与信号源的概率分布相同的方式配置学习后的 HMM,则可以说HMM适当地表示该建模对象，其中，HMM使用作为从信号源观察到的观察值ο 的坐标的时间序列作为学习数据、采用正态分布作为状态~的概率分布bj (ο)，并且具有16 个状态。换言之，学习后的HMM的每个状态均使用下述这样的圈表示在二维空间上，其中该圈以作为学习后的HMM的~的概率分布h (ο)的正态分布的平均值(它所表示的位置) 作为中心，并且以该正态分布的方差作为直径，并且通过虚线表示由圈表示的状态之间的状态转移概率等于或大于预定值的状态转移。在这种情况下，与图7中类似，如果可以绘制 16个圈并且可以绘制互相连接横向相邻和纵向相邻的圈的虚线，则可以说学习后的HMM适当地表示该建模对象。图8A至8D是示出用于选择分割对象和合并对象的模拟的结果的图。在该模拟中，使用从图7中的信号源观察到的观察时序数据(信号源坐标的时间序列)作为学习数据，执行对HMM的学习(使用Baum-Welch算法的HMM的参数估计)。例如，使用具有S1至S16这16个状态的遍历型HMM作为HMM，并且使用正态分布作为状态~的概率分布h(0)。图8A示出学习后的HMM。在图8A中，二维空间上所示的圈(圆圈或椭圆圈)表示学习后的HMM的状态sJO另外，在图8A中，表示状态~的圈的中心与作为状态~的概率分布的正态分布的平均值相同，并且该圈的直径与作为概率分布的正态分布的方差相对应。另外，在图8A中，用于互相连接表示状态的圈的线段表示(状态转移概率等于或大于预定值的)状态转移。根据图8A，可以看出，通过分割状态知和合并状态S13，能够获得适当地表示信号源的HMM，即，可以看出，分割状态S8并合并状态S13，以获得适当地表示信号源的HMM。图8B示出图8A中的学习后的HMM的状态S1至S16中的每一个的平均状态概率。
另外，在图8B中(下面描述的图8C和8D同样如此)，横轴表示学习后的HMM的状态8,(其索引i)。这里，如果关注某个状态Si,则该关注状态Si的平均状态概率Pi’是如下获得的值该值通过在时间方向上对于观察到各时刻的观察时序数据(这里是学习数据)的采样 (观察值O)时的关注状态Si的状态概率取平均获得。换言之，在学习后的HMM中，通过Pi (t) =p(0l，02，...，oT，St)表示在观察到学习数据O = O1, 02，. . .，Ot时各时刻t的状态Si ( = St)的前向概率。这里，前向概率Pi (t) = P (0l, O2,... ,oT, St)是在观察到观察值的时序O1, o2，...， Ot时t时刻的状态St ( = S15S2,.. .,SN)的概率，并且可以通过所谓的前向算法获得前向概
^Pi(t)。通过等式Pi' = (Pi (1)+Pi (2)+...+Pi (T))/T，可以获得关注状态Si的平均状态概
率 Pi' °根据图8B，可以看出，为了获得适当地表示信号源的HMM而被分割的状态％的平均状态概率P8'远大于(学习之后的)该HMM的全部各状态S1至^6的平均状态概率P1' 至P16‘的平均值，而为了获得适当地表示信号源的HMM而合并的状态S13的平均状态概率 P13'远小于该HMM的全部各状态S1至^6的平均状态概率p/至p16‘的平均值。图8C示出图8A中的HMM的每个状态S1至S16的本征值差。这里，关注状态Si的本征值差ei是关注状态Si的部分本征值和eipart与HMM的总本征值和eorg之差eipart-eOTg。HMM的总本征值和eOTg是以HMM的各状态Si到各状态~的状态转移概率作为元素的状态转移矩阵的本征值之和(总和)。如果HMM的状态的数量为N，则该状态转移矩阵变成N行和N列的方矩阵。另外，通过在计算了该方矩阵的本征值后取本征值之和，或通过计算该方矩阵的对角元素的和(总和)(迹)，可以获得该方矩阵的本征值的和。就计算量而言，对于该方矩阵的迹的计算远小于对于该方矩阵的本征值的计算，因此，优选地，通过计算该方矩阵的迹，来获得该方矩阵的本征值之和。关注状态Si的部分本征值和eipart是如下方矩阵(下文中也称为部分状态转移矩阵)的本征值之和该方矩阵是从上述状态转移矩阵中排除自关注状态Si的状态转移概率
屮」(其中j = 1、2.....N)和至关注状态Si的状态转移概率(其中j = 1、2.....N)的
(N-I)行和(N-I)列的方矩阵。由于状态转移矩阵(部分状态转移矩阵同样如此)以概率(状态转移概率)作为元素，因此，其本征值是等于或小于1的值，1是作为概率可以选择的最大值。此外，根据本发明人的知识，状态转移矩阵的本征值越大，HMM的各状态的概率分布、(0)收敛得越快。因此，作为关注状态Si的部分本征值和eipart与HMM的总本征值和eOTg之差的、关注状态Si的本征值差ei (eipart-eorg)，可以表示存在关注状态Si的HMM与不存在关注状态Si 的HMM之间的概率分布、(ο)的收敛差。根据图8C，可以看出，为了获得适当地表示信号源的HMM而分割的状态S8的本征值差％远大于HMM的各状态S1至S16的本征值差ei至e16的平均值，而为了获得适当地表
21示信号源的HMM而合并的状态S13的本征值差e13远小于HMM的各状态S1至S16的本征值差 ei至e16的平均值。图8D示出图8A中的HMM的状态S1至Sni的各合成值。关注状态Si的合成值Bi是通过将关注状态Si的平均状态概率Pi’与本征值差ei 合成而获得的值，并且，例如，可以使用平均状态概率Pi’和通过标准化本征值差ei获得的标准化本征值差e/的加权和值。在使用平均状态概率Pi’和标准化本征值差e/的加权和值作为关注状态Si的合成值Bi的情况下，如果权重是α (其中0< α <1)，则通过等式Bi= aPi' +(I-Q)e,' 可以获得合成值B”另外，例如，通过标准化本征值差ei(即，通过等式力‘=ei/(ei+e2+. . . + ))，可以获得标准化后的本征值差e/，使得HMM的所有状态的标准化后的本征值差e/的总和 e/ +e2' +. . . +eN'为 1。这里，由于合成值Bi是通过将平均状态概率Pi’与本征值差ei合成(诸如，将平均状态概率Pi'与本征值差ei (通过标准化获得的标准化后的本征值差e/ )合成)而获得的，因此，合成值Bi可以是对应于平均状态概率Pi’或本征值差ei的值。根据图8D，可以看出，为了获得适当地表示信号源的HMM而分割的状态S8的合成值&远大于HMM的各状态S1至S16的本征值差ei至e16的平均值，并且为了获得适当地表示信号源的HMM而合并的状态S13的合成值B13远小于HMM的各状态S1至S16的本征值差力至e16的平均值。根据图7至8D中的模拟，作为表示用于选择状态作为分割对象或合并对象的恰当度的对象度值，可以使用平均状态概率Pi'、本征值差ei和合成值Bi,并且通过基于该对象度值选择分割对象和合并对象，可以选择为了获得适当地表示信号源的HMM而分割的状态和合并的状态。换言之，在图8A中，尽管为了获得适当地表示信号源的HMM而分割状态s8，但是待分割的状态S8的对象度值(平均状态概率P8'、本征值差％和合成值B8)远大于HMM的所有状态的对象度值的平均值。另外，在图8A中，尽管为了获得适当地表示信号源的HMM而合并状态S13，但是待合并的状态S13的对象度值(平均状态概率P13’、本征值差e13和合成值B13)远小于HMM的所有状态的对象度值的平均值。因此，反过来说，如果存在对象度值远大于对象度值的平均值的状态，则选择该状态作为分割对象，并且通过分割该状态，能够获得适当地表示信号源的HMM。另外，如果存在对象度值远小于对象度值的平均值的状态，则选择该状态作为合并对象，并且通过合并该状态，能够获得适当地表示信号源的HMM。因此，结构调整单元16将大于存储在模型存储单元14内的HMM的所有状态的对象度值的平均值的值设置为分割阈值，并且将小于该平均值的值设置为合并阈值，其中，分割阈值是用于选择分割对象的阈值，合并阈值是用于选择合并对象的阈值。另外，结构调整单元16选择对象度值大于分割阈值(等于或大于分割阈值)的状态作为分割对象，并且选择对象度值小于合并阈值(等于或小于合并阈值)的状态作为合并对象。
这里，可以使用通过将预定的正值与存储在模型存储单元14中的HMM的所有状态的对象度值的平均值(下文中，也称为对象度平均值)相加而获得的值作为分割阈值，并且可以使用通过从该对象度平均值减去预定的正值而获得的值作为合并阈值。例如，可以使用根据模拟经验地获得的固定值或存储在模型存储单元14中的HMM 的所有状态的对象度值的标准偏差σ (或与该标准偏差σ成比例的值)等作为预定的正值。在该实施例中，例如，使用存储在模型存储单元14中的HMM的所有状态的对象度值的标准偏差ο作为预定的正值。另外，可以使用平均状态概率Pi，、本征值差ei和合成值Bi中的任一个作为对象度值。另外，由于本征值差ei是本征值差ei本身，而合成值Bi是通过使用本征值差ei合成而获得的值，因此，它们二者均可以是对应于本征值差ei的值。图9是示出分割对象和合并对象的选择的图，其中，使用平均状态概率Pi’作为对象度值执行该选择。换言之，图9示出作为具有6个状态S1至％的HMM的每个状态Si的对象度值的平均状态概率Pi’。在图9中，在6个状态S1至％中，状态S5的平均状态概率p5’大于分割阈值，其中，分割阈值是通过将所有状态S1至％的对象度值的标准偏差ο与全部6个状态81至％ 的对象度值的平均值(下文中，也称为对象度平均值)相加而获得的。另外，在图9中，在6个状态S1至％中，排除状态S5之外的5个状态S1至、和％ 的平均状态概率不大于分割阈值，并且不小于通过从对象度平均值减去标准偏差ο而获得的合并阈值。因为这个原因，在图9中，仅选择平均状态概率大于分割阈值的状态S5作为分割对象。图10是示出分割对象和合并对象的选择的图，其中，使用平均状态概率Pi’作为对象度值执行该选择。换言之，图10示出作为具有6个状态S1至％的HMM的每个状态Si的对象度值的平均状态概率Pi’。在图10中，在6个状态S1至S6中，状态S5的平均状态概率p5’小于合并阈值。另外，在图10中，在6个状态S1至％中，排除状态&之外的5个状态S1至、和 %的平均状态概率不大于分割阈值，并且不小于通过从对象度平均值减去标准偏差ο而获得的合并阈值。因为这个原因，在图10中，仅选择平均状态概率小于合并阈值的状态^作为合并对象。图11是示出分割对象和合并对象的选择的图，其中，使用本征值差ei作为对象度值执行该选择。换言之，图11示出作为具有6个状态S1至％的HMM的每个状态Si的对象度值的本征值差ei。在图11中，在6个状态S1至％中，状态&的本征值差％大于分割阈值。
23
另外，在图11中，在6个状态S1至％中，排除状态&之外的5个状态S1至、和 S6的本征值差不大于分割阈值，并且不小于合并阈值。因为这个原因，在图11中，仅选择本征值差大于分割阈值的状态^作为分割对象。图12是示出分割对象和合并对象的选择的图，其中，使用本征值差ei作为对象度值执行该选择。换言之，图12示出作为具有6个状态S1至％的HMM的每个状态Si的对象度值的本征值差ei。在图12中，在6个状态S1至％中，状态S5的本征值差e5小于合并阈值。另外，在图12中，在6个状态S1至％中，排除状态&之外的5个状态S1至、和 S6的本征值差不大于分割阈值，并且不小于合并阈值。因为这个原因，在图12中，仅选择本征值差小于合并阈值的状态^作为合并对象。图13是示出分割对象和合并对象的选择的图，使用合成值Bi作为对象度值执行该选择。换言之，图13示出作为具有6个状态S1至％的HMM的每个状态Si的对象度值的合成值B”在图13中，在6个状态S1至％中，状态S5的合成值&大于分割阈值。另外，在图13中，在6个状态S1至％中，排除状态&之外的5个状态S1至、和 S6的合成值不大于分割阈值，并且不小于合并阈值。因为这个原因，在图13中，仅选择合成值大于分割阈值的状态^作为分割对象。图14是示出分割对象和合并对象的选择的图，其中，使用合成值Bi作为对象度值执行该选择。换言之，图14示出作为具有6个状态S1至％的HMM的每个状态Si的对象度值的合成值B”在图14中，在6个状态S1至％中，状态&的合成值&小于合并阈值。另外，在图14中，在6个状态S1至％中，排除状态S5之外的5个状态S1至、和 S6的合成值不大于分割阈值，并且不小于合并阈值。因为这个原因，在图14中，仅选择合成值小于合并阈值的状态^作为合并对象。数据处理设备中的对于HMM的学习处理接着，图15是示出由图4中的数据处理设备执行的、对于HMM的学习处理的流程图。如果对时序数据输入单元11提供了来自建模对象的传感器信号，则时序数据输入单元11例如标准化从建模对象观察到的传感器信号，并且将标准化后的传感器信号作为观察时序数据ο提供至参数估计单元12。如果从时序数据输入单元11提供了观察时序数据O，则在步骤S11，参数估计单元 12初始化HMM。换言之，参数估计单元12将HMM的结构初始化为预定的初始结构，并且设置具有初始结构的HMM的参数(初始参数)。
具体地，参数估计单元12将HMM的状态的数量和(状态转移概率不是0的)状态转移设置为HMM的初始结构。这里，可以事先设置HMM的初始结构(HMM的状态的数量和状态转移)。具有初始结构的HMM可以是具有状态转移稀疏的稀疏结构的HMM，或可以是遍历型的HMM。另外，如果采用具有稀疏结构的HMM作为具有初始结构的HMM，则每个状态均可以执行自转移以及该状态与其它状态中至少一个之间的状态转移。如果设置HMM的初始结构，则参数估计单元12将状态转移概率^^、概率分布bj(o) 和初始概率、的初始值作为初始参数设置给具有初始结构的HMM。换言之，对于每个状态，参数估计单元12将可能自某个状态的状态转移的状态转移概率％设置为相同的值(如果可能的状态转移的数量是L，则为1/L)，并且将不可能的状态转移的状态转移概率^^设置为0。另外，例如，如果使用正态分布作为概率分布bj(o)，则参数估计单元12通过下面的等式获得来自时序数据输入单元11的观察时序数据O = OljO2,.. . ,O1的平均值μ和方差σ2，并且将由该平均值μ和方差O2定义的正态分布设置为概率密度函数…(O)，概率密度函数…(O)表示每个状态~的概率分布…(O)。μ = (1/Τ) Σ Ot σ 2 = (1/Τ) Σ (ot"U )2这里，在上面的等式中，Σ表示在时间t从1变化到作为观察时序数据ο的长度的 T时求和(总和)。另外，参数估计单元12将每个状态Si的初始概率π i设置为相同的值。换言之， 如果具有初始结构的HMM的状态的数量是N，则参数估计单元12将N个状态Si中的每个状态的初始概率η i设置为1/N。在参数估计单元12中，将设置了初始结构和初始参数λ = {aij，bj (ο)，π i = 1，2，. . .，N，j = 1，2，. . .，N}的HMM提供并存储到模型存储单元14中。通过后续执行的参数估计和结构调整，更新存储在模型存储单元14中的HMM的(初始)结构和(初始)参数入。换言之，在步骤Sll中，将设置了初始结构和初始参数λ的HMM存储在模型存储单元14中，然后，处理进入步骤S12，在步骤S12中，通过使用存储在模型存储单元14中的 HMM的参数作为初始值，并且使用来自时序数据输入单元11的观察时序数据ο作为用于学习HMM的学习数据，参数估计单元12利用Baum-Welch算法估计HMM的新参数。另外，参数估计单元12将HMM的新参数提供至模型存储单元14，并且以覆写的方式更新存储在模型存储单元14中的HMM (HMM的参数)。另外，参数估计单元12将在开始图15中的学习时复位为O的学习次数增加1，并且将该学习次数提供至评价单元13。另外，参数估计单元12获得从更新后的HMM( S卩，由新参数定义的HMM)观察到学习数据ο的似然性，并且将该似然性提供至评价单元13和结构调整单元16。然后，处理从步骤S12进入步骤S13。在步骤S13中，结构调整单元16判断来自参数估计单元12的、更新后的HMM的似然性(从更新后的HMM观察到学习数据ο的似然性)是否大于作为最佳模型存储在模型缓冲器15中的HMM的似然性。
在步骤S13中，如果确定更新后的HMM的似然性大于作为最佳模型存储在模型缓冲器15中的HMM的似然性，则处理进入步骤S14，在步骤S14中，结构调整单元16以覆写的方式将存储在模型存储单元14中的、更新后的HMM(HMM的参数)存储在模型缓冲器15中， 作为新的最佳模型，从而更新存储在模型缓冲器15中的最佳模型。另外，结构调整单元16将来自参数估计单元12的、更新后的HMM的似然性(即， 新的最佳模型的似然性)存储在模型缓冲器15中，并且，处理从步骤S14进入步骤S15。另外，在步骤Sll的初始化之后，如果第一次执行步骤S13中的处理，则不将最佳模型(和似然性)存储在模型缓冲器15中，但是在步骤S13中，更新后的HMM的似然性被确定大于作为最佳模型的HMM的似然性，并且，在步骤S14中，与更新后的HMM的似然性一起，更新后的HMM作为最佳模型被存储在模型缓冲器15中。在步骤S15中，评价单元13判断对HMM的学习是否结束。这里，例如，在从参数估计单元12提供的学习次数达到事先设置的预定次数Cl的情况下，评价单元13确定对HMM的学习结束。另外，例如，如果执行接近的结构调整(near structural adjustment)之后的参数估计的次数(从当前的学习次数中减去执行接近的结构调整时的学习次数而获得的值) 达到事先设置的预定次数C2(< Cl)，即，如果仅执行了预定C2次的参数估计而不执行结构调整，则评价单元13确定对HMM的学习结束。另外，不仅如同上面所述的基于学习的次数判断对HMM的学习是否结束，评价单元13还可以基于事先执行的、下面描述的步骤S18中的结构调整处理的结果判断对HMM的学习是否结束。换言之，在步骤S18中，结构调整单元16从存储在模型存储单元14中的HMM的状态中选择分割对象和合并对象，并且通过分割分割对象和合并合并对象来执行结构调整， 以调整HMM的结构。然而，如果在前面执行的结构调整中没有选择分割对象和合并对象，则评价单元13可以确定对HMM的学习结束，并且如果选择了分割对象和合并对象中的至少一个，则确定对HMM的学习未结束。另外，如果用户操作诸如键盘的操作单元(未示出)来结束该学习处理，或从开始该学习处理经历了预定的时间，则评价单元13可以确定对HMM的学习结束。在步骤S15中，如果确定对HMM的学习未结束，则评价单元13请求时序数据输入单元11再次将观察时序数据O提供至参数估计单元12，并且，处理进入步骤S16。在步骤S16中，基于来自参数估计单元12的、更新后的HMM的似然性，评价单元13 对更新后(估计参数之后)的HMM进行评价，并且，处理进入步骤S17。换言之，在步骤S16中，评价单元13获得更新后的HMM的似然性Ll相对于更新前 (紧挨在估计该参数之前)的HMM的似然性L2的增量L1-L2，并且，基于更新后的HMM的似然性Ll的增量L1-L2是否小于预定值，来评价更新后的HMM。如果更新后的HMM的似然性Ll的增量L1-L2不小于该预定值，则由于在保持HMM 的结构为当前结构的同时，通过估计参数可以预期HMM的似然性的新改进，因此，评价单元 13评价更新后的HMM不需要结构调整。另一方面，如果更新后的HMM的似然性Ll的增量L1-L2小于该预定值，则由于即使在保持HMM的结构为当前结构的同时估计参数，也不能预期HMM的似然性的改进，因此，评价单元13评价更新后的HMM需要结构调整。在步骤S17中，基于在前面的步骤S16中对于更新后的HMM的评价结果，评价单元 13判断是否调整HMM的结构。在步骤S17中，如果确定不调整HMM的结构，即，不需要对更新后的HMM进行结构调整，则处理在跳过步骤S18后返回步骤S12。在步骤S12中，如上所述，参数估计单元12使用存储在模型存储单元14中的HMM 的参数作为初始值，并且使用来自时序数据输入单元11的观察时序数据O作为用于学习 HMM的学习数据，利用Baum-Welch算法来估计HMM的新参数。换言之，响应于来自在步骤S15中确定对HMM的学习未结束的评价单元13的请求，时序数据输入单元11将观察时序数据O提供至参数估计单元12。在步骤S12中，如上所述，通过使用从时序数据输入单元11提供的观察时序数据ο 作为学习数据，并且通过使用存储在模型存储单元14中的HMM的参数作为初始值，参数估计单元12估计HMM的新参数。另外，参数估计单元12将HMM的新参数提供并存储在模型存储单元14中，以便更新存储在模型存储单元14中的HMM (HMM的参数)，并且，从此重复相同的处理。另一方面，在步骤S17中，如果确定调整HMM的结构，即，需要对更新后的HMM进行结构调整，则评价单元13请求结构调整单元16执行结构调整，并且，处理进入步骤S18。在步骤S18中，响应于来自评价单元13的请求，结构调整单元16对存储在模型存储单元14中的HMM执行结构调整。换言之，在步骤S18中，结构调整单元16从存储在模型存储单元14中的HMM的状态中选择分割对象和合并对象，并且，通过分割分割对象和合并合并对象来执行结构调整， 以调整HMM的结构。此后，处理从步骤S18返回步骤S12，并且，从此重复相同的处理。另一方面，如果在步骤S15中确定对HMM的学习结束，则评价单元13经由结构调整单元16从模型缓冲器15读取作为最佳模型的HMM，输出该HMM作为学习后的HMM，并且结束学习处理。图16是示出结构调整单元16在图15的步骤S18中执行的结构调整处理的流程图。在步骤S31中，结构调整单元16将存储在模型存储单元14中的HMM的每个状态关注为关注状态，并且对于关注状态，获得平均状态概率、本征值差以及合成值作为对象度值，其中，对象度值表示用于选择关注状态作为分割对象或合并对象的(恰当)程度。另外，例如，结构调整单元16获得对HMM的各状态得到的对象度值的平均值Vave 和标准偏差σ，并且获得通过将标准偏差σ和平均值Vave相加得到的值作为用于选择分割对象的分割阈值，以及获得通过从平均值Vave减去标准偏差ο得到的值作为用于选择合并对象的合并阈值。此外，处理从步骤S31进入步骤S32，在步骤S32中，在存储在模型存储单元14中的HMM的状态中，结构调整单元16选择对象度值大于分割阈值的状态作为分割对象，并且选择对象度值小于合并阈值的状态作为合并对象，并且，处理进入步骤S33。这里，如果在存储在模型存储单元14中的HMM的状态中不存在对象度值大于分割阈值的状态，并且不存在对象度值小于合并阈值的状态，则在步骤S32中，不选择分割对象和合并对象。跳过步骤S33之后，处理返回。在步骤S33中，如图5所述，结构调整单元16对存储在模型存储单元14中的HMM 的状态中的、被选择为分割对象的状态进行分割，并且如图6所述，对被选择为合并对象的状态进行合并，然后，处理返回。学习处理的模拟图17是示出由图4中的数据处理设备执行的、学习处理的第一模拟的图。换言之，图17示出第一模拟中使用的学习数据和使用该学习数据进行学习(参数更新和结构调整)的HMM。在第一模拟中，使用图7所述的观察时序数据作为学习数据。换言之，在第一模拟中，以出现在二维空间上的任意位置并且输出该位置的坐标的信号源作为建模对象，并且使用该信号源输出的坐标作为观察值O。如图7所述，信号源按照具有如下获得的16个点中的每一个的(坐标)的平均值、 并且方差为0. 00125的16个正态分布出现通过在二维空间上在χ坐标上以0. 2的间隔均分0. 2至0. 8的范围，且在y坐标上以0. 2的间隔均分0. 2至0. 8的范围，获得这16个点。在示出图17的学习数据的二维空间中，以与图7相同的方式，16个圈表示按照如上所述的正态分布出现的信号源(信号源的位置)的概率分布。换言之，圈的中心表示信号源出现的位置(位置的坐标)的平均值，并且圈的直径表示信号源出现的位置的方差。信号源从这16个正态分布中随机地选择一个正态分布，并且按照该正态分布出现。此外，信号源输出它所出现的位置的坐标，并且重复再次选择正态分布并按照该正态分布出现。然而，在第一模拟中，以与图7的情况相同的方式，限制正态分布的选择，以从与先前选择的正态分布横向相邻的正态分布和纵向相邻的正态分布执行。换言之，与先前选择的正态分布横向相邻和纵向相邻的正态分布(相邻正态分布)被称为相邻正态分布，并且如果相邻正态分布的总数是C，则选择全部相邻正态分布的概率为0. 2，而选择先前选择的正态分布的概率为1-0. 2C。在示出图17的学习数据的二维空间中，用于互相连接表示正态分布的圈的虚线表示选择正态分布的限制。另外，示出图17的学习数据的二维空间中的点表示由信号源输出的坐标的位置， 并且在第一模拟中，使用由信号源输出的坐标的1600个采样的时间序列作为学习数据。此外，在第一模拟中，对使用上述学习数据、采用正态分布作为状态~的概率分布 bj(o)的正态分布的HMM执行学习。在示出图17的HMM的二维空间中，以实线标出的圈(圆圈或椭圆圈)表示HMM的状态Si,并且添加至圈中的数字是由这些圈表示的状态Si的索引。另外，状态Si的索引以升序使用等于或大于1的整数。如果通过状态合并去除了状态Si,则去除的状态Si的索引变成所谓的缺失编号(missingnumber)，但是如果通过后续的状态分割增加了新状态，则以升序恢复缺失编号的索引。另外，表示状态~的圈的中心是作为状态~的概率分布…(O)的正态分布的平均值(由此表示的位置)，并且圈的尺寸(直径)表示作为状态~的概率分布bjo)的正态
28分布的方差。用于将表示某个状态Si的圈的中心连接到表示另一个状态~的圈的中心的虚线表示状态Si和~之间的状态转移，其中，状态Si和~的状态转移概率和％中的任何一个或二者均等于或大于预定值。另外，包围示出图17的HMM的二维空间的粗实线框意味着已执行了结构调整。另外，在第一模拟中，使用合成值Bi作为对象度值，并且在获得合成值Bi时使用 0. 5作为权重α。另外，在第一模拟中，使用具有状态数量为16个状态的HMM作为具有初始结构的 ΗΜΜ，其中，自每个状态的状态转移被限制为自转移和二维格形状态转移。这里，例如，如果假定在二维空间上的4X4的二维空间格形中16个状态S1至S16 中的状态S1至&被布置在第一行，状态S5至S8被布置在第二行，状态％至S12被布置在第三行，状态S13至A6被布置在第四行，则关于这16个状态的二维格形状态转移是指自关注状态到与该关注状态横向相邻和纵向相邻的状态(横向相邻的状态和纵向相邻的状态)的状态转移。通过限制HMM的状态转移，可以极大地降低估计HMM的参数所需的计算量。然而，在限制HMM的状态转移的情况下，由于状态转移的自由度被降低，因此，这类HMM的参数包括许多与正确解不同并且似然性低的局部解(具有观察学习数据的低似然性的HMM的参数)。另外，仅利用使用Baum-Welch算法的参数估计，难以防止局部解。相反，图4中的数据处理设备使用Baum-Welch算法执行结构调整和参数估计，从而获得良解作为HMM的参数，即，获得更适当地表示建模对象的ΗΜΜ。换言之，在图17中，学习的次数CL为0时的HMM是具有初始结构的ΗΜΜ。此后，当(随着学习的进行)学习的次数CL增加至tl(>0)和t2(>tl)时，HMM 的参数由于参数估计而收敛。 如果仅利用使用Baum-Welch算法的参数估计执行对HMM的学习，则通过HMM的参数的收敛，结束对HMM的学习。为了获得比收敛后的HMM的参数更好的解(HMM的参数)，需要改变初始结构或初始参数，并且再次执行参数估计。另一方面，如果由于HMM的参数的收敛导致参数估计(更新)之后的HMM的似然性的增量变小，则图4中的数据处理设备执行结构调整。在图17中，当学习的次数CL为t3(>t2)时，执行结构调整。结构调整之后，当学习的次数CL增加到t4(>t3)和t5 ( > t4)时，结构调整之后的HMM的参数由于参数估计而收敛，并且参数估计之后的HMM的似然性的增量再次变小。如果参数估计之后的HMM的似然性的增量变小，则执行结构调整。在图17中，当学习的次数CL为t6(>t5)时，执行结构调整。此后，以同样的方式，执行参数估计和结构调整。在图17中，当学习的次数CL增加到t7 ( > t6)、t8 ( > t7)、t9 ( > t8)和tlO ( > t9)然后变成tll(> tlO)时，结束对HMM的学习。另外，当学习的次数CL为伪和tlO时，执行结构调整。在图17中，在学习的次数CL变成til并且结束学习之后的HMM(学习后的ΗΜΜ)中，状态对应于信号源的概率分布，并且状态转移对应于对表示出现信号源的概率分布的正态分布的选择的限制。因此，可以看出，获得了适当地表示信号源的HMM。换言之，在结构调整中，如上所述，选择为了获得适当地表示信号源的HMM而分割的状态作为分割对象并且对其进行分割，并且选择为了获得适当地表示信号源的HMM而合并的状态作为合并对象并且对其进行合并。因此，能够获得适当地表示信号源的HMM。图18是示出在作为第一模拟的对HMM的学习中、HMM的学习次数与似然性(对数似然性)之间的关系的图。HMM的似然性随着学习的进行(随着通过重复参数估计而增加学习的次数)而增大，但是仅在参数估计中达到较低的峰值(可以获得局部解)。如果HMM的似然性变成较低的峰值，则图4中的数据处理设备执行结构调整。在执行了结构调整之后，HMM的似然性立即被暂时降低，但是根据学习的进行而增加，并且再次达到较低的峰值。如果HMM的似然性变成较低的峰值，则执行结构调整，此后，执行相同的处理，从而获得具有较高似然性的HMM。另外，例如，在结构调整中，在没有选择分割对象和合并对象并且即使执行了参数估计HMM的似然性一旦达到峰值就几乎不增加的情况下，结束对HMM的学习。在学习后的HMM中，如图17中所述，状态对应于信号源的概率分布，并且状态转移对应于对于表示信号源出现的概率分布的正态分布的选择的限制。因此，可以看出，选择适于适当地表示信号源的状态作为分割对象或合并对象，并且通过结构调整，适当地调整构成HMM的状态的数量。另外，通过仅使用参数估计执行对于具有许多状态并且不限制状态转移、从而具有高自由度的HMM的学习，能够获得似然性比图4的数据处理设备中获得的HMM高的HMM。然而，在自由度高的HMM中，执行所谓的过度学习，可以说，还可以获得与从信号源观察到的时序数据的时序模式不匹配的不规则时序模式，并且不能说，获得这种不规则时序模式的HMM(非常灵敏地表示时序数据的变化的HMM)适当地表示信号源。图19是示出由图4中的数据处理设备执行的学习处理的第二模拟的图。换言之，图19示出第二模拟中使用的学习数据和使用该学习数据对其进行学习 (参数更新和结构调整)的HMM(学习后的HMM)。在第二模拟中，以与第一模拟相同的方式，以出现在二维空间上的任意位置并且输出该位置的坐标的信号源作为建模对象，并且使用由该信号源输出的坐标作为观察值O。然而，在第二模拟中，与在第一模拟相比，作为建模对象的信号源变得复杂。换言之，在第二模拟中，仅随机产生二维空间上χ坐标和y坐标在0和1之间的81 个组，并且信号源按照如下81个正态分布出现该81个正态分布分别将由81个组的χ坐标和y坐标指定的81个点(点的坐标)设置为平均值。另外，该81个正态分布的方差通过随机产生介于0和0. 005之间的值来确定。在示出图19中的学习数据的二维空间中，实线圈表示按照上面所述的正态分布出现的信号源(信号源的位置)的概率分布。换言之，圈的中心表示出现信号源的位置(位置的坐标)的平均值，并且圈的尺寸(直径)表示出现信号源的位置的方差。信号源从这81个正态分布中随机选择一个正态分布，并且按照该正态分布出现。另外，信号源输出该信号源出现的位置的坐标，并且重复选择正态分布并按照该正态分布出现。然而，同样，在第二模拟中，以与图7中的情况相同的方式，限制正态分布的选择， 以从与先前选择的正态分布横向相邻的正态分布和纵向相邻的正态分布执行。换言之，与先前选择的正态分布横向相邻和纵向相邻的正态分布(相邻正态分布)被称为相邻正态分布，并且如果相邻正态分布的总数是C，则选择全部相邻正态分布的概率为0. 2，而选择先前选择的正态分布的概率为1-0. 2C。在示出图19中的学习数据的二维空间中，用于互相连接表示正态分布的圈的虚线表示该模拟中的正态分布选择的限制。另外，在第二模拟中，在这81个正态分布与沿宽X高布置成9X9的格形的点相对应的情况下，与先前选择的正态分布横向(或纵向)地相邻的正态分布是与对应于先前选择的正态分布的点横向(或纵向)地相邻的点相对应的正态分布。在示出图19中的学习数据的二维空间中，点表示由信号源输出的点的坐标，并且在第二模拟中，使用由信号源输出的坐标的8100个采样的时间序列作为学习数据。此外，在第二模拟中，对于使用上述学习数据、采用该正态分布作为状态~的概率分布bjo)的HMM，执行学习。在示出图19中的HMM的二维空间中，以实线标出的圈(圆圈或椭圆圈)表示HMM 的状态Si,并且添加至圈中的数字是由这些圈表示的状态Si的索引i。另外，表示状态~的圈的中心是作为状态~的概率分布…(O)的正态分布的平均值(由该平均值表示的位置)，并且圈的尺寸(直径)表示作为状态~的概率分布bj(o)的正态分布的方差。用于将表示某个状态Si的圈的中心连接到表示另一个状态~的圈的中心的虚线表示状态Si和~之间的状态转移，其中，状态转移概率和％中的任何一个或二者均等于或大于预定值。另外，在第二模拟中，以与第一模拟相同的方式，使用合成值Bi作为对象度值，并且在获得该合成值Bi时使用0. 5作为权重α。另外，在第二模拟中，使用状态数量为81个状态的HMM作为具有初始结构的ΗΜΜ，， 其中，自每个状态的状态转移被限制为自转移和到其它4个状态的状态转移的5个状态转移。另外，使用随机数确定自每个状态的状态转移概率。同样，在第二模拟中获得的学习后的HMM中，状态对应于信号源的概率分布，并且状态转移与对于表示信号源出现的概率分布的正态分布的选择的限制相对应。因此，也可以看出，获得了适当地表示信号源的ΗΜΜ。图20是示出在作为第二模拟的、对HMM的学习中HMM的学习次数与HMM的似然性 (对数似然性)之间关系的图。同样，在第二模拟中，以与第一模拟相同的方式，重复执行参数估计和结构调整， 从而获得具有较高似然性并且适当地表示建模对象的ΗΜΜ。图21是示意性示出在由图4的数据处理设备执行的学习处理中、在解空间内有效地搜索良解的状态的图，其中，该良解是适当地表示建模对象的HMM的参数。在图21中，位于下部的解表示良解。
仅在参数估计中，参数由于HMM的初始结构或初始参数被陷入局部解中，并且难以脱离局部解。在由图4的数据处理设备执行的学习处理中，HMM的参数陷入局部解中，结果，如果HMM的似然性的差异(增量)由于参数估计而消失，则执行结构调整。HMM的参数可以通过结构调整脱离局部解(削减(dent))，并且此时，HMM的似然性被暂时降低，但是由于后续的参数估计，HMM的参数收敛到比参数先前陷入的局部解好的解。此后，在由图4的数据处理设备执行的学习处理中，重复执行同样的参数估计和结构调整，因此，即使HMM的参数陷入局部解中，在脱离该局部解后，收敛到良解。因此，根据由图4的数据处理设备执行的学习处理，仅在参数估计中，能够有效地执行用于获得良解(HMM的参数)的学习，其中，该良解通过仅在参数估计中改变初始结构或初始参数，重试获得。另外，可以利用Baum-Welch算法之外的方法(即，例如，蒙特卡洛期望最大化算法或平均场近似)，执行参数估计。另外，在图4的数据处理设备中，在使用某个观察时序数据ο作为学习数据执行了对HMM的学习之后，如果要使用另一个观察时序数据ο’执行对HMM的学习，即，如果要执行对另一个观察时序数据ο’的所谓附加学习，则不需要初始化HMM，或者不需要将观察时序数据ο和ο’用作学习数据来学习HMM，但是可以将观察时序数据ο用作学习数据、使用学习后的HMM执行将观察时序数据0’用作学习数据的学习。对于根据实施例的计算机的描述接着，可以通过硬件或软件执行上述处理序列。当通过软件执行处理序列时，将构成该软件的程序安装在通用计算机中。图22示出根据实施例的安装了用于执行该处理序列的程序的计算机的配置示例。该程序可以被事先记录在作为记录介质嵌入计算机中的硬盘105或ROM 103上。可选地，该程序可以被存储(或记录)在可移除记录介质111上。可移除记录介质111可以被提供为所谓的封装软件。这里，可移动记录介质111的示例包括软盘、 ⑶-ROM(光盘只读存储器)、M0盘(磁光盘),DVD (数字多用途盘)、磁盘、半导体存储器等。另外，该程序不仅可以从如上所述的可移动记录介质111安装在计算机中，还可以经由通信网或广播网下载至计算机，并且安装在嵌入的硬盘105中。换言之，该程序可以经由用于数字卫星广播的人造卫星以无线方式、或经由诸如LAN(局域网)或因特网的网络以有线方式发送至计算机。计算机内嵌入了 CPU (中央处理单元)102，并且CPU 102经由总线101连接到输入和输出接口 110。如果用户通过操作输入单元107经由输入和输出接口 110输入了命令，则响应于此，CPU 102执行存储在R0M(只读存储器)103中的程序。可选地，CPU 102将存储在硬盘 105中的程序装载到RAM(随机存取存储器)中来执行。因此，CPU 102根据上述流程图或上述框图的配置执行处理。例如，经由输入和输出接口 110，CPU 102可选地从输出单元106输出处理结果、从通信单元108发送该结果，或
32将该结果记录在硬盘105上。另外，输入单元107包括键盘、鼠标和麦克风等。输出单元106包括IXD(液晶显示器)和扬声器等。这里，在该说明书中，计算机根据该程序执行的处理在时序上可能不遵循流程图中描述的顺序。也就是说，计算机根据程序执行的处理包括并行或独立执行的处理(例如， 并行处理或使用对象的处理)。另外，该程序可以由单个计算机(处理器)处理，或可以以分散的方式由多个计算机处理。并且，该程序可以在被发送给位于远处的计算机之后执行。本专利申请包含与2010年5月20日向日本专利局提交的日本在先专利申请 JP2010-116092所公开的主题有关的主题，该申请的全部内容通过引用并入于此。本领域的技术人员应该理解，依据设计需求和其它因素，可能出现各种修改、组合、子组合和替换，只要它们在所附的权利要求或其等同物的范围内即可。
权利要求
1.一种数据处理设备，包括参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM) 的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象， 来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态， 所述结构调整装置获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM 的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
2.根据权利要求1所述的数据处理设备，其中，当观察到所述时序数据在各个时刻的采样时，所述结构调整装置获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率，并且获得通过将所述关注状态的本征值差与所述平均状态概率合成而获得的合成值作为所述关注状态的对象度值。
3.根据权利要求1所述的数据处理设备，还包括评价装置，所述评价装置对参数估计后的HMM进行评价，并且基于所述HMM的评价结果判断是否执行所述结构调整。
4.根据权利要求3所述的数据处理设备，其中，如果在参数估计后的HMM中观察到所述时序数据的似然性相对于在参数估计前的HMM中观察到所述时序数据的似然性的增量小于预定值，则所述评价装置确定执行所述结构调整。
5.根据权利要求1所述的数据处理设备，其中，所述分割阈值是比所述HMM的所有状态的对象度值的平均值大所述HMM的所有状态的对象度值的标准偏差的值，并且所述合并阈值是比所述HMM的所有状态的对象度值的平均值小所述HMM的所有状态的对象度值的标准偏差的值。
6.根据权利要求1所述的数据处理设备，其中，在分割所述分割对象时，所述结构调整装置添加新状态，添加所述新状态与和所述分割对象具有状态转移的其它状态之间的状态转移、自转移、以及所述新状态与所述分割对象之间的状态转移，作为与所述新状态的状态转移，以及其中，在合并所述合并对象时，所述结构调整装置去除所述合并对象，并且添加与所述合并对象具有状态转移的其它各状态之间的状态转移。
7.一种数据处理方法，包括如下步骤使数据处理设备使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及使所述数据处理设备从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且使所述数据处理设备通过分割所述分割对象和合并所述合并对象来执行用于调整所述HMM的结构的结构调整， 其中，所述结构调整步骤包括 将所述HMM的每个状态关注为关注状态；对于所述关注状态，获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
8.一种程序，使得计算机用作参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM) 的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象， 来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态， 所述结构调整装置获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM 的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
9.一种数据处理设备，包括参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM) 的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象， 来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态， 当观察到所述时序数据在各个时刻处的采样时，所述结构调整装置获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
10.根据权利要求9所述的数据处理设备，还包括评价装置，所述评价装置对参数估计后的HMM进行评价，并且基于所述HMM的评价结果判断是否执行所述结构调整。
11.根据权利要求10所述的数据处理设备，其中，如果在参数估计后的HMM中观察到所述时序数据的似然性相对于在参数估计前的HMM中观察到所述时序数据的似然性的增量小于预定值，则所述评价装置确定执行所述结构调整。
12.根据权利要求9所述的数据处理设备，其中，所述分割阈值是比所述HMM的所有状态的对象度值的平均值大所述HMM的所有状态的对象度值的标准偏差的值，并且所述合并阈值是比所述HMM的所有状态的对象度值的平均值小所述HMM的所有状态的对象度值的标准偏差的值。
13.根据权利要求9所述的数据处理设备，其中，在分割所述分割对象时，所述结构调整装置添加新状态，添加所述新状态与和所述分割对象具有状态转移的其它状态之间的状态转移、自转移、以及所述新状态与所述分割对象之间的状态转移，作为与所述新状态的状态转移，以及其中，在合并所述合并对象时，所述结构调整装置去除所述合并对象，并且添加与所述合并对象具有状态转移的其它各状态之间的状态转移。
14.一种数据处理方法，包括如下步骤使数据处理设备使用时序数据执行用于估计隐马尔可夫模型(HMM)的参数的参数估计；以及使所述数据处理设备从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且使所述数据处理设备通过分割所述分割对象和合并所述合并对象，来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整步骤包括将所述HMM的每个状态关注为关注状态；对于所述关注状态，当观察到所述时序数据在各个时刻处的采样时，获得通过对所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
15.—种程序，使得计算机用作参数估计装置，所述参数估计装置使用时序数据执行用于估计隐马尔可夫模型(HMM) 的参数的参数估计；以及结构调整装置，所述结构调整装置从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象， 来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整装置将所述HMM的每个状态关注为关注状态；对于所述关注状态， 当观察到所述时序数据在各个时刻处的采样时，所述结构调整装置获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及所述结构调整装置选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
16.一种数据处理设备，包括参数估计单元，所述参数估计单元使用时序数据执行用于估计隐马尔可夫模型(HMM) 的参数的参数估计；以及结构调整单元，所述结构调整单元从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象， 来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整单元将所述HMM的每个状态关注为关注状态；对于所述关注状态， 所述结构调整单元获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述部分本征值和是从以所述HMM的各状态之间的状态转移概率作为元素的状态转移矩阵中排除自所述关注状态的状态转移概率和到所述关注状态的状态转移概率的部分状态转移矩阵的本征值的和，并且所述总本征值和是所述状态转移矩阵的本征值的和，所述对象度值表示选择所述关注状态作为所述分割对象或者所述合并对象的程度；以及所述结构调整单元选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM 的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
17.一种数据处理设备，包括参数估计单元，所述参数估计单元使用时序数据执行用于估计隐马尔可夫模型(HMM) 的参数的参数估计；以及结构调整单元，所述结构调整单元从所述HMM的状态中选择作为待分割的状态的分割对象和作为待合并的状态的合并对象，并且通过分割所述分割对象和合并所述合并对象， 来执行用于调整所述HMM的结构的结构调整，其中，所述结构调整单元将所述HMM的每个状态关注为关注状态；对于所述关注状态， 当观察到所述时序数据在各个时刻处的采样时，所述结构调整单元获得通过将所述关注状态的状态概率在时间方向上取平均而获得的平均状态概率作为对象度值，所述对象度值表示选择所述关注状态作为所述分割对象或所述合并对象的程度；以及所述结构调整单元选择对象度值大于分割阈值的状态作为所述分割对象，并且选择对象度值小于合并阈值的状态作为所述合并对象，其中，所述分割阈值是大于所述HMM的所有状态的对象度值的平均值的阈值，所述合并阈值是小于所述HMM的所有状态的对象度值的平均值的阈值。
全文摘要
本发明涉及一种数据处理设备、数据处理方法和程序。所述数据处理设备包括参数估计单元和结构调整单元。所述结构调整单元将所述HMM的每个状态关注为关注状态；对于所述关注状态，所述结构调整单元获得与作为部分本征值和与总本征值和之差的本征值差相对应的值作为对象度值，其中，所述对象度值表示选择所述关注状态作为分割对象或者合并对象的程度，所述结构调整单元选择对象度值大于分割阈值的状态作为分割对象，并且选择对象度值小于合并阈值的状态作为合并对象。
文档编号G06F19/00GK102254087SQ201110126990
公开日2011年11月23日 申请日期2011年5月13日 优先权日2010年5月20日
发明者河本献太, 莲尾高志 申请人:索尼公司