专利名称：学习、识别和生成数据的方法和设备以及计算机程序的制作方法
技术领域：
本发明涉及一种学习方法和设备，一种识别方法和设备，一种生成方法和设备，和一种计算机程序，并且特别涉及用于以一种无监督的方式学习时序数据，例如声音，以及利用学习结果识别和生成时序数据的一种学习方法和设备，一种识别方法和设备，一种生成方法和设备和一种计算机程序。
背景技术：
依靠学习来识别模式的技术通常称为模式识别。依靠模式识别的学习技术被分为有监督的学习和无监督的学习。
在有监督的学习中，提供了关于每一模式的学习数据所属等级的信息。这样的信息称作正确应答(correct-answer)标记。属于给定模式的学习数据基于每一个模式而被学习。已经提出了多种学习方法，包括模板匹配、神经网络，以及隐藏的马尔可夫模型(HMM)。
图1说明了已知的有监督的学习过程。
在有监督的学习中，根据假定的分类(等级)准备了在学习中使用的学习数据，例如语音(phoneme)分类、音位(phonological)分类或者字分类。为了学习“A”、“B”和“C”的发音的语音数据，准备了“A”、“B”和“C”的发音的大量语音数据。
在每一个分类基础上，准备了在学习中使用的模型(每一分类的模型学习数据)。该模型依靠参数定义。例如，为了学习语音数据，HMM被用作模型。HMM定义为从一种状态变换到另一种状态(包括一个原始状态)的状态变换概率，或者表示从HMM中输出的观测值的概率密度的输出概率密度。
在有监督的学习中，每一分类(等级)的学习利用那个分类的学习数据而单独地执行。如图1所示，分类“A”的模型仅仅利用“A”的学习数据来学习，以及分类“B”的模型仅仅利用“B”的学习数据来学习。同样地，分类“C”的模型仅仅利用“C”的学习数据来学习。
在有监督的学习中，分类的模型的学习需要利用那个分类的学习数据来执行。依靠分类基础根据分类来准备学习数据，以及提供了那个分类的学习数据，用于那个分类的模型的学习。因而在每一个分类基础上获得该模型。更具体地说，在有监督的学习中，在每一个等级基础上获取了模板(由正确应答标记表示的等级(分类)的模型)。
在识别过程中，最适合与将要被识别的数据匹配的模板(具有最大似然)的正确应答标记被输出。
在没有正确应答标记提供给每一模式的学习数据的情况下执行无监督的学习正确。例如，在无监督的学习中，可以使用利用模板匹配和神经网络的学习方法。因此，无监督的学习实质上不同于没有提供正确应答标记的有监督的学习。
模式识别被看作是信号空间的量化，在其中在模式识别中将要被识别的数据(信号)被观测。如果将被识别的数据是向量，模式识别被称为向量量化。
在向量量化学习中，一个有代表性的相应于等级的向量(称为质心向量)被安排在信号空间中，在那里，将要被识别的数据被观测。
K平均群集化(K-means clustering)方法可以被用作典型无监督的学习向量量化技术中的一种。在K平均群集化方法中，质心向量被适当地安置在过程的初始状态中。作为学习数据的向量被分配给到其距离最近的质心向量，以及质心向量利用分配给质心向量的学习数据的均值向量更新。这个过程被重复。
批量学习也是公知的。在批量学习中，大量的学习数据单元被存储以及所有的学习数据单元被使用。该K平均群集化方法被分类为批量学习。在在线学习中，与批量学习相反，每当观测到学习数据时，利用学习数据执行学习，以及参数渐渐更新。参数包括质心向量分量和定义HMM的输出概率密度函数。
由T.Kohonen提出的自组织映像(map)，被明确地定义为在线学习。在SOM学习中，在输入层和输出层之间的连接权重渐渐更新(正确)。
在SOM中，输出层具有多个节点，以及输出层的每个节点被提供有表示与输入层的连接度的连接权重。如果连接权重用作向量，可以执行向量量化学习。
更具体地说，从SOM的输出层节点中，具有在作为连接权重的向量和作为学习数据的向量之间的最短距离的节点被定义为优胜节点。执行向量的更新，以便作为优胜节点的连接权重的向量接近于作为学习数据的向量。在优胜节点附近的节点的连接权重也被更新，以便该连接权重稍微靠近学习数据。在学习过程正在进行时，节点安排在输出层中，以便具有作为连接权重的类似向量的节点彼此靠近，同时彼此不类似的节点彼此远离。相应于包含在学习数据中的模式的映像因此被组织。当学习在进行中时，生成相应于包含更接近的类似节点(也就是，具有作为连接权重的类似向量的节点)的学习数据的映像。这个过程被称为自组织。
作为学习的结果而获取的连接权重的向量被称为安排在信号空间中的质心向量。在K平均集群化技术中，仅仅在距离上最接近学习数据的向量被更新，以及以那种方式更新的方法被称为完全优胜获取(winner-take-all)(WTA)。相反，在SOM学习中，不仅最靠近学习数据(优胜节点)的节点，而且在优胜节点附近的节点的连接权重也被更新。更新的方法被称为最软化适配(soft-max adptation)(SMA)。WTA学习的学习结果趋向于受局部解(localized solution)支配，同时SMA学习改善受了局部解支配的问题。
除了SOM学习之外，作为SMA技术的神经气体算法也是公知的。在神经气体算法中，在SOM学习中使用的输出层不再使用，以及接近由基于到学习数据的距离的排列来定义。参数以类似于SOM学习的方式在线学习。
上述的学习的分类已经在由H.Aso、H.Murata和N.MurataI在wanami Shoten出版的题目为“pattern ninshiki to gakushu no toukeigaku(Pattern Recognition and StatisticsofLeaming)”的书中进行描述。该SOM学习已经在由T.Kohonen，Springer-VerlagTokyo所写的题目为“Self-Organizing Feature Maps”的论文中描述。该神经气体算法已经由T.M.Martinez、S.G.Berkovich和K.J.Schulten在题目为“Neural-Gas”(Network forvector Quantization and its Application to Time-Series Prediction，IEEE Trans.NeuralNetworks，VOL.4，NO.4，pp.558-569，1999)的论文中进行描述。
上述的SOM和神经气体算法提供了可应用于作为静态信号模式的向量，也就是，具有固定长度的数据的无监督的学习，。该SOM和神经气体算法不能直接应用到时序数据，例如语音数据，因为语音数据在长度上是可变的，在信号模式上是动态的。
在一种建议的技术中，较高维度的向量依靠连接连续的向量序列来定义，因而以静态信号模式来处理作为时序数据的时间序列向量。这样的技术不能直接应用到长度可变的时序数据中，例如语音数据。
利用其中加入了反馈电路的周期性的神经网络的技术已经被提出，作为以自组织方式学习时序数据的方法(日本未审查专利申请公开号4-156610和6-231106)。在周期性神经网络中的参数学习中广泛使用的反向传播方法伴随着周期性神经网络的大小的增加而引起计算量的惊人的增加，结果，学习所需要的时间也充分地延长。应用单独的周期性神经网络到多种模式时序数据的，例如，语音数据的学习中，不是学习的有效方式。
作为用于时序数据的模式识别的广泛可用的技术之一的HMM技术是可用的，例如在语音识别中识别语音数据(由Laurence Rabiner以及Biing-Hwang Juang在题目为“Fundamentals of Speech Recognition”书中揭露的NTT改进技术)。
HMM是具有状态变换的状态变换概率模型中的一种。如前所述，HMM由处于每一个状态的状态变换概率和输出概率密度函数来定义。在HMM技术中，将要被学习的时序数据的统计特性被模拟。正态分布式混合被用作定义HMM的输出概率密度函数。Baum-Welch算法被广泛用于估计HMM的参数(该参数是状态变换概率和输出概率密度函数)。
该HMM技术从已经实际使用的单独的字识别到大量词汇识别的广阔范围内得到应用。HMM学习是典型的有监督的学习，以及如图1所示，具有附加的正确应答标记的学习数据被用于学习中。用来识别字的HMM学习利用相应于那个字的学习数据(所获取的作为那个字的发音结果的语音数据)而执行。
该HMM学习是有监督的学习，以及在没有加入正确应答标记的学习数据上执行HMM学习是很困难的，也就是说，无监督的HMM学习是困难的。
日本未审查专利申请公开号2002-311988揭露了最小化分类数目以便最大化声音和视频的交互信息的数量的HMM学习技术，该声音和视频的交互信息来源于没有加入正确应答标记的语音数据和相应的视频数据。根据这项技术，如果相应于语音数据的视频没有提供，HMM学习就无法执行。在严格意义上，该揭露的技术不被称为无监督的学习。
另一种技术由S.Yoshizawa、A.Baba、K.Matsunami、Y.Mera、M.Yamada以及K.Shikano在题目为“Unsupervised Learning of Phonological Model Using SufficientStatistics and Distance To Speaker”(Technical Report of IEICE(Institute of Electronics，Information and Communication Engineers)SP2000-89，pp.83-88，2000)的会议报告中揭露。
发明内容
如上所述，静态模式的无监督的学习，例如SOM和神经气体算法，以及动态时序数据的有监督的学习，例如HMM，已经被提出。无论在哪种情况中，动态时序数据的无监督的学习也无法实现。理论上，周期性的神经网络可以实现动态时序数据的无监督的学习，然而实际上，需要大规模的周期性的神经网络。而学习所需要的计算量和时间变得十分巨大。
因而希望实现时序数据的无监督的学习以及利用学习结果识别并生成时序数据。
根据本发明的一个实施例，一种学习设备，用于学习时序数据，包括基于时序数据的观测值以自组织方式更新时间序列模式存储网络的学习单元，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
根据本发明的另一个实施例，一种学习时序数据的学习方法，包括基于时序数据的观测值以自组织方式更新时间序列模式存储网络的步骤，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
仍旧根据本发明的另一个实施例，一种用于促使计算机学习时序数据的计算机程序，包括程序代码，用以执行基于时序数据的观测值以自组织方式更新时间序列模式存储网络的步骤，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
根据本发明的进一步的实施例，一种识别设备，用于识别时序数据的观测值，包括优胜节点确定单元，用于在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型，以及输出单元，用于输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
根据本发明的一个进一步的实施例，一种用于识别时序数据的观测值的识别方法，包括步骤在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型，以及输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
根据本发明的一个进一步的实施例，一种计算机程序，用于促使计算机识别时序数据的观测值，包括程序代码，用于执行步骤在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型，以及输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
根据本发明的一个进一步的实施例，一种用于生成时序数据的生成设备，包括节点确定单元，用于在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型，以及生成单元，用于基于由节点确定单元确定的节点的时间序列模式模型生成时序数据。
根据本发明的一个进一步的实施例，一种生成时序数据的方法，包括步骤用于在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型，以及用于基于在节点确定步骤中确定的节点的时间序列模式模型生成时序数据。
根据本发明的一个进一步的实施例，一种用于促使计算机生成时序数据的计算机程序，包括程序代码，用于执行步骤在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型，以及用于基于在节点确定步骤中确定的节点的时间序列模式模型生成时序数据。
根据本发明的一个进一步的实施例，一种用于学习时序数据的学习设备，包括学习单元，用于一个连接网络中，基于作为输入到更被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络，同时，基于要被控制的单元响应输入数据而输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型，以及更新单元，用于更新第一节点和第二节点之间的连接关系。第一节点是来自第一时间序列模式存储网络间的节点中的匹配输入数据的观测值的节点，以及第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
根据本发明的一个进一步的实施例，一种学习时序数据的学习方法，包括步骤在一个连接网络中，基于作为输入到要被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络，同时，基于要被控制的单元响应输入数据而输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及更新第一节点和第二节点之间的连接关系的步骤。第一节点是来自第一时间序列模式存储网络间的节点中的匹配输入数据的观测值的节点；以及第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
根据本发明的一个进一步的实施例，一种用于促使计算机学习时序数据的计算机程序，包括程序代码，用于执行步骤在一个连接网络中，基于作为输入到要被控制预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络，同时，基于要被控制的单元响应输入数据而输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及更新第一节点和第二节点之间的连接关系。第一节点是来自第一时间序列模式存储网络间的节点中的匹配输入数据的观测值的节点，以及第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
根据本发明的一个进一步的实施例，一种生成设备，用于响应时序数据生成其它时序数据，包括优胜节点确定单元，用于在连接网络中的第一时间序列模式存储网络中确定最适合与时序数据匹配的节点，作为优胜节点，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；生成节点确定单元，用于在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点，以及生成单元，用于基于生成节点的时间序列模式存储网络生成其它时序数据。
根据本发明的一个进一步的实施例，一种响应时序数据生成其它时序数据的方法，包括步骤在连接网络中的第一时间序列模式存储网络中确定最适合与时序数据匹配的节点，作为优胜节点，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点；以及基于生成节点的时间序列模式存储网络生成其它时序数据。
根据本发明的一个进一步的实施例，一种用于促使计算机响应时序数据，生成其它时序数据的计算机程序，包括程序代码，用于执行步骤在连接网络中的第一时间序列模式存储网络中确定最适合与时序数据匹配的节点，作为优胜节点，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点；以及基于生成节点的时间序列模式存储网络生成其它时序数据的步骤。
根据本发明的实施例，基于时序数据的观测值以自组织的方式更新时间序列模式存储网络，该时间序列模式存储网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
根据本发明的实施例，被确定为优胜节点的节点是在由多个节点组成的时间序列模式存储网络中最适合与时序数据的观测值匹配的节点，时间序列模式存储网络中的每个节点具有表示时序数据的时序模式的时间序列模式模型。表示优胜节点的信息被输出，作为时序数据的观测值的识别结果。
根据本发明的实施例，在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，时间序列模式存储网络中的每个节点具有表示时序数据的时序模式的时间序列模式模型，以及基于在节点确定单元中确定的节点的时间序列模式模型生成时序数据。
根据本发明的实施例，基于作为输入到要被控制预定单元的时序数据的输入数据的观测值，以自组织方式更新连接网络中的第一时间序列模式存储网络，同时，基于更被控制的单元响应输入数据而输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络。该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型。更新第一节点和第二节点之间的连接关系。第一节点是来自第一时间序列模式存储网络间的节点中的匹配输入数据的观测值的节点，以及其中第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
根据本发明的实施例，在连接网络的第一时间序列模式存储网络中确定优胜节点作为最适合与时序数据匹配的节点。该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型，以及在第二时间序列模式存储网络中，确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点。
根据本发明的实施例，时序数据的无监督的学习以及利用学习结果的时序数据的识别和生成易于实现。
图1说明了已知的有监督的学习的例子；图2是说明根据本发明的第一实施例的数据处理设备的框图；图3说明了时间序列模式存储网络的第一配置；图4说明了节点的结构；图5说明了时间序列模式存储网络的第二配置；图6说明了时间序列模式存储网络的第三配置；图7是说明学习部分的框图；图8是说明学习处理器的框图；图9说明了确定更新权重的确定方法；图10说明了更新存储于学习数据存储单元中的学习数据的更新方法；图11是说明学习过程的流程图；图12是说明初始化过程的流程图；图13是识别部分的框图；图14是识别过程的流程图；图15是说明发生器的框图；图16是生成过程的流程图；图17说明了学习数目和正确的回答率之间的关系；图18说明了存储于每一个节点的学习数据存储单元中的学习数据的分类的百分比；图19说明了语音数据的识别结果；图20说明了时间序列模式存储网络的学习结果；图21说明了另一个节点的结构；图22说明了具有由神经网络表示的函数f()的节点Ni的结构；图23说明了周期性神经网络的有监督的学习；图24说明了周期性神经网络的无监督的学习；图25说明了由多个节点组成的时间序列模式存储网络的学习，每个节点具有周期性神经网络；图26是根据本发明的第二实施例的数据处理设备的框图；图27说明了要被控制对象，正向模型和反向模型；图28说明了连接网络的配置；图29是说明根据本发明的第三实施例的数据处理设备的框图；图30是说明连接网络的学习的流程图；图31是说明利用连接网络估计输出数据或控制数据的过程的流程图；图32是说明根据本发明的一个实施例的计算机的框图。
具体实施例方式
在描述本发明的实施例之前，以下将讨论权利要求的特征和在本发明的实施例中揭露的具体要素之间的一致性。该描述旨在确保在说明书中描述支持要求保护的发明的实施例。因此，即使在随后的实施例中的要素没有被描述为相关于本发明的特定特征，那也不意味着该要素与权利要求的特征无关。相反，即使这里的要素被描述为相关于权利要求的特定特征，那也不意味着该要素与权利要求的其他特征无关。
此外，该描述不得被解释为限定在实施例中揭露的本发明的所有方面都被描述于权利要求中。也就是说，该描述没有否认在实施例中描述但是没有在该申请的发明中要求保护的本发明的方面的存在，也就是说，没有否认存在可以在今后的分案申请中要求保护或者可以通过修改而附加地要求保护的本发明的方面。
一种根据本发明的一个实施例的用于学习时序数据的学习设备(例如，图2的数据处理设备)，包括用于基于时序数据的观测值，以自组织方式更新时间序列模式存储网络的学习部分(例如，图2的学习部分4)，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
该学习部分包括优胜节点确定单元(例如，图8的优胜节点确定器42)，用于从形成时间序列模式存储网络的多个节点中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，以及模型更新单元(例如，图8的模型学习单元45)，用于根据时序数据的观测值更新优胜节点的时间序列模式模型。
该学习部分进一步包括权重确定单元(例如，图8的权重确定器43)，用于确定节点的权重，该权重表示当节点的时间序列模式模型被更新时，时序数据的观测值对时间序列模式模型的影响度，其中模型更新单元基于时序数据的观测值和权重，更新优胜节点的时间序列模式模型和优胜节点之外的节点的时间序列模式模型。
该学习设备进一步包括学习数据存储单元(例如，图4的学习数据存储单元22)，用于存储在学习节点的时间序列模式模型中使用的学习数据，其中学习部分包括学习数据更新单元(例如，图8的学习数据更新单元44)，用于混合已经存储于学习数据存储单元中的学习数据和时序数据的观测值，并且用混合结果将学习数据存储单元的存储内容更新为新的学习数据。模型更新单元基于新的学习数据，依靠学习节点的时间序列模式模型，来更新时间序列模式模型。
在学习设备中，该学习部分进一步包括权重确定单元(例如，图8的确定器43)，用于确定节点的权重，该权重表示当节点的时间序列模式模型被更新时，时序数据的观测值对时间序列模式模型的影响度。学习数据更新单元根据节点的权重混合已经存储于学习数据存储单元中的节点的学习数据和时序数据的观测值的，以及用混合结果将学习数据存储单元的存储内容更新为新的学习数据。
根据本发明的一个实施例，一种学习时序数据的学习方法，包括基于时序数据的观测值，以自组织方式更新时间序列模式存储网络的学习步骤(例如，图11的步骤S3到S7)，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
根据本发明的另一个实施例，一种用于促使计算机学习时序数据的计算机程序，包括程序代码，用以执行基于时序数据的观测值以自组织方式更新时间序列模式存储网络的学习步骤(例如，图11中的步骤S3到S7)，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
根据本发明的又一个的实施例，一种识别设备(例如，图2中的数据处理设备)，用于识别时序数据的观测值，包括优胜节点确定单元(例如，图13的优胜节点确定器52)，用于在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，所述多个节点中的每个节点具有表示时序数据的时序模式的时间序列模式模型，以及输出单元(例如，图13的输出单元53)，用于输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
根据本发明的再一个实施例，一种用于识别时序数据的观测值的识别方法，包括在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点的步骤(例如，在图14的步骤S23中)，所述多个节点中的每个节点具有表示时序数据的时序模式的时间序列模式模型，以及输出表示优胜节点的信息，作为时序数据的观测值的识别结果(例如，在图14的步骤S24中)。
根据本发明的再一个实施例，一种计算机程序，用于促使计算机识别时序数据的观测值，包括程序代码，用于执行在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点的步骤(例如，在图14中的步骤S23中)，所述多个节点中的每个节点具有表示时序数据的时序模式的时间序列模式模型，以及输出表示优胜节点的信息，作为时序数据的观测值的识别结果(例如，在图14的步骤S24中)。
根据本发明的再一个实施例，一种用于生成时序数据的生成设备(例如，图2的数据处理设备)，包括节点确定单元(例如，图15的生成节点确定器61)，用于在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，所述多个节点中的每个节点具有表示时序数据的时序模式的时间序列模式模型，以及生成单元(例如，图15的时序发生器62)，用于基于由节点确定单元确定的节点的时间序列模式模型，生成时序数据。
根据本发明的再一个实施例，一种生成时序数据的方法，包括用于在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点的步骤，所述多个节点中的每个节点具有表示时序数据的时序模式的时间序列模式模型(例如，在图16的步骤S32中)，以及用于基于在节点确定步骤(例如，在图16的步骤S33中)中确定的节点的时间序列模式模型，生成时序数据的步骤。
根据本发明的再一个实施例，一种用于促使计算机生成时序数据的计算机程序，包括程序代码，用于执行在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点的步骤，所述多个节点中的每个节点具有表示时序数据的时序模式的时间序列模式模型(例如，在图16的步骤S32中)，以及用于执行基于在节点确定步骤(例如，在步骤S33中)中确定的节点的时间序列模式模型，生成时序数据的步骤。
一种用于学习时序数据的学习设备，包括学习单元(例如，图29的学习处理器221)，用于一个连接网络中，基于作为输入到要被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络(例如，图28的时间序列模式存储网络netin和时间序列模式存储网络netout中的一个)，同时，基于输出数据的观测值以自组织方式更新第二时间序列模式存储网络(例如，图28的其他的时间序列模式存储网络netin和时间序列模式存储网络netout)，其中输出数据是要被控制的单元响应输入数据而输出的，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型，以及更新单元(例如，图29的连接权重更新单元222)，用于更新第一节点和第二节点之间的连接关系，其中第一节点是第一时间序列模式存储网络的节点中匹配输入数据的观测值的节点，以及其中第二节点是第二时间序列模式存储网络的节点中匹配响应于输入数据的输出数据的观测值的节点。
根据本发明的再一个实施例，一种学习时序数据的学习方法，包括以下步骤在一个连接网络中，基于作为输入到要被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络(例如，图28的时间序列模式存储网络netin和时间序列模式存储网络netout中的一个)，同时，基于输出数据的观测值以自组织方式更新第二时间序列模式存储网络(例如，图28的其他的时间序列模式存储网络netin和时间序列模式存储网络netout)，其中输出数据是要被控制的单元响应于输入数据而输出的，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式每储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型(例如，在图30的步骤S102和S103中)；以及更新第一节点和第二节点之间的连接关系(例如，在图30的步骤S104中)，第一节点是第一时间序列模式每储网络的节点中匹配输入数据的观测值的节点以及第二节点是第二时间序列模式存储网络的节点中匹配响应于输入数据的输出数据的观测值的节点。
根据本发明的再一个实施例，一种用于促使计算机学习时序数据的计算机程序，包括程序代码，用于执行以下步骤在一个连接网络中，基于作为输入到更被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络(例如，图28的时间序列模式存储网络netin和时间序列模式存储网络netout中的一个)，同时，基于输出数据的观测值以自组织方式更新第二时间序列模式存储网络(例如，图28的其他的时间序列模式存储网络netin和时间序列模式存储网络netout)，其中输出数据要被控制的单元响应于输入数据而输出的，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络中的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型(例如，在图30的步骤S102和S103中)；以及更新第一节点和第二节点之间的连接关系(例如，在图30的步骤S104中)，第一节点是第一时间序列模式存储网络间的节点中匹配输入数据的观测值的节点，以及第二节点是第二时间序列模式存储网络的节点中匹配响应于输入数据的输出数据的观测值的节点。
根据本发明的再一个实施例，一种生成设备(例如，图29的数据处理设备)，用于响应时序数据生成其他时序数据，包括优胜节点确定单元(例如，图29的优胜节点确定器232)，用于在连接网络中的第一时间序列模式存储网络(例如，图28的时间序列模式存储网络netin和时间序列模式存储网络netout中的一个)中确定最适合与时序数据匹配的节点，作为优胜节点，该连接网络由第一时间序列模式存储网络和第二时间序列模式存储网络(例如，图28的其他的时间序列模式存储网络netin和时间序列模式存储网络netout)的互连的节点组成，第一和第二时间序列模式存储网络中的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；生成节点确定单元(例如，图29的生成节点确定器233)，用于在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其他时序数据的生成节点，以及生成单元(例如，图29的时序发生器234)，用于基于生成节点的时间序列模式存储网络生成其他时序数据。
根据本发明的再一个实施例，一种响应时序数据生成其他时序数据的方法，包括以下步骤在连接网络中的第一时间序列模式存储网络(例如，图28的时间序列模式存储网络netin和时间序列模式存储网络netout中的一个)中确定最适合与时序数据匹配的节点，作为优胜节点，该连接网络由第一和第二时间序列模式存储网络的互连的节点组成(例如，图28的其他的时间序列模式存储网络netin和时间序列模式存储网络netout)，第一时间序列模式存储网络和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型(例如，在图31的步骤S113中)；在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其他时序数据的生成节点(例如，在图31的步骤S114中)；以及基于生成节点的时间序列模式存储网络生成其他时序数据(例如，在图31的步骤S115中)。
根据本发明的再一个实施例，一种用于促使计算机响应于时序数据而生成其他时序数据的计算机程序，包括程序代码，用于执行以下步骤在连接网络中的第一时间序列模式存储网络(例如，图28的时间序列模式存储网络netin和时间序列模式存储网络netout中的一个)中确定最适合与时序数据匹配的节点，作为优胜节点，该连接网络由第一时间序列模式存储网络和第二时间序列模式存储网络(例如，图28的其他的时间序列模式存储网络netin和时间序列模式存储网络netout)的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型(例如，在图31的步骤S113中)；在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其他时序数据的生成节点(例如，在图31的步骤S114中)；以及基于生成节点的时间序列模式存储网络生成其他时序数据(例如，在图31的步骤S115中)。
下面将根据附图描述本发明的实施例。
图2是根据本发明的第一实施例的数据处理设备的框图。
信号输入部分1接收在学习过程中要被学习和在识别过程中被识别的数据(在以下所述数据也被称为要被处理的数据)。要被处理的数据包括声音、图像、发光二极管(LED)的亮度，以及电动机的旋转角度或者角速度的观测值(也就是说，从外围世界观测到的信号)。要被处理的数据也可以包括从包含图2的数据处理设备的系统的输入装置输出的数据(也就是，输入数据)，和提供到系统的输出装置的数据(也就是，输出数据)。
图2的数据处理设备可以被结合入包含双足机器人的机器人中。如果双足机器人响应周围情况的改变而执行处理，信号输入部分1可以包括用于感测周围环境改变的传感器。更具体而言，信号输入部分1可以包括麦克风和摄像机。
如果信号输入部分1由麦克风组成，那么双足机器人(结合数据处理设备的系统)接收在外围生成的声音(包括所有的例如人的声音、动物喊叫的声音以及其他自然生成的声音)，以及相应于输入声音的音频数据被提供给特征提取器2。如果信号输入部分1由摄像机组成，那么摄像机接收从外围世界进入的光线，作为到双足机器人的输入数据，以及相应于输入光线的视频数据被提供给特征提取器2。
如果双足机器人有可以依靠制动器的电动机操作的四肢，那么该信号输入部分1可以包括测量电动机的旋转角度或者转速的测量装置(感测旋转角度或者转速的传感器)。驱动双足机器人的电动机不仅响应于作为电信号的驱动信号而且响应于施加到四肢的外力而旋转。该测量装置可以测量由于响应于施加到双足机器人的两个输入信号的任何一个而产生的旋转角度和转速中的任何一个。
如果信号输入部分1包括测量装置，那么表示电动机的旋转角度和转速的其中一个的信号被输入到测量装置，并依靠测量装置进行测量，以及测量结果被施加到特征提取器2。
输入到信号输入部分1的数据可以是不随时间改变的稳态数据(稳态信号)或者随时间可变的非稳态数据(非稳态信号)。
在下面的论述中，假定信号输入部分1接收作为时序数据之一的声音，以及从信号输入部分1提供浊音周期的语音数据到特征提取器2。浊音周期的检测方法不被局限于任何特定的一种。从信号输入部分1提供到特征提取器2的语音数据无需具有浊音周期的长度。语音数据依靠合适的长度划界。更具体而言，从信号输入部分1提供到特征提取器2的语音数据可以具有语音单元、音位单元、字、句子的长度，或者从一个标点符号到下一个标点符号的长度。
从信号输入部分1提供到特征提取器2的数据没有局限于语音数据，以及音频周期没有局限于任何特定的一种。更具体而言，要被从信号输入部分1提供到特征提取器2的数据可以使用任何合适的方法通过合适长度划界。从信号输入部分1提供到特征提取器2的数据的音频周期在长度上不可变或者可变。
特征提取器2从作为来自信号输入部分1的时序数据的语音数据中提取特征，以及提供作为结果获取的时序数据的特征到识别部分3和学习部分4的每一个。特征提取器2在一个恒定的时间间隔，对来自信号输入部分1的语音数据执行频率分析处理，因而提取特征，例如唛(Mel)频率倒谱系数(MECC)。特征提取器2然后提供MFCC的时序数据到识别部分3和学习部分4的每一个。从特征提取器2提供到识别部分3和学习部分4的每一个的时序数据是从外围世界已观测的值。
识别部分3基于存储在存储部分5中的时间序列模式存储网络(以后将要论述)，识别由特征提取器2提供的时序数据，以及输出识别结果。
学习部分4根据从特征提取器2提供的时序数据(的观测值)以自组织方式更新存储在存储部分5中的时间序列模式存储网络。学习部分4根据从特征提取器2提供的时序数据更新存储在存储部分5中的时间序列模式存储网络的参数。有时，参数的更新也被称为学习。
当重复地提供没有加入正确应答标记的时序数据时，学习部分4执行无监督的学习，以便以自组织方式获取只有时序数据才有的模式(时序模式)。存储部分5因此在时间序列模式存储网络中有效地存储典型的时序模式。更具体而言，从特征提取器2提供到识别部分3和学习部分4的每一个的时序数据被分类为数个时序模式，以及学习部分4执行学习过程，以便在时间序列模式存储网络中存储时序数据的典型的时序模式。
存储部分5存储时间序列模式存储网络，以及时间序列模式存储网络的参数依靠学习部分适当地更新。
发生器6被提供有控制数据。提供给发生器6的控制数据表示存储在存储部分5中的时间序列模式存储网络中的时序模式(以后要论述的节点标记)中的任何一种。根据存储部分5的时间序列模式存储网络，发生器6生成和输出由控制数据表示的时间序列模式的时序数据。
图3说明了存储在图2的存储部分5中的时间序列模式存储网络。
时间序列模式存储网络由多个节点组成，每个节点保存表示时序数据的时序模式的时间序列模式模型。整个网络存储与节点的数目相同数目的时序模式(用于分类)。
如图3所示，时间序列模式存储网络包括6个节点，从N1到N6。
形成时间序列模式存储网络的节点Ni(在图3中i＝1，2，…，6)保存表示时序数据的时序模式的时间序列模式模型。节点Ni与另一个节点Nj(在图3中j＝1，2，…，6)有连接关系。连接关系也被称为链接。如图3所示，例如，节点N3与节点N1、N2、N5和N6中的每一个直接连接。节点N5和N6中的每一个通过节点N3与节点N1间接连接。Ni与Nj之间的连接关系意味着Ni与Nj之间的最短连接关系。
学习部分4(参见图2)基于从特征提取器2提供的作为学习数据的时序数据，学习时间序列模式存储网络。学习数据的分类的类型和分类的数目是未知的。时序模式存储网络与参照图1论述的有监督的学习实质上不同。在学习时间序列模式存储网络中使用的学习数据没有加入正确应答标记。为此，参照图1论述的有监督的学习不能应用到时间序列模式存储网络的学习。
有监督的学习不能应用到时间序列模式存储网络的学习，且不知道学习数据的每个分类的类型和分类的数目。时间序列模式存储网络以自组织方式学习，以便学习数据的特征(时序模式)适当地由时间序列模式存储网络的节点来表示。
时间序列模式存储网络的学习是无监督的学习的类型。在时间序列模式存储网络的学习中，任何给定的单个节点不必相应于一个分类。更具体而言，学习可以利用相应于一个分类的一个节点或者利用相应于多个分类的一个节点，在时间序列模式存储网络中执行。即使学习数据没有被清楚地分类，学习也利用时间序列模式存储网络执行。
图4说明了时间序列模式存储网络的节点Ni的结构。
节点Ni由表示时序数据的时序模式的时间序列模式模型21和存储时间序列模式模型21的学习数据的学习数据存储单元22组成。
如图4所示，将作为状态概率变换模型的HMM(连续的HMM)用于时间序列模式模型21。如图4所示，HMM包括三个从左到右的状态S1、S2和S3，每一个都具有自有环和到下一个状态(右邻接的状态)的状态变换。围绕图4的时间序列模式模型21中的S1到S3的每一个的圆环表示一种状态，以及每一个箭头形的线或者环表示一种状态变换。作为时间序列模式模型21的HMM不被局限于从左到右的类型和三态类型中的一种。
如果时间序列模式模型21是图4的HMM，作为时间序列模式模型21的HMM依靠状态变换概率和输出概率密度函数来定义(在离散的HMM的情况下，作为纯量的离散符号的概率被输出)。
HMM的状态变换概率是状态变换的概率，并被提供给由如图4所示的箭头形的线指示的每一个状态变换。输出概率密度函数表示从HMM观测的值的概率密度。正态分布式混合通常被用于输出概率密度函数。HMM的参数(状态变换概率和输出概率密度函数)使用Baum-Welch技术学习(估计)。
在节点Ni中，学习存储在学习数据存储单元22中的学习数据的统计特性，也就是说，学习存储在学习数据存储单元22中的学习数据的时序模式，以及时间序列模式模型21因此与存储在学习数据存储单元22中的学习数据联系在一起。
时间序列模式存储网络的学习，也就是，在节点Ni中的时间序列模式模型21的学习在在线学习中执行。每当从特征提取器2提供(一个周期的)时序数据到学习部分4时，执行在线学习。每当从信号输入部分1提供将要处理的(一个周期的)数据到特征提取器2时，时间序列模式存储网络的参数，也就是，节点Ni的时间序列模式模型21的参数(如果时间序列模式模型21是HMM，则为上述的状态变换概率和输出概率密度函数)渐渐更新。
下面将要论述，学习部分4响应从信号输入部分1提供到特征提取器2的新的时序数据的特征，从特征提取器2接收新的时序数据。当时间序列存储网络的学习在进行中时，存储在学习数据存储单元22中的学习数据利用从特征提取器2提供到学习部分4的新的时序数据来更新，以及因此渐渐改变。时间序列模式模型21的学习基于渐渐改变的学习数据执行。时间序列模式模型21的参数也渐渐改变。
图5用图解法说明了存储在图2的存储部分5中的另一种时间序列模式存储网络。
图5的时间序列模式存储网络由9个节点N1到N9组成，它们被二维布置。更准确地说，从N1到N9的9个节点布置到二维平面中的3行和3列的矩阵中。
如图5所示，以行彼此连接的节点以及以列彼此连接的节点被链接(在连接关系中)，在二维布置的9个节点N1到N9之外。依靠链接，形成时间序列存储网络的节点被称为在空间中具有二维布置结构。
在给定空间中出现的任意两个节点之间的距离基于由在时间序列模式存储网络中的链接提供的空间节点布置结构而定义。两个节点之间的距离被用作由两个节点的每一个的时间序列模式模型21表示的时间序列模式(时序模式之间的相似性)的模式间的距离。
由两个节点之间的距离表示的时序模式的模式间的距离因此基于两个节点之间的连接关系(链接)。
形成两个节点间的最短路径的链接的数目可以被用于两个节点的距离。具有到感兴趣的节点的直接链接的节点(在图5中，与感兴趣的节点垂直地或水平地相邻的节点)具有到感兴趣的节点的最近的距离。对于追踪超过具有到感兴趣的节点的直接链接的节点的节点来讲，链接的数目越多，到感兴趣的节点的距离变得越远。
到节点的给定的链接不局限于图3和5所示的那些。图3和5的链接提供了到节点的二维布置结构。链接可以提供一维配置结构或者三维布置结构。链接不必提供给节点。
图6说明了存储在图2的存储部分5中的另一种时间序列模式存储网络。
如图6所示，时间序列模式存储网络以与图3中相同的方式由6个节点N1到N6组成，但是6个节点N1到N6都不具有链接。形成图6的时间序列模式存储网络的从N1到N6的6个节点没有由链接给定的空间布置结构。不具有空间布置结构的节点被认为不受任何与布置结构相关的空间限制的影响。
如果任意两个节点没有链接，在空间中就没有两个节点之间的距离可以定义。基于连接关系(链接)的模式间的距离不能用作由两个节点的每一个的时间序列模式模型21表示的时序模式的模式间的距离。在那种情况下，基于节点与时序数据(下文中称为合适的匹配次序)的观测值的匹配度的次序被用作模式间的距离。
如果给定了时序数据，由节点表示的时序模式与那个时序数据的相似度可以被确定为该节点的匹配度。从形成时间序列模式存储网络中的节点中，最适合与给定的时序数据匹配的节点被处理为优胜节点。任何节点的匹配次序的值可以用作相对于优胜节点的、由在时间序列模式存储网络中的节点表示的时序模式的模式间的距离。
更具体而言，作为来自形成时间序列模式存储网络的节点的优胜节点的节点的匹配次序是第一。节点(也就是优胜节点)与优胜节点之间的时序模式的模式间的距离依靠将匹配次序减1，变成0而确定。
在匹配次序中的优胜节点和第二节点之间的模式间的距离依靠从匹配次序中减1，因而变成1来确定，所述节点来自形成时间序列模式存储网络。类似地，通过从节点的匹配次序中减1而获得的值被称作优胜节点和另一个节点之间的模式间的距离。
由对应于基于节点与给定的时序数据的匹配度而确定的匹配次序的值表示的模式间的距离因而被称为模式间的距离。
图7说明了图2的学习部分4的结构。
学习部分4包括学习数据存储单元31和学习处理器32。
学习数据存储单元31依靠特征提取器2提供作为一个周期的新的时序数据的一系列特征。学习数据存储单元31临时存储从特征提取器2提供的新的时序数据(直到基于新的时序数据的学习处理器32的处理完成为止)。
学习处理器32根据存储在学习数据存储单元31中的新的时序数据的观测值，以自组织方式更新存储在存储部分5中的时间序列模式存储网络。
图8说明了图7的学习处理器32的结构。
分数计算器41确定形成存储在存储部分5中的时间序列模式存储网络的每一个节点的匹配度，作为一个分数，该匹配度指示节点与存储在学习数据存储单元31中的时序数据的观测值匹配得有多好，以及为优胜节点确定器42提供结果得到的分数。如果节点的时间序列模式模型21是图4的HMM，那么分数计算器41根据作为节点的学习数据存储单元31的HMM，确定存储在学习数据存储单元31中的时序数据的观测的似然，以及为优胜节点确定器42提供结果得到的节点分数的似然。
优胜节点确定器42在存储在存储部分5中的时间序列模式存储网络中确定最适合与存储在学习数据存储单元31中的时序数据匹配的节点，以及确定那个节点作为优胜节点。
更具体而言，优胜节点确定器42从形成存储在存储部分5中的时间序列模式存储网络的节点中，确定具有来自分数计算器41的最高分数的节点，作为优胜节点。优胜节点确定器42给权重确定器43提供表示优胜节点的信息。
每一个形成时间序列模式存储网络的节点都被标记了标识该节点的节点标记。节点标记因此被用作标识优胜节点和其他节点的信息。节点标记标识每一个节点自身，以及与标识哪一个是正确的正确应答标记无关。
权重确定器43基于由优胜节点确定器42提供的节点标记所标识的优胜节点，确定形成存储在存储部分5中的时间序列模式存储网络的每一个节点的更新权重，以及提供更新权重给学习数据更新单元44。
更具体而言，权重确定器43基于节点和节点的到优胜节点的模式间的距离，确定形成存储在存储部分5中的时间序列模式存储网络的节点(包括优胜节点)的更新权重，以及提供更新权重给学习数据更新单元44。
节点的时间序列模式模型21(图4)利用存储在学习数据存储单元31(图7)中新的时序数据更新。当节点的时间序列模式模型21被更新时，节点的更新权重表示新的时序数据对时间序列模式模型21的影响度。如果节点的更新权重是0，那么节点的时间序列模式模型21不受新的时序数据的影响，换句话说，不被更新。
当权重确定器43确定形成存储在存储部分5中的时间序列模式存储网络的每一个节点的更新权重时，使用模式间的距离。如果时间序列模式存储网络的节点具有如图3和5所示的链接，那么要被采用的模式间的距离是基于节点和优胜节点之间的连接关系。如果时间序列模式存储网络的节点没有象如图6所示的被链接，那么要被采用的模式间的距离是基于节点到存储在学习数据存储单元31中的时序数据的匹配度(图7)。
权重确定器43参考存储在存储部分5中的时间序列模式存储网络，基于形成时间序列模式存储网络的每一个节点和由来自优胜节点确定器42的节点标记所表示的优胜节点之间的连接关系，确定模式间的距离，而后基于模式间的距离确定时间序列模式存储网络的每一个节点的更新权重。
二者择一地，权重确定器43参考存储在存储部分5中的时间序列模式存储网络，以及确定象由分数计算器41确定的分数那样的时间序列模式存储网络的每一个节点的分数，作为节点到存储在学习数据存储单元31中的时序数据的匹配度。权重确定器43基于时间序列模式存储网络的每一个节点的分数，进一步确定相应于匹配次序的值，作为基于与新的时序数据匹配的节点的匹配度的模式间的距离。权重确定器43确定时间序列模式存储网络的每一个节点的更新权重。
节点的分数可以依靠权重确定器43确定。二者择一地，节点的分数可以从分数计算器41传送到权重确定器43。
学习数据更新单元44更新存储在存储部分5中的时间序列模式存储网络的每一个节点的学习数据存储单元22(图4)中存储的学习数据。
学习数据更新单元44根据从权重确定器43提供的相应节点的更新权重，混合已经存储在每一个节点的学习数据存储单元22中的学习数据以及存储在学习数据储存单元31中的时序数据，以及促使学习数据存储单元22存储混合结果作为新的学习数据。该学习数据存储单元22的存储内容因此被更新。
学习数据更新单元44根据更新权重更新存储在学习数据存储单元22(图4)中的学习数据，以及通知模型学习单元45更新的结束。
当接收到来自学习数据更新单元44的结束通知时，模型学习单元45在学习数据更新单元44的更新处理之后，使用存储在学习数据存储单元22(图4)中的学习数据学习时序模式中的存储网络中的每一个节点的时间序列模式模型21。因此，模型学习单元45更新时间序列模式模型21。
模型学习单元45基于存储在节点的学习数据存储单元22(图4)中的学习数据(的一部分)，以及存储在学习数据存储单元31中的新的时序数据，执行节点的时间序列模式模型21的更新处理。由于学习数据存储单元22的存储内容已经被更新，所以模型学习单元45对时间序列模式模型21的更新被认为是基于更新权重而被执行的。
图9说明了在图8中的更新权重的确定中由权重确定器43执行的确定方法。
权重确定器43根据图9的距离/权重的曲线确定节点的更新权重。该距离/权重曲线表示随着到优胜节点的模式间的距离d的增加，更新权重α递减之间的关系。根据该距离/权重曲线，到优胜节点的模式间的距离d越近，更新权重α的结果越大，以及到优胜节点的模式间的距离d越远，更新权重α的结果越小。
在图9B的距离/权重的曲线中，横坐标表示在从左到右的方向上的更新权重α，以及纵坐标表示在从上到下方向上的模式间的距离d。
如图9所示，基于节点的连接关系的模式间的距离，也就是，到优胜节点的距离被采用作为模式间的距离d。沿着纵坐标，形成时间序列模式存储网络的6个节点N1到N6被布置在相应于每个节点Ni到优胜节点的的距离的位置上。
如图9B所示，形成时间序列模式存储网络的6个节点N1到N6按照到优胜节点的距离从近及远的顺序被布置。从形成时间序列模式存储网络的6个节点N1到N6中，到优胜节点的距离最近的节点，也就是，到优胜节点的距离为0的节点N1，是优胜节点。
如果时间序列模式存储网络具有图5的二维布置结构，以及如果优胜节点为节点N6，那么优胜节点和节点N6之间的距离最近，也就是，0，以及节点N6与优胜节点N6之间的模式间的距离d也是0。优胜节点N6与节点N3、N5和N9中的每一个之间的距离是第二近的，也就是，1，以及优胜节点N6与节点N3、N5和N9中的每一个之间的模式间的距离d也是1。优胜节点N6与节点N2、N4和N8中的每一个之间的距离是第三近的，也就是，2，以及节点N2、N4和N8中的每一个到优胜节点N6的模式间的距离d也是2。优胜节点N6与节点N1和N7中的每一个之间的距离是最远的(第四近)，也就是，3，以及节点N1和N7中的每一个到优胜节点N6的模式间的距离d也是3。
在如图6所示的没有链接的时间序列模式存储网络中，基于与新的时序数据匹配的节点的匹配度的模式间的距离，也就是，相应于基于节点到新时序数据的匹配度的匹配次序的值，被决定为节点和优胜节点之间的模式间的距离d。在这种情况下，在具有最高分数的节点(也就是，优胜节点)和优胜节点之间的模式间的距离d是0，以及在具有第二高分数的节点和优胜节点之间的模式间的距离d是1。类似地，在具有第k高分数的节点和优胜节点之间的模式间的距离d是k-1。
在时间序列模式存储网络中确定每一个节点和优胜节点之间的模式间的距离d的方法类似于在SOM和神经气体算法中确定距离的方法。
表示更新权重α与模式间的距离d之间的关系的图9B的距离/权重曲线被表示为等式(1)α＝Gγd/Δ…(1)其中，G是表示优胜节点的更新权重的常量，γ表示落在范围0＜γ＜1之内的衰减系数，以及Δ是当SMA被用作更新时间序列模式存储网络的更新方法时，用来调整优胜节点(具有到优胜节点最近的模式间的距离d的节点)附近的节点的更新权重α的变量。
根据到优胜节点的距离或者匹配次序，作为优胜节点的节点的模式间的距离d是0，并且其他节点的模式间的距离d是1、2，…。如果在等式(1)中G＝8，γ＝0.5，以及Δ＝1，那么用作优胜节点的节点的更新权重α为8(＝G)。随着到优胜节点的距离或者匹配次序的增加，节点的更新权重递减为4、2、1，…。
如果在等式(1)中变量Δ很大，那么更新权重α对模式间的距离d的的变化率就变得很和缓。相反，如果衰减系数Δ很小，那么更新权重α对模式间的距离d的变化率就变得很急剧。
如果变量Δ调整为渐渐从1接近于0，那么更新权重α对于模式间的距离d的变化率变得很急剧，以及模式间的距离d越大，更新权重α越小。如果变量Δ接近于0，那么优胜节点之外的节点的更新权重α近乎变为0。在这种情况下，结果几乎等同于由作为时间序列模式存储网络的更新处理的WTA所提供的结果。
如果SMA被用作更新时间序列模式存储网络的更新处理，优胜节点附近的节点的更新权重α依靠调整变量Δ来调整。
在时间序列模式存储网络的更新(学习)的起始时刻，变量Δ设定为很大。随着时间的消逝，换句话说，随着更新次数的增加，变量Δ设定为很小。当时间序列模式存储网络的更新开始时，时间序列模式存储网络的每一个节点的更新权重α根据距离/权重曲线而确定，该曲线具有更新权重α对模式间的距离d的和缓变化率。当更新(学习)在进行中时，时间序列模式存储网络的每一个节点的更新权重α根据距离/权重曲线而确定，该曲线具有更新权重α对模式间的距离d的急剧的变化率。
与学习的过程无关，优胜节点的更新受到存储在图8的学习数据存储单元31中的新的时序数据的作用的严重影响。优胜节点之外的节点的更新，也就是，落在相对宽的区域内的节点(也就是说，从具有到优胜节点的小的模式间的距离d的节点到具有到优胜节点的适当大的模式间的距离d的节点)受到新的时间序列模式存储网络的作用的影响。当优胜节点之外的节点的学习在进行中时，仅仅落在一个逐渐变窄的范围内的节点受到新的时间序列模式存储网络的作用的影响。
如上所述，图8的权重确定器43确定时间序列模式存储网络的每一个的更新权重α，以及学习数据更新单元44根据节点的更新权重α更新存储在每一个节点的学习数据存储单元22中的学习数据。
下面将参照图10描述更新存储在节点的学习数据存储单元22中的学习数据的更新方法。
节点Ni的学习数据存储单元22已经存储了学习数据，以及节点Ni的时间序列模式模型21利用存储在学习数据存储单元22中的学习数据已经经历了学习过程。
如上所述，学习数据更新单元44根据来自权重确定器43的节点Ni的更新权重α，混合已经存储在节点Ni的学习数据存储单元22中的学习数据(下文中适当称为旧的时序数据)以及存储在学习数据存储单元31(图8)中的新的时序数据，并且促使学习数据存储单元22存储混合结果作为新的学习数据。学习数据存储单元22的存储内容因此被更新为新的学习数据。
更具体而言，学习数据更新单元44依靠增加新的时序数据到旧的学习数据而生成新的学习数据。向旧的学习数据增加新的时序数据以由节点Ni的更新权重α决定的比率执行。
如果以1∶0的比率将新的时序数据加入到旧的学习数据，那么作为结果获得的新的学习数据仅仅包含新的时序数据。如果以0∶1的比率将新的时序数据加入到旧的学习数据，那么作为结果获得的学习数据仅仅包含旧的学习数据。节点Ni的时间序列模式模型21(图4)的更新利用新的学习数据执行。依靠改变新的时序数据对旧的学习数据的混合比例，来在更新过程中改变新的时序数据对时间序列模式模型21的影响度(力)。
节点Ni的更新权重α被采用作为在节点Ni的新的时序数据对旧的学习数据的比率。更新权重α越大，新时序数据获取的比率越大(旧的学习数据的比率越小)。
更具体而言，节点Ni的学习数据存储单元22存储预定数目片的时序数据(学习数据)。如果预定数目是H，那么节点Ni的时间序列模式模型21的学习通常利用H片学习数据(时序数据)学习。
如果学习数据存储单元22存储H片学习数据，那么作为混合新的时序数据和旧的学习数据的结果而获取的新的学习数据片的数目也需要是H。可用的以相应于节点Ni的更新权重α的比率混合新的时序数据和旧的学习数据的方法是新的时序数据和旧的学习数据以α∶(H-α)的比率混合。
图10示出了以α∶(H-α)的比率混合新的时序数据和旧的学习数据的特定方法。如所示，H片学习数据依靠将α片时序数据加到来自H片旧的学习数据的(H-α)片旧的学习数据而获得。
如果存储在学习数据存储单元22中的H片时序数据是100，同时节点Ni的更新权重α是8，那么学习数据存储单元22中的存储内容依靠将8片新的时序数据加入到100片旧的学习数据中的92片旧的学习数据中来更新为100片新的学习数据。
一直等到获取α片新的时序数据才将α片时序数据加入到来自H片旧的学习数据的的(H-α)片旧的学习数据中。但是，该方法不允许在每一次获取一片新的时序数据时，都更新学习数据存储单元22的存储内容。
在每一次获取一片时序数据时，学习数据存储单元22的存储内容依靠将α片新的时序数据加入到(H-α)片旧的时序数据中而更新。更具体而言，一片新的时序数据被复制以形成α片新的时序数据，以及该α片新的时序数据被加入到由依靠以最旧的第一方式从H片旧的学习数据中除去α片而获取的(H-α)片旧的学习数据中。这样，在每次获取一片新的时序数据时，学习数据存储单元22的存储内容都被更新。
学习数据存储单元22依靠以这种方式更新它的存储内容而仅仅连续地存储H片新的时序数据作为学习数据。只利用更新权重α来调整新的时序数据在学习数据中的比率。
参照图11的流程图，用于学习时间序列模式存储网络的图2的数据处理设备的学习过程被描述。
在步骤S1，在学习部分4中的学习处理器32(图8)初始化存储在存储部分5中的时间序列模式存储网络的参数，也就是，作为时间序列模式存储网络的每一个节点的时间序列模式模型21(图4)的HMM的参数。在这个初始化过程中，赋予HMM的参数(该状态变换概率和输出概率密度函数)适当的初始值。该初始化过程下面将参照图12详细描述。
在步骤S2，当接收到一片要被处理的数据，也就是，一个音频周期的语音数据时，信号输入部分1提供接收到的数据到特征提取器2。特征提取器2从接收到的数据提取特征，以及提供特征的时序数据(一片新的时序数据)到学习部分4。
学习部分4(图7)促使学习数据存储单元31临时存储来自特征提取器2的新的时序数据，然后基于存储在学习数据存储单元31中的时序数据的观测值，在步骤S3到S7中以自组织方式更新(学习)存储在存储部分5中的时间序列模式存储网络。
在步骤S3，在学习部分4中的学习处理器32的分数计算器41(图8)读取存储在学习数据存储单元31中的新的时序数据，以及确定存储在存储部分5中的时间序列模式存储网络的每一个节点的分数，该分数表示节点到新的时序数据的匹配度。
更具体而言，如果节点的图4的时间序列模式模型21是HMM，那么根据HMM确定新的时序数据被观测的对数似然作为分数。例如，利用维特比(Viterbi)算法计算对数似然。分数计算器41计算时间序列模式存储网络中的每一个的新的时序数据的分数，以及提供每个节点的分数到优胜节点确定器42。
在步骤S4，优胜节点确定器42从形成时间序列模式存储网络的节点中获取具有来自分数计算器41的最高分数的分数，以及确定那个节点作为优胜节点。优胜节点确定器42将作为表示优胜节点的信息的节点标记提供给权重确定器43。
在步骤S5，权重确定器43确定时间序列模式存储网络的每一个节点相对于优胜节点的更新权重，所述优胜节点作为基准，由来自优胜节点确定器42的节点标记来表示。
如前面参照图9所述，权重确定器43根据由等式(1)表示的距离/权重曲线，确定时间序列模式存储网络的每一个节点的更新权重α。利用距离/权重曲线，更新权重α对模式间的距离d的变化率随着正在进行的时间序列模式存储网络的更新(学习)变得急剧。更新权重α而后被提供给学习数据更新单元44。
在步骤S6，学习数据更新单元44根据来自权重确定器43的那个节点的更新权重，更新存储在时间序列模式存储网络的每一个节点的图4的学习数据存储单元22中的学习数据。如前参照图10所述，学习数据更新单元44以相应于那个节点的更新权重α的α∶(H-α)的比率，混合存储在学习数据存储单元31中的新的时序数据和存储在节点的学习数据存储单元22中的旧的学习数据。学习数据更新单元44因而获取H片新的学习数据，以及根据H片新的学习数据更新学习数据存储单元22的存储内容。
当更新形成时间序列模式存储网络的所有节点的学习数据存储单元22(图4)的存储内容时，学习数据更新单元44通知模型学习单元45更新的结束。
当收到来自学习数据更新单元44的更新结束通知时，模型学习单元45在步骤S7更新时间序列模式存储网络的参数。
模型学习单元45在学习数据更新单元44的更新过程之后利用存储在时间序列模式存储网络的每一个节点的学习数据存储单元22中的新的学习数据，学习时间序列模式模型21。该模型学习单元45因此更新时间序列模式模型21。
更具体而言，如果节点的时间序列模式模型21是HMM，那么HMM学习利用存储在节点的学习数据存储单元22中的新的学习数据来执行。在该学习过程中，HMM的当前的状态变换概率和输出概率密度函数被设定为初始值，以及新的状态变换概率和新的输出概率密度函数利用新的学习数据经由Baum-Welch技术而被分别确定。HMM的状态变换概率和输出概率密度函数利用新的状态变换概率和输出概率密度函数更新。
处理从步骤S7返回到步骤S2。数据处理设备一直等到下一个要被处理的数据被输入到信号输入部分1。当下一个数据输入时，数据处理设备重复上述的过程。
下面参照图12的流程图描述在图11的学习过程中的步骤S1中执行的初始化步骤。在初始化步骤中，时间序列模式存储网络的参数(时间序列模式存储网络的节点的时间序列模式模型21的参数)被初始化。
在步骤S11中，在图8的学习处理器32中的学习数据更新单元44清除存储在存储部分5的时间序列模式存储网络的每一个节点的学习数据存储单元22(图4)，使得没有学习数据(时序数据)存在于学习数据存储单元22中。
在步骤S12，在学习处理器32(图8)中的模型学习单元45设定随机数，作为时间序列模式存储网络的参数。
如果时间序列模式存储网络的每一个节点的时间序列模式模型21(图4)是HMM，那么HMM的参数是状态变换概率和输出概率密度函数。在步骤S12，随机值被设定为状态变换概率和输出概率密度函数(或者定义输出概率密度函数的均值向量和协方差矩阵中的一个)。
作为要被处理的单片数据的一个音频周期的语音数据被输入到信号输入部分1。如前参照图11所述，当在学习部分4中的学习数据存储单元31(图6)存储相应于要被处理的数据的单片新的时序数据(特征的时序数据)时，学习数据更新单元44在步骤S13以随机方式从形成时间序列模式存储网络的节点中选择至少一个节点，以及分配存储在学习数据存储单元31中的新的时序数据到那个节点。
在步骤S13中，从形成时间序列模式存储网络的节点中以随机方式选择至少一个节点，以及存储在学习数据存储单元31中的新的时序数据而后被存储在(加入到)节点的学习数据存储单元22(图4)作为学习数据。
在步骤S13中的新的时序数据的分配在每一次学习部分4(图7)中的学习数据存储单元31存储新的时序数据的时候重复。如果H片学习数据存储在形成时间序列模式存储网络的所有节点的学习数据存储单元22(图4)中(或者如果学习数据存储单元31存储足够执行HMM学习的学习数据)，那么模型学习单元45利用存储在节点的学习数据存储单元22中的学习数据，对作为时间序列模式存储网络的每一个节点的时间序列模式模型21的HMM执行学习过程，。在学习过程中，在步骤S12，利用设定为HMM的状态变换概率和输出概率密度函数的初始值的随机值，使用Baum-Welch技术确定新的状态变换概率和新的输出概率密度函数。HMM的状态变换概率和输出概率密度函数的初始值利用新的状态变换概率和新的输出概率密度函数更新。
在初始化过程中，所需的学习数据被存储在形成时间序列模式存储网络的所有节点的每一个的学习数据存储单元22中，以及HMM的参数的初始值在学习过程中利用学习数据确定。
当在图11的学习过程中获取单片新的时序数据时，响应于新的时序数据从形成时间序列模式存储网络的节点中确定优胜节点(步骤S4)。相对于优胜节点确定形成时间序列模式存储网络的每一个节点的更新权重(步骤S5)。基于更新权重，随后确定时间序列模式存储网络的每一个节点的时间序列模式模型21(图4)的参数。
在图11的学习过程中，对于一片新的时序数据，执行一次时间序列模式存储网络的节点的参数的更新。类似地，每一次获取新的时序数据时，每一个节点的参数的更新被重复。因而以自组织方式执行学习过程。
当执行足够的学习时，时间序列模式存储网络的节点的时间序列模式模型21学习(获取)特定的时序模式。在整个时间序列模式存储网络中学习的时序模式(类型)的数目与包含在时间序列模式存储网络中的节点的数目相等。例如，如果包含在时间序列模式存储网络中的节点的数目是100，那么100种时序模式被学习。基于时序模式，识别部分3(图2)对时序数据(要被处理的数据)执行识别处理。发生器6(图2)执行生成处理以生成时序数据。
在图11的学习过程中，存储在学习数据存储单元31中的新的时序数据与存储在节点的学习数据存储单元22中的旧的学习数据以相应于那个节点的更新权重α的比率α∶(H-α)混合。因此获得了H片新的学习数据。因此利用H片新的学习数据执行节点的时间序列模式模型21的学习。节点的时间序列模式模型21的参数因而被更新。除了上述的节点的参数的更新方法，任何其他的方法也可以使用，只要该方法允许新的时序数据响应于更新权重α而被反映在节点的参数中即可。
重要的是在每次给定新的时序数据时，逐渐更新节点的参数，以及响应于节点的更新权重而调节新的时序数据对节点的学习的影响程度。
在节点的学习过程中，重要的是通过节点的学习利用新的时序数据来随次数随节点的参数的更新数目)适当地调整更新权重，也就是，新的时序数据对节点的参数的影响程度。根据这个实施例，更新权重α响应于等式(1)中的变量Δ而被调整。随着学习过程的推进，受新的时序数据影响的节点从落在相对于优胜节点的宽范围内的节点(也就是，大量节点)逐渐被调整为落在窄范围中的节点(也就是，少量节点)。只要实现了该调整，就可以使用任何学习节点的方法(更新节点的参数)。
仅仅更新优胜节点的时间序列模式模型21的参数的方法相应于WTA，以及更新优胜节点之外的节点的时间序列模式模型21的参数的方法相应于SMA。在图11的学习过程中，每个节点的参数通过SMA更新。利用WTA更新每个节点的参数是可能的。
当在图11的学习过程中提供新的时序数据时，节点的在线学习利用新的时序数据执行。可以采用批量学习作为节点学习方法。在批量学习方法中，只有获得足够数目的时序数据片之后，才能利用新的时序数据执行学习。
图13说明了图2的识别部分3的结构。
如前面参照图2所述，特征提取器2提供一片时序数据到识别部分3。提供时序数据给分数计算器51。
与在学习处理器32中的分数计算器41(图4)一样，分数计算器51确定表示存储在存储部分5中的时间序列模式存储网络的每一个节点与来自特征提取器2的时序数据的观测值的匹配度的分数，以及提供分数到优胜节点确定器52。如果该节点的时间序列模式模型21是如图4所示的HMM，分数计算器51根据作为HMM的节点的时间序列模式模型21确定来自特征提取器2的时序数据被观测的对数似然，以及将所确定的对数似然作为节点的分数提供给优胜节点确定器52。
同在学习处理器32(图8)中的优胜节点确定器42一样，优胜节点确定器52在存储在存储部分5中的时间序列模式存储网络中确定最适合与来自特征提取器2的时序数据匹配的节点，以及确定那个节点作为优胜节点。
更具体而言，优胜节点确定器52从形成存储在存储部分5中的时间序列存储网络的节点中确定具有来自分数计算器51的最高分数的节点，作为优胜节点。优胜节点确定器52输出表示优胜节点的信息到输出单元53。
输出单元53输出来自优胜节点确定器52的节点标记作为来自特征提取器2的特征的时序数据，因而作为响应于该特征的输入到信号输入部分1的数据的识别结果。
在识别部分3中的分数计算器51可以充当学习处理器32(图8)中的分数计算器41，而分数计算器41被完全去除，或者分数计算器41可以充当分数计算器51，而分数计算器51被完全去除。对于在识别部分3中的优胜节点确定器52与在学习处理器32(图8)中的优胜节点确定器42来讲也是如此。
下面参照图14的流程图描述用于识别时序数据的图2的数据处理设备的识别过程。
在步骤S21，一片要被处理的数据，也就是，输入到信号输入部分1的一个音频周期的语音数据(时序数据)。信号输入部分1提供输入数据给特征提取器2。特征提取器2从作为要被处理的数据的时序数据中提取特征，以及提供特征的时序数据给识别部分3。
在步骤S22，在识别部分3(图13)中的分数计算器51确定表示存储在存储部分5中的时间序列模式存储网络的每一个节点与来自特征提取器2的时序数据的匹配度的分数。
更具体而言，如果节点的时间序列模式模型21(图4)是HMM，那么利用维特比算法根据HMM确定来自特征提取器2的时序数据被观测的对数似然。分数计算器51响应来自特征提取器2的时序数据，计算包含在时间序列模式存储网络中的所有节点的分数，以及提供每个节点的分数到优胜节点确定器52。
在步骤S23，优胜节点确定器52从形成时间序列模式存储网络的节点中，确定具有来自分数计算器51的最高分数的节点，以及确定该节点作为优胜节点。优胜节点确定器52输出表示优胜节点的节点标记给输出单元53。
输出单元53响应时序数据(输入到信号输入部分1中的要被处理的数据)输出来自优胜节点确定器52的节点标记作为特征提取器2的识别结果。过程因此结束。
从输出单元53输出的节点标记(优胜节点的节点标记)可以被提供给发生器6作为控制数据。
在识别过程中使用时间序列模式存储网络，因而获得具有响应时间序列模式存储网络的节点的数目的精细度的识别结果。
例如，现在利用语音数据执行时间序列模式存储网络的学习，该语音数据由三个分类“A”、“B”和“C”的发音产生。
如果在时间序列模式存储网络的学习中用到的三个分类“A”、“B”和“C”的语音数据包含大量说话者的发音，甚至分类“A”的语音数据包括多个发音速度、语调、说话者的性别和年龄等等不同的语音数据。
在有监督的学习中，分类“A”、“B”和“C”的语音数据的学习仅仅利用“A”的语音数据、“B”的语音数据，或者“C”的语音数据执行。每个分类的学习结果中没有发生由于发音速度的不同而产生的变化。
在时间序列模式存储网络的学习中，分类“A”、“B”和“C”的语音数据不区别使用。如上所述，数目与包含在时间序列模式存储网络中的节点的数目相同的时序模式的被学习。
例如，如果时间序列模式存储网络的节点的数目大于3，那么在一个节点学习分类“A”的语音数据的一种变化的时序模式，同时在另一个节点学习另一种变化的时序模式。
以这种方式在多个节点学习分类“A”的语音数据的多种时序模式。如果分类“A”的语音数据在识别过程中被输入，从向分类“A”的语音数据学习的多个节点中确定与要被处理的数据最适合匹配的节点作为优胜节点，，以及优胜节点的节点标记作为识别结果输出。
在使用时间序列模式存储网络的识别过程中，没有确定要被处理的数据落在分类“A”、“B”和“C”的哪一个的语音数据中。作为时间序列模式存储网络的学习的结果，确定数目与节点的数目相等的时序模式中哪一个是最合适的。
在时间序列模式存储网络的学习中，以取决于包含在时间序列模式存储网络中的节点的数目的精细度来获得时序模式。在使用时间序列模式存储网络识别过程中，以取决于包含在时间序列模式存储网络的节点的数目的精细度来分类时序数据。
经过充分学习的时间序列模式存储网络的每一个节点可以根据那个节点所获得的时序模式，被适当地标上分类“A”、“B”和“C”的正确应答标记，假如这样，在时间序列模式存储网络的识别过程中确定时序数据(将要被处理的数据)落在分类“A”、“B”和“C”的哪一个的语音数据中。
图15说明了图2的发生器6的结构。
如先前参照图2所述，发生器6接收控制数据。提供到发生器6的控制数据表示存储在存储部分5的时间序列模式存储网络以及形成时间序列模式存储网络的任意节点中的时序模式中的一种。例如，控制数据是节点标记。
输入到发生器6的控制数据被提供给生成节点确定器61。生成节点确定器61在存储在存储部分5中的时间序列模式存储网络中确定由提供到其的控制数据所表示的节点，作为在生成时序数据中使用的节点(下文中称为生成节点)。生成节点确定器61而后提供确定结果给时序发生器62。
更具体而言，生成节点确定器61确定由作为提供到其的控制数据的节点标记所表示的节点作为生成节点，以及提供确定结果给时序发生器62。
根据生成节点确定器61的确定结果，时序发生器62基于生成节点的时序模式模型21(图4)生成时序数据，以及输出所生成的时序数据到输出单元63。
例如，如果时序模式模型21是HMM，那么时序发生器62生成使表示观测到作为时序模式模型21的HMM的时序数据的似然的输出概率最大化的时序数据。与利用HMM生成时序数据的方法一样，可以使用利用动态特征生成适度改变的时序数据的方法。时序发生器62利用这样的方法生成时序数据。例如，K.Tokuda、T.Yoshimura、T.Masuki、T.Kobayashi和T.Kitamura在题目为“SPEECH PARAMETERGENERATION ALGORITHMS FORM HMM-BASED SPEECH SYNTHESIS”(Proc.of ICASSP 2000，vol.3，pp.1315-1318，June 2000)的论文中描述了生成时序数据的方法。
其他方法也已经被提出。例如，在一个已提出的方法中，利用HMM参数、基于概率试验重复生成时序数据。该方法由T.Inamura、H.Tanie和Y.Nakamura在题目为“Key Frame Extraction and Decompression for Ttme Series Data Based on ContinuousHidden Markov Models”(proccedings of Japan Society of Mechnical Engineers Roboticsand Mechatronics Conference 2P1-3F-C6，2003)的论文中描述。
输出单元63将来自时序发生器62的时序数据转换成相应于要被处理的数据的时序数据，然后输出结果得到的时序数据。更具体而言，在时序发生器62中生成的时序数据是在节点的时序模式模型21的学习中使用的特征的时序数据。输出单元63将特征的时序数据转换成更被处理的数据的时序数据。
更具体而言，要被处理的数据是语音数据。假定时间序列模式模型21是HMM。特征提取器2从语音数据中提取对数倒频谱作为特征。因为依靠时序模式模型21(图4)学习对数倒频谱的时序数据，所以由时序发生器62生成的时序数据是对数倒频谱的时序数据。该输出单元63将依靠时序发生器62生成的对数倒频谱的时序数据转换成语音数据，作为要被处理的时序数据。
可以使用一种滤波方法将对数倒频谱的时序数据转换成语音数据(在时域中的音频)。在这个方法中，对数倒频谱的时序数据依靠称为MLSA(唛对数频谱近似)滤波器的综合性滤波器进行滤波。例如，该MLSA滤波器由S.Imai、K.Sumita和C.Furuichi在标题为“Mel Log Spectral Approximation(MLSA)Filter for SpeechSynthesis”(Transactions(A)of the Institute of Electronics，Information，andCommunication Engineers(IECE)，J66-A，2，pp.122-129)的论文中，以及由K.Tokuda、T.Kobayashi、H.Saitoh、T.Fukada和S.Imai在标题为“Speech Spectral Estimation UsingMel Cepstrum As Parameters”(Transactions(A)ofIECE，J74-A，8，pp.1240-1248，1991)的论文中进行详细描述。
图2的用于生成时序数据(要被处理的数据)的数据处理设备的生成过程下面将参照图16的流程图描述。
在步骤S31，输入控制数据到发生器6。输入到发生器6的控制数据被送到生成节点确定器61。在步骤S32，生成节点确定器61从形成存储在存储部分5中的时间序列模式存储网络的节点中确定由作为控制数据的节点标记所表示的节点作为生成节点。生成节点确定器61提供确定结果给时序发生器62。
在步骤S33，响应生成节点确定器61的确定结果，时序发生器62基于来自形成存储在存储部分5中的时间序列模式存储网络的节点的生成节点的时序模式模型21的参数，生成时序数据，以及提供所生成的时序数据到输出单元63。在步骤S34，输出单元63将来自时序发生器62的时序数据转换成相应于更被处理的数据的时序数据。
在使用时间序列模式存储网络的生成过程中，生成数目相应于形成时间序列模式存储网络的节点数目的时序模式的时序数据。
如以前与识别过程有关的描述，现在利用三个分类“A”、“B”和“C”的每一个发音的语音数据来执行时间序列模式存储网络的学习。
如果在时间序列模式存储网络中使用的三个分类“A”、“B”和“C”的语音数据包含大量说话者的发音，那么因为在发音速度、语调、说话者的性别和年龄等等上的不同，所以许多语音数据的变体甚至出现在分类“A”中。在分类“A”的语音数据中，可以在一个节点中学习一种变体的时序模式，而在另一个节点中学习另一种变体的时序模式。
以这种方式在多个节点中学习分类“A”的语音数据的多种时序模式。提供表示多个节点中的一个的节点标记作为控制数据。在由节点标记表示的节点中学习的变体的分类“A”的语音数据被输出。甚至在相同的分类的语音数据中，也如此输出许多语音数据的变体。
基于时序数据，以自组织方式更新由具有时序模式模型21的多个节点形成的时间序列模式存储网络。因而可以轻易地不仅对具有恒定长度的时序数据，而且可以对具有可变长度的时序数据，执行无监督的学习。换句话说，可以对时序数据执行自主的学习。
由于时间序列模式存储网络的每个节点都具有时序模式模型21，所以在时间序列模式存储网络的学习中，每一个节点的更新没有影响到形成时间序列模式存储网络的其它节点。如果一个节点被加入到时间序列模式存储网络中，那么学习时间序列模式存储网络所需要的计算量仅仅增加用于更新一个节点的计算量。即使时间序列模式存储网络的规模被扩大，换句话说，形成时间序列模式存储网络的节点的数目增加，学习时间序列模式存储网络所需要的计算量也没有显著地增加。甚至一个大规模的时间序列模式存储网络也能够以自组织方式学习。
由于在时间序列模式存储网络的学习中，每个节点存储表示时序数据的统计特性的时序模式，所以利用时序模式容易地执行时序数据的识别和生成。根据时间序列模式存储网络，容易执行时序数据的分类和分析。
可以对任何时序数据，例如语音数据、图像数据、驱动电动机的信号等等执行学习过程、识别过程和生成过程。例如，图2的数据处理设备可以应用到例如自主机器人的自主系统。时序数据可以包括相应于机器人的视觉、听觉和触觉的传感器输出的信号、用于控制驱动机器人的四肢的制动器的信号、以及提供给合成语音的设备以及相应于机器人的眼睛的发光二极管(LED)的信号。这些信号可以被应用为在学习过程、识别过程和生成过程中要被处理的时序数据。
下面将参考图17到20描述时间序列模式存储网络的学习和识别的测试结果。
在测试中，8个人，也就是，4名男性和4名女性中的每一个，，发出在学习中使用的五种类型(分类)的时序数据“a”、“i”“u”、“e”和“o”的声音，以及因此准备了400种发音的语音数据。采用唛对数倒频谱作为语音数据的特征。根据400种发音的语音数据获得的唛对数倒频谱的向量的时序数据被以随机顺序的方式用于学习中。
在测试中，时间序列模式存储网络由30个节点组成，以及HMM被采用作为每个节点的时序模式模型21(图4)。作为时序模式模型21的HMM是从左到右10态HMM。处于HMM的每一种状态的输出概率密度函数是具有混合数1的高斯分布。如图6所示，时间序列模式存储网络具有图6的无链接空间布置结构。确定更新权重α的模式间的距离d依靠将匹配次序减1而获得，更具体而言，节点的模式间的距离d按照到所学习的新的时序数据的从高分到低分的顺序是0、1、2、…。
在时间序列模式存储网络的节点的学习数据存储单元22(图4)中保存的时序数据的片数是100，以及更新学习数据存储单元22中的学习数据，以便响应于节点的更新权重α，使新的时序数据对旧的学习数据的比率是α∶(H-α)。更具体而言，依靠以最旧的第一方式从H片旧的学习数据中删除α片旧的学习数据，复制新的时序数据α次，以及加入α片新的时序数据到剩余的(H-α)片旧的学习数据中，来执行学习数据存储单元22的学习数据的更新。在更新学习数据中使用的更新权重α四舍五入到最接近的一个整数。
更新权重α根据等式(1)确定，其中常量G＝6以及衰减系数γ＝0.5。在学习过程的开始，变量Δ＝1，以及在学习过程在进行中时(时间序列模式存储网络的更新次数增加时)，变量Δ渐渐接近于0，以调节更新权重α。
在在线学习中执行时间序列模式存储网络的学习。在测试中，总共14000种在线学习操作被实施。
在HMM的参数的学习中使用Baum-Welch技术，以及维特比算法被用来计算分数。
为了在测试的识别过程中获得时序数据，不同于在学习过程中的测试对象的6个人，也就是，3名男性和3名女生中的每一个，分10次发出5种分类“A”、“I”、“U”、“E”和“O”的声音。准备了300种发音的语音数据作为时序数据。为了评定识别，表示分类“A”、“I”、“U”、“E”和“O”的正确应答标记分别并试验性地被加入到时间序列模式存储网络的节点中。如果正好用于识别的语音数据的输入的正确的正确应答标记(表示输入语音数据的分类的正确应答标记)的节点变成优胜节点，那么“正确性”被计数。如果错误的正确应答标记(不表示输入语音数据的分类的正确应答标记)的节点变成优胜节点，“错误”被计数。根据下面的等式(2)，“正确性”对用于识别的语音数据的总片数的比率被确定为表示完成正确识别的正确应答比率。
正确应答比率＝(正确应答数量/用于识别的语音数据的总片数)×100％…(2)如下，正确应答标记“A”、“I”、“U”、“E”和“O”分别加入到时间序列模式存储网络的节点中。作为学习数据存储在时间序列模式存储网络的每一个节点的学习数据存储单元22中的语音数据的分类被检查，以及表示具有存储在学习数据存储单元22中的语音数据的最高比率的分类的正确应答标记被加入到节点中。
图17说明了重复学习的数目(时间序列模式存储网络的更新数目)和正确应答比率之间的关系。
如图17所示，横坐标表示重复学习的数目，也就是，用于学习的语音数据的输入数目，以及纵坐标表示正确应答比率。当学习过程在进行中时，正确应答比率增加。当14000次在线重复学习结束时，实现接近100％的正确应答比率。
图18说明了存储在时间序列模式存储网络中的每一个节点的学习数据存储单元22中的学习数据(语音数据)的每一个分类的比率。
如图18所示，横坐标表示识别形成时间序列模式存储网络的节点Ni的节点索引i，同时纵坐标表示存储在节点Ni的学习数据存储单元22中的学习数据的分类“A”、“I”、“U”、“E”和“O”的比率。
如图18所示，每一个垂直栏的黑色部分表示分类“A”的学习数据，以及该栏的水平阴影部分表示分类“I”的学习数据。该栏的垂直阴影部分表示分类“U”的学习数据，以及该栏的斜纹左上的阴影部分表示分类“E”的学习数据，以及该栏的斜纹右上的阴影部分表示分类“O”的学习数据。
图18A说明了在(存储在学习数据存储单元22中的学习数据的)第50次在线重复学习结束时，在每个节点Ni中的分类“A”、“I”、“U”、“E”和“O”的比率。图18B说明了在(存储在学习数据存储单元22中的学习数据的)第14000次在线重复学习结束时，在每个节点Ni中的分类“A”、“I”、“U”、“E”和“O”的比率。
比较图18A与图18B，在学习的初始阶段，节点Ni的学习数据存储单元22存储各种分类的语音数据。当学习过程在进行中时，存储在节点Ni的学习数据存储单元22中的语音数据(学习数据)集中于特定的分类。
图19说明了识别过程的识别结果，其中利用时间序列模式存储网络，在第14000次在线学习重复完成时，识别300种发音的语音数据。
参见图19，横坐标表示与图18所示相同的方式识别节点Ni的索引i，以及纵坐标表示节点Ni变成优胜节点的次数。
在图19，每个垂直栏的黑色部分表示节点Ni响应分类“A”的语音数据的输入变成优胜节点的次数，以及栏的水平阴影部分表示节点Ni响应分类“I”的语音数据的输入变成优胜节点的次数。栏的垂直阴影部分表示节点Ni响应分类“U”的语音数据的输入变成优胜节点的次数，栏的斜纹左上的阴影部分表示节点Ni响应分类“E”的语音数据的输入变成优胜节点的次数，以及斜纹右上的阴影部分表示节点Ni响应分类“O”的语音数据的输入变成优胜节点的次数。
图19示出了响应特定分类的语音数据几乎所有节点变成优胜节点。这意味着特定分类的时序模式在每个节点中已经被学习(获取)。
图20说明了时间序列模式存储网络的学习结果，其节点具有如图5所示的二维配置结构。
如图20所示，水平邻接节点互相链接，以及垂直邻接节点互相链接，以形成5行5列的节点。因而时间序列模式存储网络包括25个节点。
测试的其他条件与图17到19中的那些条件保持不变。但是，由于时间序列模式存储网络如图20所示那样链接，所以在到达优胜节点之前经过的链接数目被采用作为确定更新权重α的模式间的距离d。
利用用于学习的14000种发音的语音数据执行在线学习。图20用图解法说明了时间序列模式存储网络，其中的节点标有表示分类“A”、“I”、“U”、“E”和“O”的正确应答标记。
图20说明了相同的分类，也就是，获取在所学习的时间序列模式存储网络中的空间内聚集的类似的时序模式的节点。
从上述测试结果中，没有加入正确应答标记的时序数据的学习(无监督学习)在时间序列模式存储网络中适当地进行。换句话说，在每一个节点中获取特定的时序模式(统计特性)。
在上述的测试中，表示用于学习的语音数据(学习数据)以及用于识别的语音数据指示哪一个的分类“A”、“I”、“U”、“E”和“O”的正确应答标记被使用。但是，正确应答标记仅仅用来评定学习结果和识别结果。正确应答标记既不用于学习过程也不用于识别过程。
在以上论述中，作为状态变换概率模型的一种的HMM被用作时间序列模式存储网络的节点的时序模式模型21(图4)。另一种状态变换概率模型用于时序模式模型21。
例如，可以使用贝叶斯网络(Bayesian network)作为时序模式模型21。
在贝叶斯网络中，变量之间的依赖关系表示为图形结构，以及依靠分配条件概率到每个节点来模拟。依靠沿着时间轴构造状态变换模型，可以模拟时序数据。
依靠选择反映学习数据的似然和图形结构的复杂度的模型，来执行图形结构的确定。利用最大似然评估或者最大期望(EM)算法来评估条件概率。
即使作为状态变换概率模型之一的贝叶斯网络被用于时间序列模式存储网络的每一个节点的时序模式模型21，也可以以与当使用HMM时相同的方式来实现时序数据的无监督的学习。
贝叶斯网络由Y.Kimura在题目为“Information Representation for UncertaintyModelingBayesian Network”(Bayesian Net Tutorial，2001)的论文中详细描述。
除了状态变换概率模型，例如HMM和贝叶斯网络，一种函数逼近模型可以被用于时序模式模型21(图4)。
在函数逼的模型中，利用函数f()将时序模式表示为微分方程{x(t)}′＝f(x(t))和差分方程x(t+1)＝f(x(t))中的一个。函数f()是时序模式的特征。这里，t表示时间(采样点)，x(t)表示在时间t的时序数据的样本值，或者从时间0到时间t观测到的时序数据，以及{x(t)}′表示时序数据x(t)在时间t的一阶导数。
根据学习数据(时序数据)确定表示给定的时序模式的函数f()被称为函数逼近。在函数逼近中，利用多项式表示函数f()，以及在一种方法中根据学习数据确定多项式的系数。在另一种方法中，利用神经网络表示函数f()，以及根据学习数据确定神经网络的参数。
在以多项式表示的函数f()的函数逼近中，利用最速下降法确定(评估)多项式的系数。在以神经网络表示的函数f()的函数逼近中，利用后向传播算法确定神经网络的参数。在后向传播算法中，提供向神经网络中输入以及从神经网络输出的数据，以及学习神经网络的参数来满足输入数据和输出数据的关系。
图21用图解法说明了具有作为时间序列模式存储网络的节点Ni的时序模式模型21的函数逼近模型的节点Ni。用相同的附图标记来指定与参照图4描述的那些元件相同的元件。
如图21所示，用基于函数f()的差分方程x(t+1)＝f(x(t))表示时序数据的函数逼近模型被采用作为时序模式模型21。
图22说明了在图21的函数逼近模型中由作为神经网络的函数f()表示的节点Ni的结构。
如图22所示，周期性神经网络被用作神经网络。周期性神经网络由输入层x(t)、输出层x(t+1)以及连接输入层x(t)到输出层x(t+1)的中间层构成。
如所示，加入到连接单元的箭头线中的权重是神经网络的参数，每一个表示为一个环。因此参数利用存储在学习数据存储单元22中的学习数据(时序数据)学习。参数的学习利用给予了初始值的反向传播算法执行。
如图22所示，如果HMM被采用作为时序模式模型21，那么优胜节点需要在时间序列模式存储网络的学习(同样有识别)中确定，该网络包含具有以神经网络表示的时序模式模型21的节点Ni。为了确定优胜节点，与新的时序数据有关的时间序列模式存储网络中的每一个节点Ni的分数需要被确定。
该分数可以是差的平方和，每一个差是在新的时序数据的观测值和根据具有以神经网络表示的函数f()的时间序列模式模型21确定新的时序数据的理论值之间的差。在这种情况下，具有最小分数值的节点被确定作为最适合与新的时序数据匹配的优胜节点。
每一个节点的更新权重在优胜节点确定后确定。以与作为HMM的时序模式模型21中相同的方式，确定每个节点Ni的神经网络的参数。
即使替代状态变换概率模型，函数逼近模型被用作时序模式模型21，也如此执行时序数据的无监督的学习。。
当函数逼近模型被用作时序模式模型21时，表示每个节点Ni的函数逼近模型到任意时序数据的匹配度的分数是差的平方和，每一个差是在时序数据和根据如前所述的函数逼近模型(函数f())确定的时序数据的理论值之间的差。因而以与其中状态变换概率模型被用作时序模式模型21的情况类似的方式执行识别过程。
在由微分方程{x(t)}′＝f(x(t))或差分方程x(t+1)＝f(x(t))提供的函数逼近模型中给定初始值，根据初始值连续生成时序数据。象在状态变换概率模型中一样，时序数据也在函数逼近模型中生成。用于利用节点Ni的函数逼近模型生成时序数据的初始值可以是存储在节点Ni的学习数据存储单元22中的学习数据的初始值的平均值。
在已知的周期性神经网络中的多个时序模式的学习和在由每一个具有周期性神经网络的节点构成的时间序列模式存储网络中的多个时序模式的学习之间存在不同。下面参照图23到25描述该不同。
已知的周期性神经网络的学习方法是基于如图23所示的反向传播算法的有监督的学习。为了学习多个分类“A”、“B”、和“C”的语音数据，为每个分类“A”、“B”、和“C”准备了大量的语音数据片。为分类“A”、“B”、和“C”分别准备周期性神经网络，来学习分类“A”、“B”、和“C”的语音数据。利用反向传播算法对各个分类的学习数据执行每个分类的周期性神经网络的学习。
在分类“A”的周期性神经网络中，仅仅利用分类“A”的学习数据(语音数据)学习(获取)分类“A”的时序模式。类似地，在分类“B”的周期性神经网络中，学习分类“B”的时序模式，以及在分类“C”的周期性神经网络中，学习分类“C”的时序模式。
由于在一个周期性神经网络中仅仅学习一种时序模式，所以无需以足够大的规模扩大每个周期性神经网络。用于通过反向传播算法的学习的计算量不是很大，以及学习需要的时间不是问题。
在有监督的学习中，在一个周期性神经网络中学习一种时序模式。但是，在无监督的学习中，因为将要被学习的时序模式不确定，换句话说，因为学习数据的分类数目不知道，以及因为输入学习数据的分类不知道，所以在一种周期性神经网络中不能仅仅学习一种时序模式(除非存在仅仅存在一种分类的时序数据)。
为了在已知的周期性神经网络中执行无监督的学习，如图24所示，需要在一个周期性神经网络中学习不确定数目的时序模式。
多种模式需要依靠神经网络中的每一个神经元来处理。不需要明确加入正确应答标记到学习数据。因而对不确定数目的时序模式执行无监督的学习是可能的。
但是，为了在一个周期性神经网络中学习许多分类(时序模式)，例如语音数据，需要准备匹配大量分类的大规模神经网络。如前所述，当神经网络的规模扩大时，在神经网络的参数学习中使用的反向传播算法中，计算量显著增加。结果，学习所需要的时间也充分增加，在实践中成为问题。
相反，对于由每个具有如图25所示的周期性神经网络的节点形成的时间序列模式存储网络的学习，一种时序模式在一个节点中学习(获取)，。更具体而言，在一个节点的周期性神经网络中学习一种时序模式。无需将一个节点的周期性神经网络扩大到足够大的规模。通过反向传播算法的学习所需的计算量充分小于参照图24所述的情况，以及学习所需要的时间不是问题。
图26是根据本发明的第二实施例说明数据处理设备的框图。
应用于双足机器人和四腿机器人的图26的数据处理设备包括输入部分101、输出部分102以及数据处理器103。
输入部分101包括接收到机器人的输入的输入装置(传感器)，以及提供作为响应到它的输入的时序数据的输入数据给数据处理器103。输入部分101的输入装置包括作为机器人的听觉(耳朵)的麦克风、作为机器人的视觉(眼睛)的摄像机，以及由用户操作的键盘和鼠标。输入部分101的输入装置进一步包括相应于机器人的触觉的压力传感器。
包括输出信号的输出装置的输出部分102根据从数据处理器103提供的输出时序数据，在外围世界积极工作。输出部分102的输出装置包括作为机器人的嘴的扩音器、用作移动机器人的四肢和其它部分的肌力的电动机(制动器)，以及以图像来显示信息的显示器。
已经存储了时间序列模式存储网络的数据处理器103，在学习过程中，利用从输入部分101输出的输入数据以及提供给输出部分102的输出数据，来学习时间序列模式存储网络。在识别过程中，数据处理器103利用时间序列模式存储网络，进一步识别来自输入部分101的输入数据，以及在生成过程中，响应于的识别结果利用时间序列模式存储网络，来生成作为时序数据的输出数据。数据处理器103而后提供输出数据到输出部分102。
在数据处理器103中的学习单元111A接收作为时序数据的输入数据。提供给学习单元111A的输入数据与作为由输入部分101输出的数据是相同的输入数据。输入数据包括从麦克风输出的语音数据、从摄像机输出的图像数据、响应于键盘和鼠标的操作从键盘和鼠标输出的数据(操作信号)。
具有与图2的学习部分4相同结构的学习单元111A利用所提供的输入数据，学习存储在后面将要讨论的存储单元112A中的时间序列模式存储网络。
学习单元111B接收作为时序数据的输出数据。提供给学习单元111B的输出数据与提供给输出部分102的输出数据相同，以及包括提供到扩音器的用于音频输出的语音数据、提供到显示器用于显示的图像数据和用于驱动电动机的数据(驱动信号)。
也与图2的学习部分4具有相同结构的学习单元111B利用所提供的输出数据，学习存储在后面将要讨论的存储单元112B中的时间序列模式存储网络。
存储单元112A和存储单元112B中的每一个存储时间序列模式存储网络。存储在存储单元112A中的时间序列模式存储网络利用输入数据依靠学习单元111A来学习，以及因此成为输入时间序列模式存储网络。存储在存储单元112B中的时间序列模式存储网络利用输出数据依靠学习单元111B学习，以及因此成为输出时间序列模式存储网络。
输入时间序列模式存储网络和输出时间序列模式存储网络可以或者不可以含有相同的节点，以及可以或者不可以含有相同的链接。这两个时间序列模式存储网络也可能根本没有链接。在输入时间序列模式存储网络和输出时间序列模式存储网络中的节点的时序模式模型21可以或者不可以是相同的模型。
识别单元113依靠输入部分101提供输入数据。具有与图2的识别部分3相同的结构的识别单元113，利用存储在存储单元112A中的输入时间序列模式存储网络识别来自输入部分101的输入数据(识别过程)，而后提供优胜节点的节点标记作为识别结果给输入和输出关系联合存储单元115。
依靠输入和输出关系联合存储单元115向发生器114提供节点标记作为用于生成过程的控制数据。具有与图2的发生器6相同的结构的发生器114确定由来自存储在存储单元112B中的时间序列模式存储网络中的输入和输出关系联合存储单元115的节点标记所表示的节点，作为生成节点，而后利用生成节点生成作为时序数据的输出数据(生成过程)。发生器114提供利用生成节点生成的输出数据给输出部分102。
输入和输出关系联合存储单元115存储形成存储在存储单元112A中的输入时间序列模式存储网络的每一个节点的节点标记(下文中适当称为输入标记)，以及形成存储在存储单元112B中的输出时间序列模式存储网络的每一个节点的节点标记(下文中适当称为输出标记)，其中一个节点标记与另一个节点标记相关联。输入和输出关系联合存储单元115向发生器114提供从识别单元113提供的节点标记，也就是，与输入标记相关联的输出标记。
输入标记和输出标记在输入和输出关系联合存储单元115中可以是在一对一对应的基础上，或者在一对多对应的基础上，或者在多对一对应的基础上彼此关联。
当输出数据作为新的时序数据被提供给如此构造的数据处理设备时，学习单元111A利用输入数据，对存储在存储单元112A中的输入时间序列模式存储网络执行在线学习。类似地，当输出数据作为新的时序数据被提供时，学习单元111B利用输出数据，对存储在存储单元112B中的输出时间序列模式存储网络执行学习过程。
利用与输出数据相关联的输入数据，执行到学习单元111A的输入数据的提供和到学习单元111B的输出数据的提供。例如，同时执行到学习单元111A的输入数据的提供和到学习单元111B的输出数据的提供，或者到学习单元111A的输入数据的提供继之以到学习单元111B的输出数据的提供。
形成存储在存储单元112A中的输入时间序列模式存储网络的每一个节点的输入标记与形成存储在存储单元112B中的输出时间序列模式存储网络的每一个节点的输出标记相关联，以及输入和输出关系联合存储单元115存储该关联。
更具体而言，学习单元111A响应于来自输入时间序列模式存储网络的节点的输入数据确定优胜节点，以及学习单元111B响应于来自输出时间序列模式存储网络的节点的输出数据确定优胜节点。
输入和输出关系联合存储单元115响应于输入时间序列模式存储网络中的输入数据、通过识别单元113识别优胜节点的节点标记(输入标记)。输入和输出关系联合存储单元115响应于输出时间序列模式存储网络中的输出数据、通过生成单元114识别优胜节点的节点标记(输出标记)。输入和输出关系联合存储单元115存储输入标记和输出标记，其中一个标记与另一个标记相关联。
例如，响应于用户的发音，从麦克风输出的语音数据被提供给学习单元111A作为输入数据。由用户指定的、响应于发音的机器人的合成语音数据以及用于机器人采取行动的电动机的驱动信号中的一种被提供给学习单元111B作为输出数据。而后输入和输出关系联合存储单元115存储响应于对应于用户的发音的输入数据(语音数据)的优胜节点的输入标记，以及响应于对应于响应该发音的机器人的响应的输出数据的优胜节点的输出标记。
用户而后发音，以及作为响应于该发音的语音数据的输入数据从输入部分101提供到数据处理器103。数据处理器103提供响应于该发音由用户所指定的输出数据给输出部分102。机器人响应输出数据，例如输出合成声音，采取行动。
用户然后发音，以及作为响应于该发音的语音数据的输入数据从输入部分101提供到数据处理器103。在数据处理器103中的识别单元113利用存储在存储单元112A中的时间序列模式存储网络，识别来自输入部分101的输入数据，以及提供优胜节点的输入标记作为识别结果给输入和输出关系联合存储单元115。
输入和输出关系联合存储单元115提供与从识别单元113中提供的输入标记相关联的输出标记给发生器114。
发生器114确定由来自存储在存储单元112B中的输出时间序列模式存储网络中的输入和输出关系联合存储单元115的输出标记所表示的节点，作为生成节点，利用生成节点生成作为时序数据的输出数据，以及提供输出数据给输出部分102。
输出部分102从扩音器输出相应于来自数据处理器103的输出数据的合成声音，或者响应输出数据驱动用于使机器人采取行动的电动机。
在输入部分101中，从包括麦克风、摄像机、键盘、鼠标等等的输入装置中获得的任何输入数据被提供给学习单元111A，以及在输出部分102中，任何从包括扩音器、显示器、电动机等等的输出装置中获得的输出数据被提供给学习单元111B。到学习单元111A的输入数据的提供与到学习单元111B的输出数据的提供相关联地执行。输入和输出关系联合存储单元115因此存储输入时间序列模式存储网络的节点的输入标记以及输出时间序列模式存储网络的节点的输出标记，其中输入标记与输出标记相关联。以这种方式，数据处理器103，响应从输入部分101中的麦克风、摄像机、键盘、鼠标等等提供的输入数据，可以提供多种输出数据到输出部分102中的包含扩音器、显示器、电动机等等的输出装置。
输入和输出关系联合存储单元115可以利用1位关联标记和连接权重中的一个来使输入标记和输出标记相关联。关联标记指示输出标记是否与输入标记关联。连接权重指示输入标记和输出标记之间的关联度。
输入和输出关系联合存储单元115可以通过将关联标记从指示无关联的0改变到指示输入标记和输出标记处于关联状态的1来将输入标记与输出标记相关联。关联标记指示已经变成到对于输入时间序列模式存储网络中的输入数据的优胜节点的节点的输入标记，和已经变成到对于响应于在输出时间序列模式存储网络中的输入数据的输出数据的优胜节点的节点的输出标记之间的关联。
二者择一地，输入和输出关系联合存储单元115可以依靠增加连接权重来关联输入标记和输出标记(增强输入标记和输出标记之间的链接度)。连接权重指示已经变成到对于输入时间序列模式存储网络中的输入数据的优胜节点的节点的输入标记和已经变成到对于响应于在输出时间序列模式存储网络中的输入数据的输出数据的优胜节点的节点的输出标记之间的链接度。
如果输入和输出关系联合存储单元115使用关联标记，那么所有的对于来自识别单元113的输入标记具有关联标记1的输出标记被提供给发生器114。如果输入和输出关系联合存储单元115使用连接权重，那么发生器114接收对于来自识别单元113的输入标记具有最高连接权重的输出标记，或者以对于来自识别单元113的输入标记的从高到低连接权重的顺序接收多个输出标记。发生器114基于输出时间序列模式存储网络的至少一个节点生成至少一片输出数据，该网络由来自输入和输出关系联合存储单元115的至少一个输出标记表示。发生器114连续或者并行地输出输出数据到输出部分102。
输入时间序列模式存储网络和输出时间序列模式存储网络利用由用户提供的输入数据和输出数据被在线学习。依靠关联输入标记和输出标记，识别输入数据，并接着在多种环境中生成响应输入数据的输出数据。
更具体而言，结合机器人的数据处理设备被用在多种环境中，例如，在声音特性、语速、照明条件等等中的不同。考虑到这些不同，输入数据和输出数据很难被提前学习，以及这个困难是有监督的学习的最大缺陷。
相反，在时间序列模式存储网络中，数据处理设备可以在每一种实际应用环境中学习输入数据和输出数据。
即使要被学习的时序模式在时间序列模式存储网络中是不确定的，换句话说，即使不知道在一些分类中的输入数据和输出数据是否被实际应用，输入数据和输出数据也被自动分类。因而数据处理设备以微调的方式响应用户。
时间序列模式存储网络适用于正向模型和反向模型。
图27说明了正向模型和反向模型的概念。
响应作为时间序列模式存储网络的输入数据，要被控制的对象输出作为时间序列模式存储网络的输出数据。不知道与要被控制的对象(对象的内部)相关的详细信息。到对象的输入数据和从对象输出的输出数据因此初见测。
提供给要被控制的对象的输入数据和响应输出数据由对象输出的输出数据可以是任何物理量只要该数据可以被观测即可。更被控制的对象可以是任意对象，只要该对象可以接收输入数据以及响应于该输入数据输出输出数据即可。
例如，对象可以是球、乐器、汽车、煤气炉等等。例如，如果对象是球，力被施加到该球上作为输入数据，获取球的位置和速度作为响应输入数据的输出数据。如果对象是汽车，那么方向盘、加速器、刹车踏板等等的操作用作汽车的输入数据，以及获取汽车的位置和速度作为响应输入数据的输出数据。如果要被控制的对象是煤气炉，那么发热能力的调节用作输入数据，以及房间的温度是响应输入数据的输出数据。
响应输入数据输出输出数据的要被控制的对象是正向模型。
响应于输入数据，正向模型输出由更被控制的对象提供的输出数据的估值。根据该正向模型，来自更被控制的对象的输出数据可以被估计，而无需实际应用输入数据到对象。
在反向模型中，从要被控制的对象中输出的输出数据的目标值被确定。为了输出具有目标值的输出数据，估计将要输入的输入数据。正向模型被认为是反向模型的镜像，以及反向模型是反转的模型。
适当地，用于反转模型给出具有目标值的输出数据的被提供到反转模型的输入数据被称为控制数据。
在正向模型和反向模型的每一个中，使用(估计)所观测的输入数据和响应于输入数据的所观测的输出数据。
但是，在现实世界中更被控制的对象是复杂的。如果正向模型和反向模型被模拟为简单的线性系统，那么在输出数据和输入数据中的估计误差变得很大。无法实现高精度的估计。
无论是否利用线性系统将要被控制的对象模拟为高精度的正向模型或者反向模型，时间序列模式存储网络都非常有效。
更具体而言，时间序列模式存储网络可以用于正向模型和反向模型中的每一个。被应用了时间序列模式存储网络的正向模型和反向模型允许准确估计输出数据和控制数据。
图28说明了作为被应用了时间序列模式存储网络的正向模型和反向模型的连接存储网络的结构。
连接网络由两个时间序列模式存储网络netin和netout组成。在时间序列模式存储网络netin中的一个节点Ni(i＝1、2、…节点总数)被连接到时间序列模式存储网络netout的相应节点N′j(j＝1、2、…节点总数)。
如图28所示，在时间序列模式存储网络netin中的节点Ni和时间序列模式存储网络netout的节点N′j之间的箭头线表示在节点Ni和节点N′j之间的建立的连接。
在时间序列模式存储网络netin和netout中，在相同的节点上，或者不同节点间，建立链接，或者根本没有建立链接。在时间序列模式存储网络netin中的节点Ni的时序模式模型21(图4)和时间序列模式存储网络netout中的节点N′j的时序模式模型21可以或者不可以是相同的模型。
图29是根据本发明的第三实施例的操作图28的连接网络的数据处理设备的框图。
图29的数据处理设备利用图28的连接网络，把要被控制的对象模拟为正向模型或者反向模型。该数据处理设备进一步利用作为正向模型和反向模型中的一个的连接网络，估计来自要被控制的对象的输出数据以及要被输入到对象的控制数据(输入数据)。
如图29所示，数据处理设备包括存储部分211、学习部分212以及识别发生器213。
存储部分211存储图28的连接网络。
提供包括给要被模拟的对象的输入数据以及响应输入数据从对象输出的输出数据的一组观测数据给学习部分212。观测数据是一组作为预定周期的时序数据(在整个预先时间周期内的时序数据)的输入数据以及响应输入数据从对象输出的作为预定周期的时序数据的输出数据。
学习部分212利用所提供的观测数据，通过连接网络模拟对象为正向模型和反向模型。
学习部分212由学习处理器221和连接权重更新单元222组成。
学习处理器221具有与图8的学习处理器32相同的结构。象在图2的数据处理设备中一样，学习处理器221响应于提供给学习部分212的观测数据的输入数据，以自组织方式更新存储在存储部分211中的连接网络的时间序列模式存储网络netin(图28)。象在图2中的数据处理设备一样，学习处理器221响应于提供给学习部分212的观测数据的输出数据(在观测数据中输出数据与输入数据是成对的)，以自组织方式更新存储在存储部分211中的连接网络的时间序列模式存储网络netout(图28)。
学习处理器221向连接权重更新单元222提供标记组，包括时间序列模式存储网络netin的节点Ni的节点标记(也适当地称为输入标记)，该节点Ni在时间序列模式存储网络netin被更新时已经变成优胜节点，以及时间序列模式存储网络netout的节点N′j的节点标记(也适当地称为输出标记)，该节点N′j在时间序列模式存储网络netout被更新时已经变成优胜节点。
响应于从学习处理器221提供的标记组，连接权重更新单元222更新在存储存储部分211中的连接网络(图28)中的时间序列模式存储网络netin的节点Ni和时间序列模式存储网络netout的节点N′j之间的连接关系。
从学习处理器221提供到连接权重更新单元222的标记组是一组输入标记和输出标记。输入标记是时间序列模式存储网络netin的节点Ni的节点标记。节点Ni在时间序列模式存储网络netin响应于所观测数据的输入数据而被更新时变成优胜节点。因而输入标记最适合与在时间序列模式存储网络netin中的输入数据匹配。
类似地，输入标记是时间序列模式存储网络netout的节点N′j的节点标记。节点N′j在时间序列模式存储网络netout响应于所观测数据的输出数据而被更新时变成优胜节点。因而输出标记最适合与在时间序列模式存储网络netout中的输出数据匹配。
连接权重更新单元222更新来自时间序列模式存储网络netin的节点的最适合与所观测数据的输入数据匹配的优胜节点Ni与来自时间序列模式存储网络netout的节点的最适合与所观测数据的输出数据匹配的优胜节点N′j之间的连接关系。
表示连接度的连接权重用于定义时间序列模式存储网络netin的节点Ni和时间序列模式存储网络netout的节点N′j之间的连接关系。连接权重被更新以增强节点Ni和节点N′j之间的连接度。更具体而言，表示节点Ni和节点N′j之间的连接度的连接权重递增1。
识别发生器213接收在估计从要被控制的对象中获得的输出数据中使用的输入数据，或者在估计要被提供给对象的输入数据(控制数据)中使用的输出数据，以便获取来自对象的输出数据作为目标值。
响应于输入数据，识别发生器213确定最适合与存储在存储部分211中的连接网络的时间序列模式存储网络netin中的输入数据匹配的优胜节点Nj。识别生成器213确定与优胜节点Ni有最高连接权重的时间序列模式存储网络netout的节点作为用于响应输入数据生成作为输出数据的估值的时序数据的生成节点N′j。识别发生器213基于生成节点N′j的时序模式模型21(图4)生成输出数据的估值。
响应输出数据，识别发生器213确定最适合与存储在存储部分211中的连接网络的时间序列模式存储网络netout中的输出数据匹配的优胜节点N′j。识别发生器213确定与优胜节点N′j有最高连接权重的时间序列模式存储网络netin的节点作为生成节点Ni，用来在生成作为当获取输出时被提供给控制模型的控制数据(输入数据)的估值的时序数据中使用。识别发生器213根据生成节点Ni的时序模式模型21(图4)生成控制数据的估值。
识别发生器213包括分数计算器231、优胜节点确定器232，生成节点确定器233以及时序发生器234。
分数计算器231、优胜节点确定器232，生成节点确定器233以及时序发生器234被设计以识别被提供到识别发生器213的数据是输入数据还是输出数据。识别发生器213与所提供的数据一同或者分开地接收识别被提供给识别发生器213的数据是输入数据还是输出数据的信息。以这种方式，分数计算器231、优胜节点确定器232，生成节点确定器233以及时序发生器234中的每一个都识别被提供到识别发生器213中的数据是输入数据还是输出数据。
响应于提供到识别发生器213的数据，分数计算器231以与图13的分数计算器231相同的方式计算表示存储在存储部分211中的连接网络的时间序列模式存储网络netin的每一个节点Ni的匹配度或者时间序列模式存储网络netout的每一个节点N′j的匹配度的分数。分数计算器231输出分数到优胜节点确定器232。
如果提供到识别发生器213的数据是输入数据，那么分数计算器231响应于输入数据，计算形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的每一个节点Ni的分数，以及提供分数到优胜节点确定器232。如果提供到识别发生器213的数据是输出数据，分数计算器231响应于输出数据，计算形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的每一个节点N′j的分数，以及输出分数到优胜节点确定器232。
与在图13中的识别部分3中的优胜节点确定器52一样，优胜节点确定器232确定具有从分数计算器231提供的最高分数的节点作为优胜节点，以及提供表示优胜节点的节点标记给生成节点确定器233。
如果提供给识别发生器213的数据是输入数据，那么优胜节点确定器232从形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的节点中，确定具有从分数计算器231提供的对于输入数据的最高分数的节点作为优胜节点Ni，以及提供表示优胜节点Ni的输入标记给生成节点确定器233。如果提供给识别发生器213的数据是输出数据，那么优胜节点确定器232从形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的节点中，确定具有从分数计算器231提供的对于输出数据的最高分数的节点作为优胜节点N′j，以及提供表示优胜节点N′j的输出标记给生成节点确定器233。
如果从优胜节点确定器232提供输入标记，那么生成节点确定器233从优胜节点确定器232接收输入标记。生成节点确定器233而后从形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的节点中，确定与由来自优胜节点确定器232的输入标记表示的节点Ni有最高连接权重的节点N′j，作为生成节点，以及提供表示生成节点N′j的输出标记给时序发生器234。如果提供给识别发生器213的数据是输出数据，那么生成节点确定器233从优胜节点确定器232中接收输出标记。生成节点确定器233而后从形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的节点中，确定与由来自优胜节点确定器232的输出标记表示的节点N′j有最高连接权重的节点Ni，作为生成节点。
如果提供到识别发生器213的数据是输入数据，那么时序发生器234从生成节点确定器233接收输出标记。与在图15的发生器6中的时序发生器62一样，时序发生器234而后基于来自形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的节点中、由来自生成节点确定器233的输出标记所表示的节点N′j的时序模式模型21(图4)，生成时序数据作为响应于提供给识别发生器213的输入数据的输出数据的估值。
如果提供到识别发生器213的数据是输出数据，那么时序发生器234从生成节点确定器233接收输入标记。与在图15的发生器6中的时序发生器62一样，时序发生器234而后基于来自形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的节点中的、由来自生成节点确定器233的输入标记所表示的节点Ni的时序模式模型21，生成时序数据作为响应于提供给识别发生器213的输出数据的控制数据(输入数据)的估值。
图30是依靠图29的数据处理设备执行连接网络的学习的流程图。在学习过程中，数据处理设备通过连接网络模拟要被控制的对象。
在步骤S101，所观测的数据，也就是，一组输入数据和输出数据，被输入到图26的数据处理设备。该所观测的数据而后被送到学习部分212。
在步骤S102，学习处理器221响应于所观测的数据的输入数据，以自组织方式更新存储在存储部分211中的连接网络的时间序列模式存储网络netin(图28)。在步骤S103，学习处理器221响应于所观测的数据的输出数据，以自组织方式更新存储在存储部分211中的连接网络的时间序列模式存储网络netout。
学习处理器221向连接权重更新单元222提供标记组，包括时间序列模式存储网络netin的节点Ni的输入标记，该节点Ni在时间序列模式存储网络netin被更新时已经变成优胜节点，以及时间序列模式存储网络netout的节点N′j的输出标记，该节点N′j在时间序列模式存储网络netout被更新时已经变成优胜节点。
在步骤S104，连接权重更新单元222响应于从学习处理器221中提供的标记组，增强在时间序列模式存储网络netin的节点Ni和时间序列模式存储网络netout的节点N′j之间的连接权重。
在学习起始，连接权重都被设置为0。在步骤S104，连接权重更新单元222将从学习处理器221中提供的由输入标记表示的节点Ni与由输出标记表示的节点N′j之间的连接权重递增1。
处理从步骤S104返回到S101以等待下一个所观测数据的输入，而后重复相同的过程。
与利用大量所观测数据片的输入重复步骤S101到S104一样，存储在存储部分211中的连接网络相应于要被控制的对象变成正向模型和反向模型中的每一个。
图31是评估过程的流程图，其中利用作为正向模型和反向模型中的一个的连接网络，估计响应于输入数据的输出数据，以及相应于输出数据的控制数据(输入数据)。
图29的数据处理设备现在估计响应于输入数据的输出数据。在步骤S111，输入数据被提供给图29的数据处理设备。
提供给数据处理设备的输入数据被送到识别发生器213中的分数计算器231。
在步骤S112，分数计算器231响应于所提供的输入数据，计算形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的每一个节点Ni的分数，已及提供所计算的分数给优胜节点确定器232。
在步骤S113，优胜节点确定器从形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的节点中，确定具有从分数计算器231中提供的最高分数的节点作为优胜节点Ni，以及提供表示优胜节点Ni的输入标记给生成节点确定器233。
在步骤S114，生成节点确定器233，从形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的节点中，确定与由来自优胜节点确定器232的输入标记所表示的节点Ni有最高连接权重的节点N′j，作为生成节点，以及提供表示生成节点N′j的输出标记给时序发生器234。
在步骤S115，时序发生器234基于来自形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的节点的、由来自生成节点确定器233的输出标记所表示的节点Nj′的时序模式模型21(图4)，生成时序数据作为响应于提供给识别发生器213的输入数据的输出数据的估值。处理进行到步骤S116以输出时序数据。
如果图29的数据处理设备估计相应于输出数据的控制数据(输入数据)，那么在步骤S111输出数据被输入到图29的数据处理设备中。
提供给数据处理设备的输出数据被送到识别发生器213的分数计算器231中。
在步骤S112，分数计算器231响应所提供的输出数据，计算形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的每一个节点N′j的分数，以及提供所计算的分数给优胜节点确定器232。
在步骤S113，优胜节点确定器从形成存储在存储部分211中的连接网络的时间序列模式存储网络netout的节点中，确定具有来自分数计算器231的最高分数的节点作为优胜节点N′j，以及提供表示优胜节点N′j的输出标记给生成节点确定器233。
在步骤S114，生成节点确定器233，从形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的节点中，确定与由来自优胜节点确定器232的输出标记所表示的节点N′j有最高连接权重的节点Ni，作为生成节点，以及提供表示生成节点Ni的输入标记给时序发生器234。
在步骤S115，时序发生器234基于来自形成存储在存储部分211中的连接网络的时间序列模式存储网络netin的节点的、由来自生成节点确定器233的输入标记所表示的节点Ni的时序模式模型21，生成时序数据作为相应于提供给识别发生器213的输出数据的控制数据(输入数据)的估值。处理进行到步骤S116以输出时序数据。
利用输入数据和输出数据学习连接网络，以及要被控制的对象被模拟为正向模型和反向模型。精确表示要被控制的对象，以及因此高精度地估计输出数据和控制数据(输入数据)。
上述相关的一系列处理步骤可以用硬件或者软件执行。如果以软件执行这一系列处理步骤，那么在通用计算机上安装形成软件的计算机程序。
图32说明了根据本发明的一个实施例的计算机，在其上安装了用于执行一系列处理步骤的计算机程序。
计算机程序被预先存储在硬盘305或者只读存储器(ROM)303上，每一个作为记录介质包含于计算机中。
计算机程序可以被临时或者永久性地存储在可移动的记录介质311中，例如软磁盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字通用盘(DVD)、磁盘或者半导体存储器。可移动的磁盘311被提供于所谓的压缩介质中。
可以从上述的可移动记录介质311安装计算机程序到计算机。此外，计算机程序可以以从下载站点到计算机通过数字广播卫星的无线方式，或者通过网络的有线方式，例如局域网(LAN)或者因特网，被发送到计算机，。这样传输的计算机程序在通信单元308处被接收，以及而后安装在硬盘305上。
计算机包括中央处理器(CPU)302。输入和输出接口310通过总线301连接于CPU302。当用户操作输入单元307，包括键盘、鼠标、麦克风等等，以输入命令时，CPU302通过输入和输出接口310接收命令，以及响应命令执行存储在ROM 303中的计算机程序。CPU 302将存储在硬盘305中的程序、通过数字广播卫星或者网络传输、通过通信单元308接收的程序中的一个加载到随机存取存储器(RAM)304中，而后安装到硬盘305上，以及从可拆卸记录介质311中读取的计算机程序被加载到驱动器309中，然后安装到硬盘305中，而后执行该程序。CPU 302根据前面所述的流程图和前述的框图执行处理。CPU 302通过输入和输出接口310输出处理结果给输出单元306，例如液晶显示器(LCD)以及用于输出的扩音器，输出给用于传输的通信单元308，以及输出给用于记录的硬盘305。
如所述，在说明书中讨论的处理步骤以时间序列的次序顺序执行。二者择一地，步骤可以并行或者分别执行。例如，步骤可以在并行处理或者对象处理中执行。
可以利用一台计算机或者分布式处理的多台计算机执行计算机程序。计算机程序也可以传输到远程计算机来执行。
本领域技术人员可以明白取决于设计需求和其它因素，可以进行多种修改、组合、子组合以及改变，只要所述设计需求和其它因素落在附加的权利要求或者其等同物的范围之内即可。
权利要求
1.一种用于学习时序数据的学习设备，该学习设备包括基于时序数据的观测值以自组织方式更新时间序列模式存储网络的学习装置，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
2.根据权利要求1所述的学习设备，其中时间序列模式模型包括具有状态变换的状态变换概率模型和用于逼近函数的函数逼近模型中的一个。
3.根据权利要求1所述的学习设备，其中时间序列模式模型包括隐藏的马尔可夫模型。
4.根据权利要求1所述的学习设备，其中该学习装置包括优胜节点确定单元，用于从形成时间序列模式存储网络的多个节点中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点；以及模型更新单元，用于根据时序数据的观测值更新优胜节点的时间序列模式模型。
5.根据权利要求4所述的学习设备，其中模型更新装置根据时序数据的观测值，也更新优胜节点之外的节点的时间序列模式模型。
6.根据权利要求5所述的学习设备，其中学习装置进一步包括权重确定单元，用于确定节点的权重，该权重表示当节点的时间序列模式模型被更新时，时序数据的观测值对时间序列模式模型的影响度，其中模型更新装置基于时序数据的观测值和权重，更新优胜节点的时间序列模式模型和优胜节点之外的节点的时间序列模式模型。
7.根据权利要求6所述的学习设备，其中权重确定单元响应到优胜节点的距离确定节点的权重。
8.根据权利要求7所述的学习设备，其中权重确定单元响应由与优胜节点的连接关系所确定的距离确定节点的权重。
9.根据权利要求7的学习设备，其中权重确定单元响应基于节点与时序数据的观测值的匹配度所确定的距离，确定节点的权重。
10.根据权利要求7所述的学习设备，其中权重确定单元响应随着距离的增加权重减小的权重和距离的关系，确定节点的权重，以及其中权重和距离的关系是随着时间序列模式模型的更新数目的增加，权重的变化率增加。
11.根据权利要求5所述的学习设备，进一步包括学习数据存储装置，用于存储在学习节点的时间序列模式模型中使用的学习数据，其中，学习装置包括学习数据更新单元，用于混合已经存储于学习数据存储装置中的学习数据和时序数据的观测值，并且用作为新的学习数据的混合结果更新学习数据存储装置的存储内容，以及其中模型更新单元基于新的学习数据，依靠学习节点的时间序列模式模型更新时间序列模式模型。
12.根据权利要求11所述的学习设备，其中学习装置进一步包括权重确定单元，用于确定节点的权重，该权重表示当节点的时间序列模式模型被更新时，时序数据的观测值对时间序列模式模型的影响度，以及其中学习数据更新单元根据节点的权重混合已经存储在学习数据存储装置中的节点的学习数据和时序数据的观测值，以及用作为新的学习数据的混合结果更新学习数据存储装置的存储内容。
13.根据权利要求12所述的学习设备，其中权重确定单元响应随着到优胜节点的距离的增加权重减小的权重和到优胜节点的距离的关系，确定节点的权重，以及其中权重和距离的关系是随着时间序列模式模型的更新数目的增加，权重的变化率增加。
14.一种学习时序数据的学习方法，该学习方法包括基于时序数据的观测值以自组织方式更新时间序列模式存储网络的步骤，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
15.一种用于促使计算机学习时序数据的计算机程序，该计算机程序包括程序代码，用以执行基于时序数据的观测值以自组织方式更新时间序列模式存储网络的步骤，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
16.一种用以识别时序数据的观测值的识别设备，该识别设备包括优胜节点确定装置，用来在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型；以及输出装置，用来输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
17.根据权利要求16所述的识别设备，其中时间序列模式模型包括具有状态变换的状态变换概率模型和用于逼近函数的函数逼近模型中的一个。
18.根据权利要求16所述的识别设备，其中时间序列模式模型包括隐藏的马尔可夫模型。
19.一种识别时序数据的观测值的识别方法，该识别方法包括步骤在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型；以及输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
20.一种用于促使计算机识别时序数据的观测值的计算机程序，该计算机程序包括程序代码，用以执行步骤在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型；以及输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
21.一种用于生成时序数据的生成设备，该生成设备包括节点确定装置，用于在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，其中，时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型；以及生成装置，用来基于由节点确定装置确定的节点的时间序列模式模型生成时序数据。
22.根据权利要求21所述的生成装置，其中时间序列模式模型包括具有状态变换的状态变换概率模型和用于逼近函数的函数逼近模型中的一个。
23.根据权利要求21所述的生成装置，其中时间序列模式模型包括隐藏的马尔可夫模型。
24.一种用于生成时序数据的方法，该方法包括步骤在由多个节点组成的时间序列模式存储网络中，确定由山外围世界输入的信号所表示的节点，其中，时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型；以及基于在节点确定步骤中确定的节点的时间序列模式模型生成时序数据。
25.一种促使计算机生成时序数据的计算机程序，该计算机程序包括程序代码，用以执行步骤在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，其中，时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型；以及基于在节点确定步骤中确定的节点的时间序列模式模型生成时序数据。
26.一种用于学习时序数据的学习设备，该学习设备包括学习装置，用于在一个连接网络中，基于作为输入到要被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络，同时，基于响应输入数据该要被控制的单元输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络，其中该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及更新装置，用于更新第一节点和第二节点之间的连接关系，其中第一节点是来自第一时间序列模式存储网络的节点中的匹配输入数据的观测值的节点，以及其中第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
27.一种学习时序数据的学习方法，该学习方法包括步骤在一个连接网络中，基于作为输入到要被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络，同时，基于响应输入数据该要被控制的单元输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络，其中该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及更新第一节点和第二节点之间的连接关系，其中第一节点是来自第一时间序列模式存储网络的节点中的匹配输入数据的观测值的节点，以及其中第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
28.一种用于促使计算机学习时序数据的计算机程序，该计算机程序包括程序代码，用于执行步骤在一个连接网络中，基于作为输入到要被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络，同时，基于该要被控制的单元响应输入数据而输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络，其中该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及更新第一节点和第二节点之间的连接关系，其中第一节点是来自第一时间序列模式存储网络间的节点中的匹配输入数据的观测值的节点，以及其中第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
29.一种用于响应时序数据，生成其它时序数据的生成设备，该生成设备包括优胜节点确定装置，用于在连接网络中的第一时间序列模式存储网络中确定最适合与时序数据匹配的节点，作为优胜节点，其中连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；生成节点确定装置，用于在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点；以及生成装置，用来基于生成节点的时间序列模式存储网络生成其它时序数据。
30.一种响应时序数据生成其它时序数据的方法，该方法包括步骤在连接网络中的第一时间序列模式存储网络中确定最适合与时序数据匹配的节点，作为优胜节点，其中连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点，基于生成节点的时间序列模式存储网络生成其它时序数据。
31.一种用于促使计算机响应时序数据，生成其它时序数据的计算机程序，该计算机程序包括程序代码，用来执行步骤在连接网络中的第一时间序列模式存储网络中确定最适合与时序数据匹配的节点，作为优胜节点，其中连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点，基于生成节点的时间序列模式存储网络生成其它时序数据。
32.一种用于学习时序数据的学习设备，该学习设备包括基于时序数据的观测值以自组织方式更新时间序列模式存储网络的学习单元，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
33.一种用以识别时序数据的观测值的识别设备，该识别设备包括优胜节点确定单元，在由多个节点组成的时间序列模式存储网络中，确定最适合与时序数据的观测值匹配的节点，作为优胜节点，其中，在时间序列模式存储网络中每个节点具有表示时序数据的时序模式的时间序列模式模型；以及输出单元，输出表示优胜节点的信息，作为时序数据的观测值的识别结果。
34.一种用于生成时序数据的生成设备，该生成设备包括节点确定单元，在由多个节点组成的时间序列模式存储网络中，确定由从外围世界输入的信号所表示的节点，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及生成单元，基于由节点确定装置确定的节点的时间序列模式模型生成时序数据。
35.一种用于学习时序数据的学习设备，该学习设备包括学习单元，在一个连接网络中，基于作为输入到要被控制的预定单元的时序数据的输入数据的观测值，以自组织方式更新第一时间序列模式存储网络，同时，基于该要被控制的单元响应输入数据而输出的输出数据的观测值，以自组织方式更新第二时间序列模式存储网络，其中该连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；以及更新单元，更新第一节点和第二节点之间的连接关系，其中第一节点是来自第一时间序列模式存储网络的节点中的匹配输入数据的观测值的节点，以及其中第二节点是来自第二时间序列模式存储网络的节点中的匹配响应输入数据的输出数据的观测值的节点。
36.一种用于响应时序数据，生成其它时序数据的生成设备，该生成设备包括优胜节点确定单元，在连接网络中的第一时间序列模式存储网络中确定最适合与时序数据匹配的节点，作为优胜节点，其中连接网络由第一和第二时间序列模式存储网络的互连的节点组成，第一和第二时间序列模式存储网络的每一个由多个节点组成，每个节点具有表示时序数据的时序模式的时间序列模式模型；生成节点确定单元，在第二时间序列模式存储网络中确定具有到优胜节点的高连接度的节点，作为生成其它时序数据的生成节点；以及生成单元，基于生成节点的时间序列模式存储网络生成其它时序数据。
全文摘要
本发明公开一种用于学习时序数据的学习设备，包括基于时序数据的观测值以自组织方式更新时间序列模式存储网络的学习单元，该网络包括多个节点，每个节点具有表示时序数据的时序模式的时间序列模式模型。
文档编号G10L15/00GK1808414SQ20051011918
公开日2006年7月26日 申请日期2005年12月6日 优先权日2004年12月6日
发明者南野活树, 青山一美, 下村秀树 申请人:索尼株式会社