专利名称:信息处理装置和信息处理方法
本申请为申请日为1999年12月24日、申请号为99803234.4、发明名称为“信息处理装置、便携设备、电子宠物装置、存储信息处理过程的记录介质和信息处理方法”的分案申请。
本发明涉及信息处理装置、便携设备、电子宠物装置、存储信息处理过程和信息处理方法的记录介质,它们可以应用于各种信息设备,诸如移动电话和个人计算机。通过经由网络交换为产生响应所需要的各种数据和使用声音来编目单词,本发明实现一种更亲密的电子宠物装置、一种具有电子宠物的信息处理装置、一种便携设备和一种存储信息处理过程的记录介质。
对于传统的个人计算机,已经建议所谓的饲养模拟游戏软件。饲养模拟游戏软件是在由计算机提供的虚拟现实空间中饲养一个宠物(亦即电子宠物)的游戏。宠物饲养模拟游戏软件与实际饲养宠物相比允许容易地与电子宠物通信。
顺便说,一个真正的宠物根据其物理条件、其周围环境等执行各种动作。另外,宠物认识主人,执行与对其它人不同的动作。此外,其行为可以通过学习改变。
如果一个电子宠物能够模仿真正宠物的各种行为的话,则可以认为该电子宠物更亲密。
本发明叙述上述问题的一个目的是提供一种更亲密的电子宠物装置、一种具有电子宠物的信息处理装置、一种便携设备、一种存储信息处理过程和信息处理方法的记录介质。
为解决上述问题,本发明应用于一种信息处理装置、便携设备或电子宠物装置,涉及依照预定的识别规则输出声音识别结果的声音识别设备;用以产生情绪参数的情绪产生设备,其至少根据声音识别的结果和时间的流逝而变化,并依照预定的情绪参数产生规则以伪方式指示一种情绪;和响应产生设备,用于依照预定的响应产生规则、根据至少该情绪参数产生对声音识别的结果的响应,还包括下述设备通过连接到一个预定网络执行处理以更新识别规则、情绪参数产生规则和响应产生规则的通信设备;或通过连接到该预定网络执行处理以更新在识别规则、情绪参数产生规则和响应产生规则中需要的数据的通信设备。
另外,本发明应用于一个信息处理装置、便携设备或者电子宠物装置,还包括通过连接到一个预定网络用于获得至少情绪参数或在该情绪参数的产生中需要的数据的通信设备,其中,响应产生设备根据由通信设备获得的情绪参数产生响应或根据从由通信设备获得的数据产生的情绪参数产生响应。
此外,本发明还提供一种存储信息处理过程的记录介质,所述信息处理过程包括通过连接到预定网络执行处理来更新识别规则、情绪参数产生规则或响应产生规则的通信处理;或通过连接到该预定网络执行处理来更新在识别规则、情绪参数产生规则和响应产生规则中需要的数据的通信处理。
此外,本发明还提供一种存储信息处理过程的记录介质,所述信息处理过程包括通过连接到一个预定网络从连接到该网络的同类设备获得至少情绪参数或在产生该情绪参数中所需要的数据的通信处理;和根据由该通信处理获得的情绪参数产生一个响应或根据从由该通信处理获得的数据产生的情绪参数产生一个响应的响应产生处理。
另外,本发明应用于一种信息处理方法,包括通过连接到预定网络执行一种处理来更新识别规则、情绪参数产生规则或响应产生规则的通信处理;或通过连接到该预定网络执行一种处理以更新在识别规则、情绪参数产生规则或响应产生规则中需要的数据的通信处理。
另外,本发明应用于一种信息处理方法,包括通过连接到一个预定网络用于获得至少情绪参数或在产生该情绪参数中需要的数据的通信处理;和根据由该通信处理获得的情绪参数输出一个响应或根据从由该通信处理获得的数据产生的情绪参数输出一个响应的响应产生处理。
此外,本发明应用于一个信息处理装置、便携设备或者电子宠物装置,包括一个能够根据声音识别的结果、通过在编目操作方式下至少编目作为声音识别结果获得的一个词到数据库中而通过声音改变该数据库的编目设备。
另外,本发明还提供一种存储信息处理过程的记录介质,所述信息处理过程包括能够根据声音识别的结果、通过在编目操作方式下至少编目作为声音识别结果获得的一个词到数据库中而通过声音改变该数据库的编目处理。
另外,本发明应用于一种信息处理方法,包括能够根据声音识别的结果,通过在编目操作方式下至少编目作为声音识别结果获得的一个词到数据库中而通过声音改变该数据库的编目处理。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明具有用户验证设备,用于根据声音验证用户,其中,响应产生设备根据用户和根据由该用户验证设备输出的验证结果改变响应。
另外,本发明还提供一种存储信息处理过程的记录介质,所述信息处理过程包括根据声音验证用户的验证处理和根据用户和根据由该用户验证处理输出的验证结果改变响应的响应产生处理。
另外,作为对一种信息处理方法的应用,本发明包括根据声音验证用户的验证处理和根据用户以及根据由该用户验证处理输出的验证结果改变响应的响应产生处理。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明具有词/短语分类设备,用于标识在产生对声音识别的结果的响应中由声音表示的输入的类型,其中,建立一个响应产生规则,作为按照声音输入的类型和根据按照声音输入的分类的响应的分类为产生预定响应类型之外的响应的规则。
另外,本发明还提供一种根据声音输入存储信息处理过程的记录介质,该信息处理过程规定词/短语分类处理,用以标识在产生对声音识别的结果的响应中由声音表示的输入的类型,以建立一个响应产生规则,作为按照声音输入的类型和根据按照声音输入的分类的响应的分类为产生预定响应类型之外的响应的规则。
另外,作为对一种信息处理方法的应用,本发明包括信息处理过程,该信息处理过程用于识别声音输入的类型和根据预定的响应产生规则产生对声音识别结果的响应,该规则是根据输入类型和对该输入的响应的类别产生预定响应类型之外的响应的规则。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明具有一个历史记录设备,用于记录至少一个声音识别结果和相应于声音识别结果的情绪参数的历史,其中,相应于声音识别结果的情绪参数的改变随该历史变化。
另外,本发明还提供一种存储信息处理过程的记录介质,该信息处理过程规定历史记录处理,用以记录至少声音识别结果和相应于声音识别结果的情绪参数的历史,以按照该历史改变相应于一个声音识别结果的情绪参数中的变化。
另外,作为对一种信息处理方法的应用,本发明包括历史记录处理,用以记录至少声音识别结果和相应于声音识别结果的情绪参数的历史,以按照该历史改变相应于一个声音识别结果的情绪参数中的变化。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明涉及依照预定的识别规则处理声音和输出声音识别结果的声音识别设备;用以产生情绪参数的情绪产生设备,所述情绪参数依照预定的情绪参数产生规则伪方式指示情绪,并至少根据声音识别的结果变化和随时间的流逝而变化;和一种响应产生设备,用于依照预定的响应产生规则根据至少情绪参数产生对声音识别的结果的响应,其中包括通过连接到一个预定网络执行处理以更新识别规则、情绪参数产生规则和响应产生规则的通信设备;或通过连接到该预定网络执行处理以更新在识别规则、情绪参数产生规则和响应产生规则中需要的数据的通信设备。
相应地,该通信设备能够输出为产生响应所需要的各种数据。这样,连接到该网络的同类设备在该信息处理装置、便携设备或电子宠物装置中能够产生几乎对一个声音输入的响应同样的响应。其结果,一个电子宠物可以被视为好像该电子宠物被带出到连接到该网络的外部设备,此外,也可以很容易认识该电子宠物,好像该电子宠物在实际训练中是一个真的宠物。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明包括一个通信设备,通过连接到一个预定网络用于获取至少一个情绪参数或在产生一个情绪参数时需要的数据,其中,响应产生设备依赖由该通信设备获得的情绪参数产生响应或依赖从由该通信设备获得的数据产生的情绪参数产生响应。这样,响应产生设备能够产生和连接到该网络的同类设备中对一个声音输入的响应几乎同样的响应。其结果,一个电子宠物可以被视为好像该电子宠物被从连接到该网络的同类设备中带出,此外,也可以很容易认识该电子宠物,好像该电子宠物在实际训练中是一个真的宠物。另外,如果需要的话可以增大知识量,通常这是通过增大电子宠物可以理解的词的词汇表实现。
此外,本发明还提供存储信息处理过程的记录介质,该过程规定通过连接到一个预定网络执行处理以更新识别规则、情绪参数产生规则或响应产生规则的通信处理;或通过连接到该预定网络执行处理以更新在识别规则、情绪参数产生规则或响应产生规则中需要的数据的通信处理。
这样,连接到网络的同一类型的设备能够产生和在执行存储在该记录介质中的信息处理过程的装置中对声音输入的响应几乎一样的响应。其结果,一个电子宠物可以被视为好像该电子宠物被带出到外部设备,此外,也可以很容易认识该电子宠物,好像该电子宠物在实际训练过程中是一个真的宠物。
此外,本发明还提供存储信息处理过程的记录介质,该过程规定通过连接到一个预定网络获得至少一个情绪参数或在产生一个情绪参数中需要的数据的通信处理;和根据由该通信处理获得的情绪参数产生响应或根据从由该通信处理获得的数据产生的情绪参数产生响应的响应产生处理。
这样,执行存储在该记录介质中的信息处理过程的装置能够产生和在连接到该网络的同类设备中对声音输入响应几乎同样的响应。其结果,一个电子宠物可以被视为好像该电子宠物被从连接到该网络的同类设备中带出,此外,也可以很容易认识该电子宠物,好像该电子宠物在实际训练过程中是一个真的宠物。另外,如果需要的话可以增大知识量,通常通过增大电子宠物可以理解的词的词汇表实现。
另外,作为对一种信息处理方法的应用,本发明包括通过连接到一个预定网络执行处理以更新识别规则、情绪参数产生规则或响应产生规则的通信处理;或通过连接到一个预定网络执行处理以更新为识别规则、情绪参数产生规则或响应产生规则所需要的数据的通信处理。
这样,连接到该网络的同一类型的设备能够产生和在执行该信息处理过程的装置中对声音输入的响应几乎一样的响应。其结果,一个电子宠物可以被视为好像该电子宠物被带出到外部设备,此外,也可以很容易认识该电子宠物,好像该电子宠物在实际训练过程中是一个真的宠物。
另外,作为对一种信息处理方法的应用,本发明包括通过连接到一个预定网络获得至少一个情绪参数或在产生一个情绪参数中需要的数据的通信处理;和根据由该通信处理获得的情绪参数产生响应或根据从由该通信处理获得的数据产生的情绪参数产生响应的响应产生处理。
这样,执行该信息处理方法的装置能够产生和在连接到该网络的同类设备中对声音输入响应几乎同样的响应。其结果,一个电子宠物可以被视为好像该电子宠物被从连接到该网络的设备中带出,此外,也可以很容易认识该电子宠物,好像该电子宠物在实际训练过程中是一个真的宠物。另外,如果需要的话可以增大知识量,通常通过增大电子宠物可以理解的词的词汇表实现。
此外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明具有一个编目设备,能够在编目操作方式下依照声音输入根据声音识别结果通过至少编目作为声音识别结果获得的一个词到数据库而改变该数据库。这样,可以容易地通过声音输入增大可以由电子宠物理解的词的词汇表。其结果,可以很容易认识该电子宠物,好像该电子宠物在实际训练过程中是一个真的宠物。
此外,本发明还提供一种存储信息处理过程的记录介质,该过程规定编目处理,能够在编目操作方式下依照声音输入根据声音识别结果通过至少编目作为声音识别结果获得的一个词到数据库而改变该数据库。
这样,可以容易地通过声音输入增大在执行存储在该记录介质中的信息处理过程的装置中可以由电子宠物理解的词的词汇表。其结果,可以很容易认识该电子宠物,好像该电子宠物在实际训练过程中是一个真的宠物。
另外,作为对一种信息处理方法的应用,本发明包括编目处理,能够在编目操作方式下依照声音输入根据声音识别结果通过至少编目作为声音识别结果获得的一个词到数据库而改变该数据库。通过执行该信息处理方法,这样可以容易地通过声音输入增大可以由电子宠物理解的词的词汇表。其结果,可以很容易认识该电子宠物,好像该电子宠物在实际训练过程中是一个真的宠物。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明具有一个证实用户的用户证实设备,其中,响应产生设备根据用户和依赖由用户证实设备输出的证实结果改变产生的响应。这样,可以使电子宠物对主人的响应例如不同于对非主人的响应。其结果,可以使电子宠物很容易被认识,而其行为好像该电子宠物是一个真的宠物。
此外,本发明还提供一种存储信息处理过程的记录介质,该过程规定证实用户的用户证实处理和根据用户和依赖由该用户证实处理输出的证实结果改变产生的响应的响应产生处理。这样,可以使电子宠物对主人的响应例如不同于对非主人的响应。其结果,可以使电子宠物很容易被认识,而其行为好像该电子宠物是一个真的宠物。
另外,作为对一种信息处理方法的应用,本发明包括证实用户的用户证实处理和根据用户和依赖由该用户证实处理输出的证实结果改变产生的响应的响应产生处理。这样,可以使电子宠物对主人的响应例如不同于对非主人的响应。其结果,可以使电子宠物很容易被认识,而其行为好像该电子宠物是一个真的宠物。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明具有词/短语分类设备,用于在产生对声音识别结果的响应中标识由声音表示的输入的类型,其中,建立一个响应产生规则作为根据声音输入的类型和根据按照声音输入的分类对响应的分类来产生预定响应类型之外的响应的规则。这样可以防止电子宠物输出不自然响应,诸如响应一个询问产生的问题。其结果,可以使该电子宠物的响应自然而生动。另外,可以更容易认识该电子宠物。
另外,本发明还提供一种存储信息处理过程的记录介质,该过程规定词/短语分类处理,以便在产生对声音识别处理结果的响应中标识由声音表示的输入的类型,以建立一个响应产生规则作为根据声音输入的类型和根据按照声音输入的分类对响应的分类来产生预定响应类型之外的响应的规则。这样可以防止电子宠物输出不自然响应,诸如响应一个询问产生的问题。其结果,可以使该电子宠物的响应自然而生动。另外,可以更容易认识该电子宠物。
另外,作为对一种信息处理方法的应用,本发明包括这样的信息处理过程,它包括识别声音输入的类型和根据预定的响应产生规则产生对声音识别结果的响应,所述预定响应产生规则是根据输入类型和对该输入的响应的分类产生在预定响应类型之外的响应的规则。这样可以防止电子宠物输出不自然响应,诸如响应一个询问产生的问题。其结果,可以使该电子宠物的响应自然而生动。另外,可以更容易认识该电子宠物。
另外,作为对一个信息处理装置、便携设备或电子宠物装置的应用,本发明具有一个历史记录设备,用于记录至少声音识别结果和相应于声音识别结果的情绪参数的历史,其中,相应于声音识别结果的情绪参数的变化随该历史改变。这样可以对例如经常听到的声音产生充满亲密、熟悉等情绪的电子宠物的响应。其结果,可以使该电子宠物的响应自然而生动。另外,可以更容易认识该电子宠物。
另外,本发明还提供一种存储信息处理过程的记录介质,该过程规定历史记录处理,以便记录至少声音识别结果和相应于声音识别结果的情绪参数的历史,以根据该历史改变相应于声音识别结果的情绪参数的变化。这样可以对例如经常听到的声音产生一个充满亲密、熟悉等情绪的电子宠物的响应。其结果,可以使该电子宠物的响应自然而生动。另外,可以更容易认识该电子宠物。
另外,作为对一种信息处理方法的应用,本发明包括历史记录处理,以便记录至少声音识别结果和相应于声音识别结果的情绪参数的历史,以根据该历史改变相应于声音识别结果的情绪参数的变化。这样可以对例如经常听到的声音产生一个充满亲密、熟悉等情绪的电子宠物的响应。其结果,可以使该电子宠物的响应自然而生动。另外,可以使该电子宠物更加熟悉。
图1是一个功能方框图,表示由本发明的一个实施例实现的电子宠物装置。
图2表示图1所示的电子宠物装置的前视图。
图3是表示图1的电子宠物装置的硬件方框图。
图4表示一个说明物理条件的数据表。
图5表示一个说明情绪的数据表。
图6表示一个字符数据表。
图7表示一个说明情绪变化的数据表。
图8表示以模式数据说明的规则。
图9表示每一个包含声音数据的文件的表。
图10表示每一个包含图形数据的文件的表。
图11表示说明连接电子宠物装置到一个网络的连接处理过程的流程图。
图12是表示输出到网络的数据的格式的图。
图13是表示电子宠物装置编目识别数据详细操作的功能方框图。
图14是表示接受声音识别处理的声音输入的语法的图。
图15表示说明编目识别数据的处理过程的流程图。
图16是表示电子宠物装置证实用户的详细操作的功能方框图。
图17表示模式数据规则。
图18表示为了解用户爱好以便在后面用于证实该用户的典型对话。
图19表示通过使用在图18所示对话期间获得的爱好证实用户的典型对话。
图20是表示电子宠物装置分类词或短语的详细操作的功能方框图。
图21表示为产生对各种类别的响应的模式数据的规则,所述类别每一个作为处理结果而获得,以分类在图20所示词或短语。
图22表示一个典型的对话历史。
图23表示另一个典型的对话历史。
图24是表示电子宠物装置执行情绪控制详细的功能方框图。
图25是为包含在用户声音输入中的每一个不同的关键词的情绪(字符数据)变化表。
图26是总结在图25中所示情绪(字符数据)变化的表。
图27是总结改变了的情绪(字符数据)变化的表。
图28是一个硬件方框图,表示由本发明的另一实施例实现的电子宠物装置。
图29是表示一个便携电话的前视图。
实现本发明的最佳方式1.第一实施例1-1.第一实施例的总体结构图2是表示本发明第一实施例实现的一个电子宠物装置1的正视图。如图所示,电子宠物装置1包括能向上拉伸的天线2和位于前表面上部的液晶显示板3。电子宠物装置1使用的液晶显示板3显示电子宠物的图形和由该电子宠物发布的消息。在液晶显示板3下,电子宠物装置1包括确认操作器4A,取消操作器4B和光标操作器5。这些操作器用于变换操作方式和实现其它目的。
电子宠物装置1进一步包括扬声器6和麦克风7,它们分别位于确认和取消操作器4A和4B的下方。通过扬声器6和麦克风7可以和电子宠物进行对话。另外,电子宠物装置1的后表面有插座。该插座允许IC卡8安装在电子宠物装置1上。
图3是表示电子宠物装置1的硬件的方框图。如图所示,电子宠物装置1包括模数(A/D)变换电路10,用于把来自麦克风7的音频模拟信号经由图中未显示出的放大电路变换成数字音频数据DA。模数变换电路10输出数字音频数据DA到中央处理单元(CPU)11。以这种方式,电子宠物装置1能够通过中央处理单元11处理用户的声音输入。
另一方面,数模(D/A)变换电路12把中央处理单元11产生的数字音频数据DB变换成模拟音频信号,输出到扬声器6。以这种方式,用户能够检验电子宠物装置1产生的电子宠物的声音来表示由该电子宠物产生的响应。
在中央处理单元11的控制下,监视器接口(监视器I/F)13驱动液晶显示板3来根据经由总线来自中央处理单元11的图形数据DV在液晶显示板3上显示电子宠物的图画。
按键接口(按键I/F)14 检测用户在操作器4A,4B,或5上执行的操作,给中央处理单元11提供检测信号。只读存储器(ROM)15用于存储信息,诸如由中央处理单元11执行的处理程序和为分析通过麦克风7获得的声音需要的各种数据。中央处理单元11从只读存储器15读出信息以便也在中央处理单元11执行的控制下输出。随机存取存储器(RAM)16被用作中央处理单元11的工作区。随机存取存储器16用于临时存储为中央处理单元11执行的处理需要的各种数据。
在中央处理单元11的控制下,网络连接单元17通过电话线把电子宠物装置1连接到预定的网络18。电子宠物装置1与网络18交换各种数据DT,并在需要时,通过使用交换的数据更新信息,例如随机存取存储器16的内容。详细说,一旦需要,电子宠物装置1能够从网络18获得训练和养育电子宠物需要的各种数据。另外,随机存取存储器16存储的数据能经由网络18传送到希望的终端。结果,通过输出数据到连接到网络18的终端电子宠物好象被带到不同环境。另一方面,通过使用本电子宠物装置能训练连接到网络18的另一装置的电子宠物。
IC卡8是能插和拔的外部记录设备。如果需要,IC卡存储的数据用以更新信息,例如随机存取存储器16的内容,或随机存取存储器16存储的数据能被传送到IC卡8。以这种方式,电子宠物装置1能够通过IC卡8与其他装置交换各种数据,使得能够获得训练和养育电子宠物需要的各种数据。另外,电子宠物好象被带到不同环境,另一方面,使用本电子宠物装置1能训练另一装置的电子宠物。
图1是按照功能块表示电子宠物装置1的基本结构的方框图。注意图1中每一矩形功能块代表要由中央处理单元11执行而存储在只读存储器15中的处理程序。另一方面,作为磁盘符号绘制的功能块代表存储在只读存储器15,随机存取存储器16或IC卡8中的数据。
电子宠物装置1使用的声音识别模块11A依照预定识别规则执行对音频数据DA的声音识别处理,产生声音识别结果作为输出。详细说,声音识别模块11A根据HMM(隐式马尔科夫模型)方法通过音素定界由顺序接收的音频数据DA表示的声音。声音识别模块11A为一系列这种音素参照识别数据16A。声音识别模块11A根据参照识别数据16A的结果产生音频数据DA的词,事先编目的短语的词,和在短语的场合,短语的词或表示该短语的文本数据作为识别结果。识别数据16A是关联词和短语的文本数据与由HMM方法输出的一系列音素的数据库。也就是说,识别数据16A是用于存储每一个由文本数据和音素组成的数据对的数据库。这样的数据库允许电子宠物装置1把用户在麦克风7前说的“好孩子”的声音转换成代表“好孩子”文字的一个字符阵列。结果,声音输入就转换成一个字符阵列。
定时器11B在预定时间间隔调用组件,例如物理条件变化模块11C和情绪变化模块11D。
当被定时器11B激活后,物理条件变化模块11C依照声音识别的结果更新物理--条件数据16B。物理--条件数据16B包括表示电子宠物当前物理条件的参数。应该注意,在本实施例的场合,物理--条件数据16B由5个参数组成,如图4分别表示的“疲劳”,“饥饿”,“饥渴”,“生病”,“瞌睡”。参数值越大,电子宠物的物理条件里的参数份额越大。因此图4所表示的典型值指出,目前,电子宠物是极度疲累和非常饥饿的。
如前所述,物理条件变化模块11C被定时器11B激活后依照声音识别的结果更新物理--条件数据16B。例如,“饥饿”,“饥渴”和“瞌睡”参数根据自然规则逐渐增加,和真实宠物的典型养育的过程中看到的一样。结果随着时光的流逝,电子宠物越来越饿。依照声音识别的结果更新物理--条件数据16B操作的另一例子是当声音识别的结果指示给电子宠物喂食时减少“饥饿”参数的操作。依照声音识别的结果更新物理--条件数据16B操作的另一例子是当声音识别的结果指示给电子宠物喝水时减少“饥渴”参数的操作。依照声音识别的结果更新物理--条件数据16B操作的进一步例子是当声音识别的结果指示主人与电子宠物玩耍时逐渐增加“疲劳”参数的操作。依照声音识别的结果更新物理--条件数据16B操作的另外进一步例子是当声音识别的结果指示主人让电子宠物睡觉时与定时器同步逐渐减少“瞌睡”参数的操作。
另一方面,情绪变化模块11D被定时器11B激活后依照声音识别的结果更新当前情绪数据16C。当前情绪数据16C包括以伪方式表示当前电子宠物的不同情绪的变量。这样的变量也称为伪情绪参数。应该注意,在本实施例的场合有6种伪情绪参数,如图5分别表示的“生气”,“难过”,“高兴”,“害怕”,“惊讶”和“憎恨”情绪。伪情绪参数值越大,该参数表示的情绪越高。图5所表示的伪情绪参数的一组典型值指出,目前,电子宠物很高兴,但是生气。
如上所述,情绪变化模块11D根据自然规则更新情绪数据16C,和真实宠物的典型养育的过程中看到的一样。也就是说,当情绪变化模块11D被定时器11B激活后更新情绪数据16C时,这6个变量,即“生气”,“难过”,“高兴”,“害怕”,“惊讶”和“憎恨”情绪参数一一逐渐更新,以便接近预定的参考值。因此,在图5所示的例子中,“生气”,“难过”和其他情绪逐渐被设定。
另一方面,当情绪变化模块11D依照声音识别的结果更新情绪数据16C时,检索字符数据16D用以查找由声音识别的结果指示的信息,然后该信息用作更新情绪数据16C的基础。
如图6所示,字符数据16D包含在情绪数据16C中的变化,其由包含在声音识别结果中的短语(或词)分类。也就是说,通过使用声音识别的结果中包括的短语作为关键词,可以检索字符数据16D来查找在情绪数据16C中对该短语(或词)适合的变化。例如假定,用户对电子宠物说“好”。在这种场合,“生气”,“难过”,“高兴”,“害怕”,“惊讶”和“憎恨”情绪参数的变化量如图6所示分别为-1,+2,+20,-5,+5和-1。换句话说,情绪数据16C的变化-1,+2,+20,-5,+5和-1赋值于单词“好”。
这样,例如当用户说“好孩子”,情绪变化模块11D更新图5所示的情绪数据16C为图7所示的情绪数据16C。以这种方式,情绪变化模块11D作为产生伪情绪参数的情绪产生设备,每一伪情绪参数代表伪方式中的一种情绪,并根据预定情绪参数产生规则至少依据声音识别结果更新该情绪数据。另外,伪情绪参数还随时间的流逝而变化。
响应句产生模块11E依照预定的响应产生规则根据物理--条件数据16B和情绪数据16C产生对声音识别的结果的响应。模式数据16E是为产生这种响应的一组规则。如图8所示,每一规则描述对输入的一个关键短语的响应,它包括声音识别结果获得的词。由一个规则描述的响应由关键短语决定,它还依照情绪数据16C和物理--条件数据16B变化。应该注意,为了解释简单,图8所表示的只有最低要求规则。实际规则规定的条件(包括后面要说明的属性)不是图8所表示的条件。图8所表示的规则2是仅基于情绪数据16C的规则的例子。应该注意,一个规则可以基于情绪数据16C和物理--条件数据16B的组合。
图8所表示的规则1规定对输入的短语“我爱你”或“我喜欢你”的响应短语。根据规则1,如果输入的短语是经证实的用户的声音,响应短语“我也爱你”或“哇,可是我是男的”随机输出。相反,如果输入的短语不是经证实的用户的声音,响应短语“一个陌生人”或“你是谁?”随机输出。
图8所表示的规则2规定对输入短语“好天气”或“你好”的响应短语。如上所述,响应短语以情绪数据中的“生气”,“难过”,“高兴”,“害怕”,“惊讶”和“憎恨”情绪为基础。为更加具体,如果在“生气”,“难过”,“高兴”,“害怕”,“惊讶”和“憎恨”情绪参数中各自的最大值超过某预定值,则将选择响应短语“闭嘴”,“什么?”“你好”,“我很惊讶”,“嘿”,或“你在叫我?”作为输出。
图8所表示的规则1中的陈述‘证实的(A);(B)’意味着,如果后面要叙述的用户证实或类似的结果被设定为布尔值“真”,则选择短语(A),相反,如果用户证实或类似的结果未设定为“真”,则选择短语(B)。陈述“随机(“A”,“B”)”意味着随机选择短语“A”或者“B”。
随便说,图7所表示的典型情绪数据16C中“高兴”情绪参数在变量中有最大值。因此,根据规则2,为高兴情绪选择词“你好”。
当响应句产生模块11E如上所述根据情绪数据16C产生响应时,依赖于输入的关键短语,响应句产生模块11E也根据前面提到的物理--条件数据16B或情绪数据16C和物理--条件数据16B的组合产生响应。通过这种响应句产生模块11E,当电子宠物在不满足的物理条件下,电子宠物装置1于是产生对应该条件的响应。
响应句产生模块11E在对话历史16F里记录对这种声音识别结果产生的响应。如果需要,响应句产生模块11E通过参考对话历16F产生响应。以这种方式,可以避免电子宠物与用户之间的不自然对话。另外,响应句产生模块11E还通过参考知识库16G产生响应。结果,电子宠物装置1能够依赖用户来变换响应,通常通过执行对用户证实的处理来识别该用户。
声音合成模块11F检索声音数据16H,查找相应于由响应句产生模块11E输出的响应的声音数据DB,输出该声音数据DB作为检索结果。如图9所示,声音数据16H是每一个对应于一个响应的声音文件的集合。例如,当输出响应“你好”时,选择命名为‘voiceO005.wav’的声音文件,并输出该声音文件记录的声音数据DB。
图形合成模块11G检索图形数据16I,查找相应于响应句产生模块11E输出的响应的图形数据DV,输出该图形数据DV作为检索结果。如图10所示,图形数据16I是每一个对应于一个响应的图形-数据文件的集合。例如,当输出响应“你好”时,选择命名为‘figO005.bmp’的图形-数据文件,并输出该图形-数据文件记录的图形数据DV。1-2.对网络的连接中央处理单元11执行图11所示处理过程来通过网络连接单元17连接电子宠物装置1到网络18。连接到网络18的电子宠物装置1能够经由网络18传送物理--条件数据16B,情绪数据16C和对话历史16F到希望的设备。接收来自电子宠物装置1的这种数据的设备能够重新产生电子宠物装置1的电子宠物。以这种方式,电子宠物能被带到不同环境。
相反,中央处理单元11能够从网络18获取物理--条件数据16B,情绪数据16C和对话历史16F,允许把在另一电子宠物装置中饲养的电子宠物带出到本电子宠物装置1。在这种场合,电子宠物装置1的功能块能够根据本地的物理--条件数据16B,本地的情绪数据16C和本地的对话历史16F执行处理,以模仿它自己饲养的电子宠物,同时根据经由网络18从另一电子装置引进的物理--条件数据16B,情绪数据16C和对话历史16F执行处理,以模仿在其它电子装置饲养的另一电子宠物以便产生响应,好象另一电子宠物正在访问本电子宠物装置1。应该注意,在图1所表示的功能块里,没有显示基于经由网络18从其它电子装置获得的物理--条件数据16B,情绪数据16C和对话历史16F的处理中的数据流。
电子宠物装置1还能够从网络18获取识别数据16A,模式数据16E,知识库16G,声音数据16H和图形数据16I,以增加能被所谓的电子宠物识别的口述单词的词汇的数量和增加响应类型的数量。结果,电子宠物装置1能够饲养和教育电子宠物。
如图11所示,该过程从步骤SP1开始。响应连接请求,过程流前进到步骤SP2,在此中央处理单元11接受该请求。应该注意,定时器11B在固定的时间间隔定期产生这种连接请求。另外,用户能通过操作操作器来发出连接请求。此外,还可以响应来自网络18进来的呼叫建立连接。
然后过程流前进到步骤SP3,这里中央处理单元11通过执行预定的线连接处理来建立通讯。然后过程流进行到步骤SP4,在此中央处理单元11根据请求与通讯伙伴连接的实质交换各种数据。接着,过程流进行到步骤SP5,这里中央处理单元11切断通讯。最后,过程流进行到步骤SP6,这里中央处理单元11结束处理过程。
图12是表示所传送的数据的格式的图。电子宠物装置1经由包含在网络连接单元17中的接口和包含在通讯伙伴里的接口按照该格式与通讯伙伴交换数据。如图所示,每一项数据DT有一个头标,用于描述诸如数据DT的地址和类型的信息。数据DT一般包括模式数据16E,识别数据16A,声音数据16H,图形数据16I等等,它们可按需顺序安排。
1-3.编目识别数据图13是表示电子宠物装置1对识别数据16A的编目的详细操作的功能方框图。在该功能方框图里,编目模块11I编目声音识别的结果作为识别数据16A。以这种方式,可以不用经由输入单元(如键盘)键入单词而口头教电子宠物各种单词。
为实现上述目的,声音识别模块11A采用HMM方法处理声音数据DA,输出一系列音素作为声音识别的结果。详细说,分析日语表达的声音以识别由标识符一一指示的音素。这样,日语发音可以表示为标识符阵列。这些标识符列表如下‘b’,‘d’,‘g’,‘p’,‘t’,‘k’,‘m’,‘n’,‘r’,‘z’,‘ch’,‘ts’,‘y’,‘w’,‘h’,‘i’,‘e’,‘a’,‘o’,‘u’,‘N’,‘ei’,‘ou’,‘s’,‘sh’,‘xy’,‘j’,‘f’和‘sil’。音素‘sil’不出声。
例如,当用户说“mikan”(在英语中是“橘子”,)作为输入时,声音识别模块11A识别声音输入作为由标识符‘sil mika Nsil’表示的一系列音素。声音识别模块11A顺序处理也是顺序给其提供的声音数据DA,来标识它的音素。然后根据图14所示的处理识别的结果,以检测由一系列标识符所表示的一系列音素。应该注意,图14所表示的语法是指示上面所列的所有音素允许连接的语法。
在正常操作方式下,声音识别模块11A检索识别数据16A,查找包含一个词或短语中的文本数据,该词或短语作为相应于以这种方式检测到的标识符的阵列的检索结果,输出该文本数据作为识别结果。这样,当在本实施例里从用户接收到在识别数据16A中没有编目的词作为声音输入时,将难以产生文本数据,因此难于对该用户给出的声音输入给出正确的响应。
为解决这个问题,本实施例实现的电子宠物装置1通过网络连接单元17连接到网络18,能够从网络18下载识别数据16A。以这种方式,下载的识别数据16A被传授于电子宠物,使得该电子宠物能够对各种话语给出应答。
另外,在本实施例里,当用户选择编目方式时,中央处理单元11执行图15所表示的处理过程。在该处理过程的执行期间,要求用户操作如下所述的确认操作器4A和取消操作器4B。执行该过程为编目用户说的词到识别数据16A。
如图15所示,该过程从步骤SP11开始。当操作预定的操作器时,过程流前进到步骤SP12以进入编目模式,在该模式里,中央处理单元11执行图形合成模块11G,在液晶显示板3上显示预定消息。该消息要求用户说一个词。
然后,过程流进行到步骤SP14,这里中央处理单元11对顺序接收的声音数据DA执行声音识别,顺序标识数据DA作为一系列音素。当用户操作预定的操作器结束声音输入时,过程流进行到步骤SP15。
在步骤SP15,中央处理单元11根据作为声音识别的结果获得的一系列音素执行声音合成模块11F以重新产生从用户接收的声音。以这种方式,可以把声音识别的结果提交给用户。假定用户说单词“mikan”。在这一场合,中央处理单元11产生‘sil mika N sil’音素阵列作为声音识别的结果,声音合成模块11F产生声音,说“这是橘子吗?”。然后,过程流进行到步骤SP16,这里中央处理单元11接收用户通过操作确认操作器4A或取消操作器4B键入的信号来响应产生的查询声音。
然后,过程流进行到步骤SP17,这里中央处理单元11判断用户操作的是确认操作器4A还是取消操作器4B。如果用户操作的是取消操作器4B,则中央处理单元11确定提交给用户的声音识别的结果被否决。在这种场合,过程流返回到步骤SP13,再一次接收声音输入。相反,如果用户操作的是确认操作器4A,则中央处理单元11确定,提交给用户的声音识别的结果被接受。在这种场合,过程流进行到步骤SP18。
在步骤SP18,中央处理单元11再一次执行图形合成模块11G,在液晶显示板3上显示预定消息。该消息要求用户说出先前说的词的一个属性作为声音输入。属性是表示由词标识的物体的性质的关键词。属性用于分类物体。比如,在词“mikan”的场合,用户说的属性“水果”决定词“mikan”的类别。
然后,过程流进行到步骤SP19,这里中央处理单元11对顺序接收的声音数据DA执行声音识别,顺序标识数据DA作为一系列音素。当用户操作预定的操作器以结束声音输入时,过程流进行到步骤SP20。
在步骤SP20,中央处理单元11根据作为声音识别的结果获得的一系列音素执行声音合成模块11F以重新产生从用户接收的声音。以这种方式,可以把对属性执行的声音识别的结果提交给用户。假定用户说词“mikan”后作为属性说“水果”。在这种场合,声音合成模块11F产生声音说“这是水果吗?”。然后,过程流进行到步骤SP21,这里中央处理单元11接收用户通过操作确认操作器4A或取消操作器4B键入的信号来响应产生的查询声音。
然后,过程流进行到步骤SP22,这里中央处理单元11判断用户操作的是确认操作器4A还是取消操作器4B。如果用户操作的是取消操作器4B,则中央处理单元11确定,提交给用户的声音识别的结果被否决。在这一场合,过程流返回到步骤SP18,再一次接收声音输入。相反,如果用户操作的是确认操作器4A,则中央处理单元11确定,提交给用户的声音识别的结果被接受。在这一场合,过程流进行到步骤SP23。
在步骤SP23,中央处理单元11编目单词“mikan”到识别数据16A,并把属性“水果”编目到知识库16G。过程流进行到步骤SP24以结束整个处理。
知识库16G是记录的属性,诸如单词水果和单词喝水,该属性表示在识别数据16A中编目的单词和短语的类别。模式数据16E也是记录的属性,它使中央处理单元11能够问用户例如下面的问题“你喜欢什么食物?”。为响应这一问题,假定用户回答“我喜欢mikan(橘子)。”然后,为响应用户给出的回答,中央处理单元11例如评论“我不喜欢mikan(橘子)。”除属性之外,知识库16G还包括电子宠物装置1的管理者或主人的名字和爱好以及诸如从网络18接收的天气预报等各种数据。如果需要,可以在与用户的对话里使用这些数据。例如,当用户问一个问题“今天的天气预报是什么?”,电子宠物装置1能够依照预定规则使用单词“今天”和“天气”作为关键短语给出回答“晴天”。
在上面提到的在电子宠物装置1里编目声音输入到识别数据16A的操作里,必须验证为声音输入的正确文本尚未存在于识别数据内。在上面的例子里,正确文字是描述单词“橘子”的文字。作为声音识别的结果获得的文本数据是字母标记阵列或标识符阵列,其表示一系列表示用户作为声音输入而输入的单词或短语的音素。在上面的例子里,字母标记阵列是‘sil mika Nsil’,描述要被编目到识别数据16A的单词或短语。如果需要,从网络18下载的文本也可以被编目到识别数据16A。通过被编目到识别数据16A的这种文本,可以从一个记录文本产生响应,而代替相应于作为声音识别的结果获得的一系列音素的标识符。
在电子宠物装置1里,以和从网络18下载的词或短语的识别数据16A和预先编目的词或短语的识别数据16A同样的方式处理作为声音输入的识别结果而编目的词或短语的识别数据16A,允许与用户进行对话。
1-4用户证实图16是表示电子宠物装置1证实用户的详细操作的功能方框图。在该功能方框图中,证实数据16K包括预先记录的用户名。应该注意,用户名作为声音识别的结果记录。代替作为声音识别的结果来获取用户名,通常当购买电子宠物装置1时,在初始设定处理中经由外部装置的键盘键入用户名。
响应句产生模块11E依照图17所示模式数据16E中的规则1响应关键短语“Gao”返回例如回答“你真的是主人吗?”。
依照规则2,声音证实模块11J设定布尔值‘证实的’为“真”(在规则2中描述为‘set authenticated(TRUE)’),如果满足下面的两个条件定义为用户名和预先编目的关键短语‘$USER’作为声音输入键的话;响应句产生模块11E紧接声音输入‘$USER’作为myLastUtter之前,立即产生包含短语“你真的是主人吗?”的响应。
应该注意,上面引用的函数set_authenticated(TRUE)设定布尔值‘证实的’为真。
详细说,声音证实模块11J检索证实数据16K来查找匹配声音输入识别结果的用户名。若在检索中找到该用户名,则输入声音输入的人就被证实为该用户,并且将证实状态16J设定为证实的用户状态。相反,若在检索中没有找到该用户名,则输入声音输入的人就不能被证实为该用户,并且将证实状态16J设定为未证实的用户状态。
如果用户被证实,则响应句产生模块11E依照规则2产生响应句“是,你是主人”。
如上所述,电子宠物装置1能够根据声音输入证实用户,并给主人一个响应,其不同于给不是图8所示的主人的某用户的响应。总之,该电子宠物对其主人通常显示出一种特殊的表现,就象真的宠物一样。
如上所述,也可以通过与由预先编目的词比较声音输入来证实用户。
除已被证实的用户名之外,声音识别模块11J还可请求响应句产生模块11E输出响应,在与已被证实为主人的用户的对话里询问用户要记录在知识库16G里他的喜好和嗜好,如图18所示。在图中所举的例子里,进行询问的响应说“你喜爱的食物是什么,主人?”,这问题问及已被证实为主人的发声者喜爱的食物。
为响应这一询问,用户说“花生”,如图18所示。单词花生在声音识别模块11J里接受声音识别处理,并以和图17所示的规则2同样的方式处理,由用户的声音输入判断对询问关于喜好的响应。然后,单词花生被编目到证实数据16K。
在与输入声音输入的人的对话期间,当由定时器11B激活时,响应句产生模块11E产生如图19所示的一个关于预先编目到证实数据16K中的喜好,嗜好或类似的询问。例如,在如图18所示编目到证实数据16K中的喜爱食物的场合,响应句产生模块11E产生一个如图19所示的询问“你真的是主人吗?你喜爱的食物是什么?”。
声音识别模块11J通过执行和在前面参考图17解释的规则2同样的处理来决定,用户响应关于喜爱的食物的询问给出的声音输入是不是真的。由于用户在这种场合下是主人,获得“花生”的声音输入响应。从这一响应的声音识别结果,证实状态设定为布尔值“真”。另外,响应句产生模块11E产生“你真的是我的主人!”的响应。
以这种方式,电子宠物装置1能够根据以前获得的声音识别结果对声音识别结果形成判断。详细说,电子宠物装置1能够为响应与用户对话期间的用户输入询问以前获得的声音识别结果,并对为响应该询问而给出的另一声音输入的声音识别结果形成判断以便证实该用户。
另外,当用户甚至在预定时期过去后仍不能对被定时器11B触发的响应句产生模块11E产生的询问响应而给出声音输入时,则声音识别模块11J假定用户一般终止电子宠物装置1的操作,复位证实状态。
1-5分类对话的处理图20是表示电子宠物装置1分类对话的详细处理的功能方框图。在该功能方框图中,词/短语分类模块11M依照预定分类规则16M标识声音识别结果来对作为声音输入进入的对话分类,作为分类结果输出分类代码到响应句产生模块11E。
例如,词/短语分类模块11M把一般的问候诸如“早上好”和“好天气”的声音输入分类到“问候”类别。把询问诸如“你好吗?”和“你怎么样?”的声音输入归类于“询问”类别。把印象如“我很好”和“厌烦”的声音输入归类于“印象”类别。
在根据模式数据16E产生响应句的操作中,响应句产生模块11E根据记录在模式数据16E中的响应句类别和由词/短语分类模块11M分类的类别模式形成响应。另外,还根据对话历史16F中存储的过去对话记录产生响应。
模式数据16E包括分类响应句要遵守的规则,如图21所示。这些规则与图8所示的规则比较有同样的语法。应该注意,为通过词/短语分类模块11M要执行的分类而建立图21所示的分类规则。
根据图21所示的规则1,短语“我也爱你”和“哇,可是我是男的”归类于“陈述”类别,短语“陌生人”归类于“印象”类别,而短语“你是谁?”归类于“询问”类别。根据规则2,短语“闭嘴”归类于“印象”类别,短语“什么?”归类于“询问”类别,短语“你好”归类于“问候”类别,而短语“我很惊讶”归类于“印象”类别,短语“嘿”归类于“问候”类别和短语“你在叫我吗?”归类于“询问”类别。
另外,模式数据16E还规定一类限制,即禁止对话包含连续的特殊类别。具体说,设置限制以便为了响应用户的询问不返回询问。另外,在电子宠物装置1与用户之间交换两个连续的“问候”后,电子宠物装置1将不会再发布“问候”,其在图21底部所示的限制中规定。
由响应句产生模块11E安排图22或23所示的对话历史16F以记录电子宠物装置1与用户之间的对话。如图所示,历史包括产生声音的行动采取方,声音类别和声音内容。图22所示的历史描述作为第一行动采取方的用户,作为由第一行动采取方产生的声音类型的“问候”类别和作为由第一行动采取方产生的声音内容的“问候”类别中的“好天气”短语。该用户后随作为第二行动采取方的电子宠物。由第二行动采取方产生的声音类型也是“问候”类别,而由第一行动采取方产生的声音内容是短语“嘿”。该电子宠物后随作为第三行动采取方的用户。由第三行动采取方产生的声音类型是“询问”类别,和由该第三行动采取方产生的声音内容是短语“你在做什么?”。该用户后随作为第四行动采取方的电子宠物。由该第四行动采取方产生的声音类型是“陈述”类别,以及由该第四行动采取方产生的声音内容是短语“我很好”。
当响应句产生模块11E根据模式数据16E和根据情绪数据16C产生响应时,使用对话历史16F作为参考,并遵守在模式数据16E中规定的限制。例如,在电子宠物装置1与用户之间交换两个连续的“问候”后,响应句产生模块11E将通过紧接两个连续的“问候”后应用规则2不再发布问候,其在图21所示的限制中规定,即使“高兴”情绪参数在情绪变量中有最大值。另外,为响应用户的“询问”将不会返回“询问”。
通过遵守对上面所述的问候的限制,即使第一规则规定为响应问候应返回问候和第二规则规定为响应各种询问应返回问候,但是由于重复应用上述第一和第二规则,仍可能避免包含在用户与电子宠物装置1之间重复几次交换的问候的不自然对话。
1-6.情绪控制图24是表示电子宠物装置1执行情绪控制的详细功能方框图。在该功能方框图中,情绪变化模块11D由前面提到的定时器11B激活,通过使用在声音识别结果中包含的词作为关键词,来检索字符数据16D来查找相应于该词的差异,并且通过使用检索中找到的差异更新情绪数据16C。
在这一处理中,情绪变化模块11D记录情绪数据16C包含的变量的变化,作为用户输入的声音识别结果获得的文本数据和如图25所示在该文本数据中包含的并用于检索字符数据16D以查找作为情绪-变化历史16N的变化的每个关键词。另外,通常在输出响应后预定的时间里,检索情绪-变化历史16N,以查找在用户输入中与一个关键词结合频繁使用的词。若找到该词,则把该词作为新关键词编目到如图26所示的字符数据16D中。通过编目新关键词到图6所示的字符数据16D得到图26所示的字符数据16D。通过编目该词作为新关键词到字符数据16D,即使当该词单独以和其它关键词同样的方式输入时,也可以更新情绪数据16C的变量。
例如,如图25所示,假定在用户输入中与关键词“脏”结合使用短语“咖哩面包”,其改变情绪数据16C的变量几次,超过预定值。在这种场合,情绪变化模块11D编目短语“咖哩面包”到字符数据16D作为新关键词,如图26所示。如图26所示,即使当只输入短语“咖哩面包”时,通过使用和关键词“脏”同样的变化更新情绪数据16C的变量。
其结果,电子宠物装置1设定参数和变量的变体,使得通过所谓的关联信息导出一种特定的情绪,并因此能够根据导出的情绪产生响应。
另外,当情绪变化模块11D如上所述在预定的时间检索情绪-变化历史16N时,也能找出使用每个关键词用来改变情绪数据16C的变量的频率。如果发现使用一个关键词的频率超过某预定值,如图27所示,则情绪变化模块11D由如图6所示的最初值减少字符数据16D中对该关键词的变化的绝对值。例如,在图27所示的情绪-变化历史16N中,关键词“脏”被频繁使用。因此,在对关键词“脏”的字符数据16D中的6种变量即“生气”,“难过”,“高兴”,“害怕”,“惊讶”和“憎恨”情绪参数的变化量分别改变-1,-1,+2,+1,-1和-4。
以这种方式,电子宠物装置1能够形成所谓的习惯感。
相反,如果使用声音输入中字符数据16D的一个关键词的频率逐渐降低,则情绪变化模块11D就从字符数据16D消除声音输入中使用的该关键词。如上所述,如果发现使用某关键词的频率超过预定值,则情绪变化模块11D就减少字符数据16D中为该关键词的变化的绝对值。然而,如果使用该关键词的频率再一次减少,则变化量就逐渐恢复到它们的最初值。
以这种方式,电子宠物装置1能够产生所谓的遗忘状态。1-7第一实施例的操作在前面提到的配置里,在图1到3所示的电子宠物装置1中使用的声音识别模块11A使用HMM方法对用户通过麦克风7输入的声音输入执行声音识别处理。如上所述,声音识别模块11A是一个功能块,其处理由中央处理单元11执行。在声音识别处理中,首先把声音变换成一系列音素,然后参考识别数据16A把这些音素转变成文本数据。
在电子宠物装置1里,作为以这种方式执行的声音识别结果获得的文本数据供给物理条件变化模块11C,物理条件变化模块11C根据包含在声音输入中的词,改变当前物理条件的五个元素,即图4所示物理--条件数据16B中的“疲劳”,“饥饿”,“饥渴”,“生病”,“瞌睡”参数。例如,当由声音识别结果指示供给食物时,“饥饿”参数减少,当由声音识别结果指示接受喝水时,“饥渴”参数减少。
以这种方式,电子宠物装置1能够通过用户输入的声音输入改变物理条件。另外,还可以通过由物理条件变化模块11C根据定时器11B执行的处理逐渐改变这5个参数。这样,在电子宠物装置1里,根据这些参数表示的物理条件由用户输入的声音输入修改,并随时间的流逝而变化。其结果,通过根据这5个参数产生对声音输入的响应,电子宠物的物理条件在对声音输入的响应中反应。
另外,还把声音识别结果提供给信息变化模块11D,它根据声音识别结果中包含的词改变图5所示的情绪数据16C。情绪数据16C的变化在字符数据16D里描述。根据关键词和字符数据16D更新表示情绪的6个变量。详细说,关键词是为改变电子宠物的情绪的词,而如图6所示,字符数据16D包含对各种关键词,亦即声音输入中包含的词,表示情绪的6个变量中的变化量,这6个变量即“生气”,“难过”,“高兴”,“害怕”,“惊讶”和“憎恨”参数。也就是说,根据用户输入的声音输入改变情绪。
以这种方式,电子宠物装置1根据用户给出的声音输入改变电子宠物的情绪。另外,因为电子宠物装置1依照输入声音的识别结果根据物理一条件数据16B和情绪数据16C产生对声音输入的响应,因此电子宠物的响应反应电子宠物的物理条件和情绪。
详细说,在电子宠物装置1里,把声音识别结果供给响应句产生模块11E,它依照如图8所示的模式数据16E描述的规则为声音识别结果产生响应句。详细说,在电子宠物装置1里,模式数据16E描述为在声音输入中包含的每个关键短语的响应句。响应句产生模块11E检索模式数据16E来查找与作为声音识别结果获得的关键短语关联的响应句,作为检索结果输出该响应句。
在电子宠物装置1里,声音合成模块11F产生相应于该响应句的实际响应,并输出到扬声器6。图9表示每一个包含每一响应的声音的文件。另一方面,图形合成模块11G产生要在液晶显示板3上显示的与实际响应关联的图形。图10表示每一个包含每一响应的图形的文件。以这种方式,把对由用户输入的声音输入的实际响应作为声音和图形提交给用户。
因为在电子宠物装置1中从包含依照物理--条件数据16B和情绪数据16C产生不同响应的规则的模式数据16E来产生响应,因此对用户的响应反映电子宠物的物理条件和情绪。
在前面提到的处理顺序中,电子宠物装置1能够根据用户执行的预定操作器切换操作到编目操作方式。在这一方式下,可以把在声音识别处理中识别的词和短语编目到识别数据16A中。
详细说,当在编目方式下从用户接收到表示要被编目的词或类似的声音作为输入时,电子宠物装置1执行和图13到15所示正常操作方式下同样的处理,以根据图14所示的语法把声音输入转换为一系列音素。然后,声音合成模块11F产生由该系列音素表示的声音由用户确认。在用户确认声音识别结果正确后,该用户输入表示被确认的词或类似声音的属性的另一声音输入。
电子宠物装置1还把表示该属性的声音输入变换为一系列音素。如果用户也确认从这一系列音素产生的声音,则将表示先前输入的词或类似声音的这一系列音素编目到识别数据16A,同时,该属性的数据被编目到知识库16G,与在识别数据16A中编目的该词或类似声音关联。
如上所述,电子宠物装置1能够编目作为声音输入输入的词或类似声音,无需对输入设备诸如键盘执行困难的操作,允许使用装置1的自由程度相应提高。另外,可以使词的词汇表更大来饲养该电子宠物,好象用户在实际训练真实的宠物。其结果,可以相应使电子宠物亲密和容易认识。
如上所述,在正常声音识别处理中,检索识别数据16A用以查找相应于作为声音转换结果获得的一系列音素的文本数据,并且,输出该文本数据作为用于产生响应句的声音识别结果。在检索中找到的文本数据可以是上面提到的编目方式下编目的词或类似声音。由一系列音素描述的这种文本数据也可以用于产生响应句,代替在正常声音识别处理中通常找到的文本数据。响应句的产生还根据在知识库16G中记录的属性。因此,例如当物理--条件数据16B指示电子宠物饥饿,并且从用户接收的输入有食物属性时,电子宠物装置1能够产生响应,一般陈述“我要吃饭”或“我要一些吃的”。
如上所述,一个词和该词的属性作为单独的声音输入被接收,和在用户确认该声音输入的声音识别结果后,编目该词和该属性。以这种方式,因为一词和该词的属性是由用户分别作为声音输入而输入的,以及用户确认它们的声音识别结果,因此这使得编目该词和属性容易,并有高度的可靠性。
另一方面,当用户输入声音输入说“Gao”时,电子宠物装置1执行图16所示的功能方框图表示的处理,根据图17所示的规则1使用输入声音作为关键词来产生声音,以便请求用户输入预先编目的信息,如用户名。对由用户响应该请求输入的声音输入进行声音识别处理。在电子宠物装置1中使用的声音识别模块11J比较声音识别处理的结果与识别数据16K。如果比较的结果证实该用户,则设定证实状态16J以指示输入该声音的人是主人。
电子宠物装置1的响应句产生模块11E根据图8的模式数据16E的规则或规则1产生响应句,它把输入声音输入的非主人与主人区别开来。更具体说,响应句产生模块11E引用证实状态16J并依赖证实状态16J的值产生不同的响应。
这样,电子宠物装置1能够通过显示特定的举动如同真实的宠物那样对主人作出响应,允许使该电子宠物相应容易认识。
另外,在电子宠物装置1里,定时器11B激活声音证实模块11J以预定的时间间隔执行用户证实的处理。在预定的时间间隔执行的用户证实处理中,声音证实模块11J对用户是不是主人形成判断。如图19中的典型对话所示,该判断是根据用户响应关于用户喜好、爱好等的询问而输入的声音输入,所述用户喜好、爱好等记录在知识库16G中,如图18中的典型对话所示。以这种方式,可以执行证实用户的处理。
这样,在需要时,电子宠物装置1能够通过在对话过程中验证对话伙伴是该用户而对主人产生表示特定举动的响应。
在对话过程中,如果需要的话,则在电子宠物装置1中使用的词/短语分类模块11M通过参考如图22或23所示的对话历史,在图20所示的处理中根据词/短语分类规则16M把声音输入分类到“问候”或“询问”类别或类似的类别。另外,通过遵照图21所示的模式数据16E描述的一个类别限制产生对用户发出的声音输入的响应。例如,如果把用户发出的声音输入分类到“询问”类别,则即使对应某规则里的声音输入的关键短语规定要产生的询问作为该声音输入的响应,该分类限制也不会允许产生响应。
因此,电子宠物装置1能够响应用户提出的询问而避免返回询问的不自然的对话。
另外,电子宠物装置1在连续对话历史16F里记录连续的词或短语的类别。通过参考在连续对话历史16F里记录的类别和考虑在图21中所示的模式数据16E描述的类别限制来产生对用户发出的声音输入的响应。其结果,当用户紧接电子宠物装置1发出的问候输入一个问候时,即使问候对问候的规则规定为响应问候应该产生一个问候,但是电子宠物装置1根据类别限制不能响应该用户的问候产生另一问候。
因此,电子宠物装置1能够避免总是交换几次问候这样不自然的对话,允许使电子宠物更亲密。
另外,电子宠物装置1还执行在图24的功能方框图中所示的处理以记录组成情绪数据16C的变量的变化,作为用户输入的声音识别结果获得的文本数据和包含在在图25所示的情绪变化历史16N中的文本数据里的每个关键词的变化。在电子宠物装置1中,以预定时间问隔检索情绪变化历史16N,查找与关键词结合的用户输入中频繁使用的词。如果找到这种词,则把该词作为新关键词编目到字符数据16D里,用来改变如图26所示的情绪数据16C。
例如,假定,在电子宠物装置1里,如图25所示在用户输入中与关键词“脏”结合使用短语“咖哩面包”,其改变情绪数据16C的变量几次,超过某预定值。在这种场合,情绪变化模块11D编目短语“咖哩面包”到字符数据16D作为新关键词,如图26所示。如图26所示,即使当通过使用和关键词“脏”同样的变化只输入短语“咖哩面包”时,也更新情绪数据16C的变量并产生一个响应。
这样,作为相关处理的结果,电子宠物装置1能够通过各种变化改变电子宠物的情绪,就像动物的条件反应,和像人类改变他的情绪。另外,电子宠物装置1能够在由此产生的响应中反映情绪中的变化。
另外,当在电子宠物装置1中使用的情绪变化模块11D检索情绪变化历史16N时,也检查用以改变情绪数据16C的变量的每个关键词的使用的频率。如果发现使用某一关键词的频率超过某预定值,如图27所示,则情绪变化模块11D就减少字符数据16D中该关键词的变化的绝对值。以这种方式,电子宠物装置1能够形成所谓的习惯的感觉,并把该习惯状态反映给响应。
在以这种方式使用的电子宠物装置1里,允许用户操作在图2所示前面板上的操作器以通过图1所示的网络连接单元17连接装置1到网络18。通过连接到网络18的网络连接单元17,电子宠物装置1能够从网络18下载诸如识别数据16A,知识库16G和模式数据16E等信息。如前所述,下载的信息是声音识别处理和响应产生处理必需的有效规则。下载的信息还用于更新识别数据16A和知识库16G,允许用户享受与电子宠物更高水平的对话。另外,还可能下载声音数据16H和图形数据16I,其可以被用作实际响应输出。以这种方式,也可以改善响应的表达。
出于同样理由,也可能经由网络18传送物理--条件数据16B,情绪数据16C和对话历史16F到希望的装置。以这种方式,接收装置能够复制电子宠物装置1的电子宠物,允许该电子宠物被带到不同环境。
相反,也能够从网络18接收物理--条件数据16B,情绪数据16C和对话历史16F,允许电子宠物装置1产生响应,好象另一电子宠物在访问电子宠物装置1或者好象在另一电子宠物装置中饲养的一个电子宠物被带到本电子宠物装置1。
1-8.第一实施例的效果根据前面提到的结构,用作声音识别规则的识别数据,用作响应产生规则的模式数据,用作情绪产生规则的情绪数据、物理-条件数据、声音数据和图形数据可以通过网络被更新,使得能够产生与连接到该网络的同一类型的另一装置产生的响应几乎一样的响应,好象一个电子宠物从另一装置带出到本电子宠物装置。另外,电子宠物装置也使电子宠物更容易认识,就象在实际训练中的一个真实宠物一样。此外,如果需要,通常可以通过增加该电子宠物懂得的词的数目而增加知识量。
此外,通过周期连接到网络可以更新识别数据。这样,不需麻烦用户就可以增加知识量。
相反,通过网络可以传送物理-条件数据、情绪数据和对话历史到同一类型的另一装置。以这种方式,另一装置能够产生与对输入到该信息处理装置诸如该电子宠物装置的声音输入的响应几乎一样的响应,允许看待该电子宠物好象该电子宠物被带出到另一装置。其结果,电子宠物装置能够使电子宠物象在实际训练中的真实宠物一样易于认识。
另外,通过使用可替换记录介质的IC卡可以更新和传送数据。具体说,插入新IC卡以更新数据,取出IC卡拿到另一装置以传输数据到另一装置。这样,在没有通讯功能下也能与各种设备交换数据。
此外,在编目操作方式下,编目词的声音识别结果和该词的类别,允许通过声音输入容易地增加能被电子宠物理解的词的词汇量。其结果,电子宠物可以被视为和实际训练中饲养的真实宠物一样,使其易于认识。
此外,在那时,根据作为声音识别结果获得的一系列音素,编目该词的声音识别结果和该词的类别。这样,通过只输入声音输入,可以编目词和该词的类别,无须执行其他操作。
另外,在正常处理中,作为文本数据输出声音识别结果,而在编目操作下,记录一系列音素的描述。其结果,可以简化数据诸如规则的描述。
另外,在编目操作下,把词和属性看作彼此不同的输入。其结果,可以容易地执行编目处理。
此外,根据声音输入的用户证实结果用作为对输入声音输入的不同人产生不同响应的基础。这样,可以使电子宠物对主人的响应不同于对非主人的响应。其结果,电子宠物能够如真实宠物一样显示举动,并变得更亲密和更易于认识。
此外,通过使用以前获得的声音识别结果,检查这次获得的声音识别结果来证实用户。以这种方式,可以通过对话证实用户,而不需输入密码。其结果,可以提高使用电子宠物装置的自由程度。
另外,通过使用以前获得的声音识别结果,检查这次获得的用户对询问的响应以证实用户,或通过用户说一个预定词来证实用户。以这种方式,可以通过自然对话证实用户。其结果,可以相应提高使用电子宠物装置的自由程度。
另外,通过标识一个声音输入的类型和通过产生不是预定响应类型的一个响应或相应于该声音输入的所标识类型的类别产生一个响应,可以避免不自然的对话,例如对询问的响应是询问。以这种方式,可以使电子宠物给出的响应自然而生动。其结果,可以使电子宠物更亲密和更易于认识。
此外,在那时,通过参考包含输入和响应的类型的历史产生响应可以避免不自然的对话,例如重复交换问候好几次。以这种方式,可以使电子宠物给出的响应自然而生动。其结果,可以使电子宠物更亲密和更易于认识。
此外,可以根据声音识别结果和相应情绪参数的历史来改变情绪参数中的变化。例如,对于频繁听见的一个声音,可以产生充满亲密,熟悉和类似情绪的响应。以这种方式,可以使电子宠物给出的响应自然而生动。其结果,可以使电子宠物更亲密和更易于认识。
更具体说,如果和激励某种情绪的一个特定词同时或与该特定词同样频繁地使用一个非该特定词的词的话,那么该频繁使用的词也改变该情绪参数。也就是说,有可能根据由一个重复使用的词结合该特定词改变的情绪来产生响应。
另外,如果频繁使用激励某情绪的词中一个特定词的话,则减少情绪参数中的变化。其结果,可以形成所谓习惯的感觉。
2.其它实施例的效果在上述实施例中,可以把电子宠物装置连接到网络上以便把电子宠物从该电子宠物装置带出,来产生在另一装置中饲养的电子宠物的响应,教在该电子装置中养育的电子宠物各种规则和各种信息。然而,应该注意,本发明的范围不限于本实施例。例如,如果需要,只执行上述的处理的一部分。另外,当用户执行预定的操作或当从另一装置接收呼叫时,该电子宠物装置周期对网络访问。
此外,根据上述实施例,电子宠物装置通过电话线连接到网络。然而,值得注意,本发明也可以应用于这样的应用,其中电子宠物装置通过其他设备诸如调制解调器或个人计算机连接到网络。
此外,在上述实施例中,所谓的电子宠物学习从网络下载的识别数据、模式数据、声音数据和图形数据。然而,应该注意,本发明的范围不限于该实施例。例如,如果需要,电子宠物也可以只学习某些下载的数据。另外,对识别声音的技术本身,对产生声音数据的技术和对产生图形数据的技术本身可以通过所下载的描述这些技术的控制程序来修改。出于同样理由,也可以改变产生情绪数据的技术和响应句产生模块的处理与其它处理。
另外,根据上述实施例,可以传送物理-条件数据、情绪数据和对话历史到另一装置,以便把电子宠物带出到那里。然而,值得注意,本发明的范围不限于这种实施例。例如,当只传送某些数据或数据同诸如知识的信息一起传送时,其它装置可以执行处理来模仿本电子宠物装置的电子宠物。另外,代替传送这种数据,可以传送对作为由另一装置执行的声音识别结果而获得的输入的响应到其他装置。
此外,根据上述实施例,可以从另一装置输入各种数据以便把其它装置的电子宠物带到本电子宠物装置。然而,应该注意,本发明的范围不限于这种实施例。例如,当只接收某些数据或数据同诸如知识的信息一起被接收时,可以执行模仿其他装置的电子宠物的处理。另外,代替内部处理从其它设备接收的这种数据,该电子宠物装置可以传送声音识别结果到其它装置,然后从其它装置接收对该声音识别结果的响应。
此外,在上述实施例中,要对声音输入进行声音识别处理,以便转换该输入为一系列音素。然而,值得注意,本发明的范围不限于这种实施例。例如,也可以采用适合处理需求的各种声音识别技术。
另外,在上述实施例中,词和该词的属性每一个都作为要被编目到电子宠物装置中的声音输入而输入。然而,应该注意,本发明的范围不限于这种实施例。例如,用户可以通过操作操作器来选择和输入属性到电子宠物装置。在这种场合,有一种可理解的技术,通过它请求用户通过在显示的菜单上选择项目来输入属性。
此外,根据上述实施例,对于要作为表示声音输入的一系列音素的文本数据编目到证实数据里的声音输入,输出声音识别结果作为一系列音素。至于声音识别的正常结果,只产生正常的文本数据。然而,值得注意,本发明的范围不限于这种实施例。例如,还是对于声音识别的正常结果,可以输出声音识别结果作为一系列音素。
此外,在上述实施例中,通过标识用户的名字或爱好来证实用户。然而,应该注意,本发明的范围不限于这种实施例。例如,本发明也可以应用在广泛应用的范围,其中,通过验证密码、过去对话的日期或过去的声音识别结果来证实用户。
另外,在上述实施例中,通过检查用户响应电子宠物装置产生的预定询问而说出的特定短语来证实用户,并且周期证实该用户。然而,值得注意,本发明的范围不限于这种实施例。例如,也可以根据需要通过验证特定短语或者定期证实来证实用户。
此外,根据上述实施例,在通过分解输入为一系列音素来识别声音输入的处理中,通过验证产生的表示特定词的声音来证实用户。然而,应该注意,本发明的范围不限于这种实施例。例如,也可以通过验证表示用户声音特征的各种特征量来证实用户,给出和上述实施例同样的效果。特征量的例子是该声音的音调和频谱。
此外,在上述实施例中,可以使电子宠物对主人的响应不同于对非主人的响应。然而,值得注意,本发明的范围不限于这种实施例。例如,可以为提供声音输入的更多的不同的人如主人家庭成员和非家庭成员的人产生更多不同的响应。
另外,在上述实施例中,根据询问输入的类型和询问响应的类型以简单的方式阻止为响应询问而发出询问。然而,应该注意,本发明的范围不限于这种实施例。例如,由于诸如情绪的理由,可以为响应询问而发布询问。在这种场合,表示该电子宠物心情不好。
此外,根据上述实施例,通过操作字符数据来控制情绪。然而,值得注意,本发明的范围不限于这种实施例。例如,也可以直接改变情绪数据来代替操作字符数据。
此外,上述实施例输出声音数据和图形数据。然而,应该注意,本发明的范围不限于这种实施例。例如,作为音频和视频合成的结果输出声音和图形。
另外,在上述实施例中,通过图3所示的中央处理单元执行声音识别处理和图形合成处理。然而,值得注意,本发明的范围不限于这种实施例。例如,也可通过如图28所示的专用电路执行声音识别处理和图形合成处理。
此外,上述实施例应用本发明到作为响应输出声音和图形的电子宠物装置。然而,应该注意,本发明的范围不限于这种实施例。例如,本发明也可以应用于例如象动物一样运动的机器人、运动和叫喊以输出响应的电子宠物装置和以各种形式输出响应的电子宠物装置。
此外,上述实施例应用本发明到一种电子宠物装置,其为模仿一个电子宠物的专用装置,具有如图2所示的前面板。然而,值得注意,本发明的范围不限于这种实施例。例如,本发明也可应用于各种便携设备,诸如便携电话,便携GPS,便携磁带录音机和便携光盘驱动器,它们具有如图28所示的前面板。除这些便携设备外,本发明也可以应用于诸如其内有各种动画特征性或类似运动的个人计算机的信息处理装置。
工业应用本发明可应用于娱乐机器人。
参照数字1.电子宠物装置;11A.声音识别模块;11B.定时器;11C.物理-条件变化模块;11D.情绪变化模块;11E.响应句产生模块;11F.声音合成模块;11G.图形合成模块;11I.编目模块;11J.
声音识别模块;11M.词/短语分类模块;16A.识别数据;16B.物理条件数据;16C.情绪数据;16D.字符数据;16E.模式数据;16F.对话历史;16G.知识库;16H.声音数据;16I.图形数据;16J.证实状态;16K.证实数据;16M.分类规则;16N.情绪变化历史;17.网络连接单元。
权利要求
1.一种信息处理装置,其特征在于,所述装置包括声音输入设备,用于输入由用户输出的声音;声音识别设备,用于识别从所述声音输入设备接收的声音和输出声音识别结果;包括在一个声音中包含的词的声音识别结果和所述词的类型的数据库;情绪产生设备,用于依照预定伪情绪参数产生规则产生伪情绪参数,该参数以伪方式指示情绪以及至少根据声音识别结果变化和随时间的流逝变化;响应产生设备,用于根据声音识别结果检索所述数据库,查找由所述声音识别结果表示的声音中包含的词的类型和根据所述类型并依照预定响应产生规则取至少所述伪情绪参数作为参考产生对所述声音识别结果的响应;响应输出设备,用于输出所述响应;编目设备,能够在编目操作方式下根据表示一个词的声音至少通过编目所述词的识别结果到所述数据库而改变所述数据库。
2.根据权利要求1的信息处理装置,所述装置的特征在于,能够通过可置换记录介质交换至少所述伪情绪参数或为产生所述伪情绪参数需要的数据。
3.一种信息处理方法,其特征在于,所述方法包括步骤输入由用户输出的声音;识别在所述声音输入步骤输入的声音和输出声音识别结果;依照预定伪情绪参数产生规则产生伪情绪参数,该参数以伪方式指示情绪以及至少根据声音识别结果变化和随时间的流逝变化,检索数据库,查找由声音识别结果表示的声音中包含的一个特定词的类型和根据所述特定词的类型并依照预定响应产生规则取至少所述伪情绪参数作为参考产生对所述声音识别结果的响应,所述数据库包括在一个声音中包含的词的声音识别结果和所述词的类型;输出所述响应;并且在编目操作方式下根据表示一个词的声音至少通过编目所述词的识别结果到所述数据库而改变所述数据库。
全文摘要
在一个信息处理装置、便携设备、电子宠物装置、存储信息处理过程的记录介质和信息处理方法中,通过网络传输各种数据,另外,可以通过声音把词归类。另外,根据用户证实产生各种响应,把声音输入和响应分类到各种类别,其用作产生响应的基础。此外,可以根据过去的历史改变电子宠物的情绪。
文档编号H04W88/02GK1549202SQ20041003518
公开日2004年11月24日 申请日期1999年12月24日 优先权日1998年12月24日
发明者藤村聪, 弘, 横尾直弘, 加藤靖彦, 彦 申请人:索尼公司