智能机器人的多模态输出方法及装置与流程

本发明涉及智能机器人领域，具体地说，涉及一种智能机器人的多模态输出方法及装置。
背景技术：
：当前的机器人行业发展迅速，出现了各种各样的家庭生活陪伴类机器人。在现有技术中，用户与机器人对话时，可以通过用户发出的多模态输入数据，来确定当前用户的情感状况，机器人根据情感状况来向用户输出较为适宜的多模态数据。但是，随着目前网络新词频频出现，在用户使用网络新词与机器人交互时，机器人经常无法理解用户当前的情感，降低了用户体验。为此，就需要一种能够帮助机器人提高网络新词理解能力的解决方案，进而能够使机器人更好地与用户进行多模态交互，提高用户体验，满足用户需求。技术实现要素：本发明的目的在于提供一种智能机器人的多模态输出方法来解决上述问题。该方法包括以下步骤：抓取网络文本数据，对所述网络文本数据中未存储在情感辞典中的网络用语进行情绪属性分类，并将该网络用语保存在情感辞典相应的分类中；在接收到包含所述网络用语的多模态输入数据后，根据所述网络用语对应的情绪属性分类生成多模态输出数据并输出。根据本发明的智能机器人的多模态输出方法，优选的是，在对所述网络文本数据中未存储在情感辞典中的网络用语进行情绪属性分类的步骤中，采用设定模型对包含所述网络用语的多个语句进行情绪属性分类；根据所述网络用语在各类情绪属性语句中出现的频次，确定所述网络用语的情绪属性。根据本发明的智能机器人的多模态输出方法，优选的是，通过判断网络用语是否具有情绪属性标注信息来判断情感辞典中是否已存储有该网络用语。根据本发明的智能机器人的多模态输出方法，优选的是，所述情绪属性包括积极情感属性和消极情感属性。根据本发明的另一个方面，还提供了一种智能机器人的多模态输出装置，所述装置包括以下模块：网络用语分类模块，其用以抓取网络文本数据，对所述网络文本数据中未存储在情感辞典中的网络用语进行情绪属性分类，并将该网络用语保存在情感辞典相应的分类中；多模态输出模块，其用以在接收到包含所述网络用语的多模态输入数据后，根据所述网络用语对应的情绪属性分类生成多模态输出数据并输出。根据本发明的智能机器人的多模态输出装置，优选的是，所述网络用语分类模块进一步包括，语句分类子模块，其用以采用设定模型对包含所述网络用语的多个语句进行情绪属性分类；网络用语分类子模块，其用以根据所述网络用语在各类情绪属性语句中出现的频次，确定所述网络用语的情绪属性。根据本发明的智能机器人的多模态输出装置，优选的是，还包括网络用语解析模块，其用以通过判断网络用语是否具有情绪属性标注信息来判断情感辞典中是否已存储有该网络用语。根据本发明的智能机器人的多模态输出装置，优选的是，所述情绪属性包括积极情感属性和消极情感属性。本发明所带来的有益之处在于，抓取到包含新的网络用语的网络文本数据，对网络文本数据中未存储在情感辞典中的网络用语进行情绪属性分类，并将该网络用语保存在情感辞典相应的分类中，从而丰富机器人内部存储的情感词典。在机器人与用户进行交互时，机器人能够根据网络用语在情感词典中对应的情绪属性分类生成多模态输出数据并输出，从而能够帮助使机器人更好地与用户进行多模态交互，提高用户体验。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：图1为根据本发明第一实施例的智能机器人的多模态输出方法的流程示意图。图2为根据本发明第一实施例的应用于智能机器人的网络用语分类方法的流程示意图。图3为根据本发明第二实施例的智能机器人的多模态输出装置300的结构示意图。图4为根据本发明第二实施例的应用于智能机器人的网络用语分类模块330的结构示意图。具体实施方式以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。随着智能机器人产品的普及，越来越多的家庭和商家都需要机器人为其服务。在现有技术中，在机器人与用户进行交互的过程中，用户使用网络新词与机器人语音交流时，机器人经常无法理解用户所表达的真实情感和意思，回应给用户的多模态输出数据往往不合时宜。这样就会出现用户与机器人交流不畅，导致降低了用户使用机器人的兴趣。因此，亟需一种解决方案来改善这一问题。本发明实施例的智能机器人的多模态输出方法能够帮助机器人提高对网络新词的理解能力，使得机器人在与用户交流的过程中，能够根据用户输出的网络用语对应的情绪属性的分类生成适合于用户当前情感的多模态输出数据。一方面，抓取包含未存储在情感词典中的网络用语的网络文本数据，然后对该新的网络用语的情绪属性进行分类，将分类后的网络用语保存在情感词典中，从而丰富了情感词典储存的词语数量，待机器人与用户进行交互时，能够查询到相应的网络用语，再根据网络用语的情绪属性进行多模态输出，从而能提高机器人智能性和拟人性。另外，在本发明实施例中，机器人在对未存储在情感词典中的网络用语进行情绪属性分类时，预先抓取多个包含网络用语在内的语句信息，采用设定模型对这些语句进行情绪属性分类，然后根据网络用语在各类情绪属性语句中出现的频次，确定该网络用语的情绪属性。这样能够更加有根据地、准确地对网络用语进行情绪属性的分类，保证了网络用语分类的确定性。需要说明的是，在判断网络用语是否存储在情感词典中的方法是通过判断网络用语是否有情绪属性标注信息来实现的，该方法能够快速识别出网络用语是否为新生词汇。在本实施例中，“情感词典”是对不同的词语和短句进行了情绪属性分类的词典，该词典可以包括积极情感类词语和/或短句和消极情感类词语和/或短句(在某些情况还可以包括停用词)，例如，积极情感类词语和/或短句进一步包括高兴类、喜悦类、平和类、淡定类等词语和/或短句，消极情感类词语和/或短句进一步包括悲伤类、愤怒类、恐惧类等词语和/或短句。“网络用语”是伴随网络的发展而新兴的一种有别于传统平面媒介的语言形式，往往在特定的网络媒介传播中表达特殊的意义，提高网上聊天的效率或并具有诙谐、逗乐等特性的特定语言。例如，恐龙、霉女、青蛙、鸭梨山大、HOLD不住、伤不起等网络用语。第一实施例图1为根据本发明第一实施例的智能机器人的多模态输出方法的流程示意图，该方法包括以下步骤。首先，在步骤S110中，抓取网络文本数据(子步骤S1110)，对网络文本数据中未存储在情感辞典中的网络用语进行情绪属性分类(子步骤S1120)。图2是根据本发明第一实施例步骤S110中的对网络用语进行情绪属性分类的流程示意图，该方法主要是在对新生的网络用语进行情绪属性分类的同时，还能进一步扩充情感词典中的词汇数量，从而在利用该情感词典对多模态输入数据中的网络新词进行情感划分时，能够提高分类的准确性，下面参考图2详细说明本步骤的各个步骤。在子步骤S1110中，抓取包含新的网络用语的网络文本数据。具体地，通过网络爬虫技术从互联网中抓取包含未存储在情感词典中的网络用语的多个网络文本数据。由于通常抓取到的原始信息会带有其他不需要的信息，因此，还需要对抓取到的原始信息进行预处理，得到较为准确的数据。例如，若对“矮穷矬”这个网络用语进行情感划分时，通过网络爬虫技术抓取到如下网络文本数据：发现矮穷矬男人心里那个苦啊！其实只是很多矮穷矬在人品那关都直接被pass了发现周围有些男的，明明生的矮穷矬，却还十分喜欢装做很有品味，很有修养的样子声控+手控+字控+五音不全+矮穷矬＝一辈子单身为了人类的未来，请矮穷矬男就地去世，为进化做出贡献我是典型矮穷矬，我很自卑矮穷矬找不到女朋友在子步骤S1120中，进一步还包括子步骤S1121和S1122。在子步骤S1121中，采用设定模型对包含网络用语的多个语句进行情绪属性分类。在本步骤中，先对抓取的句子中除了网络用语外的其他词语的情绪属性进行确认，然后采用情感分类模型根据确认结果得到该语句的情绪属性类别。首先，确定每个语句中是否存在情感词典中相应的词语。为了判断每个语句中是否存在情感词典中相应的词语，需要对语句进行分词处理。“分词”是指以词为基本单位，将文本信息中的词逐个切分出来。以对中文语句进行分词为例，可以采用基于字符串匹配的分词方法、基于统计的分词方法和基于理解的分词方法。其中基于字符串匹配的分词方法分为最大匹配法、最小匹配法和全切分法。最大匹配法可以分为正向最大匹配法(由左到右的方向)、逆向最大匹配法(由右到左的方向。将分词结果与情感词典中的词进行比对，判断是否为情感词典中的词。然后，在确定存在情感辞典中的词时，确定该词的情绪属性类别，再基于情感分类模型根据词的情绪属性类别确定语句的情绪属性类别。具体地，将每个积极情感词语赋予权重1，将每个消极情感词语赋予权重-1，并且假设情感值满足线性叠加原理，最后，根据总权值的正负性来判断句子的情感。还以之前的网络用语“矮穷矬”为例，在对抓取到的网络文本数据“发现矮穷矬男人心里那个苦啊”进行情绪属性分类时，根据情感分类模型，得到该句话的总权值为-2，因此语句被分类为消极情绪类。在子步骤S1122中，根据网络用语在各类情绪属性语句中出现的频次，确定网络用语的情绪属性。通过对抓取的所有语句进行情绪属性分类后，统计网络用语在各类情绪属性语句中出现的频次，将出现频次高的语句的情绪属性赋予该网络用语。例如，上面抓取的7个语句都被归类为消极情绪类，因此，网络用语“矮穷矬”也被归类为消极情绪类。另外，还包括子步骤S1130中，在该步骤中将该网络用语保存在情感辞典相应的分类中。此步骤进一步用来扩充情感词典中的词汇数量，从而在后期机器人利用该情感词典对多模态输入数据中的网络新词进行情感划分时，能够提高分类的准确性。在步骤S120中，接收多模态输入数据。具体地，在用户与机器人进行交互的过程中，机器人可以通过视频采集单元、语音采集单元、人机交互单元等来接收多模态输入数据。其中，视频采集单元可以采用RGBD摄像头来构成，语音采集单元需要提供完整的语音录制和播放功能，人机交互单元可以为一个触摸输入显示屏，用户通过该显示屏输入多模态信息。接下来，在步骤S130中，对多模态输入数据进行解析，生成输入本文信息，并结合情感词典获取输入文本信息中的词语和短句的情绪属性，再继续执行步骤S140。在接收到多模态输入信息后，解析该多模态输入数据生成对应的文本信息。由于本实施例中用户采用语音模式与机器人进行交互，因此重点以语音输入数据为例说明该步骤。在获取对应多模态输入数据的文本信息后，将文本信息中的词语和短句，与情感词典中的词语和短句进行比对，获取各词语和短句对应的情绪属性，其中，情感词典中保存的词语和短句，可能是网络用语，也可能包括其他常规词语和短句，本申请不进行限定。在一个优选实施例中，为了更快地识别文本信息中的词语和短句是否已存储在情感辞典中，可以通过判断网络用语是否具有情绪属性标注信息来判断情感辞典中是否已存储有该网络用语。在步骤S140中，结合获取的情绪属性分类生成多模态输出数据并输出。多模态输出数据可以是针对不同的情绪属性分类输出的语音信息或是机器人要进行肢体动作时对应的执行指令，或是机器人内部进行数据处理时对应的处理指令等。例如，若用户输入对应的情绪属性分类为属于消极情感属性中的悲伤类情绪，机器人还可以根据执行指令拥抱安慰情绪发出者，或者发出类似于“不要伤心，让我好好安慰安慰你”等一系列语音信息，则可能需要如下的多模态资源数据：用于驱动机器人行走的驱动电机的控制程序数据，将该控制程序数据发送给对应的电机驱动模块执行。用于输出语音内容的文本数据，将该文本数据发送给语音生成模块生成并输出语音，或可以直接用于输出的音频数据，将该音频数据发送给语音输出模块直接输出。在用户处于悲伤情绪的状态下，机器人能够及时应对用户的负面情绪，这样，用户就会产生对智能机器人的“依赖性”，而这种依赖性再促使机器人为用户提供更好的服务，满足用户更多的情感需求。通过本申请提供的根据用户输出的网络用户检测用户情绪进而输出多模态信息的方法，使智能机器人能够与用户建立一种信任关系，然后在此基础上形成一种情感交流和需求满足的良性循环。由于情感辞典已经扩充了大部分的网络用语，在机器人与用户的交互过程中，用户使用的网络用语多半已经被情感辞典覆盖到，因此机器人也能很好地使用情感辞典获取网络用语的情感属性，进而输出给用户合适的多模态输出数据。第二实施例图3为根据本发明第二实施例的智能机器人的多模态输出装置300的结构示意图。如图3所示，本实施例的多模态输出装置300主要包括：多模态输入模块310、网络用语解析模块320、网络用语分类模块330和多模态输出模块340。多模态输入模块310，其用以接收多模态输入数据。网络用语解析模块320，其与多模态输入模块310连接，网络用语解析模块320用以对多模态输入数据进行解析，判断是否存在已存储在情感词典中的网络用语。网络用语解析模块320，其进一步用以通过判断网络用语是否具有情绪属性标注信息来判断情感辞典中是否已存储有该网络用语。网络用语分类模块330，其与网络用语解析模块320连接，网络用语分类模块330用以抓取网络文本数据，对网络文本数据中未存储在情感辞典中的网络用语进行情绪属性分类，并将该网络用语保存在情感辞典相应的分类中。如图4所示，网络用语分类模块330进一步包括文本数据抓取子模块3310、语句分类子模块3320、网络用语分类子模块3330和网络用语存储子模块3340。文本数据抓取子模块3310，其用以抓取包含网络用语在内的多个网络文本数据。语句分类子模块3320，其与文本数据抓取子模块3310连接，语句分类子模块3320用以采用设定模型对包含网络用语的多个语句进行情绪属性分类。网络用语分类子模块3330，其与语句分类子模块3320连接，网络用语分类子模块3330用以根据网络用语在各类情绪属性语句中出现的频次，确定网络用语的情绪属性。其中，情绪属性包括积极情感属性和消极情感属性。网络用语存储子模块3340，其与网络用语分类子模块3330，网络用语存储子模块3340用以将该网络用语保存在情感辞典相应的分类中。通过合理设置，本实施例的网络用语分类模块330可以执行第一实施例中涉及的步骤S110的各个步骤，此处不再赘述。多模态输出模块340，其与网络用语分类模块330连接，多模态输出模块340用以根据网络用语对应的情绪属性分类生成多模态输出数据并输出，或者根据多模态输入数据的解析结果进行多模态输出。通过合理设置，本实施例的多模态输出装置300可以执行第一实施例中涉及的多模态输出方法的各个步骤，此处不再赘述。由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人操作系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属
技术领域：
内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。当前第1页1 2 3