问答的方法及电子设备与流程

本发明涉及终端技术领域，具体而言，本发明涉及一种问答的方法及电子设备。

背景技术：

随着信息技术的发展，互联网技术随之发展，用户经常需要通过互联网查询各种信息，以获得相应的答案，例如，查询天气信息、查询餐馆信息、查询购物的相关信息、查询专业领域的知识等。

现有技术中，用户通常将问题直接通过搜索引擎、知识库等进行答案搜索，由于搜索引擎或者知识库中覆盖的内容有限，可能无法查询到所有问题的答案，再者由于通过搜索引擎或者知识库查询到的大量内容，是由其它用户自由撰写生成，并未经过专业检验，即查询到的内容可能是错误的或者是不全面的。

因此，如何更快、更准确地获取到问题的答案，成为一个关键问题。

技术实现要素：

为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：

本发明的实施例根据一个方面，提供了一种问答的方法，包括：

获取待答复问题；

确定待答复问题对应的答复方，并向答复方发送待答复问题；

接收待答复问题对应的答复信息。

本发明的实施例根据另一个方面，还提供了一种问答的装置，包括：

第一获取模块，用于获取待答复问题；

确定模块，用于确定第一获取模块获取的待答复问题对应的答复方；

第一发送模块，用于向确定模块确定的答复方发送待答复问题；

第一接收模块，用于接收待答复问题对应的答复信息。

本发明的实施例根据又一个方面，还提供了一种问答的方法，包括：

接收待答复问题；

获取待答复问题对应的答复信息，并发送待答复问题对应的答复信息。

本发明的实施例根据又一个方面，还提供了一种问答的装置，包括：

第二接收模块，用于接收待答复问题；

第二获取模块，用于获取待答复问题对应的答复信息；

第二发送模块，用于发送第二获取模块获取到的待答复问题对应的答复信息。

本发明的实施例根据又一个方面，还提供了一种电子设备，包括：

处理器；以及

存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行上述问答的方法。

本发明提供了一种问答的方法及电子设备，与现有技术相比，本发明获取待答复问题，然后确定所述待答复问题对应的答复方，并向所述答复方发送所述待答复问题，然后接收所述待答复问题对应的答复信息。即当获取到待答复的问题时，确定出适合答复该问题的答复方，由该答复方进行问题答复后，返给问题提问方，由于本发明是确定出某一问题对应的答复方，由该答复方直接进行答复，从而可以提升答复的速度以及准确度。

本发明提供了一种问答的方法及电子设备，与现有技术相比，本发明接收待答复问题，然后获取所述待答复问题对应的答复信息，并发送所述待答复问题对应的答复信息。即答复方为能够答复该问题的用户，并且在答复方获取到待答复的问题之后，直接对该待答复的问题进行作答，并返回答复结果，由于本发明是由该问题的答复方直接作答之后，返给问题答复，从而可以提升答复的速度以及准确度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1a为本发明实施例的一种问答的方法流程图；

图1b为本发明实施例的另一种问答的方法流程图；

图2为本发明实施例的另一种问答的方法流程图；

图3为本发明实施例一的问答的方法流程图；

图4为基于历史行为信息和设备状态信息，确定用户属性的示意图；

图5为基于用户属性确定答复方的示意图；

图6为本发明实施例二的问答的方法流程图；

图7为本发明实施例三的第一种方式问答的方法流程图；

图8为从答复方中确定空闲状态的目标答复方的示意图；

图9为使用决策树、神经网络或其他传统分类器等方法处理各项输入信息，确定空闲状态答复方的示意图；

图10为本发明实施例三的第二种方式问答的方法流程图；

图11为本发明实施例四的问答的方法流程图；

图12为本发明实施例五的问答的方法流程图；

图13为本发明实施例六的第一方面问答的方法流程图；

图14为本发明实施例六的第二方面问答的方法流程图；

图15为本发明实施例六的第三方面问答的方法流程图；

图16为本发明实施例七的问答的方法流程图；

图17为本发明实施例的一种问答的装置结构示意图；

图18为本发明实施例的另一种问答的装置结构示意图；

图19为本发明实施例中电子设备的结构示意图；

图20为本发明实施例中电子设备的计算系统的框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；pcs(personalcommunicationsservice，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；pda(personaldigitalassistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(globalpositioningsystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是pda、mid(mobileinternetdevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

现有技术中，用户经常通过智能终端查询各种各样的问题，具体地，智能终端的问答系统、智能终端的问答平台、智能终端的搜索引擎均可提供相应查询服务，下面分别介绍在利用问答系统、问答平台以及搜索引擎进行问答的方式，以及相应的技术问题。

具体地，问答系统包括：人工编制的知识库以及自然语言接口，通常用于专门领域信息的查询服务。

完整的问答系统应该由问题解析，知识库、检索和答案合成四部分组成。具体地，系统对用户问题进行解析，在知识库中检索信息，并按照一定语法规律合成答案。

其中，用户问题的解析使用自然语言理解技术，得出问题类型，去除无关部分，抽取核心信息。此步骤可以基于预定义规则，也可以基于深度学习；知识库可以是专门订制的数据库，也可以是公开资源；知识库检索可以基于匹配、信息抽取、自动摘要等多种技术。

其中，部分问答系统将输入解析与检索合并到一起，直接使用整个问题进行检索。

但是，发明人发现现有技术的问答系统中存在一些问题：

1、当通过该问答系统进行问答时，该问题系统仅可以回答一些简单的问题，例如，“猫所属的科类”，对于复杂问题，现有问题解析技术难以正确全面理解，例如：“我想在xxx找一家安静人少的咖啡厅，最好旁边有地道的西餐馆。”现有技术难以完全正确理解此类问题。

2、知识库覆盖不全/知识库错误/检索失败：问答系统需要从知识库中检索并合成答案。人工编制的知识库质量较高，但覆盖领域有限；开放知识库具有更广泛的覆盖，但其中大量内容由其它用户自由撰写生成，且未经过专业检查。其中可能包含虚假不实或不全面的信息，质量缺乏保障。此外，检索可能会出错或者失败，检索出不相关甚至错误的信息。影响用户体验甚至产生误导，导致严重后果。

3、答案生成能力有限：现有技术只能直接显示检索结果，按照特定格式生成答案，或者基于深度学习生成简单回答；对于复杂问题，无法生成高质量回答。如：对于问题：“我的车有些跑偏，而且方向盘抖，应该怎么检查？”用户期待这样的回答：“可能是轮胎鼓包，四轮定位不准或者转向机构故障。你可以试着先检查轮胎。如果轮胎没有问题，尝试手不扶方向盘怠速倒车，观察是否有抖动……”但是当前语言合成技术只能基于语法规则+句式+填槽生成准确的简单语句，或者基于神经网络生成较长较复杂句子，但无法保证句子语法及其内容的正确性，因此对于如上例的预期答案，当前技术无法生成。

其中，针对问答平台，问答平台与问答系统是两个完全不相关的概念，其中，问答平台是一种用于提供知识解答的服务、平台、软件或者应用。用户在问题平台中提出问题，等待其它用户回答。其中，提问的方式可以是不定向的，即不指定特定用户或者用户群回答，也可以是定向的，即指定特定用户或者用户群回答。

当通过问答平台进行提问时，对于不定向提问，浏览到这个提问的用户可能并不擅长回答，而擅长回答的用户可能会错过这个问题，无法确保问题被合适的用户回答；对于定向提问，提问者需要自行寻找用户进行提问，但是提问对象未必擅长回答这个提问；另外无论不定向提问或定向提问，均无法保证提问被及时回答。

其中，针对搜索引擎，其中搜索引擎是从数据库或互联网检索出大量相关信息。但搜索引擎不提供唯一答案，且不保证所提供信息的正确性，且一般不会对信息进行加工整理。用户需要自行对信息进行判断筛选。因此，搜索引擎只提供大批相关信息，不能直接提供答案，并且不保证所提供信息正确性，或所提供信息是否与问题相关，用户需自行从大量信息中筛选判断，整理出答案，需要花费大量的时间，或者即使花费大量的时间，也无法得出正确的答案。

综上，现有技术中存在以下技术问题，详见下文：

1)对于跨领域，模糊，高度具体化或者个性化问题，现有技术难以简单快速的提供可靠答案：

例如：用户当前的问题为“外地用户到xx地出差，想在xxx处附近找一个安静且有商务气氛的咖啡厅谈事情，并且希望旁边有好吃的西餐馆。”其中，“安静”“商务气氛”为主观模糊条件，不像“价位”“点评得分”等客观指标，难以被应用程序自动处理；涉及多个条件的判断，包括“安静”“商务”“xxx附近”“旁边有西餐馆”等。

当前，用户只能尝试美食/地图类应用程序，但现有技术并不能直接给出解答。用户需要自行在应用程序中浏览相关信息并判断，花费大量精力才能得出结论。

又例如：用户当前的问题为“用户试图在服务器上部署深度学习框架tensorflow，用户按照官方指引进行操作，但遇到错误。用户发现自己服务器环境与官方建议环境不同。”该问题具有高度专业性，并非日常常见问题，因此很难获得现成答案；该问题具备特殊性，此问题的解决方案与服务器具体配置情况相关，需要针对具体情况提供答案。当前，用户只能尝试在互联网上搜索，或者阅读技术文档，在相关论坛提问等均无法保证获得快速高质量的答案。

2)对于高实时性问题，特别是时间/位置相关问题，现有技术难以提供迅速可靠的答案：

例如：用户当前的问题为“初春，我想去某公园野营，请告知当前该公园草木是否变绿，花是否盛开？”此问题涉及“当前”状态信息。对于此类实时信息，除去天气、路况等少数几类外，大部分无法直接获取，现有技术均无法确保快速获得答案，甚至完全无法获得答案。

3)将问题推送至合适的真人用户，可以解决很多复杂问题，但频繁的推送问题容易对用户造成打扰：

频繁的问题推送会使用户受到打扰；如果用户正忙于重要事情，即使一条问题推送也会造成打扰，而如果不推送问题，又无法保证问题被及时回答。

4)部分问题难以用文本或者语音描述，或难以通过文本或者语音回答：

例如：用户在汽车仪表盘上看到故障提示图标，用户不清楚这个提示图标的意思，但很难用语言描述图标形状。又如，用户想知道某家新装修的餐厅风格是否适合宴请宾客。

5)用户在提问时可能使用不当、不规范或者不完备的表述，导致歧义或理解困难。

用户由于自身知识或者语言习惯，在提问时可能会使用不清晰的词汇、或者未提供回答问题所需完整信息，可能会直接影响回答的质量，甚至导致错误回答。

6)用户在接收消息时，可能处于不同行为/状态下。在很多情况下，用户不方便接收某种类型的消息。

例如：当用户在健身或者做饭时，不便接收文本信息；看电影或者在公司上班时，不便接收语音信息。

7)当提问用户获得多个回答，需要花费额外的时间精力进行分析整理。

综上，面对复杂问题，用户难以确定使用哪个应用程序，去哪个网站查询相关信息，如何检索，该向何人提问等，从而导致用户获取信息难度加大，甚至根本无法获取信息。即使用户知道该向何人提问，频繁或不恰当的问题推送也会导致打被提问用户受到打扰，影响用户体验。

为了解决上述技术问题，本发明实施例提供了一种问答的方法，详见下文：

如图1a所示，首先获取输入的待答复问题，然后对待答复的问题进行分析以及用户状态进行分析(空闲状态或者非空闲状态)，确定出目标答复方，然后将待答复问题进行优化处理后推送至确定出的目标答复方，然后对答复信息进行整合处理后，返回并输出答复信息。

具体详见下述实施例：

本发明实施例提供了一种问答的方法，如图1b所示，其中，此套方法的执行主体可以为提问用户的终端设备或者服务器，其中，

步骤101、获取待答复问题。

步骤102、确定待答复问题对应的答复方。

步骤103、向答复方发送待答复问题。

步骤104、接收待答复问题对应的答复信息。

具体地，步骤102包括：对待答复问题进行特征提取；基于提取到的问题特征，以及各个用户分别对应的用户属性，确定待答复问题对应的答复方。

具体地，基于提取到的问题特征，以及各个用户分别对应的用户属性，确定待答复问题对应的答复方，之前还包括：基于以下至少一项，确定各个用户分别对应的用户属性：用户的历史问答信息；用户对应的终端设备所安装的应用程序；用户的历史支付信息；用户的历史位置信息；用户的历史搜索信息；用户的当前位置信息。

具体地，步骤102包括：确定待答复问题是否与答复方的当前位置信息相关；若与答复方的当前位置信息相关，则确定待答复问题所对应的目标位置；基于目标位置以及各个用户分别对应的当前位置信息，确定待答复问题对应的答复方。

进一步地，确定待答复问题对应的答复方，之后还包括：从确定出的答复方中，选取当前状态为空闲状态的目标答复方。

具体地，基于以下至少一项，从确定出的答复方中，选取当前状态为空闲状态的目标答复方：

各个答复方分别对应的日程信息；

各个答复方分别对应的当前位置信息；

各个答复方当前的运动传感器信息；

各个答复方当前运行的应用程序。

具体地，向答复方发送待答复问题，包括：向选取的目标答复方发送待答复问题。

进一步地，该方法还包括：确定待答复问题对应的目标信息类型；当目标信息类型为多媒体信息类型时，输出用于提示用户待答复问题对应的目标信息类型为多媒体信息类型的提示信息。

进一步地，该方法还包括：确定待答复问题对应的答复信息的目标信息类型；将目标信息类型，发送至答复方。

进一步地，该方法还包括：检测终端设备本地存储中是否存在待答复问题对应的多媒体信息；若存在，则输出用于提示终端设备本地存储有待答复问题对应的多媒体信息的提示信息。

进一步地，步骤101之后还包括：获取待答复问题，之后还包括(步骤a、步骤b、步骤c以及步骤d)中至少一项，其中，

步骤a(图中未标注)、删除待答复问题中的预设敏感关键词。

步骤b(图中未标注)、按照预设的词汇转换映射表，将待答复问题中的预设词汇进行词汇转换处理。

步骤c(图中未标注)、对待答复问题进行消歧义处理。

步骤d(图中未标注)、将获取的待答复问题对应的补充信息补充至待答复问题中。

具体地，步骤103包括：根据答复方的当前状态，确定待答复问题对应的目标信息类型；确定待答复问题的信息类型是否与目标信息类型相匹配；若不匹配，则将待答复问题转换为目标信息类型，发送转换后的待答复问题。

进一步地，步骤104之后还包括：根据提问方的当前状态，确定接收的答复信息对应的目标信息类型；确定接收的答复信息的信息类型是否与目标信息类型相匹配；若不匹配，则将接收的答复信息转换为目标信息类型。

具体地，步骤103包括：确定待答复问题的语言类型是否与答复方对应的终端设备的语言类型相匹配；若不匹配，则根据答复方对应的终端设备的语言类型，对待答复问题进行语言类型转换处理，向答复方发送语言类型转换处理后的待答复问题。

进一步地，步骤104之后还包括：确定接收的答复信息的语言类型是否与终端设备自身的语言类型相匹配；若不匹配，则根据终端设备自身的语言类型，对接收的答复信息进行语言类型转换处理。

具体地，步骤103包括：基于答复方的相关信息，从答复方对应的终端设备中选取接收待答复问题的终端设备；向选取的接收待答复问题的终端设备发送待答复问题。

其中，答复方的相关信息包括以下至少一项：日程信息；答复方对应的各个终端设备分别对应的运动传感器信息；答复方对应的各个终端设备当前分别运行的应用程序。

进一步地，该方法还包括：当检测到待答复问题对应多个答复信息时，对多个答复信息进行合并处理。

本发明实施例提供了一种问答的方法，与现有技术相比，本发明实施例获取待答复问题，然后确定所述待答复问题对应的答复方，并向所述答复方发送所述待答复问题，然后接收所述待答复问题对应的答复信息。即当获取到待答复的问题时，确定出适合答复该问题的答复方，由该答复方进行问题答复后，返给问题提问方，由于本发明实施例是确定出某一问题对应的答复方，由该答复方直接进行答复，从而可以提升答复的速度以及准确度。

图2为本发明实施例的另一种问答的方法流程图，其中，该套方法的执行主体可以为答复方终端设备，其中，

步骤201、接收待答复问题。

步骤202、获取待答复问题对应的答复信息。

步骤203、发送待答复问题对应的答复信息。

具体地，步骤202包括：确定待答复问题对应的答复信息的目标信息类型；当目标信息类型为多媒体信息类型时，调用与目标信息类型相匹配的功能，获取待答复问题对应的答复信息。

其中，与目标信息类型相匹配的功能包括：视频采集功能、音频采集功能以及图像采集功能中的任一项。

具体地，确定待答复问题对应的答复信息的目标信息类型，包括(步骤e、步骤f)中至少一项，其中，

步骤e(图中未标注)、接收待答复问题对应的答复信息的目标信息类型；

步骤f(图中未标注)、基于接收到的待答复问题，确定待答复问题对应的答复信息的目标信息类型。

具体地，步骤202包括：确定终端设备本地存储中是否存在答复信息对应的多媒体信息；若存在，则输出用于提示终端设备本地存储有答复信息对应的多媒体信息的提示信息；基于用户的触发指令，获取答复信息对应的多媒体信息作为待答复问题对应的答复信息。

进一步地，步骤201之前还包括：确定当前可接收的待答复问题的目标信息类型；发送当前可接收的待答复问题的信息类型。

具体地，基于以下至少一项，确定当前可接收的待答复问题的信息类型：

终端设备用户的日程信息；终端设备用户当前的位置信息；终端设备运动传感器信息；终端设备当前运行的app；终端设备当前的网络连接类型；终端设备当前的网络速度；终端设备当前的剩余流量。

具体地，步骤201之后还包括：确定接收到的待答复问题的语言类型是否与答复方对应的终端设备对应的语言类型相匹配；若不匹配，则根据答复方对应的终端设备对应的语言类型，对接收到的待答复问题进行语言转换处理。

具体地，步骤203包括：基于答复信息接收方对应的语言类型，对答复信息进行语言转换处理；向答复信息接收方发送语言转换处理后的待答复问题对应的答复信息。

进一步地，步骤201之前还包括：确定答复方对应的终端设备对应的语言类型，并发送答复方对应的终端设备对应的语言类型。

本发明实施例提供了一种问答的方法，与现有技术相比，本发明实施例接收待答复问题，然后获取所述待答复问题对应的答复信息，并发送所述待答复问题对应的答复信息。即答复方为能够答复该问题的用户，并且在答复方获取到待答复的问题之后，直接对该待答复的问题进行作答，并返回答复结果，由于本发明实施例是由该问题的答复方直接作答之后，返给问题答复，从而可以提升答复的速度以及准确度。

下面通过具体的实施例来详细介绍问答的方法，以分别解决上述技术问题，具体详见实施例一至实施例七，其中实施例一中提供相应的解决方案，以解决跨领域，模糊，高度具体化或者个性化问题；实施例二中提供了相应的解决方案，以解决对于高实时性问题，特别是与时间以及位置相关的问题，现有技术中无法快速获得准确答案的问题；实施例三中提供了详细的解决方案，以解决将问题推送至用户，可能对用户造成打扰的问题；实施例四提供了详细的解决方案，以解决部分问题或者问题答复难以用文本方式或者语音方式描述；实施例五中提供了详细的解决方案，以解决问题中可能存在一些不当、不规范、或者不完备的表述，导致问题存在歧义或者回答者理解困难的问题；实施例六提供了详细的解决方案，以解决用户在接收消息时，可能处于不同行为/状态下，用户不方便接收某种类型的消息的问题；实施例七提供了详细的解决方案，以解决当针对一个问题，获得多个回答时，需要花费较长的时间进行分析整理的问题，具体详见下文：

本发明全部实施例中提到的终端设备包括但不限于：手机、平板、可穿戴设备(例如，智能手表、智能眼镜)、智能家居设备(例如，智能冰箱、智能电视)以及智能汽车。

实施例一

本发明实施例提供问答的方法，以解决跨领域，模糊，高度具体化或者个性化问题，具体的流程图如图3所示：

步骤301、获取待答复问题。

步骤302、对待答复问题进行特征提取。

在步骤302之前，提问用户的终端设备接收提问用户提出的问题，即待答复问题。

其中，问题可以是文本形式、语音形式或视频形式等。对语音形式、视频形式的问题，提问用户的终端设备或问答系统的服务器可以使用自动语音识别(automaticspeechrecognition，asr)技术将语音形式或者视频形式的问题转换为文本形式。

本发明实施例提出，步骤302可以由提问用户的终端设备来执行；也可由提问用户的终端设备将待答复问题发送给问答系统的服务器，由服务器来执行特征提取。

提问用户的终端设备或问答系统的服务器使用自然语言理解(naturallanguageunderstanding，nlu)技术对问题文本进行分析，获取问题特征，其中问题类型，关键字，特征向量的部分或全部构成问题特征。具体而言，先使用基于规则的自然语言理解处理问题文本，基于词性、语法等信息将输入文本与模板句匹配，得到问题类型，关键字等信息；再使用基于深度学习的自然语言理解的技术处理问题文本，将其编码为一个表征问题特性的向量。

步骤303、基于提取到的问题特征，以及各个用户分别对应的用户属性，确定所述待答复问题对应的答复方。

本发明实施例提出，步骤303可以由提问用户的终端设备执行；或由问答系统的服务器执行；还可以由问答系统的服务器将问题特征发送给各答复方的终端设备，由答复方的终端设备根据用户属性和问题特征，计算用户属性与问题相关度得分，并将计算结果反馈给服务器，由服务器根据各终端设备的计算结果确定答复方。执行步骤303。

进一步地，步骤303之前还包括：基于以下至少一项，确定所述各个用户分别对应的用户属性：

用户的历史问答信息；用户对应的终端设备所安装的应用程序；用户的历史支付信息；用户的历史位置信息；用户的历史搜索信息；用户的当前位置信息。

对于本发明实施例，用户属性包括用户技能信息，用户兴趣信息，用户习惯信息以及用户的参与意愿信息等。

对于本发明实施例，设备(终端或服务器)分析各个用户分别对应的历史行为信息和设备状态信息，得到用户属性。如图4所示，根据历史行为信息(包括：用户在混合问答系统中的历史问答信息(用户历史问答信息)、用户的历史支付信息、用户的历史位置信息、用户的历史搜索信息)以及设备状态信息(包括：用户对应的终端设备所安装的应用程序)进行向量化后，输入到神经网络，得到各个用户的用户属性(包括：用户技能信息，用户兴趣信息，用户习惯信息以及用户的参与意愿信息)

进一步地，设备(终端设备或问答系统的服务器)通过一个神经网络或者其他分类器获得用户属性。在本发明实施例中，获得的用户属性可以存储在终端设备或者服务器侧，也可以同时存储于终端设备以及服务器。在本发明实施例中不做限定。

设备(终端设备或问答系统的服务器)可以使用另一个神经网络来计算问题与各个用户的相关度。具体而言，将提取到问题特征与用户属性共同作为神经网络的输入，计算出相关度，即如图5所示，将用户属性(包括：用户技能信息、用户兴趣信息、用户爱好信息以及用户参与意愿信息)以及提取到的问题特征，进行向量化后，输入另一神经网络，得到用户属性与问题相关度得分，选取高得分数的用户为答复方。在本发明实施例中，若计算由备选答复方的终端设备执行，服务器会将提取到的问题特征发送到各备选答复方的终端设备，各终端完成计算后，将结果返回服务器。高相关度用户在用户技能、用户兴趣、用户爱好和用户参与意愿上，均适合回答该问题。

对于本发明实施例，在选取待答复问题对应的答复方时，从将用户按相关度从高到低排序，选择相关度最高的预设个数用户(如：10个)作为答复方。未被选中的高分用户列表(如：排名第11-20的用户)可以被保存供后续使用，也可不保存。在此不做限定。

步骤304、向答复方发送待答复问题。

提问用户的终端设备将待答复问题推送至选出的答复方的终端设备，其中，提问用户的终端设备可以直接将待答复问题发送给答复方的终端设备，也可以通过服务器将待答复问题推送至选出的答复方的终端设备。接收到问题推送的终端设备将发出提醒，提示答复方回答问题，或者告知提问用户的终端设备或服务器拒绝回答。

步骤305、接收待答复问题对应的答复信息。

对于本发明实施例，服务器或者提问用户的终端设备，接收答复方针对待答复问题对应的答复信息。答复方的终端设备收集答复信息(语音、视频或文本形式)，并将答复信息返回到提问方的终端设备(可以直接返回或通过服务器返回)。在本发明实施例中，如果在有效时间内(如，3分钟)，提问用户的终端设备或服务器未收集到足够多的回答(如：5个回答。)，则选出另一批答复方(重新匹配，或从保存的列表中选择)，重复推送，直到收集到足够多的答复。

下面通过两个例子(如：实施例1.1以及实施例1.2)，来具体介绍本发明实施例一：

实施例1.1、假设不熟悉xx地环境的用户在xx地出差，用户希望在属于xx地的yy地附近找一个安静且有商务气氛的咖啡厅谈事情，如果旁边有好吃的西餐馆更佳。

终端设备接收用户语音：“我想在yy地找一家安静人少的咖啡厅，最好旁边有地道的西餐馆。”

(终端设备或者问答系统的服务器，较优地为问答系统的服务器)使用语音识别将语音转换为文本，之后对待答复问题进行特征提取，得到问题主题为美食餐饮，提取出yy地，咖啡厅，西餐，等关键词；系统(终端设备或者问答系统的服务器，较优地为问答系统的服务器)将问题特征与各个用户的用户属性进行匹配，选取一批高相关度用户作为答复方。答复方活动于yy地附近，常去咖啡厅和西餐馆，适合回答本问题。

用户属性来自于用户历史行为信息和终端设备状态信息，如，用户日常活动位置信息可以由全球定位系统(globalpositioningsystem，gps)，基站定位，支付历史等获取。用户饮食习惯可以由相关应用的浏览/点评记录，支付信息等获取。

系统(终端设备或者问答系统的服务器，较优地为问答系统的服务器)以文本或语音形式，将问题推送至答复方的终端设备，答复方终端设备接收到回答并将其返回提问方对应的终端设备，如果在预设时间内未能收集到足够多回答，系统(终端设备或者问答系统的服务器，较优地为问答系统的服务器)发起下一轮推送，直到收集到足够答案。

实施例1.2、假设用户正在服务器上部署深度学习框架tensorflow时遇到了技术困难。由于用户所使用的服务器配置可能与网上案例或指导文档不一致，使用当前技术，并不容易获得答案。

提问用户的终端设备接收到用户的提问为“我正在ubuntu14.02上部署tensorflow，我的环境的2.73，按照官方指导操作，但是出现了某某错误，应该如何处理？”，服务器将自动匹配到tensorflow专家用户作为答复方，特别是工作环境类似，具有类似相关经验的，答复方可以提供具有针对性的答复。

对于本发明实施例，现有技术无法自动处理和回答复杂问题；如果用户希望向本领域专家用户请教，将不知如何找到专家，即使找到专家，专家未必有空立刻回复等问题。针对当前技术难以解决跨领域，模糊，高度具体化/个性化问题的情况，本发明实施例通过将问题精确推送到适合回答本问题的答复方，迅速高质量的解决复杂问题。本发明实施例可以处理以自然语言提出的、几乎任意复杂度的问题；并迅速提供详细且有针对性的回答反馈。

本发明实施例的一个较优实施例，当待答复问题的类型为文本类型，则提问用户的终端设备获取待答复问题，然后将待答复问题上传至服务器，服务器对待答复问题进行问题特征提取，并且服务器基于提取到的问题特征以及各个用户分别对应的用户属性信息，确定待答复问题对应的答复方，并将该待答复问题发送至确定出的答复方。在本发明实施例中，确定各个用户分别对应的用户属性的方式包括：各个用户分别对应的终端设备提取各个用户分别对应的用户信息，然后将用户信息上传至服务器，由服务器基于各个用户分别对应的用户信息，确定各个用户分别对应的用户属性。

其中，该用户信息包括以下至少一项：用户的历史问答信息；用户对应的终端设备所安装的应用程序；用户的历史支付信息；用户的历史位置信息；用户的历史搜索信息；用户的当前位置信息。

本发明实施例的另一个较优实施例，当待答复问题的类型为语音类型，则提问用户的终端设备获取待答复问题，提问用户的终端设备对该语音类型的待答复问题进行压缩，并上传至服务器，由服务器进行解压缩，对解压缩后待答复问题进行问题特征提取，并且服务器基于提取到的问题特征以及各个用户分别对应的用户属性信息，确定待答复问题对应的答复方，并将该待答复问题发送至确定出的答复方。

本发明实施例的另一个较优实施例，当待答复问题的信息类型为视频类型，提问用户的终端设备获取该视频类型的待答复问题，并从中获取音频部分，并将获取到的音频部分上传至服务器，由服务器进行解压缩，对解压缩后待答复问题进行问题特征提取，并且服务器基于提取到的问题特征以及各个用户分别对应的用户属性信息，确定待答复问题对应的答复方，并将该待答复问题发送至确定出的答复方。

实施例二

本发明实施例提供了相应的解决方案，以解决对于高实时性问题，特别是与时间以及位置相关的问题，现有技术中无法快速获得准确答案的问题，具体流程图如图6所示，其中，

步骤601、获取待答复问题。

步骤602、确定待答复问题是否与答复方的当前位置信息相关。

本发明实施例中提出：步骤602可以由提问用户的终端设备执行；或者由问答系统的服务器执行，若由问答系统的服务器执行，则提问用户的终端设备可以将待答复问题发送至该服务器。

使用实施例一中的方法从待答复问题中对问题特征进行提取，并将提取出的特征输入一个多变量判别器，判断此问题是否具有实时位置依赖性，即是否依赖于答复方当前位置信息。在本发明实施例中，判别器可以使用规则匹配，传统概率模型，神经网络等方式，判断待答复问题是否具有实时位置依赖性。

步骤603、若与答复方的当前位置信息相关，则确定待答复问题所对应的目标位置。

本发明实施例中提出：步骤603可以由提问用户的终端设备执行，也可以由问答系统的服务器执行，即提问用户的终端设备可以确定出待答复问题所对应的目标位置，也可以提问用户的终端设备将待答复问题发送至服务器，由服务器确定出答复问题所对应的目标位置。

如果待答复问题具有实时位置依赖性，从问题中提取出目标位置，进一步地，如果待答复问题不具有实时位置依赖性，则按照实施例一进行处理，如果待答复问题具有实时位置依赖性，则按照本实施例二的方式进行处理。

步骤604、基于目标位置以及各个用户分别对应的当前位置信息，确定待答复问题对应的答复方。

本发明实施例中提出：步骤604可以由提问用户的终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；若由问答系统的服务器执行，则该服务器可以获取各个用户分别对应的当前位置信息，并基于待答复问题的目标位置，确定出待答复问题对应的答复方；若由答复方终端设备执行，则服务器将待答复问题的目标位置发送至各个答复方，由各个答复方终端设备基于自身对应的当前位置信息以及该目标位置，确定出自身对应的当前位置信息与目标位置的匹配度，并将匹配度返回给服务器，由服务器基于匹配度确定出待答复问题对应的答复方。

对于本发明实施例，通过用户终端设备gps，wifi，基站定位，蓝牙连接，可以直接获取各个用户分别对应的当前位置信息。如果上述信息不可用，通过各个用户最近支付信息，最近导航信息，最近打车软件使用情况等，可以推测用户当前位置信息。

对于本发明实施例，匹配当前正处于目标位置的用户作为该问题的答复方。在本发明实施例中，在确定答复方时，该实施例中确定答复方的方式也可以与实施例一中确定答复方的方式一同确定答复方，即基于用户属性以及用户当前位置信息，确定答复方。

步骤605、向答复方发送待答复问题。

具体详见步骤304，在此不在赘述。

步骤606、接收待答复问题对应的答复信息。

具体详见步骤305，在此不再赘述。

下面通过一个例子(如：实施例2.1)，来具体介绍本发明实施例二：

实施例2.1、应用场景：假设用户想知道xxx地红叶情况，以便考虑是否去游览。

用户终端设备接收到用户通过语音或文本输入待答复问题：“现在xxx地枫叶红了吗？”，提问者终端设备或服务器对问题进行特征提取，并判断出该待答复问题需要依赖于答复方的当前位置，并且目标位置为香山；系统(终端设备或者问答系统的服务器，较优地为问答系统的服务器)通过终端设备gps，wifi，基站定位，蓝牙连接，最近支付信息，最近导航信息，最近打车软件使用情况等，匹配出当前位于xxx地的用户作为答复方。

对于本发明实施例，在现有技术下，无法按照实时地理位置，即时寻找答复方，如果用户希望了解“现在xx公园花开得如何”一类问题，无法简单迅速的获得答复。针对当前技术难以解决时间/位置相关的高实时性问题的情况，本发明实施例提出了基于用户当前位置的问答方法，即根据地理位置信息，匹配适合回答此问题的答复方，并推送待答复问题，解决了实时位置相关问题。

本发明实施例的一个较优实施例，提问用户的终端设备获取待答复问题，并将该待答复问题上传至服务器，服务器确定该待答复问题是否与答复方的当前位置信息相关，若相关，服务器确定待答复问题所对应的目标位置，并基于目标位置以及各个用户分别对应的当前位置信息，确定待答复问题对应的答复方，然后将该待答复问题发送至确定出的答复方，其中，各个用户的终端设备获取各个用户终端设备分别对应的当前位置信息，并将各个用户终端设备将对应的当前位置信息上传至服务器。

实施例三

实施例三中提供了详细的解决方案，以解决将问题推送至用户，可能对用户造成打扰的问题，在本发明实施例中存在两种方式，用于解决将问题推送至用户，对用户造成打扰的问题，其中第一种方式为：在推送问题时，检测答复方当前的状态，将问题推送至空闲状态的目标答复方；第二种方式为，在推送问题时，先检索该问题是否可以通过检索获得，仅在不能检索获得的情况下，才将问题推送至答复方，具体详见下文：

第一种方式，在推送问题时，检测答复方当前的状态，将问题推送至空闲状态的目标答复方，具体流程图如图7所示，其中，

步骤701、获取待答复问题。

步骤702、确定所述待答复问题对应的答复方。

本发明实施例中可以基于实施例一或者实施例二中的方式，确定出待答复问题对应的答复方，在此不再赘述。

步骤703、基于以下至少一项，从确定出的答复方中，选取当前状态为空闲状态的目标答复方：

各个答复方分别对应的日程信息；

各个答复方分别对应的当前位置信息；

各个答复方当前的运动传感器信息；

各个答复方当前运行的应用程序。

本发明实施例中提出：步骤703可以由提问用户终端设备执行，也可以由问答系统的服务器执行；若由答复方终端设备执行或者由服务器执行，均需要获取各个答复方分别对应的日程信息；各个答复方分别对应的当前位置信息；各个答复方当前的运动传感器信息；以及各个答复方当前运行的应用程序。服务器或者提问用户终端设备从确定出的答复方中，选取当前状态为空闲状态的目标答复方；还可以由答复方终端设备基于各自分别对应的日程信息、当前位置信息、当前的运动传感器信息、当前运行的应用程序，计算出各自当前的空闲度，并将确定出的空闲度，返回至服务器，由服务器选出当前状态为空闲状态的答复方。

对于本发明实施例，在向备选答复方(即答复方)推送待答复问题之前，系统(终端设备或者问答系统的服务器，较优地为问答系统的服务器)分析答复方当前状态，将忙碌答复方排除，选择空闲状态的目标答复方，避免打扰用户，如图8所示。

对于本发明实施例，使用如下信息作为输入：各个答复方分别对应的日程信息，各个答复方分别对应的当前位置信息，各个答复方当前的运动传感器信息，当各个答复方当前运行的应用程序等等。此外，用户其他智能设备信息也可作为输入，包括但不限于：智能手表(传感器信息，运行app等)，智能电视(运行app，正在观看的节目等)，智能冰箱(是否正在被使用等)。

如图9所示，使用决策树、神经网络或其他传统分类器等方法处理各项输入信息，判断用户当前状态是否适合接收和答复问题，向空闲答复方(不忙碌的答复方)推送，不向忙碌的答复方推送。该输入信息包括：用户当前日程信息、用户位置信息、运动传感器信息、当前运行的app以及可获取的其余信息。在本发明实施例中，决策树可以基于数据自动生成，或人工设定各节点判别条件。神经网络或其他传统分类器可以由人工标注的数据训练生成，或基于用户反馈等其他数据生成。

对于本发明实施例，如果剩余备选答复方过少，答复方匹配模块将找出更多的备选回答者。在本发明实施例中，本免打扰方法也独立应可用于混合问答系统之外。

下面通过一个例子(如：实施例3.1)，来具体介绍本发明实施例三：

实施例3.1、应用场景为：假设对于某问题，系统匹配到了ab两名备选答复方，从中选取空闲状态的目标答复方。

备选答复方a当前状态：日程信息为会议，手机状态为静音，位置处于公司，pc机正运行远程会议软件，决策树或神经网络通过上述信息，可确定出用户处于忙碌状态(即非空闲状态)，不适合接收问题推送。

备选答复方b当前状态：日程信息为无日程，位置处于公园，运动传感器推断用户正在慢速步行，决策树或神经网络通过上述信息，可推断出用户处于空闲状态，可以接收问题推送。

基于上述信息，备选答复方a将被从备选回答者列表中移除。如果剩余备选回答者数量不足，系统将选出下一批备选回答者并筛选。

步骤704、向目标答复方发送待答复问题。

具体详见步骤304，在此不在赘述。

步骤705、接收待答复问题对应的答复信息。

具体详见步骤305，在此不在赘述。

本发明实施例的一个较优实施例，提问用户的终端设备获取待答复问题，然后将该待答复问题上传至服务器，服务器基于接收到的各个答复方的状态信息，确定空闲状态的目标答复方，并将该待答复问题发送至已确定出的目标答复方，当目标答复方接收到该待答复问题对应的答复信息时，将该待答复问题对应的答复信息通过服务器返回至提问用户的终端设备。

进一步地，服务器基于接收到的各个答复方的状态信息，确定空闲状态的目标答复方之前，服务器向各个答复方发送状态请求消息，并基于答复方返回的状态信息，确定各个答复方当前是否处于空闲状态；或者各个答复方自动将该当前的状态信息发送至服务器。

第二种方式，在推送问题时，先检索该问题是否可以通过检索获得，仅在不能检索获得的情况下，才将问题推送至答复方，具体流程图如图10所示，其中，

步骤1001、获取待答复问题。

步骤1002、确定待答复问题对应的答复信息能否通过搜索获得。

本发明实施例中提出：步骤1002可以由提问用户的终端设备执行，也可以由问答系统的服务器执行；若由问答系统的服务器执行，则提问用户的终端设备将待答复问题发送至问答系统的服务器，由该服务器确定出待答复问题对应的答复信息能否通过搜索获得。

具体地，确定待答复问题对应的答复信息能否通过搜索获得，包括：步骤1002a(图中未标注)以及步骤1002b(图中未标注)中的至少一项，其中，

步骤1002a、将从待答复问题中提取到的问题特征输入已训练的分类器中，确定待答复问题对应的答复信息能否通过搜索获得。

本发明实施例中提出：步骤1002a可以由提问用户的终端设备执行，也可以由问答系统的服务器执行；若由提问用户的终端设备执行，则提问用户的终端设备对待答复问题的问题特征进行提取，并将提取到的问题特征输入已训练的分类器中，确定待答复问题对应的答复信息能否通过搜索获得，或者服务器对待答复的问题特征进行提取，并将提取到的特征返给提问用户的终端设备，由将提取到的问题特征输入已训练的分类器中，确定待答复问题对应的答复信息能否通过搜索获得；若由问题系统的服务器执行，则可以由服务器对待答复问题进行特征提取，并将输入已训练的分类器中，确定待答复问题对应的答复信息能否通过搜索获得，或者提问用户的终端设备对待答复问题进行特征提取，并将提取到的特征发送至服务器，由服务器将输入已训练的分类器中，确定待答复问题对应的答复信息能否通过搜索获得。

使用实施例一中的方法从待答复问题中提取问题特征，将特征输入神经网络或其他分类器；或将问题文本向量化，输入神经网络或其他分类器；或将问题特征与文本向量共同输入神经网络或其他分类器。在本发明实施例中不做限定。

输入神经网络或其他分类器之后，神经网络或其他分类器对待答复问题进行判断，得出待答复问题是否需要真人用户(答复方)处理。神经网络分类器由大量有标注数据训练。具体而言，收集大量问题，并标注其是否需要人工处理，用于训练神经网络。

例如，待答复问题为：“我想在xx地找一家安静人少的咖啡厅，最好旁边有地道的西餐馆。”首先进行问题进行提取，得到问题主题为美食餐饮，提取出xx地，咖啡厅，西餐等关键词。将上述特征与问题文本一起向量化，输入训练好的神经网络分类器，得出此问题不能被自动回答。

步骤1002b、将从待答复问题中提取到的问题特征，通过预设知识库和/或至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得。

本发明实施例中提出：步骤1002b可以由提问用户的终端设备执行，也可以由问答系统的服务器执行；若由提问用户的终端设备执行，则提问用户的终端设备对待答复问题的问题特征进行提取，并过预设知识库和/或至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得，或者服务器对待答复的问题特征进行提取，并过预设知识库和/或至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得；若由问题系统的服务器执行，则可以由服务器对待答复问题进行特征提取，并过预设知识库和/或至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得，或者提问用户的终端设备对待答复问题进行特征提取，并将提取到的特征发送至服务器，由服务器过预设知识库和/或至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得。

具体地，将从待答复问题中提取到的问题特征，通过预设知识库进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得，包括：

将从待答复问题中提取到的问题特征输入预设知识库中进行搜索，并提取第一预设个数的第一搜索结果；从各个第一搜索结果中提取摘要，并确定各个第一搜索结果对应摘要之间的匹配度；基于匹配结果，确定该待答复问题对应的答复信息能否通过搜索获得。

其中，将从待答复问题中提取到的问题特征，通过至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得，包括：

将从待答复问题中提取到的问题特征，通过至少一个搜索引擎进行搜索，得到至少一个第二搜索结果，并提取第二预设个数的第二搜索结果；从各个第二搜索结果中提取摘要，并确定各个第二搜索结果对应摘要的匹配度；基于匹配结果，确定该待答复问题对应的答复信息能否通过搜索获得。

从待答复问题中提取到的问题特征，通过预设知识库和/或至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得，包括：

基于提取到的第一搜索结果对应的摘要以及提取到的第二搜索结果对应的摘要，确定第一搜索结果对应的摘要与第二搜索结果对应的摘要的匹配度；基于匹配结果，确定该待答复问题对应的答复信息能否通过搜索获得。

具体地，在多个搜索引擎搜索待答复问题，如果输出具有高度一致性，则此问题不需要真人用户(答复方)处理。具体方法为，从多个搜索引擎，分别获取排位最高的数条搜索结果(如：各取20条)，然后对每条结果进行自动摘要；和/或在系统知识库内检索，并对匹配度最高的数条结果，分别进行摘要。然后对搜索引擎的所有高排位结果的摘要和/或系统知识库所有高匹配结果的摘要计算一致性，如果一致性高，表明此待答复问题可自动回答，不需真人用户(答复方)处理，摘要后的结果即可作为一种可能的答复信息。

上述方法也可以拆分使用：仅考虑搜索引擎结果摘要一致性，或仅考虑知识库检索结果摘要一致性。

步骤1003、若不能通过搜索获得，则确定待答复问题对应的答复方，并向答复方发送待答复问题。

步骤1004、接收待答复问题对应的答复信息。

本发明实施例的一个较优实施例，提问用户的终端设备获取待答复问题，并将该待答复问题上传至服务器，服务器将从待答复问题中提取到的问题特征输入已训练的分类器中，确定待答复问题对应的答复信息能否通过搜索获得和/或服务器将从待答复问题中提取到的问题特征，通过预设知识库和/或至少一个搜索引擎进行搜索，并基于搜索结果确定待答复问题对应的答复信息能否通过搜索获得，若该待答复问题对应的答复信息能够通过搜索获得，服务器通过搜索获得该待答复问题对应的答复信息，并返回至提问用户的终端设备；若不能通过搜索获得，则服务器确定该待答复问题对应的答复方，并向答复方发送待答复问题，然后答复方接收到答复信息时，将该答复信息通过服务器发送至提问用户的终端设备。

对于本发明实施例，在现有技术下，如果用户向其他用户发起询问，有可能对正在忙碌的用户造成打扰。特别是，为了确保迅速获得答案，自动大规模发起询问，会对用户群体造成严重打扰。针对这种情况本发明实施例提出了两种避免打扰的方法。方法一为，在推送之前，根据用户日程，所使用智能终端设备信息，各传感器信息等，判断目标用户当前行为或者当前状态是否适合处理问题，并跳过不便处理问题的答复方；方法二为，在推送之前，判断问题是否可以被自动回答(即搜索获得)，只有无法自动回答的问题，才被推送到真人用户(答复方)；使用这两种方法，可以在保证问答效率的前提下，极大地降低对用户群体的打扰，并确保用户愿意持续作为备选回答者(而不是由于被打扰而退出问答系统)，最终提升所有用户的使用体验。

实施例四

实施例四提供了详细的解决方案，以解决部分问题或者问题答复难以用文本方式或者语音方式描述，具体的流程图如图11所示，其中，

步骤1101、获取待答复问题。

步骤1102、确定待答复问题对应的目标信息类型。

本发明实施例中提出：步骤1102可以由提问用户终端设备执行，也可以由问答系统的终端设备执行，还可以由答复方终端设备执行；若由答复方终端设备执行，则由答复方终端设备执行，则答复方终端设备确定出待答复问题对应的目标信息类型，然后将确定出的目标信息类型返回至问答系统的服务器或者提问用户的终端设备。

本发明实施例通过使用一个训练好的神经网络或其它模型识别多模态问题。具体而言，将文本类型的待答复问题与从中提取到的问题特征构成一个输入向量，然后将此向量输入训练好的神经网络或其它模型，输出建议的目标信息类型(包括：待答复问题对应的信息类型或者回复信息对应的信息类型)，为文本类型、图片类型、音频类型、或者视频类型等等。

其中，神经网络可以是rnn，lstm，seq2seq或其它结构。使用人工标注或使用历史中收集到的数据对网络进行训练。在本发明实施例中，网络或模型可以运行在提问用户对应的终端设备或服务器上。

步骤1103、当目标信息类型为多媒体信息类型时，输出用于提示用户待答复问题对应的目标信息类型为多媒体信息类型的提示信息。

当提问用户终端设备或服务器识别出待答复问题应当以图片类型、音频类型或者视频类型进行输出，提问用户的终端设备自动调用图像采集、音频采集、视频采集等对应功能，供提问用户(待答复问题发送方)使用。

例如，提问用户终端设备接收到用户问题：“我的汽车仪表盘上有个油壶形状的图标，出什么问题了？”首先通过实施例一对问题特征进行提取，之后将问题特征与问题文本一起向量化，输入到训练好的神经网络中。神经网络判断出此问题适宜附加照片作为补充，则设备(终端设备或者服务器)对用户提出附加照片的建议，并自动打开照相机，照相机拍摄照片后，照片作为问题附件，共同被推送至答复方终端设备。

步骤1104、确定待答复问题对应的答复方。

步骤1105、确定待答复问题对应的答复信息的目标信息类型。

本发明实施例提出：步骤1105可以由提问用户的终端设备，还可以由问答系统的服务器执行，还可以由答复方终端设备执行；若由提问用户的终端设备执行，则提问用户的终端设备将确定出的待答复问题对应的答复信息的目标信息类型(即执行步骤1106)，通过问答系统的服务器发送至答复方终端设备；若由问答系统的服务器执行，则问答系统的服务器将待答复问题对应的答复信息的目标信息类型发送至答复方终端设备(即执行步骤1106)。

其中，步骤1102、步骤1103以及步骤1104可以位于步骤1105之前执行，也可以位于步骤1105之后执行，也可以与步骤1105同时执行。在此不做限定。

对于本发明实施例，提问用户的终端设备或服务器还会识别出待答复问题对应的答复信息的类型为图片类型、音频类型或者视频类型，此类型信息会被发送至答复方终端设备，并自动调用照相/录音/摄像机等对应功能，供答复方使用。在本发明实施例中，用户也可自行决定是否使用上述方式问答，并且用户决定的优先级高于系统自动识别的结果。

步骤1106、将目标信息类型，发送至答复方。

步骤1107、向答复方发送待答复问题。

其中，步骤1106可以位于步骤1107之前执行，也可以位于步骤1107之后执行，也可以同步骤1107同时执行。在此不做赘述。

当答复方接收到待答复问题时，答复方终端设备确定该待答复问题对应的答复信息的目标信息类型，当该目标信息类型为多媒体信息类型时，调用与该目标信息类型相匹配的功能，并获取待答复问题对应的答复信息。

其中，与目标信息类型相匹配的功能包括：视频采集功能、音频采集功能以及图像采集功能中的任一项。

具体地，答复方终端设备确定该待答复问题对应的答复信息的目标信息类型包括：接收提问用户的终端设备或者服务器发送的待答复信息对应的答复信息的目标信息类型；和/或，答复方终端设备基于接收到的待答复问题，确定所述待答复问题对应的答复信息的目标信息类型。

进一步地，答复方在接收待答复问题之前，答复方终端设备确定其自身当前可接收的待答复问题的目标信息类型，并将确定出的其自身当前可接收的待答复问题的目标信息类型发送至服务器或者提问用户的终端设备。

具体地，基于以下至少一项，确定当前可接收的待答复问题的信息类型：

终端设备用户的日程信息；终端设备用户当前的位置信息；终端设备运动传感器信息；终端设备当前运行的app；终端设备当前的网络连接类型；终端设备当前的网络速度；终端设备当前的剩余流量。

例如，当终端设备用户的日程信息为会议时，确定当前可接收的待答复问题的信息类型为文本类型；当终端设备用户当前的位置信息为公园，确定当前可接收的待答复信息的信息类型为语音类型、视频类型；当终端设备运动传感器信息显示用户正在慢跑，确定当前可接收的待答复问题的信息类型为语音类型；当终端设备当前运行的app为办公应用，确定当前可接收的待答复信息的信息类型为文本类型；当终端设备当前的网络连接类型为wi-fi，确定当前可接收的待答复信息的信息类型为视频类型或者语音类型；当终端设备当前的网络速度较慢，确定当前可接收的待答复信息的信息类型为文本类型；当终端设备当前的剩余流量较少，确定当前可接收的待答复的信息类型为文本类型。

步骤1108、接收待答复问题对应的答复信息。

本发明实施例的一个较优实施例，提问用户的终端设备获取待答复问题，并将该待答复问题上传至服务器，由服务器确定该答复问题对应的目标信息类型，当目标信息类型为多媒体信息类型时，服务器向提问用户的终端设备输出用于提示用户待答复问题对应的目标信息类型为多媒体信息类型的提示信息，然后服务器基于用户的触发指令，将待答复问题发送至已确定出的答复方。在本发明实施例中，当服务器接收到待答复问题之后，可以确定出该待答复问题的答复信息对应的目标信息类型，并将确定出的目标信息类型发送至答复方。

对于本发明实施例，提问用户的终端设备、服务器获取到待答复问题之后，检测终端设备本地存储中是否存在可用的多媒体文件包含于待答复问题中，或者答复方终端设备，在接收到待答复问题之后，检测其终端设备本地存储中是否存在可用的多媒体信息作为答复信息，具体包括步骤1201-步骤1211，其中步骤1201-步骤1211均未在图中标注，其中，

步骤1201、获取待答复问题。

步骤1202、检测终端设备本地存储中是否存在可用的素材文件作为待答复问题。

本发明实施例中提出：步骤1202可以由提问用户的终端设备执行。

具体地，基于以下至少一项，检测终端设备本地存储中是否存在可用的素材文件作为待答复问题：

素材文件的生成时间；素材文件的生成地点；素材文件的内容信息。

如果提问用户终端设备中有可以直接使用的文件素材，该终端设备会自动检测并建议使用这些素材文件，包含于待答复的问题中。

素材文件包括照片，录音，视频等。系统(问答系统的服务器或者终端设备，较优地为终端设备)根据文件的生成时间，生成地点，内容等信息，进行自动建议。在本发明实施例中，首先检查素材文件生成的时间地点，如果时间匹配，且地点与问题中的目标地点一致，则进一步检查素材文件的内容。如果内容也与问题匹配，终端设备会提示用户，本地存储中已存在可用素材文件，并将其列出，由用户决定是否直接使用作为待答复问题。

步骤1203、若存在可用的素材文件，则输出所述可用的素材文件，并输出提示信息。

其中，所述提示信息用于提示终端设备本地存储中存在可用的素材文件，所述素材文件包括：视频、音频以及图片中的至少一项。

本发明实施例中提出：步骤1203可以由提问用户的终端设备执行。

步骤1204、确定所述待答复问题对应的答复方。

其中，步骤1202以及步骤1203可以位于步骤1204之前执行，也可以位于步骤1204之后执行，也可以与步骤1204同时执行，在此不再赘述。

步骤1205、向所述答复方发送所述待答复问题。

进一步地，步骤1201-步骤1205可以由提问用户的终端设备或者服务器执行，或者某些步骤由提问用户的终端设备执行，某些步骤由服务器执行。在本发明实施例中不做限定。

步骤1206、接收待答复问题。

本发明实施例中提出：步骤1206可以由答复方终端设备执行。

步骤1207、确定本地存储中是否存在可用的素材文件作为待答复问题对应的答复信息。

本发明实施例中提出：步骤1207可以由答复方终端设备执行。

具体地，基于以下至少一项，确定本地存储中是否存在可用的素材文件作为待答复问题对应的答复信息：

素材文件的生成时间；素材文件的生成地点；素材文件的内容信息。

如果答复方终端设备中有可以直接使用的素材文件，终端设备会自动检测并建议使用这些素材文件包含于答复信息中。

素材文件包括照片，录音，视频等。系统(问答系统的服务器或者终端设备，较优地为终端设备)根据文件的生成时间，生成地点，内容等信息，进行自动建议。在本发明实施例中首先检查素材文件生成的时间地点，如果时间匹配，且地点与待答复问题或者答复信息中的目标地点一致，则进一步检查素材文件的内容，如果内容也与问题匹配，终端设备会提示用户，已存在可用素材文件，并将其列出，由用户决定是否直接使用。

步骤1208、若存在可用的素材文件，则显示所述可用的素材文件，并输出提示信息。

其中，所述提示信息用于提示本地存储中存在能够作为待答复问题对应的答复信息的素材文件。

本发明实施例中提出：步骤1208可以由答复方终端设备执行。

步骤1209、基于用户的触发指令，确定所述可用的素材文件作为待答复问题对应的答复信息。

本发明实施例中提出：步骤1209可以由答复方终端设备执行。

步骤1210、发送所述待答复问题对应的答复信息。

其中，步骤1206-步骤1210可以由服务器或者答复方终端设备执行，也可以部分步骤由服务器执行，部分步骤由答复方终端设备执行。在本发明实施例中不做限定。

步骤1211、接收所述待答复问题对应的答复信息。

其中步骤1211可以由提问用户的终端设备或者服务器执行。

下面通过具体的例子，来介绍本发明实施例，如下所示：

例如，当前为xx地的答复方接收到问题推送：“现在xx地枫叶红了吗？风景如何？”设备分析出此问题适合以照片或视频作为回答。

设备检测到答复方的终端设备中的素材文件，发现有刚刚拍摄于香山的照片和视频，进一步的，设备分析这些图片的内容，去除自拍，合影等，选出部分纯风景内容的照片/小视频，然后设备将选出的风景照片或者视频列出，询问答复方，是否从中挑选一个或数个素材文件作为答复信息。如果接收到答复方选择和确认结果，设备将选中的素材文件作为回答附件，发回提问者；如果设备接收到用户拒绝使用已有文件的指令，设备将建议回答者拍照或者拍摄小视频作为回答，并自动打开相机。

对于本发明实施例，在现有技术下，用户在提问或者回答时，可能会忘记附加必要的多模态信息(图片，录音，视频等)，然而这些信息的缺失，会导致问题不清晰，或回答不清晰，或回答过于主观化等，最终影响问答效果。针对这种情况，在本发明实施例中，检测到纯文本或者语音难以清晰表述的情况，自动建议用户拍照或拍摄视频，作为文本或者语音的补充，以使问答内容更加清晰客观准确全面，并可以避免问答者的语言描述偏见。

本发明实施例的一个较优实施例，当提问用户的终端设备获取到待答复问题时，检测终端设备本地存储中是否存在可用的素材文件作为待答复问题，若存在可用的素材文件，则输出可用的素材文件，并输出提示信息，然后，提问用户的终端设备将待答复问题上传至服务器，由服务器将该待答复问题发送至确定出的答复方；当答复方接收到该待答复问题时，确定确定本地存储中是否存在可用的素材文件作为待答复问题对应的答复信息，若存在可用的素材文件，则答复方显示可用的素材文件，并输出提示信息，并基于用户的触发指令，确定可用的素材文件作为待答复问题对应的答复信息，然后答复方通过服务器将答复信息发送至提问用户的终端设备。

实施例五

实施例五中提供了详细的解决方案，以解决问题中可能存在一些不当、不规范、或者不完备的表述，导致问题存在歧义或者回答者理解困难的问题，具体流程图如图12所示，其中，

步骤1301、获取待答复问题。

步骤1302a、删除待答复问题中的预设敏感关键词。

本发明实施例中提出：步骤1302a可以由提问用户终端设备执行，也可以由问答系统的终端设备执行，还可以由答复方终端设备执行；若由提问用户终端设备执行，则提问用户终端设备删除待答复问题中的预设敏感关键词，并将删除预设敏感关键词的待答复问题发送至问答系统的服务器；若由问答系统的服务器执行，则该服务器删除待答复问题中的预设敏感关键词，并将删除预设敏感关键词的待答复问题发送至确定出的答复方；若由答复方终端设备执行，则服务器将待答复问题发送至确定出的答复方终端设备，由答复方终端设备删除待答复问题中的预设敏感关键词。

提问用户终端设备或服务器对问题文本进行分词，然后将句中各词汇与不良词汇列表(即预设敏感关键词列表)进行匹配，移除敏感关键词汇。避免对答复方造成打扰。不良词汇列表可以预先人工建立，也可以由用户反馈动态生成或更新。

例如，设备(终端设备或者服务器)接收到待答复问题为“我遇到一个该死的bug，……”将文本分词并与不良词汇列表进行匹配。词汇“该死的”被命中，从句子中删除。待答复问题文本变为：“我遇到一个bug，……”。

步骤1302b、按照预设的词汇转换映射表，将待答复问题中的预设词汇进行词汇转换处理。

本发明实施例中提出：步骤1302b可以由提问用户终端设备执行，也可以由问答系统的终端设备执行，还可以由答复方终端设备执行；若由提问用户终端设备执行，则提问用户终端设备按照预设的词汇转换映射表，将待答复问题中的预设词汇进行词汇转换处理，并将词汇转换后的待答复问题发送至问答系统的服务器；若由问答系统的服务器执行，则该服务器按照预设的词汇转换映射表，将待答复问题中的预设词汇进行词汇转换处理，并将词汇转换后的待答复问题发送至确定出的答复方；若由答复方终端设备执行，则服务器将待答复问题发送至确定出的答复方终端设备，由答复方终端设备按照预设的词汇转换映射表，将待答复问题中的预设词汇进行词汇转换处理。

提问用户终端设备或服务器对待答复问题文本进行分词，然后将句中各词汇与预设的词汇转换映射表(如：不规范词汇映射表)进行匹配。对匹配上的词汇，按照预定好的映射关系转换为规范表述词汇。在本发明实施例中，该预设的词汇转换映射表可以事先人工建立，也可以由用户反馈动态生成或更新。在本发明实施例中不做限定。

例如，设备(终端设备或者服务器)接收到待答复问题为“书桌放在门口特别碍事，怎么办？”，词汇“碍事”为不规范词汇，则通过词汇转换映射表，将“碍事”转换为“不方便”，即待答复问题的文本转换为“书桌放在门口特别不方便，怎么办？”。

步骤1302c、对待答复问题进行消歧义处理。

本发明实施例中提出：步骤1302c可以由提问用户终端设备执行，也可以由问答系统的终端设备执行，还可以由答复方终端设备执行；若由提问用户终端设备执行，则提问用户终端设备对待答复问题进行消歧义处理，并将消歧义处理后的待答复问题发送至问答系统的服务器；若由问答系统的服务器执行，则该服务器对待答复问题进行消歧义处理，并将消歧义处理后的待答复问题发送至确定出的答复方；若由答复方终端设备执行，则服务器将待答复问题发送至确定出的答复方终端设备，由答复方终端设备对待答复问题进行消歧义处理。

提问用户终端设备或服务器使用一个神经网络识别模糊表述，并根据上下文信息对其进行消除歧义处理。将待答复问题文本向量化，输入训练好的神经网络，输出消除歧义处理后的待答复问题文本；但若检测到歧义文本，但消除歧义处理失败，则输出建议提问用户重新输入待答复问题的提示信息。在本发明实施例中，神经网络的训练基于大规模文本数据，使用歧义文本-消歧义后文本对神经网络进行训练。

对于本发明实施例，对待答复问题进行消歧义处理，具体包括：对待答复问题进行消歧义处理，得到至少一个备选结果；和/或，基于用户触发的备选结果选择指令，从至少一个备选结果中选择一个备选结果作为歧义消除后的待答复问题。

例如，设备(终端设备或者服务器)接收到待答复问题：“我想买苹果，现在合适吗？”神经网络监测出“苹果”具有手机或者水果双重含义。网络将输出“我想买苹果手机，现在合适吗？”和“我想买苹果吃，现在合适吗？”两种备选结果，供用户选择。

步骤1302d、将获取的待答复问题对应的补充信息补充至待答复问题中。

本发明实施例中提出：步骤1302d可以由提问用户终端设备执行，也可以由问答系统的终端设备执行，还可以由答复方终端设备执行；若由提问用户终端设备执行，则提问用户终端设备将获取的待答复问题对应的补充信息补充至待答复问题中，并将信息补充后的待答复问题发送至问答系统的服务器；若由问答系统的服务器执行，则该服务器将获取的待答复问题对应的补充信息补充至待答复问题中，并将信息补充后的待答复问题发送至确定出的答复方；若由答复方终端设备执行，则服务器将待答复问题发送至确定出的答复方终端设备，由答复方终端设备将获取的待答复问题对应的补充信息补充至待答复问题中。

对于本发明实施例，根据从待答复问题中提取到的问题特征，主题，内容，在待答复的问题中自动补充附加信息。

其中，问题特征的提取方式详见实施例一。对于每类问题，提问用户终端设备或服务器通过查表、规则匹配或神经网络等方法获取此类问题所应具有的信息内容，然后将该待答复问题中已提供信息内容与本类问题应具有信息内容对比，如有缺漏，则在提问用户终端设备中传感器相关记录，及提问用户相关在线信息中寻找所需信息内容，并自动附加到该待答复问题上，如从终端设备中存储的信息以及提问用户相关在先信息中均未获取所需信息，则提示用户补充信息。

对于本发明实施例，补充包括但不限于：用户职业，社会地位，专业技能，兴趣爱好，健康相关(年龄，病史，过敏史等)，位置，当前活动，所使用设备型号参数，等等。在本发明实施例中，考虑到隐私保护，定义问题“所应具有的信息”时，遵循最小可用原则，只包括尽可能少的必要信息，并且对信息做适当的模糊化，只保留必要的颗粒度。例如：根据具体问题，位置只精确到街区，甚至更模糊(如，补充附加信息为“我在xx街”，而非“我在xx街xx号，x座xxx房间”)；年龄以十岁为单位(如：补充附加信息为“我年龄五六十岁”，而非“我年龄五十四岁”)，等等。

例如，设备(终端设备或者服务器)接收到待答复问题：“我想找一家药店。”，设备首先识别出此问题为定位导航相关，通过查表得知，此类问题需要起始地和目的地。问题中只提供目的地，因此需要补充起始地点信息。设备通过gps或其他方法获取用户当前位置，并附加到问题中。即添加补充信息后的待答复问题文本为：“我想找一家药店。我现在在xxx大街。”；

又例如，设备接收到待答复问题：“我想锻炼身体，每周跑步多少比较合适？”设备识别出此为健康相关问题，此类问题应该附加年龄，健康状态，病史等信息，因此设备从用户健康类app或其他信息源获取相关信息，附加到问题中，因此待答复问题文本为：“我想锻炼身体，每周跑步多少比较合适？我大概40岁，健康，没有心肺疾病。”。

又例如，设备接收到待答复问题为：“怎么才能在我的手机上截屏？”，设备识别出此为手机操作相关问题，此类问题需要提供手机型号，操作内容，因此设备读取自身型号信息，附加到问题中，因此待答复问题文本为“怎么才能在我的手机上截屏？我用的是xx品牌的xx型号的手机。”

步骤1303、确定所述待答复问题对应的答复方，并向所述答复方发送所述待答复问题。

对于本发明实施例，步骤1302a、步骤1302b、步骤1302c、步骤1302d、可以位于步骤1303之前执行，也可以位于步骤1303之后执行，或者与步骤1303同时执行，在本发明实施例中不做限定。

步骤1303具体详见上述实施例，在此不做限定。

步骤1304、接收待答复问题对应的答复信息。

步骤1304具体详见上述实施例，在此不再赘述。

针对步骤1301、步骤1302a、步骤1303以及步骤1304的较优实施例，提问用户的终端设备获取待答复问题，并将该待答复问题上传至服务器，服务器删除待答复问题中的预设敏感关键词，并向所述答复方发送该删除预设敏感关键词后的待答复问题，然后答复方终端设备将该待答复问题对应的答复信息通过服务器发送至提问用户的终端设备，然后答复方终端设备接收该答复问题对应的答复信息。

针对步骤1301、步骤1302b、步骤1303以及步骤1304的较优实施例，提问用户的终端设备获取待答复问题，并将该待答复问题上传至服务器，服务器按照预设的词汇转换映射表，将待答复问题中的预设词汇进行词汇转换处理，并向所述答复方发送词汇转换后的待答复问题，然后答复方终端设备将该待答复问题对应的答复信息通过服务器发送至提问用户的终端设备，然后答复方终端设备接收该答复问题对应的答复信息。

针对步骤1301、步骤1302c、步骤1303以及步骤1304的较优实施例，提问用户的终端设备获取待答复问题，并将该待答复问题上传至服务器，服务器对待答复问题进行消歧义处理，并向所述答复方发送消歧处理后的待答复问题，然后答复方终端设备将该待答复问题对应的答复信息通过服务器发送至提问用户的终端设备，然后答复方终端设备接收该答复问题对应的答复信息。

针对步骤1301、步骤1302d、步骤1303以及步骤1304的较优实施例，提问用户的终端设备获取待答复问题，并将该待答复问题上传至服务器，服务器将获取的待答复问题对应的补充信息补充至待答复问题中，并向所述答复方发送信息补充后的待答复问题，然后答复方终端设备将该待答复问题对应的答复信息通过服务器发送至提问用户的终端设备，然后答复方终端设备接收该答复问题对应的答复信息。

进一步地，服务器将获取的待答复问题对应的补充信息补充至待答复问题中之前，服务器通过查表、规则匹配或者神经网络等方式，获取该待答复问题对应的补充信息，或者服务器从提问用户相关在线信息中寻找所需信息内容(待答复问题对应的补充信息)，或者提问用户的终端设备从本地存储中检索待答复问题对应的补充信息，并上传至服务器。

对于本发明实施例，在现有技术下，如果待答复问题中包含不当、不规范、不完备表述，可能会对答复方造成冒犯，或使问题表述不清，最终影响问答效果。针对上述问题，本发明实施例中使用敏感词表移除敏感词汇，使用消歧义方法对不规范表述进行规整化，并自动追加对解答问题有帮助的信息，避免问答者之间冲突，并提高问答内容的准确性和可理解性。

实施例六

实施例六提供了详细的解决方案，以解决用户在接收消息时，可能处于不同行为/状态下，用户不方便接收某种类型的消息的问题，具体如下所示：

其中，实施例六中从三个方面来介绍本发明实施例，以解决用户在接收消息时，可能处于不同行为/状态下，用户不方便接收某种类型的消息的问题，其中该三个方面，包括第一方面、第二方面以及第三方面，其中第一方面主要介绍根据答复方的状态，进行信息类型匹配，以解决用户在接收消息时，可能处于不同行为/状态下，用户不方便接收某种类型的消息的问题；第二方面主要介绍将待答复问题对应的语言类型与答复方终端设备的语言类型进行匹配，以解决用户不方便接收某种类型的消息的问题；第三个方面主要介绍了基于答复方的当前状态，从答复方对应的终端设备中匹配出接收待答复问题的终端设备，以解决用户不方便接收某种类型的消息的问题，具体如下所示：

第一方面，主要介绍根据答复方的状态，进行信息类型匹配，以解决用户在接收消息时，可能处于不同行为/状态下，用户不方便接收某种类型的消息的问题，具体流程图如图13所示，其中，

步骤1401、获取待答复问题。

步骤1402、确定待答复问题对应的答复方。

其中，步骤1401、步骤1402详见上述实施例，在此不再赘述。

步骤1403、根据答复方的当前状态，确定待答复问题对应的目标信息类型。

本发明实施例中提出：步骤1403可以由提问用户终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；

具体地，若由提问用户终端设备执行，则提问用户终端设备获取各个答复方的当前状态，并基于答复方的当前状态，确定待答复问题对应的目标信息类型；若由问答系统的服务器执行，则问答系统的服务器获取各个答复方的当前状态，并基于答复方的当前状态，确定待答复问题对应的目标信息类型；若由答复方终端设备执行，则答复方的终端设备基于自身的当前状态，确定出待答复问题对应的目标信息类型。

设备(终端设备或者服务器)根据待接收消息用户(待接收消息用户包括待接收问题的答复方，和待接收答复信息的提问用户，消息既可以指待答复问题，也可以指待答复问题对应的答复信息)当前状态，确定向待接收消息用户推送文本消息类型信息，语音消息类型信息或视频消息类型信息，并自动进行类型转换(包括：文本-语音，语音-文本，视频-文本，视频-语音等转换)。

待接收消息用户的终端设备或服务器综合分析待接收消息用户的用户相关信息，如：日程信息，当前位置信息，终端设备运动传感器信息，当前运行app，网络连接种类信息(移动网络或wi-fi)，网络速度信息，剩余流量信息等等。此外，用户其它终端设备信息也可作为输入，包括但不限于：智能手表(传感器信息，运行app等)，智能电视(运行app，正在观看的节目等)，智能冰箱(是否正在被使用等)，智能汽车等。通过分析上述信息，判断用户当前状态，进一步的，通过模型或查表，判断用户当前状态适合接收的信息类型。例如，在办公室工作的用户适合接收文本类型的信息，而非语音类型的信息或视频类型的信息；正在慢跑的用户适合接收语音类型的信息，而非文本类型信息或视频类型信息；当前没有特殊活动的用户，如果处于wifi环境，适合接收视频类型的信息，如果处于移动网络环境，则适合接收文本类型信息。

较优地，答复方确定自身终端设备当前状态，以及可接收的信息类型，并将可接收的信息类型上传至服务器。进一步地，答复方还可以将执行信息类型转换的设备告知服务器。

步骤1404、确定待答复问题的信息类型是否与目标信息类型相匹配；

本发明实施例中提出：步骤1404可以由提问用户终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；

具体地，若步骤1403由提问用户终端设备执行，则步骤1404也直接由提问用户终端设备执行，或者步骤1403由提问用户终端设备执行，提问用户终端设备将确定出的目标信息类型发送至服务器，或者发送至答复方终端设备，由服务器或者答复方终端设备执行步骤1404；若步骤1403由问答系统的服务器执行，则步骤1404由问答系统的服务器执行，或者服务器将确定出的目标信息类型发送至答复方终端设备，由答复方终端设备执行步骤1404；若步骤1403由答复方终端设备执行，则步骤1404由答复方终端设备执行。

较优地，服务器确定待答复问题的信息类型是否与目标信息类型相匹配。

步骤1405、若不匹配，则将待答复问题转换为目标信息类型，发送转换后的待答复问题。

本发明实施例中提出：步骤1405可以由提问用户终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；

具体地，步骤1405由问答系统的服务器执行，则服务器基于接收到提问用户的终端设备或者答复方终端设备返回的目标信息类型或者由自身确定出的目标信息类型，执行步骤1405；若步骤1405由答复方终端设备执行，则答复方终端设备可以根据接收到的提问用户的终端设备或者服务器确定的目标信息类型，或者由自身确定出的目标信息类型，执行步骤1405。

如果待答复问题的信息类型与用户适宜接收消息类型(即目标信息类型)一致，则直接推送；如果待答复问题的信息类型与用户适宜接收消息类型(即目标信息类型)不一致，则进行消息类型转换。转化类型可以是通过语音合成技术将文本类型的信息转换为语音类型的信息，通过自动语音识别技术将语音类型的信息转换为文本类型的信息，通过抽取音频流，或者适当压缩增强处理，将视频类型的信息转换为语音类型的信息，或者转换为文本类型的信息等。

对于本发明实施例，信息类型转换可以发生在问题发送终端设备，服务器或问题接收终端设备。如果在问题发送终端设备或服务器进行信息类型转换，由问题接收终端设备将适合接收的信息类型信息发送至问题发送终端设备或服务器，再根据此信息进行信息类型转换。

进一步的，对信息类型进行转换时，除了考虑待接收消息用户(包括：问题接收用户以及答复信息接收用户)的状态，也可以考虑发送用户(包括：问题发送用户以及答复信息发送用户)的状态。例如，发送用户处于移动网络且流量不多，或网络连接不佳的状态时，可以在信息发送终端(包括：待答复问题发送终端设备或者答复方终端涉笔)进行视频-语音转换，视频-文本转换或语音-文本转换，以适应当前网络状况；若此时接收端用户(答复方终端设备或者答复信息接收终端设备)适宜接收语音类型信息，可以再由服务器或接收终端，重新将文本类型信息转化为语音类型信息。

此外，也可以根据待接收端用户状态，提醒发送端用户以适宜的方式发送消息。例如，提问用户正在开车，回答用户在回答时，其终端设备会发出提示，建议用户以语音方式回复答案。

较优地，若服务器确定待答复问题的信息类型是否与目标信息类型不相匹配，则由答复方获知的执行信息类型转换的设备执行信息类型的转换。在本发明实施例中，若执行信息转换的设备为服务器，则服务器将待答复的问题进行信息类型转换，并将信息类型转换后的待答复问题，发送至答复方；若执行信息转换的设备为答复方终端设备，则服务器将待答复问题发送至答复方终端设备，然后答复方终端设备对该待答复问题进行信息类型转换，得到转换后的待答复问题。

步骤1406、根据提问方的当前状态，确定接收的答复信息对应的目标信息类型。

本发明实施例中提出：步骤1406可以由提问用户终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；

具体地，步骤1406由提问用户终端设备执行，则提问用户终端设备根据自身的当前状态，确定接收的答复信息对应的目标信息类型；若步骤1406由服务器执行，则服务器获取提问方当前状态后执行步骤1406,；若步骤1406由答复方终端设备执行，则从答复方终端设备获取提问用户当前状态后，执行步骤1406。

优选地，提问用户的终端设备基于当前终端设备的状态，确定可接收答复信息对应的目标信息类型，以及执行信息类型转换的设备，然后提问用户的终端设备将确定出的可接收答复信息对应的目标信息类型以及执行信息类型转换的设备发送至服务器。

其中确定出的执行信息类型转换的设备可以为提问用户的终端设备、服务器。

步骤1407、确定接收的答复信息的信息类型是否与目标信息类型相匹配。

本发明实施例中提出：步骤1407可以由提问用户终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；

具体地，若步骤1406由提问用户终端设备执行，则提问用户终端设备执行步骤1407，或者服务器获取提问用户终端设备确定出的目标信息类型后执行步骤1407，或者答复方终端设备获取提问用户终端设备确定出的目标信息；类型后执行步骤1407；若步骤1406由服务器执行，则服务器执行步骤1407，或者提问用户的终端设备获取服务器确定出的目标信息类型后，执行步骤1407，或者答复方终端设备获取服务器确定出的目标信息类型后，执行步骤1407；若步骤1406由答复方终端设备执行，则步骤1408由答复方终端设备执行，或者服务器从答复方终端设备中获取确定出的目标信息类型后，执行步骤1407，或者提问用户的终端设备从答复方终端设备中获取确定出的目标信息类型后，执行步骤1407。

步骤1408、若不匹配，则将接收的答复信息转换为目标信息类型。

本发明实施例中提出：步骤1408可以由提问用户终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；

具体地，若步骤1407由提问用户终端设备执行，则步骤1408由提问用户终端设备执行，或者提问用户智能设备将不匹配信息发送至服务器或者答复方终端设备，由服务器或者答复方终端设备执行步骤1408；若步骤1407由服务器执行，则步骤1408由服务器执行，或者服务器将不匹配信息发送至提问用户的终端设备或者答复方终端设备，由提问用户的终端设备或者答复方终端设备执行步骤1408；若步骤1407由答复方终端设备执行，则步骤1408由答复方终端设备执行，或者答复方终端设备将不匹配信息发送至提问用户的终端设备或者服务器，由提问用户的终端设备或者服务器执行步骤1408。

其中，步骤1406、步骤1407、步骤1408可以在步骤1403、步骤1404以及步骤1405之前执行，步骤1406、步骤1407、步骤1408可以在步骤1403、步骤1404以及步骤1405之后执行，步骤1406、步骤1407、步骤1408可以与步骤1403、步骤1404以及步骤1405同时，再此不再赘述。

其中步骤1406、步骤1407以及步骤1408的具体实施例详见步骤1403、步骤1404以及步骤1405，在此不在赘述。

优选地，服务器确定接收答复信息的信息类型是否与提问用户的终端设备确定出的可接收答复信息对应的目标信息类型是否匹配。在本发明实施例中，若不匹配，且确定出的执行信息类型转换的设备可以为提问用户的终端设备，则服务器将答复信息发送至提问用户的终端设备，由提问用户的终端设备对该答复信息进行信息类型转换，得到信息类型转换后的答复信息；若不匹配，且确定出的执行信息类型转换的设备为服务器，则服务器对该答复信息进行信息类型转换，并将转换后的答复信息发送至提问用户的终端设备。

第二方面主要介绍将待答复问题对应的语言类型与答复方终端设备的语言类型进行匹配，以解决用户不方便接收某种类型的消息的问题，具体流程图如图14所示，其中，

步骤1501、获取待答复问题。

步骤1502、确定待答复问题对应的答复方。

其中，步骤1501、步骤1502详见上述实施例，在此不再赘述。

步骤1503、确定待答复问题的语言类型是否与答复方对应的终端设备的语言类型相匹配。

本发明实施例中提出：步骤1503可以由提问用户终端设备执行，也可以由问答系统的服务器执行，还可以由答复方终端设备执行；

具体地，若步骤1503由提问用户终端设备执行，则提问用户终端设备获取答复方对应的终端设备的语言类型后，执行步骤1503；若步骤1503由服务器执行，则服务器获取答复方对应的终端设备的语言类型后，执行步骤1503。

待接收信息用户的终端设备(包括：答复方的终端设备或者答复信息接收方的终端设备)或服务器自动判断待接收信息的用户所使用语言，如待接收信息的用户所使用语言与待接收的信息语言类型不一致，则对待接收的信息进行自动翻译。

待接收信息用户的终端设备或服务器综合分析待接收消息用户信息，判断用户适合接收何种语言的消息。用户所使用语言信息可以在每次问答时重新计算；也可保存在本地或服务器，供后续使用，并在需要时更新。其中，待接收信息用户信息包括：待接收信息用户对应的终端设备的语言设置，待接收信息用户常用输入法语言，待接收信息用户聊天应用、邮件、备忘录所使用语言类型等。

步骤1504、若不匹配，则根据答复方对应的终端设备的语言类型，对待答复问题进行语言类型转换处理，向答复方发送语言类型转换处理后的待答复问题。

本发明实施例中提出：步骤1504可以由提问用户终端设备执行，也可以由问答系统的服务器执行；

具体地，若步骤1503由提问用户终端设备执行，则步骤1504可以由提问用户终端设备执行，或者将1503的确定结果发送至服务器，由服务器执行步骤1504。

若待接收消息的语言类型与待接收信息用户信息不一致，则使用机器翻译技术(包括：统计翻译或基于深度学习)，将待接收消息翻译成用户所使用的语言类型。在本发明实施例中，可以由接收消息用户终端执行翻译；或接收消息用户终端将用户所使用语言发送至服务器或发送终端，然后由服务器或发送终端执行语言类型转换处理；若待接收消息的语言类型与待接收信息用户的语言类型一致，则不需要语言类型转换处理。

例如，待向答复方推送一条文本类型的问题信息：“iamhavingaheadacheandmytemperatureis38°,whatshallido？”答复方手机/手表所设置语音均为中文，且手机中大部分文档为中文。综合上述信息，可判断目标用户语言为中文，适合接收中文消息，而待推送的信息为英文，则将终端设备(答复方终端设备或者提问用户的终端设备)或者服务器将该待推送的信息进行语言类型转换，转换后的待推送信息为“我现在头疼，并且我的体温为38°，我该怎么办”。

步骤1505、接收待答复问题对应的答复信息。

对于本发明实施例，步骤1505之前，答复方终端设备将待答复问题对应的答复信息发送至服务器，或者经由服务器发送至问题提问用户的终端设备。

具体地，答复方终端设备在发送该待答复问题对应的答复信息，具体包括：基于问题提问用户的终端设备对应的语言类型对答复信息进行语言转换处理，以及发送语言转换后的答复信息。

进一步地，答复方在接收待答复问题之前，将答复方终端设备对应的语言类型发送至服务器或者问题提问用户的终端设备。

步骤1506、确定接收的答复信息的语言类型是否与终端设备自身的语言类型相匹配。

本发明实施例中提出：步骤1506可由提问用户的终端设备执行，也可以由服务器执行；

若步骤1506由服务器执行，则服务器获取提问用户终端设备的语言类型后，执行步骤1506。

步骤1507、若不匹配，则根据终端设备自身的语言类型，对接收的答复信息进行语言类型转换处理。

本发明实施例中提出：步骤1507可由提问用户的终端设备执行，也可以由服务器执行，还可以由答复方终端设备执行。

具体的地，若步骤1506由提问用户终端设备执行，则提问用户终端设备执行步骤1507，或者将确定结果发送至服务器或者答复方终端设备，由服务器或者答复方终端设备执行步骤1507；若步骤1506由服务器执行，则服务器执行步骤1507，或者将确定结果发送至提问用户终端设备或者答复方终端设备，由提问用户终端设备或者答复方终端设备执行步骤1507；若步骤1506由答复方终端设备执行，则答复方终端设备执行步骤1507，或者将确定结果发送至服务器或者提问用户终端设备，由服务器或者提问用户终端设备执行步骤1507。

其中，步骤1506、步骤1507具体操作过程详见步骤1503以及步骤1504，在此不再赘述。

本发明实施例的一个较优的实施例，提问用户的终端设备获取待答复问题，然后将该待答复问题上传至服务器，由服务器确定该待答复问题对应的答复方，并确定待答复问题对应的语言类型与答复方终端设备对应语言类型是否匹配，若不匹配，则基于答复方终端设备对应的语言类型，对待答复问题进行语言类型转换，服务器将语言类型转换后的待答复问题方至答复方终端设备。进一步地，确定待答复问题对应的语言类型与答复方终端设备对应语言类型是否匹配之前，答复方终端设备确定自身终端设备对应的语言类型，并上传至服务器。

本发明实施例的另一个较优的实施例，答复方终端设备获取待答复问题对应的答复信息，然后将该待答复问题对应的答复信息上传至服务器，服务器确定该待答复问题对应的答复信息的语言类型是否与提问用户的终端设备对应的语言类型相匹配，若不相匹配，则基于提问用户的终端设备对应的语言类型，对该待答复问题对应的答复信息进行语言类型转换，并将语言类型转换后的答复信息发送至提问用户的终端设备。进一步地，服务器确定该待答复问题对应的答复信息的语言类型是否与提问用户的终端设备对应的语言类型相匹配之前，提问用户的终端设备确定自身终端设备对应的语言类型，并将自身对应的语言类型上传至服务器。

第三个方面主要介绍了基于答复方的当前状态，从答复方对应的终端设备中匹配出接收待答复问题的终端设备，以解决用户不方便接收某种类型的消息的问题，具体流程图如图15所示，其中，

步骤1601、获取待答复问题。

步骤1602、确定待答复问题对应的答复方。

其中，步骤1601、步骤1602详见上述实施例，在此不再赘述。

步骤1603、基于答复方的相关信息，从答复方对应的终端设备中选取接收待答复问题的终端设备。

其中，答复方的相关信息包括以下至少一项：

日程信息；答复方对应的各个终端设备分别对应的运动传感器信息；答复方对应的各个终端设备当前分别运行的应用程序。

本发明实施例中提出：步骤1603由提问用户终端设备执行、也可以由服务器执行。

待接收信息用户的终端设备(答复方终端设备或者接收答复信息的终端设备)或服务器综合分析待接收信息用户信息，判断待接收消息用户当前行为活动，进一步的，通过模型或查表，判断待接收消息用户适合接收信息的终端设备，然后将待答复问题信息或待答复问题对应的回复信息推送给用户适合接收的终端设备上。

其中，待接收信息用户信息包括：待接收信息用户日程信息，待接收信息用户当前位置信息，待接收信息用户终端设备运动传感器信息，待接收信息用户的终端设备当前运行app。此外，待接收信息用户的其他智能设备信息也可作为输入，包括但不限于：智能手表(传感器信息，运行app等)，智能电视(运行app，正在观看的节目等)，智能冰箱(是否正在被使用等)，智能汽车等。

接收待答复问题的终端设备可以是各种智能设备，例如：手机、平板电脑、pc机，可穿戴设备，智能电视，智能冰箱以及智能汽车等。

例如，待接收信息用户终端设备运动传感器信息，检测到待接收信息用户当前正在慢跑，并且携带的终端设备为手机和智能手表，则将信息推送至用户的智能手表上。

步骤1604、向选取的接收待答复问题的终端设备发送待答复问题。

向步骤1603中选取的终端设备，发送待答复问题。

本发明实施例中提出：步骤1604由提问用户终端设备执行、也可以由服务器执行。若步骤1604由提问用户终端设备执行，则提问用户终端设备通过服务器向选取的接收待答复问题的终端设备发送待答复问题；步骤1604由服务器执行，则服务器向选取的接收待答复问题的终端设备发送待答复问题。

步骤1605、接收待答复问题对应的答复信息。

对于本发明实施例，在现有技术下，信息类型、推送目标终端设备没有被很好的优化，在某些情况下会导致用户不便收取信息，甚至无法收取信息，比如，正在厨房烹饪的用户，无法查看手机上的文本消息；在办公室开会的用户，无法接收语音消息等等。针对用户在特定状态下不便接收特定类型的信息的情况，本发明实施例中根据用户所使用/所连接的终端设备信息，判断用户当前状态，进一步的判断用户适合接收的消息类型，以及用户适于接收消息的终端设备，将消息转化为恰当的类型，并推送至恰当的设备，以使得用户可以更方便的接受消息，提升便利，减少打扰。

实施例七

实施例七提供了详细的解决方案，以解决当针对一个问题，获得多个回答时，需要花费较长的时间进行分析整理的问题，具体流程如图16所示，其中，

步骤1701、获取待答复问题。

步骤1702、确定所述待答复问题对应的答复方，并向所述答复方发送所述待答复问题。

步骤1703、接收所述待答复问题对应的答复信息。

其中，步骤1701、步骤1702、步骤1703详见上述实施例，在此不再赘述。

步骤1704、当检测到所述待答复问题对应多个答复信息时，对所述多个答复信息进行合并处理。

本发明实施例中提出：步骤1704可以由问答系统的服务器执行，也可以由提问用户终端设备执行。

较优地，步骤1704由服务器执行。

其中，步骤1704可以位于步骤1703之前执行，也可以位于步骤1703之后执行，在此不再赘述。

具体地对所述多个答复信息进行合并处理，包括：确定各个答复信息之间的相同部分以及差异部分；基于确定出的各个答复信息之间的相同部分以及差异部分，对所述多个答复信息进行合并处理。

当检测到所述待答复问题对应多个答复信息时，对所述多个答复信息进行合并处理时，首先将其它信息类型的答复信息转换为文本类型，之后对各个答复信息进行分析，获取其语义，去除无关部分，得到各个答复信息分别摘要信息，对各个答复信息分别对应的的摘要进行对比，得到共同部分和差异部分，最终向用户推送答复信息。

例如，某一待回复问题对应的3个答复信息分别为“人类有206块骨头和639块肌肉”、“人类有206块骨头和639块肌肉”以及“人类有206块骨头和629块肌肉”，在对答复信息分别对应的摘要进行对比之后，得到共同部分和差异部分，其中得到其共同部分“人类有206块骨头”、差异部分“639块肌肉/629块肌肉”。

进一步的，如果对各条答复信息分别对应的摘要进行比对后，发现存在较大差异，则表征接收到的答复信息存在较大不一致性。这种情况下，可以自动重新执行问题推送步骤，并选取另一批回答用户。在本发明实施例中，若接收到答复信息的提问用户对答案不满，也可主动重新发起问题推送。在本发明实施例中不做限定。

进一步地，对所述多个答复信息进行合并处理，之后还包括：在合并处理后的答复信息中，通过不同标识，分别标识相同部分以及差异部分。

在本发明实施例中，若向用户推送文本类型的答复信息，则可以在分别显示各文本类型的答复信息时，高亮其差异部分；或对回答内容进行总结整理，并合并显示。

例如，当答复信息以文本形式返回提问者时，可以显示为：“人类有206块骨头和639块肌肉”、“人类有206块骨头和639块肌肉”以及“人类有206块骨头和629块肌肉”，其中“639块肌肉”、“639块肌肉”、“629块肌肉”这一差异部分高亮标识；或者或显示为：“三个答复方均说人类有206块骨头，其中两个说有639块肌肉，一个说有629块肌肉”。

在本发明实施例中，若向用户推送语音类型的答复信息，还可以对各个答复信息内容进行总结整理，先读取出其共同部分，再念出其差异部分。进一步的，可以通过增大音量，提高音调，延长时长，增加前后停顿等方法，强调突出重要部分和差异部分。

例如，答复信息以语音形式返回提问者时，其内容被总结整理为：“三个回答者均说人类有206块骨头，其中两个说有639块肌肉，一个说有629块肌肉。”其中，通过音量，音调，时长，前后停顿等一种或多种方法，对“206”进行适当强调，对“639”和“629”进行明显强调。

本发明实施例的一个较优实施例，提问用户的终端设备获取待答复问题，然后将该待答复问题上传至服务器，由服务器确定出该待答复问题对应的答复方，然后服务器将该待答复问题发送至确定出的答复方；当服务器接收到答复方返回的答复信息，并且该答复信息为多个时，对该多个答复信息进行合并处理，将合并处理后的答复信息发送至提问用户的终端设备。

对于本发明实施例，在现有技术下，当提问用户的终端设备接收到多条答复，需要分别阅读、收听或收看，以获取完整信息，这个过程需要消耗用户较多时间，且用户未必能全面准确的把握信息。针对提问用户面对多个答复，需要花费额外精力分析整理的情况，本发明实施例通过分析多个回答的语义并比较，找出其中相同点和不同点，将其相同部分合并，并分别列出不同部分，重新整合为一条回答，提高了用户接收信息的效率。

本发明实施例提供了一种问答的装置，如图17所示，该装置包括：第一获取模块1801、确定模块1802、第一发送模块1803、第一接收模块1804，其中，

第一获取模块1801，用于获取待答复问题。

确定模块1802，用于确定第一获取模块1801获取的待答复问题对应的答复方。

第一发送模块1803，用于向确定模块1802确定的答复方发送待答复问题。

第一接收模块1804，用于接收待答复问题对应的答复信息。

本发明实施例提供了一种问答的装置，与现有技术相比，本发明实施例获取待答复问题，然后确定所述待答复问题对应的答复方，并向所述答复方发送所述待答复问题，然后接收所述待答复问题对应的答复信息。即当获取到待答复的问题时，确定出适合答复该问题的答复方，由该答复方进行问题答复后，返给问题提问方，由于本发明实施例是确定出某一问题对应的答复方，由该答复方直接进行答复，从而可以提升答复的速度以及准确度。

本发明实施例提供了一种问答的装置，适用于上述方法实施例，在此不在赘述。

本发明提供了另一种问答的装置，如图18所示，该装置包括：第二接收模块1901、第二获取模块1902、第二发送模块1903，其中，

第二接收模块1901，用于接收待答复问题。

第二获取模块1902，用于获取待答复问题对应的答复信息。

第二发送模块1903，用于发送第二获取模块1902获取到的待答复问题对应的答复信息。

本发明实施例提供了一种问答的装置，与现有技术相比，本发明实施例接收待答复问题，然后获取所述待答复问题对应的答复信息，并发送所述待答复问题对应的答复信息。即答复方为能够答复该问题的用户，并且在答复方获取到待答复的问题之后，直接对该待答复的问题进行作答，并返回答复结果，由于本发明实施例是由该问题的答复方直接作答之后，返给问题答复，从而可以提升答复的速度以及准确度。

本发明实施例提供了一种电子设备，适用于上述方法实施例，电子设备可以为终端设备或者服务器，如图19所示，包括：处理器2001；以及存储器2002，配置用于存储机器可读指令，上述指令在由上述处理器执行时，使得上述处理器执行上述方法。

图20示意性示出了根据本公开实施例的可用于实现本公开的电子设备的计算系统的框图。如图20所示，计算系统2100包括处理器2110、计算机可读存储介质2120、输出接口2130、以及输入接口2140。该计算系统2100可以执行上面参考图1a、图1b、图2、图3、图5、图6、图7、图10、图11、图12、图13、图14、图15以及图16描述的方法，以实现将待答复问题进行处理，并获取待答复问题对应的答复信息(问答的方法)。

具体地，处理器2110例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器2110还可以包括用于缓存用途的板载存储器。处理器2110可以是用于执行参考图1a、图1b、图2、图3、图5、图6、图7、图10、图11、图12、图13、图14、图15以及图16描述的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质2120，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

计算机可读存储介质2120可以包括计算机程序2121，该计算机程序2121可以包括代码/计算机可执行指令，其在由处理器2110执行时使得处理器2110执行例如上面结合图1a、图1b、图2、图3、图5、图6、图7、图10、图11、图12、图13、图14、图15以及图16所描述的方法流程及其任何变形。计算机程序2121可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序2121中的代码可以包括一个或多个程序模块，例如包括2121a、模块2121b、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器2110执行时，使得处理器2110可以执行例如上面结合图1a、图1b、图2、图3、图5、图6、图7、图10、图11、图12、图13、图14、图15以及图16所描述的方法流程及其任何变形。

根据本公开的实施例，处理器2110可以使用输出接口2130和输入接口2140来执行上面结合图1a、图1b、图2、图3、图5、图6、图7、图10、图11、图12、图13、图14、图15以及图16所描述的方法流程及其任何变形。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随即存储器)、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。