多模态交互方法、装置、设备及存储介质与流程

1.本技术涉及汽车技术领域，尤其涉及一种多模态交互方法、装置、设备及存储介质。


背景技术：

2.近年来，随着汽车工业智能水平的不断提高，汽车产业朝着智能化方向发展已成为必然趋势。其中，智能座舱作为汽车整车智能化发展的重要组成部分，其包含的新技术、新场景以及新模式也在不断涌现。车载语音交互作为目前智能座舱中包含的最直接、最人性化、最安全以及最高效的智能化产品，汽车驾乘人员对于车载语音交互的需求已从基本的指令操控，向语音交互的拟人化、情感化、丰富性以及趣味性提出更多的需求。
3.随着人工智能(artificial intelligence，简称ai)技术的发展和车机硬件性能的增强，车载语音交互由传统单一模态的交互方式向多模态的交互方式的发展已成为必然趋势，因此，如何实现车载语音的多模态交互是一个亟需解决的问题。


技术实现要素：

4.本技术实施例提供一种多模态交互方法、装置、设备及存储介质，用以实现车载语音的多模态交互。
5.第一方面，本技术实施例提供一种多模态交互方法，包括：获取目标车辆的车辆环境信息和用户行为信息；根据车辆环境信息和用户行为信息，确定用户的情绪标签，该情绪标签包括积极标签和消极标签；基于车载场景，根据情绪标签生成多模态输出，该车载场景包括驻车场景和行车场景，其中，不同情绪标签对应的多模态输出是不同的。
6.一种可能的实现方式中，基于车载场景，根据情绪标签生成多模态输出，包括：若车载场景为行车场景，则通过文本生成技术和图像生成技术生成对应情绪标签的第一内容，采用文本模态和图像模态输出第一内容；或，若车载场景为行车场景，则通过文本生成技术和音频生成技术生成对应情绪标签的第二内容，采用文本模态和音频模态输出第二内容。
7.一种可能的实现方式中，基于车载场景，根据情绪标签生成多模态输出，包括：若车载场景为驻车场景，则通过文本生成技术和视频生成技术生成对应情绪标签的第三内容；采用文本模态和视频模态输出第三内容。
8.一种可能的实现方式中，获取目标车辆的车辆环境信息和用户行为信息的触发条件，包括：获取到用户指令；基于车载场景，根据情绪标签生成多模态输出，包括：基于车载场景，根据情绪标签和用户指令生成多模态输出。
9.一种可能的实现方式中，根据车辆环境信息和用户行为信息，确定用户的情绪标签，包括：分别确定车辆环境信息和用户行为信息对应的情绪标签；确定情绪标签中积极标签的第一总数和/或消极标签的第二总数；响应于第一总数大于第一阈值，确定用户的情绪标签为积极标签；响应于第二总数大于第二阈值，确定用户的情绪标签为消极标签。
10.一种可能的实现方式中，情绪标签还包括中性标签，该多模态交互方法还包括：响应于第一总数小于或等于第一阈值，且第二总数小于或等于第二阈值，确定用户的情绪标签为中性标签；通过文本生成技术生成第四内容；采用文本模态输出第四内容。
11.一种可能的实现方式中，根据车辆环境信息和用户行为信息，确定用户的情绪标签，包括：将车辆环境信息和用户行为信息输入语言表征模型，得到语言表征模型输出的用户的情绪标签。
12.一种可能的实现方式中，车辆环境信息包括车速和档位，基于车载场景，根据情绪标签生成多模态输出之前，还包括：当车速为0，和/或，档位为空档时，确定车载场景为驻车场景；当车速不为0，且，档位不为空档时，确定车载场景为行车场景。
13.第二方面，本技术实施例提供一种多模态交互装置，包括：获取模块，用于获取目标车辆的车辆环境信息和用户行为信息；第一确定模块，用于根据车辆环境信息和用户行为信息，确定用户的情绪标签，该情绪标签包括积极标签和消极标签；输出模块，用于基于车载场景，根据情绪标签生成多模态输出，该车载场景包括驻车场景和行车场景，其中，不同情绪标签对应的多模态输出类型是不同的。
14.一种可能的实现方式中，输出模块具体用于：若车载场景为行车场景，则通过文本生成技术和图像生成技术生成对应情绪标签的第一内容，采用文本模态和图像模态输出第一内容；或，若车载场景为行车场景，则通过文本生成技术和音频生成技术生成对应情绪标签的第二内容，采用文本模态和音频模态输出第二内容。
15.一种可能的实现方式中，输出模块还可以用于：若车载场景为驻车场景，则通过文本生成技术和视频生成技术生成对应情绪标签的第三内容；采用文本模态和视频模态输出第三内容。
16.一种可能的实现方式中，获取模块具体用于：获取目标车辆的车辆环境信息和用户行为信息的触发条件，包括：获取到用户指令；基于车载场景，根据情绪标签生成多模态输出，包括：基于车载场景，根据情绪标签和用户指令生成多模态输出。
17.一种可能的实现方式中，第一确定模块具体用于：分别确定车辆环境信息和用户行为信息对应的情绪标签；确定情绪标签中积极标签的第一总数和/或消极标签的第二总数；响应于第一总数大于第一阈值，确定用户的情绪标签为积极标签；响应于第二总数大于第二阈值，确定用户的情绪标签为消极标签。
18.一种可能的实现方式中，情绪标签还包括中性标签，第一确定模块还可以用于：响应于第一总数小于或等于第一阈值，且第二总数小于或等于第二阈值，确定用户的情绪标签为中性标签；通过文本生成技术生成第四内容；采用文本模态输出第四内容。
19.一种可能的实现方式中，第一确定模块还可以用于：将车辆环境信息和用户行为信息输入语言表征模型，得到语言表征模型输出的用户的情绪标签。
20.一种可能的实现方式中，车辆环境信息包括车速和档位，该多模态交互装置还包括第二确定模块，该第二确定模块用于：当车速为0，和/或，档位为空档时，确定车载场景为驻车场景；当车速不为0，且，档位不为空档时，确定车载场景为行车场景。
21.第三方面，本技术提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器连接的存储器；其中，存储器用于存储至少一个处理器可执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面提供的多模态交互方法。
22.第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令被执行时用于实现第一方面提供的多模态交互方法。
23.第五方面，本技术提供一种程序产品，该程序产品包含计算机执行指令。当计算机执行指令被执行时，以实现第一方面提供的多模态交互方法。
24.本技术提供一种多模态交互方法、装置、设备及存储介质，通过获取目标车辆的车辆环境信息和用户行为信息，并根据车辆环境信息和用户行为信息对应的情绪标签确定用户的情绪标签为积极标签或消极标签，进一步基于目标车辆当前所处的车载场景，根据确定的情绪标签生成多模态输出。在本技术中，由于多模态输出是根据车辆环境信息和用户行为信息等多模态输入得到的情绪标签生成的，因此该多模态输出是符合用户意图的具有创造性的多模态内容，实现了车载语音交互的多模态输出，提升用户体验。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
26.图1为本技术一实施例提供的多模态交互方法的流程图；
27.图2为本技术实施例提供的多模态输出的框架图；
28.图3为本技术另一实施例提供的多模态交互方法的流程图；
29.图4为本技术一实施例提供的多模态交互装置的结构示意图；
30.图5为本技术一实施例提供的电子设备的结构示意图。
31.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
32.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
33.首先对本技术实施例中涉及的专有名词进行解释说明。
34.多模态交互：模态是生物凭借感知器官与经验来接收信息的通道，如人类有视觉、听觉、嗅觉、味觉和触觉模态，多模态即将多种感官融合。多模态交互是指将多个感官的交互技术融合在一起，通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式。
35.相关技术中，车载语音交互的多模态交互方式是通过多模态的信息输入，采用文本生成技术生成单一的文本模态对应的内容并输出。这种多模态交互方式得到的输出结果比较单一，无法将输入的用户信息与当前车辆所处的车载场景特征相结合，得到具有创造性的多模态输出，从而导致用户体验差。
36.基于相关技术中存在的问题，本技术实施例通过获取车辆的实时环境信息和用户行为信息，得到用户可以反映在当前环境下的情感以及意图的情绪标签，进一步基于车辆
当前所处的车载场景，根据确定的情绪标签生成多模态输出，实现了车载语音交互的多模态输出，提升用户体验。
37.为了便于理解，首先对本技术实施例的应用场景进行介绍。
38.本技术实施例提供的应用场景包括车辆和服务器。其中，车辆和服务器通过通信连接。一些实施例中，车辆环境信息可以包括车辆内部环境信息和车辆外部环境信息。在执行多模态交互方法的执行主体为服务器时，服务器可以从目标车辆获取车辆环境信息和用户行为信息；或者，服务器从目标车辆获取车辆内部环境信息和用户行为信息，从互联网或其他设备或本地获取车辆外部环境信息，例如天气信息等。
39.另外，本技术实施例提供的多模态交互方法的执行主体还可以为车端系统。
40.基于上述应用场景，下面结合具体的实施例对本技术提供的多模态交互方法进行详细的说明。
41.图1为本技术一实施例提供的多模态交互方法的流程图。如图1所示，该多模态交互方法包括以下步骤：
42.s101，获取目标车辆的车辆环境信息和用户行为信息。
43.可选地，车辆环境信息可以包括车内环境信息和车外环境信息。其中，车内环境信息可以包括但不限于车内温度、车速、档位、多媒体风格及状态、车内氛围灯状态、当前导航路况以及用户状态等。具体的，车内温度、车速以及档位可以为目标车辆的实时车内温度信息、车速信息以及档位状态；多媒体状态及风格可以为目标车辆当前的多媒体响应状态以及对应的风格特征，示例性的，多媒体响应状态可以为当前播放的音乐等，风格可以为该音乐对应的曲风；车内氛围灯状态可以为关闭状态、手动状态、开启状态以及具体的氛围灯颜色状态等；当前导航路况可以为重度拥挤、轻度拥挤以及道路顺畅等；用户状态可以为用户的疲劳状态以及用户心情等，示例性的，用户状态可以通过驾驶员监控系统(driver monitor system，简称dms)获取。dms是一种基于智能驾驶的人机交互系统。具体的，dms是利用车载光学摄像头和红外摄像头，实时采集驾驶员的眼睛状况(眼球追踪、视线追踪等)，并利用深度学习的方法，对驾驶员的状况进行分析，从而对驾驶员的身份识别、疲劳监测、驾驶员注意力、危险驾驶等方面进行监测，并对其进行分级预警。
44.车外环境信息可以包括但不限于天气信息、时间信息、日期信息、车外温度以及地理位置等。具体的。地理位置可以为目标车辆当前的经纬度。
45.可选地，用户行为信息为用户主动触发的操作行为。示例性的，可以为打开车窗以及开启空调等行为信息。
46.需要说明的是，对于目标车辆的车辆环境信息以及用户行为信息的获取，是基于目标车辆处于点火状态。具体的，可以在获取到用户指令时获取，也可以实时获取。本技术实施例对目标车辆处于点火状态后，对于目标车辆的车辆环境信息以及用户行为信息的获取时间不做限定。
47.一种可能的实现方式中，在获取到用户指令时，其目标车辆的车辆环境信息可以为实时获取的信息，用户行为信息可以为获取到用户指令时，基于该时间点之前的一时间段内获取的用户行为信息。示例性的，该时间段可以为3分钟、也可以为5分钟等。当获取到用户指令的时间为上午10点10分时，用户行为信息可以在上午10点5分到10点10分对应的时间段内获取。
48.s102，根据车辆环境信息和用户行为信息，确定用户的情绪标签，该情绪标签包括积极标签和消极标签。
49.可选地，用户的情绪标签可以为用于反映用户当前心情的标签。
50.一些实施例中，可以分别确定车辆环境信息中每一条信息对应的情绪标签，以及用户行为信息中每一条信息对应的情绪标签，统计对应的情绪标签的总数，并根据最终的统计结果确定用户的情绪标签。示例性的，具体的统计过程可以通过车端系统自动进行计算，并输出最终的统计结果。
51.s103，基于车载场景，根据情绪标签生成多模态输出，该车载场景包括驻车场景和行车场景，其中，不同情绪标签对应的多模态输出是不同的。
52.可以理解的是，基于车辆驾驶过程中需要考虑的驾驶安全问题，可以将车载场景分为驻车场景和行车场景。具体的，驻车场景即车辆处于停止状态，行车场景即车辆处于行驶状态。需要说明的是，驻车场景下车辆仍处于点火状态。
53.需要说明的是，当车辆环境信息和用户行为信息是基于获取到用户指令时获取的，则多模态输出的具体内容是基于车载场景，根据情绪标签和用户指令得到的；当车辆环境信息和用户行为信息不是基于获取到用户指令时获取的，则多模态输出的具体内容是基于车载场景，根据情绪标签得到的。
54.可选地，多模态可以是多种模态的信息，示例性的，可以包括图像模态、音频模态、视频模态以及文本模态等。
55.一种可能的实现方式中，基于车载场景，可以根据情绪标签以及用户指令或根据情绪标签，通过图像生成技术、音频生成技术以及视频生成技术中的至少一种与文本生成技术相结合进行创作，得到多模态输出对应的内容，其内容丰富多元，与用户场景贴近，符合用户意图。
56.需要说明的是，多模态输出的内容是根据情绪标签以及用户指令通过理解用户意图进行实时创作的，其得到的创作内容即多模态输出内容具有创造性、唯一性以及趣味性。具体的，可以通过ai进行图像、音频以及视频的创作。示例性的，音频模态对应的内容不属于现有的歌曲。
57.本技术实施例中，通过获取目标车辆的车辆环境信息和用户行为信息，并根据车辆环境信息和用户行为信息对应的情绪标签确定用户的情绪标签为积极标签或消极标签，进一步基于目标车辆当前所处的车载场景，根据确定的情绪标签生成多模态输出。在本技术中，由于多模态输出是根据车辆环境信息和用户行为信息等多模态输入得到的情绪标签生成的，因此该多模态输出是符合用户意图的具有创造性的多模态内容，实现了车载语音交互的多模态输出，提升用户体验。
58.在上述实施例的基础上，一些实施例中，获取目标车辆的车辆环境信息和用户行为信息的触发条件可以为获取到用户指令。可选地，基于车载场景，根据情绪标签生成多模态输出可以具体包括：基于车载场景，根据情绪标签和用户指令进行多模态输出。其中，用户指令为不具有明确用户意图的指令，示例性的，用户指令可以为：“给我唱首歌吧！”、“猜猜我心情怎么样”以及“我好难过啊”等。
59.本技术实施例提供的多模态交互方法可以包括，在获取到用户指令后，车端系统或服务器获取当前的车辆环境信息和用户信息，并根据该车辆环境信息和用户行为信息确
定用户当前的情绪标签，进一步基于当前车辆的车载场景，将用户指令与用户当前的情绪标签相结合，得到用户的意图，并通过图像生成技术、视频生成技术、音频生成技术以及文本生成技术进行ai创造，得到更符合用户意图的多模态输出，实现了车载语音的多模态交互，进一步提升用户体验。
60.可以理解的是，根据车载场景以及用户情绪标签的不同，其对应的多模态输出的内容也不相同，下面通过具体的实施例对基于车载场景，根据情绪标签生成多模态输出的不同实现方式进行详细说明。
61.可选地，上述实施例中基于车载场景，根据情绪标签生成多模态输出可以具体包括以下实现方式：若车载场景为行车场景，则通过文本生成技术和图像生成技术生成对应情绪标签的第一内容，采用文本模态和图像模态输出第一内容；或，若车载场景为行车场景，则通过文本生成技术和音频生成技术生成对应情绪标签的第二内容，采用文本模态和音频模态输出第二内容。其中，第一内容和第二内容的生成方式与上述类似，这里不再赘述。
62.一些实施例中，输出的第一内容可以为带有解说的图像内容。具体的，采用图像模态输出图像内容，采用文本模态输出对应的解说。示例性的，当情绪标签为积极标签时，输出的第一内容可以为欢快的带有解说的艺术图像；当情绪标签为消极标签时，输出的第一内容可以为治愈的带有解说的艺术图像。
63.一些实施例中，输出的第二内容可以为带有前序提醒词的音频内容。具体的，采用音频模态输出音频内容，采用文本模态输出对应的前序提醒词。示例性的，当情绪标签为积极标签时，输出的第一内容可以为欢快的带有前序提醒词的音乐；当情绪标签为消极标签时，输出的第一内容可以为治愈的带有前序提醒词的音乐，前序提醒词可以为“下面带您走进一场欢快的音乐会”等。
64.可选地，上述实施例中基于车载场景，根据情绪标签生成多模态输出还可以包括以下实现方式：若车载场景为驻车场景，则通过文本生成技术和视频生成技术生成对应情绪标签的第三内容；采用文本模态和视频模态输出第三内容。其中，第三内容的生成方式与上述类似，这里不再赘述。
65.一些实施例中，输出的第三内容可以为带有独白的视频。具体的，采用视频模态输出视频内容，采用文本模态输出对应的独白。示例性的，当情绪标签为积极标签时，输出的第三内容可以为欢快的带有独白的短视频；当情绪标签为消极标签时，输出的第三内容可以为治愈的带有独白的短视频。
66.需要说明的是，本技术实施例提供的文本生成技术生成的文本模态是通过转换为语音的形式输出的。
67.图2为本技术实施例提供的多模态输出的框架图。如图2所示，不同的车载场景和情绪标签结合可以得到的不同场景，同时可以输出不同的多模态内容，其具体的实现方式以及输出的多模态内容与上述类似，这里不再赘述。
68.本技术实施例中，通过基于行车场景和驻车场景，根据用户的积极标签或消极标签，采用图像生成技术或视频生成技术或音频生成技术与文本生成技术相结合的方式，生成可以用于反映用户意图的具有创造性、唯一性以及趣味性的多模态内容，实现了车载语音的多模态交互。
69.下面结合图3对步骤s102根据车辆环境信息和用户行为信息，确定用户的情绪标签的实现方式进行详细的说明。
70.图3为本技术另一实施例提供的多模态交互方法的流程图。如图3所示，根据车辆环境信息和用户行为信息，确定用户的情绪标签具体可以包括以下步骤：
71.s301，分别确定车辆环境信息和用户行为信息对应的情绪标签。
72.一种可能的实现方式中，可以根据车端系统中存储的车辆环境信息以及用户行为信息与情绪标签的映射关系，分别确定车辆环境信息和用户行为信息对应的情绪标签。示例性的，车端系统存储的车速与情绪标签的映射关系为，车速小于60km/h，为消极标签，大于或等于60km/h，为积极标签时，则确定实时获取的车辆环境信息中车速的大小，并根据其具体的车速大小确定其对应的情绪标签。
73.s302，确定情绪标签中积极标签的第一总数和/或消极标签的第二总数。
74.示例性的，可以基于统计学的方法统计情绪标签中积极标签的第一总数和/或消极标签的第二总数。
75.s303，响应于第一总数大于第一阈值，确定用户的情绪标签为积极标签。
76.s304，响应于第二总数大于第二阈值，确定用户的情绪标签为消极标签。
77.需要说明的是，本技术实施例提供的多模态交互方法中，其第一阈值和第二阈值的设定需满足不存在同时使得积极标签的第一总数大于第一阈值，且消极标签的第二总数大于第二阈值的场景。
78.本技术实施例中，通过分别确定车辆环境信息和用户行为信息对应的情绪标签，并进一步确定情绪标签中积极标签的第一总数和/或消极标签的第二总数，根据第一总数和第二总数确定情绪标签，可以实现对用户当下情感的理解，有利于根据该情绪标签输出满足用户意图的多模态内容。
79.可选地，情绪标签还可以包括中性标签，具体的，本技术实施例提供的多模态交互方法还可以包括以下实现方式：响应于第一总数小于或等于第一阈值，且第二总数小于或等于第二阈值，确定用户的情绪标签为中性标签；通过文本生成技术生成第四内容；采用文本模态输出第四内容。具体的，第四内容可以为用于回应用户指令的语音内容。
80.可选地，根据车辆环境信息和用户行为信息，确定用户的情绪标签还可以通过以下方式实现：将车辆环境信息和用户行为信息输入语言表征模型，得到语言表征模型输出的用户的情绪标签。具体的，语言表征模型中可以存储有车辆环境信息和用户行为信息与情绪标签的映射关系，该语言表征模型可以部署在车端系统中或者服务器中。示例性的，语言表征模型可以为bert(bidirectional encoder representations from transformers)模型。
81.可以理解的是，考虑到驾驶安全问题，可以将车载场景分为行车场景和驻车场景。并基于车载场景给用户输出对应的多模态内容。一些实施例中，在基于车载场景，根据情绪标签生成多模态输出之前，需要先确定车载场景，具体的实现方式可以为：当车速为0，和/或，档位为空档时，确定车载场景为驻车场景；当车速不为0，且，档位不为空档时，确定车载场景为行车场景。
82.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
83.图4为本技术一实施例提供的多模态交互装置的结构示意图。如图4所示，该多模态交互装置40包括：获取模块410、第一确定模块420以及输出模块430。
84.其中，获取模块410，用于获取目标车辆的车辆环境信息和用户行为信息；第一确定模块420，用于根据车辆环境信息和用户行为信息，确定用户的情绪标签，该情绪标签包括积极标签和消极标签；输出模块430，用于基于车载场景，根据情绪标签生成多模态输出，该车载场景包括驻车场景和行车场景，其中，不同情绪标签对应的多模态输出是不同的。
85.一种可能的实现方式中，输出模块430具体用于：若车载场景为行车场景，则通过文本生成技术和图像生成技术生成对应情绪标签的第一内容，采用文本模态和图像模态输出第一内容；或，若车载场景为行车场景，则通过文本生成技术和音频生成技术生成对应情绪标签的第二内容，采用文本模态和音频模态输出第二内容。
86.一种可能的实现方式中，输出模块430还可以用于：若车载场景为驻车场景，则通过文本生成技术和视频生成技术生成对应情绪标签的第三内容；采用文本模态和视频模态输出第三内容。
87.一种可能的实现方式中，获取模块410具体用于：获取目标车辆的车辆环境信息和用户行为信息的触发条件，包括：获取到用户指令；基于车载场景，根据情绪标签生成多模态输出，包括：基于车载场景，根据情绪标签和用户指令生成多模态输出。
88.一种可能的实现方式中，第一确定模块420具体用于：分别确定车辆环境信息和用户行为信息对应的情绪标签；确定情绪标签中积极标签的第一总数和/或消极标签的第二总数；响应于第一总数大于第一阈值，确定用户的情绪标签为积极标签；响应于第二总数大于第二阈值，确定用户的情绪标签为消极标签。
89.一种可能的实现方式中，情绪标签还包括中性标签，第一确定模块420还可以用于：响应于第一总数小于或等于第一阈值，且第二总数小于或等于第二阈值，确定用户的情绪标签为中性标签；通过文本生成技术生成第四内容；采用文本模态输出第四内容。
90.一种可能的实现方式中，第一确定模块420还可以用于：将车辆环境信息和用户行为信息输入语言表征模型，得到语言表征模型输出的用户的情绪标签。
91.一种可能的实现方式中，车辆环境信息包括车速和档位，该多模态交互装置还包括第二确定模块(未图示)，该第二确定模块用于：当车速为0，和/或，档位为空档时，确定车载场景为驻车场景；当车速不为0，且，档位不为空档时，确定车载场景为行车场景。
92.本技术实施例提供的装置，可用于执行上述方法实施例提供的方法步骤，其实现原理和技术效果类似，在此不再赘述。
93.需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软
件形式的指令完成。
94.例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital signal processor，简称dsp)，或，一个或者多个现场可编程逻辑门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
95.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，简称dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘，(digital video disc，简称dvd))、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
96.图5为本技术一实施例提供的电子设备的结构示意图。如图5所示，该电子设备50包括：至少一个处理器510、存储器520、通信接口530和系统总线540。其中，存储器520和通信接口530通过系统总线540与处理器510连接并完成相互间的通信，存储器520用于存储指令，通信接口530用于和其他设备进行通信，处理器510用于调用存储器中的指令以执行如上述方法实施例提供的方法步骤，具体实现方式和技术效果类似，这里不再赘述。
97.该图5中提到的系统总线540可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线540可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
98.通信接口530用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。
99.存储器520可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
100.处理器510可以是通用处理器，包括中央处理器、网络处理器(network processor，简称np)等；数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程逻辑门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
101.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计
算机执行指令，计算机执行指令被处理器执行时用于实现如上述方法实施例中的方法步骤，具体实现方式和技术效果类似，这里不再赘述。
102.本技术实施例还提供一种程序产品，该程序产品包含计算机执行指令。当计算机执行指令被执行时，以实现如上述方法实施例中的方法步骤，具体实现方式和技术效果类似，这里不再赘述。
103.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到发明的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
104.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。
105.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。