跨模态隐私语义表征方法、装置、设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种跨模态隐私语义表征方法、装置、设备及存储介质。


背景技术：

2.随着互联网技术的发展和云服务技术的普及，大数据共享和隐私保护之间的矛盾愈演愈烈。基于此，跨模态数据的检索成为云服务和大数据时代下的刚性需求，而跨模态数据的语义表征又是跨模态数据检索系统的关键组成部分。
3.跨模态语义表征技术是通过模型对不同模态数据进行编码，得到关键词，使同一语义的不同模态数据的关键词之间可以具备较高的关联性并可以进行显式计算。跨模态隐私语义表征技术是在跨模态语义表征技术的基础上，添加隐私保护需求的技术，该技术要求检索系统在不将明文数据上传到云服务器的前提下，能够进行跨模态数据的编码，得到密态关键词，进而根据密态关键词进行隐私语义的检索。但目前的跨模态隐私语义表征技术存在密态关键词之间的语义关联性较差的问题。


技术实现要素：

4.本发明的主要目的在于：提供一种跨模态隐私语义表征方法、装置、设备及存储介质，旨在解决现有技术中存在密态关键词之间的语义关联性较差的技术问题。
5.为实现上述目的，本发明采用如下技术方案：
6.第一方面，本发明提供了一种跨模态隐私语义表征方法，所述方法包括：
7.获取多模态数据；
8.根据所述多模态数据，获得对应的文本数据；
9.对所述文本数据进行关键词提取和加密，得到密态关键词；
10.根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图；
11.对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得到所述多模态数据的语义表征结果。
12.可选地，上述跨模态隐私语义表征方法中，所述多模态数据包括至少两种不同模态的数据信息；
13.所述根据所述多模态数据，获得对应的文本数据的步骤包括：
14.当所述多模态数据包括语音模态的第一模态数据时，利用语音识别技术，将所述第一模态数据转换为第一文本数据；
15.当所述多模态数据包括视频模态的第二模态数据时，利用训练好的文本生成模型，将所述第二模态数据转换为第二文本数据；
16.当所述多模态数据包括文本模态的第三模态数据时，直接将所述第三模态数据确定为第三文本数据。
17.可选地，上述跨模态隐私语义表征方法中，所述对所述文本数据进行关键词提取
和加密，得到密态关键词的步骤包括：
18.对所述第一文本数据、第二文本数据和/或第三文本数据进行关键词提取和加密，得到密态关键词。
19.可选地，上述跨模态隐私语义表征方法中，所述对所述文本数据进行关键词提取和加密，得到密态关键词的步骤包括：
20.通过无监督学习算法对所述文本数据进行关键词提取，得到关键词；
21.通过对称加密算法对所述关键词进行加密处理，得到密态关键词。
22.可选地，上述跨模态隐私语义表征方法中，所述通过无监督学习算法对所述文本数据进行关键词提取，得到关键词的步骤包括：
23.对所述文本数据进行分词处理，得到多个词汇；
24.根据所述多个词汇，绘制词汇网络图；其中，所述词汇网络图的网络节点对应于所述词汇，连接两个网络节点的边具有属性值，所述属性值根据所述多个词汇的共现关系确定；
25.根据所述词汇网络图，对所述多个词汇进行排序和筛选，得到表征所述文本数据的关键词。
26.可选地，上述跨模态隐私语义表征方法中，所述根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图的步骤之前，所述方法还包括：
27.通过开源知识图谱确定一基础知识图谱；
28.对所述基础知识图谱进行加密处理，得到预设知识图谱；其中，所述加密处理采用的加密算法与所述对所述文本数据进行加密时采用的加密算法一致。
29.可选地，上述跨模态隐私语义表征方法中，所述根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图的步骤包括：
30.根据所述密态关键词，在所述预设知识图谱中匹配与所述密态关键词对应的实体，获得知识节点；
31.在所述预设知识图谱中，以所述知识节点为中心，根据预设裁剪距离进行分割，得到密态子图；其中，所述预设裁剪距离的长度单位为两个实体之间的边，所述密态子图为以所述知识节点为中心的预设裁剪距离范围内的实体与边的集合。
32.第二方面，本发明提供了一种跨模态隐私语义表征装置，所述装置包括：
33.数据获取模块，用于获取多模态数据；
34.文本描述模块，用于根据所述多模态数据，获得对应的文本数据；
35.关键词提取模块，用于对所述文本数据进行关键词提取和加密，得到密态关键词；
36.图谱分割模块，用于根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图；
37.图嵌入模块，用于对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得到所述多模态数据的语义表征结果。
38.第三方面，本发明提供了一种跨模态隐私语义表征设备，所述设备包括处理器和存储器，所述存储器中存储有跨模态隐私语义表征程序，所述跨模态隐私语义表征程序被所述处理器执行时，实现如上述的跨模态隐私语义表征方法。
39.第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述
计算机程序可被一个或多个处理器执行，以实现如上述的跨模态隐私语义表征方法。
40.本发明提供的上述一个或多个技术方案，可以具有如下优点或至少实现了如下技术效果：
41.本发明提出的一种跨模态隐私语义表征方法、装置、设备及存储介质，通过根据获取的多模态数据获得对应的文本数据后，对文本数据进行关键词提取和加密，得到密态关键词，可保护数据隐私，保证数据安全；再通过根据密态关键词对预设知识图谱进行分割，得到密态子图，以子知识图谱的形式有效扩充密态关键词的语义信息，可以更全面地表达密态关键词的语义概念，与密态关键词保持较强的相关性；还通过对密态子图进行图嵌入，得到与密态关键词对应的密态表征向量，从而得到多模态数据的语义表征结果，将更加丰富的语义信息进行编码，保证密态关键词之间的语义信息关联性。本发明在保障用户数据隐私的前提下，实现对跨模态数据的语义表征，不仅可以保证密态关键词之间的语义关联，还可以为后续进行隐私语义的检索提供准确的语义表征，同时，支持的模态数据，可以根据业务需求动态增减，更有灵活性。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的这些附图获得其他的附图。
43.图1为本发明跨模态隐私语义表征方法第一实施例的流程示意图；
44.图2为本发明涉及的跨模态隐私语义表征设备的硬件结构示意图；
45.图3为本发明跨模态隐私语义表征方法第二实施例的流程示意图；
46.图4为本发明跨模态隐私语义表征方法第二实施例中基础知识图谱的示意图；
47.图5为本发明跨模态隐私语义表征方法第二实施例中密态子图的示意图；
48.图6为本发明跨模态隐私语义表征装置第一实施例的功能模块示意图。
49.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.需要说明，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“a和/或b”为例，包括a方案、或b方案、或a和b同时满足的方案。
52.在本发明中，若有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅
用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
53.对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。另外，各个实施例的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
54.对现有技术的分析发现，随着互联网技术的发展和云服务技术的普及，大数据共享和隐私保护之间的矛盾愈演愈烈。检索是大数据场景中的常用功能，一般通过一套检索系统来实现。在当前背景下，即要保障数据隐私安全，又要提高数据检索能力的要求对检索系统来说是很重要的。同时，随着技术水平的提升和人们精神追求的发展，人们对隐私和数据的概念不断丰富。隐私不再是狭义的身份信息、财务信息等传统敏感信息，生活、出行等数据也越来越多地被赋予隐私概念；数据也从文本、表格等传统数据概念，逐步演化到视频、音频、地理等多种模态并存的概念。
55.基于此，跨模态数据的检索成为云服务和大数据时代下的刚性需求，而跨模态数据的语义表征又是跨模态数据检索系统的关键组成部分。
56.跨模态语义表征技术是将不同模态的数据进行联合建模，得到的模型可以对不同模态数据进行编码，得到关键词，使同一语义的不同模态数据的关键词之间可以具备较高的关联性并可以进行显式计算。例如，使用文本模态的“很多人正在会议室开会”和图像模态的一张会议室图片分别输入模型进行编码，得到的文本关键词与图像关键词的语义关联性相比与其他语义内容的数据编码得到的关键词的语义关联性更高。
57.跨模态隐私语义表征技术是在跨模态语义表征技术的基础上，添加隐私保护需求的技术，该技术要求检索系统在不将明文数据上传到云服务器的前提下，能够进行跨模态数据的编码，得到密态关键词，进而根据密态关键词进行隐私语义的检索。
58.目前的跨模态隐私语义表征技术还存在着一些问题，比如：
59.1.跨模态数据的关键词提取困难；
60.2.支持的模态较少，并且很难扩增；
61.3.密态关键词之间的语义关联性较差。
62.鉴于现有技术中存在密态关键词之间的语义关联性较差的技术问题，本发明提供了一种跨模态隐私语义表征方法，总体思路如下：
63.获取多模态数据；根据所述多模态数据，获得对应的文本数据；对所述文本数据进行关键词提取和加密，得到密态关键词；根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图；对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得到所述多模态数据的语义表征结果。
64.通过上述技术方案，根据获取的多模态数据获得对应的文本数据后，对文本数据进行关键词提取和加密，得到密态关键词，可保护数据隐私，保证数据安全；再通过根据密态关键词对预设知识图谱进行分割，得到密态子图，以子知识图谱的形式有效扩充密态关键词的语义信息，可以更全面地表达密态关键词的语义概念，与密态关键词保持较强的相
关性；还通过对密态子图进行图嵌入，得到与密态关键词对应的密态表征向量，从而得到多模态数据的语义表征结果，将更加丰富的语义信息进行编码，保证密态关键词之间的语义信息关联性。本发明在保障用户数据隐私的前提下，实现对跨模态数据的语义表征，不仅可以保证密态关键词之间的语义关联，还可以为后续进行隐私语义的检索提供准确的语义表征，同时，支持的模态数据，可以根据业务需求动态增减，更有灵活性。
65.下面结合附图，通过具体的实施例和实施方式对本发明提供的跨模态隐私语义表征方法、装置、设备及存储介质进行详细说明。
66.实施例一
67.参照图1的流程示意图，提出本发明跨模态隐私语义表征方法的第一实施例，该方法应用于跨模态隐私语义表征设备。所述跨模态隐私语义表征设备是指能够实现网络连接的终端设备或网络设备，可以是手机、电脑、平板电脑等终端设备，也可以是服务器、云平台等网络设备。该方法还可以应用于包括终端设备和网络设备的语义检索系统，当该方法应用于语义检索系统时，可以使该方法的一部分步骤在终端设备上进行，得到的结果发送至网络设备后，剩下的部分步骤继续在网络设备上进行。
68.如图2所示，为跨模态隐私语义表征设备的硬件结构示意图。所述设备可以包括：处理器1001，例如cpu(central processing unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。本领域技术人员可以理解，图2中示出的硬件结构并不构成对本发明跨模态隐私语义表征设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
69.具体的，通信总线1002用于实现这些组件之间的连接通信；
70.用户接口1003用于连接客户端，与客户端进行数据通信，用户接口1003可以包括输出单元，如显示屏、输入单元，如键盘，可选的，用户接口1003还可以包括其他输入/输出接口，比如标准的有线接口、无线接口；
71.网络接口1004用于连接后台服务器，与后台服务器进行数据通信，网络接口1004可以包括输入/输出接口，比如标准的有线接口、无线接口，如wi-fi接口；
72.存储器1005用于存储各种类型的数据，这些数据例如可以包括该跨模态隐私语义表征设备中任何应用程序或方法的指令，以及应用程序相关的数据，存储器1005可以是高速ram存储器，也可以是稳定的存储器，例如磁盘存储器，可选的，存储器1005还可以是独立于所述处理器1001的存储装置；
73.具体的，继续参照图2，存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及跨模态隐私语义表征程序，其中，网络通信模块主要用于连接服务器，与服务器进行数据通信；
74.处理器1001用于调用存储器1005中存储的跨模态隐私语义表征程序，并执行以下操作：
75.获取多模态数据；
76.根据所述多模态数据，获得对应的文本数据；
77.对所述文本数据进行关键词提取和加密，得到密态关键词；
78.根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图；
79.对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得
到所述多模态数据的语义表征结果。
80.基于上述的跨模态隐私语义表征设备，下面结合图1所示的流程示意图，对本实施例的跨模态隐私语义表征方法进行详细描述。所述方法可以包括以下步骤：
81.步骤s110：获取多模态数据。
82.多模态数据是指具有多种不同模态的数据信息，比如，视频数据、音频数据、图像数据、文本数据等等模态的数据。用户可以通过设备的用户接口手动输入，也可以通过设备的网络接口接收其他设备传送的数据。此处获取的数据可以是包括多种模态的数据，也可以只包括一种模态的数据，此处仅对包括多种模态的数据为例进行说明。
83.步骤s120：根据所述多模态数据，获得对应的文本数据。
84.对于步骤s110获取的多模态数据，当其中包含图像、音频或视频等非文本模态的数据时，需要进行模态的转换，将数据由非文本模态转换为文本模态，当其中包含文本模态的数据时，则不需要进行模态转换，直接以该文本模态的数据作为该步骤最终得到的文本数据。非文本模态的数据进行模态转换时，可以结合图片、音频或视频等非文本模态的数据自身特点训练得到的模型来进行文本识别，得到描述该非文本模态数据的文本，可提高对该非文本模态的数据进行文本描述的准确性。
85.在具体实施过程中，当多模态数据包含图像数据时，可以利用图像识别技术来获得图像数据对应的文本数据，具体可以利用预训练的深度学习模型进行文本描述；当多模态数据包含音频数据时，可以利用语音识别技术来获得音频数据对应的文本数据，具体可以利用deep speech v2等深度学习模型进行文本描述；当多模态数据包含视频数据时，可以利用文本描述生成技术来获得视频数据对应的文本数据，具体可以利用预训练的video bert等文本生成模型进行文本描述。需要说明的是，不管多模态数据包括有多少种模态的数据，在分别将非文本模态数据转换为文本模态数据后，对所有的文本模态数据，即包括原本就是文本模态的数据和转换的得到的文本模态数据进行汇总，以得到与获取的多模态数据对应的文本数据。
86.步骤s130：对所述文本数据进行关键词提取和加密，得到密态关键词。
87.由于文本数据可能存在词汇较多或非必要词汇容易影响语义表征准确性等原因，因此对文本数据进行关键词提取；又由于要保证数据的隐私性，因此对提取到的关键词进行加密，从而得到多模态数据的密态关键词。其中，可以通过text rank算法进行关键词提取，还可以通过对称加密算法对提取得到的关键词进行加密，比如，des(data encryption standard，数据加密标准)算法、rc(rivest cipher，流加密)算法、blowfish算法(分组密码算法)等等。需要说明，当本实施例的方法在终端设备或网络设备上进行时，后续可以继续对密态关键词进行处理，以获得跨模态数据的语义表征结果，当本实施例的方法在包括终端设备和网络设备的语义检索系统上进行时，终端设备执行步骤s110～s130后，便可以将得到的密态关键词发送给网络设备，网络设备可以在接收到密态关键词之后，对密态关键词进行处理，以获得跨模态数据的语义表征结果，其中，发送和接收的过程都是加密的，因此仍可以保证数据的隐私性。
88.步骤s140：根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图。
89.预设知识图谱是将词汇实体以节点的形式，并将实体间的关系以边的形式进行可视化描述的图结构，可以显式描述词汇之间的关联。该预设知识图谱为加密后的wikidata
等开源知识图谱，其中，加密方式和密钥与步骤s30中对关键词进行加密的加密方式和密钥一致，可以保证在密钥匹配后，对密态关键词进行处理，并保证数据的隐私性。根据密态关键词，对预设知识图谱进行分割是将密态关键词与预设知识图谱中的节点进行匹配，依据设定的裁剪距离，获取以密态关键词为中心的子知识图谱，该子知识图谱包括密态关键词对应的实体、在该实体周围的设定裁剪距离范围内的其他实体、以及表示这些实体之间关联关系的边的集合，由于预设知识图谱是加密状态，裁剪得到的子知识图谱也为加密状态，即获得密态子图。其中，密态子图的数量与密态关键词的数量一致，也就是说密态子图是与密态关键词一一对应的。
90.此处使用密态关键词为中心的子知识图谱作为密态关键词的表达，使用与密态关键词相关性极强的实体和关系来联合表征密态关键词，不仅可以更加全面的表达密态关键词的语义概念，并且可以通过其他相关实体和对应的关系来精确表征密态关键词的语义概念，使得易混淆的密态关键词有更加明显的区分度。
91.步骤s150：对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得到所述多模态数据的语义表征结果。
92.每个密态关键词都可以对应得到一个密态子图，在步骤s140得到密态子图后，基于随机游走算法对该密态子图进行图嵌入操作，得到其密态表征向量，也就是与密态关键词对应的密态表征向量，该向量即为对应的密态关键词的语义表示。在对所有密态关键词分别获取对应的密态子图，并分别进行图嵌入操作，得到密态表征向量后，进行汇总后，可以得到一个向量集，即本实施例的多模态数据的语义表征结果。该语义表征结果可直接用于语义检索的输入，从而得到检索结果，以此实现跨模态数据的检索，比如，用户可以在设备上直接输入多模态数据，通过本实施例的方法后，得到语义表征结果后，再将该语义表征结果输入检索系统，进行检索，便可得到最终的跨模态检索结果。
93.本实施例提供的跨模态隐私语义表征方法，通过根据获取的多模态数据获得对应的文本数据后，对文本数据进行关键词提取和加密，得到密态关键词，可保护数据隐私，保证数据安全；再通过根据密态关键词对预设知识图谱进行分割，得到密态子图，以子知识图谱的形式有效扩充密态关键词的语义信息，可以更全面地表达密态关键词的语义概念，与密态关键词保持较强的相关性；还通过对密态子图进行图嵌入，得到与密态关键词对应的密态表征向量，从而得到多模态数据的语义表征结果，将更加丰富的语义信息进行编码，保证密态关键词之间的语义信息关联性。本发明在保障用户数据隐私的前提下，实现对跨模态数据的语义表征，不仅可以保证密态关键词之间的语义关联，还可以为后续进行隐私语义的检索提供准确的语义表征，同时，支持的模态数据，可以根据业务需求动态增减，更有灵活性。
94.实施例二
95.基于同一发明构思，参照图3至图5，提出本发明跨模态隐私语义表征方法的第二实施例，该方法应用于跨模态隐私语义表征设备，该方法可以进一步应用于在所述设备上运行的跨模态隐私语义检索系统，该系统在通过该方法对多模态数据进行隐私语义表征后，再根据语义表征结果进行隐私语义检索，获得语义检索结果。语义检索是通过正确分析语法格式，在理解语义和词汇之间关系的条件下，根据要求从语义层面上自动从信息源中查询和提取有关信息的过程，隐私语义检索可以基于隐私数据进行检索，更要求隐私数据
的安全性。
96.下面结合图3所示的流程示意图，对本实施例的跨模态隐私语义表征方法进行详细描述。所述方法可以包括以下步骤：
97.步骤s210：获取多模态数据。
98.具体的，所述多模态数据包括至少两种不同模态的数据信息。此处，多模态数据中的模态数据类型并不限制，模态数据数量也不限制，可以根据业务需求自行增减模态数据类型和模态数据数量。本实施例以包括语音、视频、文本这三种模态数据的多模态数据，并以英语作为示例语言进行举例说明。
99.步骤s220：根据所述多模态数据，获得对应的文本数据。
100.在具体实施过程中，可以利用文本生成模型，根据多模态数据获得对应的文本数据。具体将多模态数据作为文本生成模型的输入，然后将各模态数据分别输入相应的文本生成模型，以分别输出文本模态数据，从而获得描述该多模态数据的文本数据。
101.具体的，步骤s220可以包括：
102.步骤s221：当所述多模态数据包括语音模态的第一模态数据时，利用语音识别技术，将所述第一模态数据转换为第一文本数据。
103.其中，语音识别技术是将包含人类语言声音的数据转换成文本，构建文本和语音之间的映射关系的技术。对非文本模态数据进行模态转换是跨模态数据语义表征和检索的关键，本实施例中，可以利用deep speech v2模型作为语音识别模型，该模型可以利用设定语言的语音数据来进行模型训练，此处则使用英文语音数据进行模型训练，训练得到语音识别模型。实施过程中，将第一模态数据作为该模型的输入，直接输出对应的文本描述。
104.步骤s222：当所述多模态数据包括视频模态的第二模态数据时，利用训练好的文本生成模型，将所述第二模态数据转换为第二文本数据。
105.其中，训练好的文本生成模型基于同时具备文本描述和视频内容的数据集作为训练数据训练得到。实施过程中，利用训练好的文本生成模型，将第二模态数据作为该模型的输入，直接输出对应的文本描述。
106.本实施例中，文本生成模型采用video bert模型，video bert模型利用语言模型中的bert模型及自监督学习训练方法进行训练，训练该文本生成模型时，以包括文本描述数据和视频内容数据的数据集作为训练数据。训练方法如下：首先，从视频内容数据中提取出特征向量，再通过聚类方法对该特征向量进行离散化处理，构建视觉词汇，然后结合文本描述数据，组成跨模态词汇；再从跨模态词汇中导出视觉标记(token)和语言学标记，输入到待训练的文本生成模型，模型学习这些标记序列上的双向联合分布，从而构建视觉标记和语言学标记之间的映射关系，得到训练好的文本生成模型。
107.步骤s223：当所述多模态数据包括文本模态的第三模态数据时，直接将所述第三模态数据确定为第三文本数据。
108.文本数据本身作为文本模态数据，无需进行处理，可直接进行下一步操作，下一步操作可以包括在将转换得到的文本数据和文本模态的数据汇总，得到文本数据后，对该文本数据进行关键词提取和加密，也可以是直接对转换得到的文本数据或文本模态数据进行关键词提取和加密，具体看多模态数据的类型和数量，再根据实际情况设定。
109.本实施例中，根据上述步骤分别对语音、视频、文本这三种模态数据的多模态数据
进行处理，得到三个文本数据后进行汇总，从而得到文本数据。将各模态数据统一为文本模态，无模态数量限制，无模态种类限制，当新模态数据加入时，仅需添加相应的文本描述生成模型即可，该方法具有拓展性。
110.步骤s230：对所述文本数据进行关键词提取和加密，得到密态关键词。
111.在一种实施方式中，步骤230可以包括：
112.步骤231：对所述第一文本数据、第二文本数据和/或第三文本数据进行关键词提取和加密，得到密态关键词。
113.由于多模态数据的模态数据类型可以增减并可以有多个，因此，对应得到的文本数据也会有多个，当存在多个文本数据时，比如本实施例的三个文本数据时，可以将其中的部分或者全部进行汇总后，直接进行关键词提取和加密处理，得到该多模态数据对应的密态关键词。
114.在另一种实施方式中，步骤230可以包括：
115.步骤232：通过无监督学习算法对所述文本数据进行关键词提取，得到关键词。
116.关键词一般是单个词或者由多个词组成的短语，是指能反映文本主题或者意思的概括性词或者短语。本实施例中，使用text rank算法进行文本关键词提取，该算法是无监督算法，可以以单个文档或文本数据作为输入。其算法原理是把文本拆分成词汇作为网络节点，组成词汇网络图，将词汇间的相关关系看成是一种推荐或投票关系，使其可以计算出每一个词汇的重要性，然后筛选得到前n个词汇作为表征整篇文档或整个文本数据的关键词。
117.具体的，步骤232可以包括：
118.步骤232.1：对所述文本数据进行分词处理，得到多个词汇。
119.具体实施过程中，可以对文本数据进行分词、词性标注和去除停用词等操作，其中，分词时，采用结巴分词，保留普通名词、专有名词、普通动词、副动词、名动词、形容词、副词等7种词性的词语，最终可以得到多个词汇。
120.本实施例中，对步骤s220得到的文本数据进行分词处理，可以得到多个词汇。
121.步骤232.2：根据所述多个词汇，绘制词汇网络图；其中，所述词汇网络图的网络节点对应于所述词汇，连接两个网络节点的边具有属性值，所述属性值根据所述多个词汇的共现关系确定。
122.具体实施过程中，将一个词汇作为一个网络节点，绘制多个词汇的词汇网络图，图中，网络节点与网络节点之间，也就是词汇与词汇之间的边具有属性值，该属性值根据这两个网络节点所表示的词汇的共现关系确定。
123.本实施例中，根据步骤s232.1得到的多个词汇，绘制词汇网络图，其中，词汇网络图的网络节点集由该多个词汇组成，通过分析网络节点集中任意两个网络节点所表示的词汇之间的共现关系，来确定该两个网络节点的边，也就是说，仅当两个网络节点对应的词汇在长度为k的窗口中共现，才绘制这两个网络节点之间的边，其中，k表示窗口大小，即最多共现k个词汇。
124.步骤232.3：根据所述词汇网络图，对所述多个词汇进行排序和筛选，得到表征所述文本数据的关键词。
125.在词汇网络图中，根据迭代算法计算各网络节点即各词汇的权重，直至收敛；然后
对各词汇的权重进行排序，筛选得到预设数量的词汇，这预设数量的词汇即为表征所述文本数据的关键词。在实际实施时，排序方式和该预设数量均可以根据实际情况设定。
126.步骤233：通过对称加密算法对所述关键词进行加密处理，得到密态关键词。
127.对步骤s232.3得到的关键词进行加密处理，具体采用对称加密算法，该算法计算量小、加密速度快、加密效率高，可以实现高速度的加解密处理，并可以使用长密钥，具有难破解性，可保证多模态数据的隐私性和安全性，还可以提高该方法的处理速度。
128.步骤s240：获取预设知识图谱。
129.具体的，步骤s240可以包括：
130.步骤s241：通过开源知识图谱确定一基础知识图谱；
131.知识图谱是一种知识库，其中的知识通过图结构的数据模型或拓扑整合而成，使用图结构将知识实体以节点的形式可视化描述，还将知识实体间的关系以边的形式可视化描述，从而显式描述知识之间的关联。
132.如图4所示为本实施例的预设知识图谱的示意图。该图中，具有多个实体，一个实体即表示一个节点。本实施例中，基于前述设定的示例语言为英语，使用开源知识图谱wikidata作为基础知识库，该开源知识图谱是一个大型数据库，存储了维基百科、freebase中的海量信息，具备常见事物的描述能力，可以满足本实施例的需求。
133.步骤s242：对所述基础知识图谱进行加密处理，得到预设知识图谱；其中，所述加密处理采用的加密算法与所述对所述文本数据进行加密时采用的加密算法一致。
134.对基础知识图谱进行加密，保障了数据的隐私性。需要说明，此处加密处理的加密方式与步骤s233中对关键词进行加密处理采用的加密方式一致，并且使用的密钥也一致，方便后续密态关键词与预设知识图谱可以成功进行匹配。
135.使用对称加密方法对文本关键词和知识图谱进行加密，可以保障数据隐私安全，还可以保持密态关键词的匹配能力。
136.步骤s250：根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图。
137.具体的，步骤s250可以包括：
138.步骤s251：根据所述密态关键词，在所述预设知识图谱中匹配与所述密态关键词对应的实体，获得知识节点；
139.根据密态关键词，在预设知识图谱中进行实体匹配，即在预设知识图谱中查找所述密态关键词对应的实体，将该实体确定为知识节点。当具有多个密态关键词时，可以得到多个知识节点，这些知识节点在预设知识图谱中可以没有关联，也可以有关联。
140.本实施例中，以一个密态关键词为例，在图4所示的知识图谱中，用实体1表示该密态关键词对应的知识节点。
141.步骤s252：在所述预设知识图谱中，以所述知识节点为中心，根据预设裁剪距离进行分割，得到密态子图；其中，所述预设裁剪距离的长度单位为两个实体之间的边，所述密态子图为以所述知识节点为中心的预设裁剪距离范围内的实体与边的集合。
142.具体的，以该知识节点为中心，根据预设裁剪距离进行子知识图谱分割，得到密态关键词对应的密态子图，也就是以知识节点为中心的预设裁剪距离范围内的实体与边的集合。其中，每个密态关键词均可以得到一个对应的密态子图。如图4所示，预设裁剪距离的长度单位为两个实体之间的边r，也就是两个实体间的关联关系，每条边用不同序列表示为
r1、r2、
…
、rm。本实施例中，在图4的知识图谱中，以实体1为中心，根据预设裁剪距离进行分割，得到如图5所示的密态子图示意图。其中，图5(a)表示裁剪距离为1个单位时得到的密态子图，在裁剪时，以实体1作为中心，将与实体1之间仅需要一条边就可以触达的实体和边进行分割，得到的实体和边的集即为实体1所表示的密态关键词的密态子图；图5(b)表示裁剪距离为2个单位时得到的密态子图，在裁剪时，以实体1作为中心，将与实体1之间需要两条或更少的边即可触达的实体和边进行分割，得到的实体和边的集即为实体1所表示的密态关键词的密态子图；同理，图5(c)表示裁剪距离为3个单位时得到的密态子图。
143.使用以密态关键词为中心的子知识图谱作为密态关键词的表达，使用与密态关键词相关性极强的实体和关系联合表征密态关键词，不仅可以更加全面的表达密态关键词的语义概念，并且可以通过其他相关实体和关系精确表征密态关键词的语义概念，使得易混淆的密态关键词有更加明显的区分度，可以在保障用户数据隐私的前提下，更好的保留多模态数据编码的语义关联性。
144.步骤s260：对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得到所述多模态数据的语义表征结果。
145.每个密态关键词都可以被表示为一个子知识图谱，基于此子知识图谱，对其进行图嵌入操作，得到其密态表征向量，该向量即为对密态关键词的语义表示，其中，可以采用随机游走算法(deep walk算法)进行图嵌入操作。
146.本实施例中，采用deep walk算法进行图嵌入操作，该算法包含生成和更新两部分，随机游走生成器(random walk generator)用于产生类似句子的随机路径；随机游走更新程序(update procedure)用于将随机路径输入skip-gram模型，得到密态子图中的节点的隐藏表示。具体实施过程为，随机游走生成器在密态子图上用均匀分布采样出一个点，作为随机路径的起始点，再任意确定一个当前点，下一点则由该当前点的所有邻居中用均匀分布采样得到，然后再将该点确定为当前点，一直重复直到设定的最大长度后停止，也可以在当前点没邻居时停止，停止后，将所有点连接，即为随机游走生成器得到的随机路径，其中，每条随机路径的长度可能不同，但最长不会超过设定的最大长度；按此方法，对密态子图中的每个节点均生成一条随机路径。随机路径产生后，随机游走更新程序将其视作一个句子，输入skip-gram模型中，计算目标函数，更新密态子图中的节点的隐藏表示，其中，目标函数为：
147.j(φ)＝-logpr(uk|vj；φ)，
148.其中，vj表示随机路径上的第j个点，uk表示密态子图中不包括vj的节点，pr(uk|vj；φ)表示在给定vj的条件下，uk出现的条件概率，φ表示可训练参数。
149.本实施例的方法在保障用户数据隐私和模态数据相关性的前提下，实现了跨模态数据的隐私语义表征。
150.在步骤s210～s260的实施方式中更多实施细节可以参考实施例一中基于步骤s110～s150的实施方式中的描述，为了说明书的简洁，此处不再赘述。
151.本实施例提供的跨模态隐私语义表征方法，不仅能够保证密态关键词之间的语义关联，并且支持的模态可以根据业务需求动态增减，保障后续进行隐私语义检索的灵活性和语义准确性，从而保障检索的精确度，对满足用户隐私安全和跨模态数据的检索需求具有重要意义。
152.实施例三
153.基于同一发明构思，参照图6，提出本发明跨模态隐私语义表征装置的第一实施例，该跨模态隐私语义表征装置可以为虚拟装置，应用于跨模态隐私语义表征设备。
154.下面结合图6所示的功能模块示意图，对本实施例提供的跨模态隐私语义表征装置进行详细描述，所述装置可以包括：
155.数据获取模块，用于获取多模态数据；
156.文本描述模块，用于根据所述多模态数据，获得对应的文本数据；
157.关键词提取模块，用于对所述文本数据进行关键词提取和加密，得到密态关键词；
158.图谱分割模块，用于根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图；
159.图嵌入模块，用于对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得到所述多模态数据的语义表征结果。
160.进一步地，所述多模态数据包括至少两种不同模态的数据信息；所述文本描述模块可以包括：
161.第一数据处理单元，用于当所述多模态数据包括语音模态的第一模态数据时，利用语音识别技术，将所述第一模态数据转换为第一文本数据；
162.第二数据处理单元，用于当所述多模态数据包括视频模态的第二模态数据时，利用训练好的文本生成模型，将所述第二模态数据转换为第二文本数据；
163.第三数据处理单元，用于当所述多模态数据包括文本模态的第三模态数据时，直接将所述第三模态数据确定为第三文本数据。
164.更进一步地，所述关键词提取模块可以包括：
165.第一关键词提取单元，与所述第一数据处理单元、所述第一数据处理单元和/或所述第三数据处理单元连接，用于对所述第一文本数据、第二文本数据和/或第三文本数据进行关键词提取和加密，得到密态关键词。
166.进一步地，所述关键词提取模块可以包括：
167.关键词提取子模块，用于通过无监督学习算法对所述文本数据进行关键词提取，得到关键词；
168.加密子模块，用于通过对称加密算法对所述关键词进行加密处理，得到密态关键词。
169.更进一步地，所述关键词提取子模块可以包括：
170.拆分单元，用于对所述文本数据进行分词处理，得到多个词汇；
171.绘图单元，用于根据所述多个词汇，绘制词汇网络图；其中，所述词汇网络图的网络节点对应于所述词汇，连接两个网络节点的边具有属性值，所述属性值根据所述多个词汇的共现关系确定；
172.筛选单元，用于根据所述词汇网络图，对所述多个词汇进行排序和筛选，得到表征所述文本数据的关键词。
173.进一步地，所述装置还可以包括：
174.预设知识图谱获取模块，用于通过开源知识图谱确定一基础知识图谱；对所述基础知识图谱进行加密处理，得到预设知识图谱；其中，所述加密处理采用的加密算法与所述
logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件，用于执行如上述跨模态隐私语义表征方法各个实施例的全部或部分步骤。
188.实施例五
189.基于同一发明构思，本实施例提供了一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，所述存储介质上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，所述计算机程序被处理器执行时可以实现本发明跨模态隐私语义表征方法各个实施例的全部或部分步骤。
190.需要说明，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
191.以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。