技术特征：
1.一种内容审核方法，其特征在于，包括：加载预设的内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器；将待内容审核的图像数据输入所述图像编码器中提取第一图像特征；将所述第一图像特征输入所述图像适配器中映射至目标空间、得到第二图像特征；将表征内容审核中类别的文本信息输入所述文本编码器中提取第一文本特征；将所述第一文本特征输入所述文本适配器中映射至所述目标空间、得到第二文本特征；将所述第二图像特征与所述第二文本特征进行比较，以对所述图像数据生成审核结果。2.根据权利要求1所述的方法，其特征在于，所述将所述第二图像特征与所述第二文本特征进行比较，以对所述图像数据生成审核结果，包括：计算所述第二图像特征与所述第二文本之间的相似度；若所述相似度大于预设的阈值，则确定所述图像数据的审核结果为所述图像数据的内容属于所述类别；若所述相似度小于或等于预设的阈值，则确定所述图像数据的审核结果为所述图像数据的内容不属于所述类别。3.一种内容审核模型的训练方法，其特征在于，包括：确定内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器，所述图像编码器用于从图像数据中提取第一图像特征，所述图像适配器用于将所述第一图像特映射至目标空间、得到第二图像特征，所述文本编码器用于从文本信息中提取第一文本特征，所述文本适配器用于将所述第一文本特映射至所述目标空间、得到第二文本特征；以对抗与分类的方式将所述图像编码器训练至适配内容审核；若完成训练所述图像编码器，则在固定所述图像编码器、所述文本编码器的条件下，以分类的方式将所述图像适配器与所述文本适配器训练至适配内容审核。4.根据权利要求3所述的方法，其特征在于，所述以对抗与分类的方式将所述图像编码器训练至适配内容审核，包括：确定分类支路、对抗支路，所述分类支路用于训练所述图像编码器，以使所述第一图像特征适用于划分内容审核中的各个类别，所述对抗支路用于以对抗的方式训练所述图像编码器，以使所述第一图像特征区分适用于内容审核；在每次迭代训练中，依次更新所述分类支路与所述对抗支路，以将所述图像编码器训练至适配内容审核。5.根据权利要求4所述的方法，其特征在于，所述对抗支路中具有所述图像编码器、适配非特定操作的通用编码器与判别器，所述分类支路中具有所述图像编码器与前馈网络；所述在每次迭代训练中，依次更新所述分类支路与所述对抗支路，以将所述图像编码器训练至适配内容审核，包括：将作为样本的图像数据分别输入所述图像编码器中提取第一图像特征、输入所述通用编码器中提取第三图像特征；
在所述判别器中使用所述第一图像特征对所述图像数据生成是否适配内容审核的第一对抗标签、使用所述第三图像特征对所述图像数据生成是否适配内容审核的第二对抗标签；在所述前馈网络中将所述第一图像特映射至分类空间、得到第四图像特征；将所述第四图像特映射为所述图像数据属于各个适配内容审核的类别的概率；根据所述第一对抗标签与所述概率更新所述图像编码器的参数与所述前馈网络的参数；在维持所述图像编码器的参数不变的条件下，根据所述第一对抗标签与所述第二对抗标签更新所述判别器的参数；判断是否满足预设的第一训练条件；若是，则确定所述图像编码器完成训练，若否，则返回执行所述将作为样本的图像数据分别输入所述图像编码器中提取第一图像特征、输入适配非特定操作的通用编码器中提取第三图像特征。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一对抗标签与所述概率对更新所述图像编码器的参数与所述前馈网络的参数，包括：基于所述概率生成分类标签，所述分类标签表示所述图像数据是否属于所述类别；对1减去所述第一对抗标签得到的差值取平方，得到第一候选值；将各个所述分类标签与所述概率的导数之间的乘积求和，得到第二候选值；将所述第一候选值与所述第二候选值的负数线性融合为第一损失值；按照所述第一损失值更新所述图像编码器的参数与所述前馈网络的参数。7.根据权利要求5所述的方法，其特征在于，所述在维持所述图像编码器的参数不变的条件下，根据所述第一对抗标签与所述第二对抗标签更新所述判别器的参数，包括：对所述第一对抗标签取平方，得到第三候选值；对1减去所述第二对抗标签得到的差值取平方，得到第四候选值；将所述第三候选值与所述第四候选值线性融合为第二损失值；在维持所述图像编码器的参数不变的条件下，按照所述第二损失值更新所述前馈网络的参数。8.根据权利要求3-7中任一项所述的方法，其特征在于，所述在固定所述图像编码器、所述文本编码器的条件下，以分类的方式将所述图像适配器与所述文本适配器训练至适配内容审核，包括：将作为样本的图像数据输入所述图像编码器中提取第一图像特征；将所述第一图像特征输入所述图像适配器中映射至目标空间、得到第二图像特征；将作为样本的文本信息输入所述文本编码器中提取第一文本特征；将所述第一文本特征输入所述文本适配器中映射至所述目标空间、得到第二文本特征；在维持所述图像编码器的参数、所述文本编码器的参数不变的条件下，将所述第二图像特征与所述第二文本特征进行比较，以更新所述图像适配器的参数与所述文本适配器的参数；判断是否满足预设的第二训练条件；若是，则确定所述图像适配器与所述文本适配器完成训练，若否，则返回执行所述将作为样本的图像数据输入所述图像编码器中提取第一
图像特征。9.根据权利要求8所述的方法，其特征在于，作为样本的所述文本信息包括与所述图像数据相关的正样本、与所述图像数据无关的负样本；所述在维持所述图像编码器的参数、所述文本编码器的参数不变的条件下，将所述第二图像特征与所述第二文本特征进行比较，以更新所述图像适配器的参数与所述文本适配器的参数，包括：针对各个所述图像数据，计算所述第二图像特征与所述正样本对应的所述第二文本特征之间的第一相似度；对1减去所述第一相似度得到的差值取平方，作为第五候选值；针对各个所述图像数据，计算所述第二图像特征与所述负样本对应的所述第二文本特征之间的第二相似度；对所述第二相似度取平方，作为第六候选值；将所有所述第五候选值之间的和值与所有所述第六候选值之间的和值线性融合为第三损失值；在维持所述图像编码器的参数、所述文本编码器的参数不变的条件下，按照所述第三损失值更新所述图像适配器的参数与所述文本适配器的参数。10.根据权利要求9所述的方法，其特征在于，所述针对各个所述图像数据，计算所述第二图像特征与所述正样本对应的所述第二文本特征之间的第一相似度，包括：针对各个所述图像数据，计算所述第二图像特征与所述正样本对应的所述第二文本特征之间的乘积，作为第一点积；计算所述第二图像特征的长度与所述正样本对应的所述第二文本特征的长度之间的乘积，作为第一模长积；计算所述第一点积与所述第一模长积之间的比值，作为第一相似度；所述针对各个所述图像数据，计算所述第二图像特征与所述负样本对应的所述第二文本特征之间的第二相似度，包括：针对各个所述图像数据，计算所述第二图像特征与所述负样本对应的所述第二文本特征之间的乘积，作为第二点积；计算所述第二图像特征的长度与所述负样本对应的所述第二文本特征的长度之间的乘积，作为第二模长积；计算所述第二点积与所述第二模长积之间的比值，作为第二相似度。11.一种内容审核装置，其特征在于，包括：内容审核模型加载模块，用于加载预设的内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器；第一图像特征提取模块，用于将待内容审核的图像数据输入所述图像编码器中提取第一图像特征；第二图像特映射模块，用于将所述第一图像特征输入所述图像适配器中映射至目标空间、得到第二图像特征；第一文本特征提取模块，用于将表征内容审核中类别的文本信息输入所述文本编码器
中提取第一文本特征；第二文本特映射模块，用于将所述第一文本特征输入所述文本适配器中映射至所述目标空间、得到第二文本特征；审核结果生成模块，用于将所述第二图像特征与所述第二文本特征进行比较，以对所述图像数据生成审核结果。12.一种内容审核模型的训练装置，其特征在于，包括：内容审核模型确定模块，用于确定内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器，所述图像编码器用于从图像数据中提取第一图像特征，所述图像适配器用于将所述第一图像特映射至目标空间、得到第二图像特征，所述文本编码器用于从文本信息中提取第一文本特征，所述文本适配器用于将所述第一文本特映射映射至所述目标空间、得到第二文本特征；编码器训练模块，用于以对抗与分类的方式将所述图像编码器训练至适配内容审核；适配器训练模块，用于若完成训练所述图像编码器，则在固定所述图像编码器、所述文本编码器的条件下，以分类的方式将所述图像适配器与所述文本适配器训练至适配内容审核。13.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任一项所述的内容审核方法或者权利要求3-10中任一项所述的内容审核模型的训练方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-2中任一项所述的内容审核方法或者权利要求3-10中任一项所述的内容审核模型的训练方法。15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-2中任一项所述的内容审核方法或者权利要求3-10中任一项所述的内容审核模型的训练方法。
技术总结
本申请公开了一种内容审核、内容审核模型的训练方法及相关装置，该内容审核方法包括：加载预设的内容审核模型，内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器；将待内容审核的图像数据输入图像编码器中提取第一图像特征；将第一图像特征输入图像适配器中映射至目标空间、得到第二图像特征；将表征内容审核中类别的文本信息输入文本编码器中提取第一文本特征；将第一文本特征输入文本适配器中映射至目标空间、得到第二文本特征；将第二图像特征与第二文本特征进行比较，以对图像数据生成审核结果。本实施例中使用多模态进行内容审核，迭代更新内容审核模型的样本量大大降低，扩展性强，提高了内容审核的响应速度。应速度。应速度。
技术研发人员：陈德健 项伟
受保护的技术使用者：广州市网星信息技术有限公司
技术研发日：2022.09.19
技术公布日：2023/1/2