技术特征：
1.一种敏感信息识别方法，其特征在于，包括：通过知识蒸馏，对集成模型进行压缩，得到目标识别模型；所述集成模型由至少三个神经网络模型集成得到；通过所述目标识别模型，对待审核内容进行敏感信息识别，获取目标审核结果；其中，所述目标审核结果用于指示所述待审核内容是否为敏感信息。2.根据权利要求1所述的敏感信息识别方法，其特征在于，在所述通过知识蒸馏，对集成模型进行压缩，得到目标识别模型之前，所述敏感信息识别方法还包括：利用目标训练数据，分别对所述至少三个神经网络模型进行训练，并在训练过程中进行调参，得到至少三个基础模型；将所述至少三个基础模型进行集成，确定所述集成模型以及所述集成模型的输出结果。3.根据权利要求2所述的敏感信息识别方法，其特征在于，在所述利用目标训练数据，分别对所述至少三个神经网络模型进行训练之前，所述敏感信息识别方法还包括：通过第一方式对训练数据进行数据增强，得到所述目标训练数据：其中，所述第一方式包括以下至少一项：回译；分布估计算法eda；掩码语言模型mlm。4.根据权利要求2所述的敏感信息识别方法，其特征在于，所述集成模型的输出结果的确定方式，包括：针对每一所述目标训练数据，分别利用所述至少三个基础模型对所述目标训练数据进行敏感信息识别，得到每一所述基础模型对所述目标训练数据的审核结果，以及所述审核结果对应的第一概率；根据所述审核结果和所述第一概率，确定所述目标训练数据输入所述集成模型得到的输出结果；其中，所述第一概率和所述集成模型的输出结果为未归一化的对数概率。5.根据权利要求4所述的敏感信息识别方法，其特征在于，所述根据所述审核结果和所述第一概率，确定所述目标训练数据输入所述集成模型得到的输出结果，包括：在所述至少三个基础模型的所述审核结果均一致的情况下，将所述审核结果对应的第一概率的第一平均值确定为所述集成模型的输出结果；在所述至少三个基础模型的所述审核结果不一致的情况下，将频数高的所述审核结果对应的第一概率的第一平均值确定为所述集成模型的输出结果。6.根据权利要求4所述的敏感信息识别方法，其特征在于，所述通过知识蒸馏，对集成模型进行压缩，得到目标识别模型，包括：根据每一所述基础模型以及所述集成模型，获取每一所述目标训练数据在每一所述基础模型中对应的第一概率和在所述集成模型中对应的输出结果；利用带有温度参数的归一化指数函数，对每一所述目标训练数据对应的所述第一概率和所述输出结果进行归一化处理，获取每一所述目标训练数据在每一所述基础模型中对应的第二概率和在所述集成模型中对应的第三概率；
根据所述目标训练数据的标签值、所述第二概率和所述第三概率，确定所述目标识别模型对应的损失函数；利用所述损失函数，对选定的待训练模型进行训练，得到所述目标识别模型；其中，所述第二概率和所述第三概率为归一化的分类概率。7.根据权利要求6所述的敏感信息识别方法，其特征在于，所述损失函数表示为：l＝ah(y,s)+b1mse(s,s_t)+b2mse(s,sa_t)+b3mse(s,sb_t)+b4mse(s,sc_t)；其中，a、b1、b2和b3表示系数，且a、b1、b2、b3和b4之和为1；h表示交叉熵损失函数；y表示目标训练数据的标签值；s表示所述目标训练数据输入所述待训练模型得到未归一化的对数概率后，再输入归一化指数函数得到的归一化的分类概率；mse表示均方误差损失函数；s_t表示所述第三概率；sa_t、sb_t和sc_t分别表示不同的所述基础模型对应的第二概率。8.根据权利要求7所述的敏感信息识别方法，其特征在于，b2、b3和b4满足以下至少一项：在sa_t、sb_t和sc_t中sa_t的值最大的情况下，b2为预设值，b3和b4为0；在sa_t、sb_t和sc_t中sb_t的值最大的情况下，b3为预设值，b2和b4为0；在sa_t、sb_t和sc_t中sc_t的值最大的情况下，b4为预设值，b2和b3为0。9.根据权利要求1所述的敏感信息识别方法，其特征在于，所述通过所述目标识别模型，对待审核内容进行敏感信息识别，获取目标审核结果，包括：通过所述目标识别模型，对待审核内容进行敏感信息识别，确定所述待审核内容对应的目标审核结果。10.根据权利要求1所述的敏感信息识别方法，其特征在于，所述通过所述目标识别模型，对待审核内容进行敏感信息识别，获取目标审核结果，包括：通过所述目标识别模型，对待审核内容进行敏感信息识别，获取所述待审核内容对应的第一审核结果；以及利用动态规则库，对所述待审核内容进行敏感信息识别，得到第二审核结果；根据所述第一审核结果和所述第二审核结果，确定所述目标审核结果。11.根据权利要求10所述的敏感信息识别方法，其特征在于，所述根据所述第一审核结果和所述第二审核结果，确定所述目标审核结果，包括以下至少一项：若所述第一审核结果和所述第二审核结果中的至少一个为敏感，则所述目标审核结果为敏感；若所述第一审核结果和所述第二审核结果均为非敏感，则所述目标审核结果为非敏感。12.根据权利要求10所述的敏感信息识别方法，其特征在于，所述利用动态规则库，对所述待审核内容进行敏感信息识别，得到第二审核结果，包括：利用所述动态规则库和预先建立的敏感词库，对所述待审核内容进行敏感信息识别，得到第二审核结果；其中，所述动态规则库是基于敏感信息相关的正则库，通过命名实体识别ner对所述待审核内容进行实体识别而动态生成的。13.一种敏感信息识别装置，其特征在于，包括：
模型处理模块，用于通过知识蒸馏，对集成模型进行压缩，得到目标识别模型；所述集成模型由至少三个神经网络模型集成得到；信息识别模块，用于通过所述目标识别模型，对待审核内容进行敏感信息识别，获取目标审核结果；其中，所述目标审核结果用于指示所述待审核内容是否为敏感信息。14.一种网络设备，其特征在于，包括：收发机和处理器；所述处理器用于：通过知识蒸馏，对集成模型进行压缩，得到目标识别模型；所述集成模型由至少三个神经网络模型集成得到；通过所述目标识别模型，对待审核内容进行敏感信息识别，获取目标审核结果；其中，所述目标审核结果用于指示所述待审核内容是否为敏感信息。15.一种网络设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1至12任一项所述的敏感信息识别方法。16.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至12任一项所述的敏感信息识别方法中的步骤。
技术总结
本发明提供一种敏感信息识别方法、装置及网络设备，涉及敏感信息识别技术领域。该方法包括：通过知识蒸馏，对集成模型进行压缩，得到目标识别模型；所述集成模型由至少三个神经网络模型集成得到；通过所述目标识别模型，对待审核内容进行敏感信息识别，获取目标审核结果；其中，所述目标审核结果用于指示所述待审核内容是否为敏感信息。本发明的方案，解决了现有的敏感信息识别模型难以兼顾识别精度和识别速度的问题。识别速度的问题。识别速度的问题。
技术研发人员：姜山
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2021.09.09
技术公布日：2023/3/10