本申请涉及人工智能，尤其涉及一种基于不确定性定向极化和自适应插件的反蒸馏方法及装置。
背景技术：
：：1、近年来，随着chatgpt，stablediffusion等新方法的提出和应用，人工智能迎来了一波新的热潮。但是，无论是传统的深度学习模型，还是近期提出的各类大模型，都面临模型的安全问题。即，模型部署在设备上(终端或者云端服务器)时，是否被攻击者窃取。这种窃取可能是直接对模型进行窃取，也可能是窃取模型的本身的性能(例如蒸馏攻击，通过多次调用模型，可以在不知道模型结构的情况下，重新训练一个模型来拟合线上模型的性能，达到性能窃取的目的)。2、为了保护模型本身和模型的性能，常见的模型保护方法可以被分为两种类型。第一种类型时基于加密的模型保护方法。这类方法一般对模型本身进行加密，或者对模型运行的环境进行加密(tee环境)。这类方法的优点是，攻击者获取模型的成本非常高，基本不可能。这类方法也有缺点，一般相比非加密的模型，运行时间成本会有明显的提升。而且，这类方法对输出并不加密，因此无法防御蒸馏攻击。第二种类型则是反蒸馏的训练方法。这类方法通过特殊的方法训练模型，使得得到的模型具有防御蒸馏攻击的能力。但是，这类方法防御蒸馏攻击的能力十分有限。攻击者可以通过扰动样本，求取平均输出的方法，绕过该方法。另外，该方法对模型的性能有一定的影响。技术实现思路1、本申请实施例提供一种基于不确定性定向极化和自适应插件的反蒸馏方法及装置，用以解决相关技术中防御蒸馏攻击的效率低的技术问题。2、第一方面，本申请实施例提供一种基于不确定性定向极化和自适应插件的反蒸馏方法，包括：3、获取用作教师网络的预训练母模型，所述预训练母模型是基于蒸馏损失和竞争损失训练得到的；4、基于所述预训练母模型、反蒸馏模型和反蒸馏插件获取目标模型，所述目标模型是基于反蒸馏损失和不确定性定向极化损失训练得到的，所述不确定性定向极化损失用于使所述目标模型对于样本扰动的极化方向保持不变。5、在一些实施例中，所述获取用作教师网络的预训练母模型，包括：6、构建多个同结构的母模型；7、基于蒸馏损失和竞争损失训练所述多个同结构的母模型，得到每一母模型的训练结果；8、将所述多个同结构的母模型中训练结果最佳的母模型确定为所述预训练母模型。9、在一些实施例中，所述反蒸馏模型是基于所述预训练母模型的参数初始化得到的。10、在一些实施例中，所述反蒸馏插件与所述反蒸馏模型连接。11、在一些实施例中，在所述目标模型的训练阶段，基于反蒸馏损失和不确定性定向极化损失更新所述反蒸馏插件中的参数。12、在一些实施例中，所述方法还包括：13、基于授权噪声训练所述目标模型，所述授权噪声用于区分授权用户和非授权用户。14、在一些实施例中，所述方法还包括：15、在用户为授权用户的情况下，在原始输入上增加所述授权噪声后输入所述目标模型。16、第二方面，本申请实施例还提供一种基于不确定性定向极化和自适应插件的反蒸馏装置，包括：17、第一获取模块，用于获取用作教师网络的预训练母模型，所述预训练母模型是基于蒸馏损失和竞争损失训练得到的；18、第二获取模块，用于基于所述预训练母模型、反蒸馏模型和反蒸馏插件获取目标模型，所述目标模型是基于反蒸馏损失和不确定性定向极化损失训练得到的，所述不确定性定向极化损失用于使所述目标模型对于样本扰动的极化方向保持不变。19、在一些实施例中，所述第一获取模块包括：20、第一构建子模块，用于构建多个同结构的母模型；21、第一训练子模块，用于基于蒸馏损失和竞争损失训练所述多个同结构的母模型，得到每一母模型的训练结果；22、第一确定子模块，用于将所述多个同结构的母模型中训练结果最佳的母模型确定为所述预训练母模型。23、在一些实施例中，所述反蒸馏模型是基于所述预训练母模型的参数初始化得到的。24、在一些实施例中，所述反蒸馏插件与所述反蒸馏模型连接。25、在一些实施例中，在所述目标模型的训练阶段，基于反蒸馏损失和不确定性定向极化损失更新所述反蒸馏插件中的参数。26、在一些实施例中，所述基于不确定性定向极化和自适应插件的反蒸馏装置还包括：27、第一训练模块，用于基于授权噪声训练所述目标模型，所述授权噪声用于区分授权用户和非授权用户。28、在一些实施例中，所述第一训练模块还包括：29、第一输入子模块，用于在用户为授权用户的情况下，在原始输入上增加所述授权噪声后输入所述目标模型。30、第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于不确定性定向极化和自适应插件的反蒸馏方法。31、第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于不确定性定向极化和自适应插件的反蒸馏方法。32、第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于不确定性定向极化和自适应插件的反蒸馏方法。33、本申请实施例提供的基于不确定性定向极化和自适应插件的反蒸馏方法及装置，通过先训练一个没有反蒸馏能力的普通母模型作为教师模型，然后利用反蒸馏插件结合不确定性定向极化损失对模型进行优化，从而在保证模型性能的前提下，提高防御蒸馏攻击的效率。技术特征：1.一种基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，包括：2.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述获取用作教师网络的预训练母模型，包括：3.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述反蒸馏模型是基于所述预训练母模型的参数初始化得到的。4.根据权利要求3所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述反蒸馏插件与所述反蒸馏模型连接。5.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，在所述目标模型的训练阶段，基于反蒸馏损失和不确定性定向极化损失更新所述反蒸馏插件中的参数。6.根据权利要求1所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述方法还包括：7.根据权利要求6所述的基于不确定性定向极化和自适应插件的反蒸馏方法，其特征在于，所述方法还包括：8.一种基于不确定性定向极化和自适应插件的反蒸馏装置，其特征在于，包括：9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于不确定性定向极化和自适应插件的反蒸馏方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于不确定性定向极化和自适应插件的反蒸馏方法。技术总结本申请实施例提供一种基于不确定性定向极化和自适应插件的反蒸馏方法及装置，所述方法包括：获取用作教师网络的预训练母模型，所述预训练母模型是基于蒸馏损失和竞争损失训练得到的；基于所述预训练母模型、反蒸馏模型和反蒸馏插件获取目标模型，所述目标模型是基于反蒸馏损失和不确定性定向极化损失训练得到的，所述不确定性定向极化损失用于使所述目标模型对于样本扰动的极化方向保持不变。本申请实施例提供的基于不确定性定向极化和自适应插件的反蒸馏方法及装置，通过先训练一个没有反蒸馏能力的普通母模型作为教师模型，然后利用反蒸馏插件结合不确定性定向极化损失对模型进行优化，从而在保证模型性能的前提下，提高防御蒸馏攻击的效率。技术研发人员：刘雨帆,李兵,胡卫明受保护的技术使用者：中国科学院自动化研究所技术研发日：技术公布日：2024/9/17