应用于训练模型的代码攻击检测方法、系统、设备及介质与流程

本申请涉及代码检测，尤其涉及一种应用于训练模型的代码攻击检测方法、系统、设备及介质。

背景技术：

1、近年来，随着健康医疗大数据中心逐渐发展，数据越来越多进入到应用层的阶段。在健康医疗大数据的人工智能应用场景中，用户往往只有使用数据进行模型训练的权限，在模型训练完成后，模型经过审核可以供用户使用，而数据完成训练模型后，重新回归大数据中心。在以上应用场景汇总，模型的审核阶段是关键和难点，这就涉及到医疗模型中可能存在的代码攻击问题。

2、代码攻击根据受影响的不同，可以归纳为：代码投毒攻击，外包攻击，预训练攻击，数据收集攻击，协作学习攻击，部署后攻击几类。现有，代码攻击检测和防御方法主要有以下几类：①基于剪枝的防御方法：通过对编码触发器对应的神经元剪枝来抵御；②基于显著图的防御方法：此方法先计算每张图片的显著图，再根据不同图片之间显著性相同的区域从而定位触发器。

3、但是，上述基于剪枝的防御方法对标签特异的触发器是无效的，基于显著图的防御方法对标签特异的触发器同样无效，进而无法有效实现代码攻击检测和防御的目的。

技术实现思路

1、针对现有技术的上述不足，本申请提供一种应用于训练模型的代码攻击检测方法、系统、设备及介质，以解决现有的方法对标签特异的触发器是无效的，对不知标签的触发器同样无效，无法有效实现代码攻击检测的目的。

2、第一方面，本申请提供了一种应用于训练模型的代码攻击检测方法，方法包括：获取训练好的训练模型，以获得由训练产生的模型标签；通过预设触发器和预设变量数据，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签；基于绝对中位差技术，以获取的模型标签的绝对中位差，进而确定模型标签中的异常值，确定异常值对应的模型标签为攻击目标标签；通过预设代码检测语句，对模型标签进行检测，以确定是否存在可加载数据；以在存在可加载数据时，确定存在可加载数据对应的模型标签为攻击目标标签；获取攻击目标标签对应的主动过滤器，以将主动过滤器作为训练模型的输入过滤器。

3、进一步地，在通过预设代码检测语句，对模型标签进行检测，以确定是否存在可加载数据之后，方法还包括：在存在可加载数据时，通过后端编辑界面，获取可加载数据对应的替换数据。

4、进一步地，在通过预设触发器和预设变量数据，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签之前，方法包括：通过预设界面获得预设变量数据；其中，预设变量数据包括模型标签名称和变量值。

5、进一步地，通过预设触发器和预设变量数据，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签，具体包括：通过预设触发器，将模型标签名称对应的模型标签增加或降低变量值大小，以获得模型标签的变化范围；确定模型标签的变化范围是否与预设触发器中预设的模型标签危险范围存在相交区域，在存在相交区域时，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签。

6、第二方面，本申请提供了一种应用于训练模型的代码攻击检测系统，系统包括：获得模块，用于获取训练好的训练模型，以获得由训练产生的模型标签；确定模块，用于通过预设触发器和预设变量数据，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签；基于绝对中位差技术，以获取的模型标签的绝对中位差，进而确定模型标签中的异常值，确定异常值对应的模型标签为攻击目标标签；通过预设代码检测语句，对模型标签进行检测，以确定是否存在可加载数据；以在存在可加载数据时，确定存在可加载数据对应的模型标签为攻击目标标签；过滤器获取模块，用于获取攻击目标标签对应的主动过滤器，以将主动过滤器作为训练模型的输入过滤器。

7、进一步地，确定模块包括替换单元，用于在存在可加载数据时，通过后端编辑界面，获取可加载数据对应的替换数据。

8、进一步地，确定模块包括获取单元，用于通过预设界面获得预设变量数据；其中，预设变量数据包括模型标签名称和变量值。

9、进一步地，确定模块包括触发器单元，用于通过预设触发器，将模型标签名称对应的模型标签增加或降低变量值大小，以获得模型标签的变化范围；确定模型标签的变化范围是否与预设触发器中预设的模型标签危险范围存在相交区域，在存在相交区域时，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签。

10、第三方面，本申请提供了一种应用于训练模型的代码攻击检测设备，设备包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述任一项的一种应用于训练模型的代码攻击检测方法。

11、第四方面，本申请提供了一种非易失性计算机存储介质，其上存储有计算机指令，计算机指令在被执行时实现如上述任一项的一种应用于训练模型的代码攻击检测方法。

12、本领域技术人员能够理解的是，本申请至少具有如下有益效果：

13、本申请通过遍历模型标签触发器检测、绝对中位差技术和预设代码检测语句，实现了多方面检测是否存在攻击目标标签，对不知标签的训练模型，依然能够实现获得攻击目标标签。通过获取攻击目标标签对应的主动过滤器，以将主动过滤器作为训练模型的输入过滤器。在获得存在工具风险的标签（攻击目标标签）后，获得能够过滤攻击目标标签对应风险输入的主动过滤器，并将主动过滤器作为训练模型的输入过滤器，过滤掉了外来输入数据攻击存在工具风险的标签（攻击目标标签）的风险。

技术特征：

1.一种应用于训练模型的代码攻击检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的应用于训练模型的代码攻击检测方法，其特征在于，在通过预设代码检测语句，对模型标签进行检测，以确定是否存在可加载数据之后，所述方法还包括：

3.根据权利要求1所述的应用于训练模型的代码攻击检测方法，其特征在于，在通过预设触发器和预设变量数据，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签之前，所述方法包括：

4.根据权利要求3所述的应用于训练模型的代码攻击检测方法，其特征在于，通过预设触发器和预设变量数据，确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签，具体包括：

5.一种应用于训练模型的代码攻击检测系统，其特征在于，所述系统包括：

6.根据权利要求5所述的应用于训练模型的代码攻击检测系统，其特征在于，确定模块包括替换单元，

7.根据权利要求5所述的应用于训练模型的代码攻击检测系统，其特征在于，确定模块包括获取单元，

8.根据权利要求7所述的应用于训练模型的代码攻击检测系统，其特征在于，确定模块包括触发器单元，

9.一种应用于训练模型的代码攻击检测设备，其特征在于，所述设备包括：

10.一种非易失性计算机存储介质，其特征在于，其上存储有计算机指令，所述计算机指令在被执行时实现如权利要求1-4任一项所述的一种应用于训练模型的代码攻击检测方法。

技术总结
本申请公开了一种应用于训练模型的代码攻击检测方法、系统、设备及介质，主要涉及代码检测技术领域，用以解决现有的方法对标签特异的触发器是无效的，对不知标签的触发器同样无效，无法有效实现代码攻击检测的目的。包括：获得由训练产生的模型标签；确定进行预设变量数据修改后能够导致训练模块进行错误分类的模型标签为攻击目标标签；获取的模型标签的绝对中位差，进而确定模型标签中的异常值，确定异常值对应的模型标签为攻击目标标签；通过预设代码检测语句，确定是否存在可加载数据；以在存在可加载数据时，确定存在可加载数据对应的模型标签为攻击目标标签；获取攻击目标标签对应的主动过滤器，以将主动过滤器作为训练模型的输入过滤器。

技术研发人员：林文丛,尹芳,邓小宁,金剑,郭鹏,李凤荣
受保护的技术使用者：北方健康医疗大数据科技有限公司
技术研发日：
技术公布日：2024/1/15