深度学习模型的数据检测方法、装置、计算机可读存储介质和处理器与流程

本发明涉及数据安全，具体而言，涉及一种深度学习模型的数据检测方法、装置、计算机可读存储介质和处理器。

背景技术：

1、目前，深度学习模型在训练过程中能够携带和反映训练数据的信息，这种信息嵌入能力对数据所有方构成潜在威胁。例如，具有数据挖掘权限的工作人员可以通过修改机器学习算法或数据处理过程，利用深度学习模型携带信息的能力，指定在模型参数和预测结果中编码信息，从而窃取数据所有方的隐私数据。这类数据攻击窃取手段通常具有较强的隐蔽性，能够有效绕过传统的数据权限管控和数据访问管控等安全保护机制，对用于进行深度学习模型训练的数据安全构成极大威胁。

2、针对上述存在的无法深度检测深度学习模型在训练过程中的数据攻击行为的技术问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种深度学习模型的数据检测方法、装置、计算机可读存储介质和处理器，以至少解决无法深度检测深度学习模型在训练过程中的数据攻击行为的技术问题。

2、根据本发明实施例的一个方面，提供了一种深度学习模型的数据检测方法。该方法可以包括：响应于深度学习模型在目标训练环境中完成当前训练轮次，获取深度学习模型的模型参数，其中，目标训练环境用于提供训练深度学习模型所需的训练数据；基于模型参数，确定多项参数特征，其中，多项参数特征用于表征深度学习模型的模型参数在当前训练轮次结束后的参数分布结果；基于多项参数特征，以及当前训练轮次之前的训练轮次分别对应的多项参数特征，构建目标特征向量序列，其中，目标特征向量序列用于表征深度学习模型的模型参数在当前训练轮次结束后的参数分布特性，以及深度学习模型的模型参数随训练轮次的迭代的变化趋势；对目标特征向量序列进行检测，得到检测结果，其中，检测结果用于表征深度学习模型在当前训练轮次中是否执行数据攻击行为，数据攻击行为用于表征深度学习模型在当前训练轮次中获取了目标训练环境中的训练数据。

3、可选地，从基于模型参数，确定多项参数特征，包括：对模型参数进行统计分析，得到多项参数特征，其中，多项参数特征中至少包括第一参数特征、第二参数特征、第三参数特征以及第四参数特征，第一参数特征用于表征模型参数分布的集中程度，第二参数特征用于表征模型参数分布的拖尾程度，第三参数特征用于表征模型参数在指定区间内的分布比例，第四参数特征用于表征模型参数对应的概率密度曲线的陡度，指定区间用于表征模型参数的分布中，位于模型参数的均值左侧的两个标准差值至三个标准差之间的区间，以及位于模型参数的均值右侧的两个标准差至三个标准差之间的区间。

4、可选地，基于多项参数特征，以及当前训练轮次之前的训练轮次分别对应的多项参数特征，构建目标特征向量序列，包括：将多项参数特征聚合为一个特征向量，以及将当前训练轮次之前的每个训练轮次对应的多项参数特征分别聚合为一个特征向量，得到多个特征向量；基于训练轮次的先后顺序，将多个特征向量进行聚合，得到目标特征向量序列。

5、可选地，对目标特征向量序列进行检测，得到检测结果，包括：将目标特征向量序列输入至特征检测模型中进行检测，得到检测结果，其中，目标特征向量序列用于使得特征检测模型通过学习预设的检测规则对深度学习模型在当前训练轮次中的数据攻击行为进行检测，预设的检测规则用于至少表征模型参数分布的集中程度在多个训练轮次中的变化率，模型参数分布的拖尾程度在多个训练轮次中的变化率，模型参数在指定区间中的分布比例的变化率，以及模型参数对应的概率密度曲线的陡度的变化率。

6、可选地，检测结果通过二元组表示，其中，二元组中包括第一概率与第二概率，第一概率用于表征深度学习模型未执行数据攻击行为的概率，第二概率用于表征深度学习模型执行数据攻击行为的概率，方法还包括：响应于第一概率大于第二概率，确定深度学习模型在当前训练轮次中未执行数据攻击行为；响应于第一概率小于或等于第二概率，确定深度学习模型在当前训练轮次中执行了数据攻击行为。

7、可选地，特征检测模型至少包括长短期记忆网络模型和多层感知机模型，长短期记忆网络模型用于捕捉目标特征向量序列中的时间依赖关系，多层感知机模型用于对长短期记忆网络模型输出的时间依赖关系进行深度分类，确定深度学习模型在当前训练轮次中是否执行数据攻击行为。

8、可选地，深度检测模型的数据检测方法还包括：响应于深度学习模型在当前训练轮次中执行了数据攻击行为，控制目标训练环境停止对深度学习模型的训练。

9、根据本发明实施例的另一方面，还提供了一种深度学习模型的数据检测装置。该装置可以包括：获取单元，用于响应于深度学习模型在目标训练环境中完成当前训练轮次，获取深度学习模型的模型参数，其中，目标训练环境用于提供训练深度学习模型所需的训练数据；确定单元，用于基于模型参数，确定多项参数特征，其中，多项参数特征用于表征深度学习模型的模型参数在当前训练轮次结束后的参数分布结果；构建单元，用于基于多项参数特征，以及当前训练轮次之前的训练轮次分别对应的多项参数特征，构建目标特征向量序列，其中，目标特征向量序列用于表征深度学习模型的模型参数在当前训练轮次结束后的参数分布特性，以及深度学习模型的模型参数随训练轮次的迭代的变化趋势；检测单元，用于对目标特征向量序列进行检测，得到检测结果，其中，检测结果用于表征深度学习模型在当前训练轮次中是否执行数据攻击行为，数据攻击行为用于表征深度学习模型在当前训练轮次中获取了目标训练环境中的训练数据。

10、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制存储介质所在设备执行本发明实施例中的深度学习模型的数据检测方法。

11、根据本发明实施例的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例中的深度学习模型的数据检测方法。

12、根据本发明实施例的另一方面，还提供了一种计算机程序产品。该程序产品包括计算机指令，该计算机指令被处理器执行时实现本发明实施例中的深度学习模型的数据检测方法。

13、在本发明实施例中，响应于深度学习模型在目标训练环境中完成当前训练轮次，获取深度学习模型的模型参数，其中，目标训练环境用于提供训练深度学习模型所需的训练数据；基于模型参数，确定多项参数特征，其中，多项参数特征用于表征深度学习模型的模型参数在当前训练轮次结束后的参数分布结果；基于多项参数特征，以及当前训练轮次之前的训练轮次分别对应的多项参数特征，构建目标特征向量序列，其中，目标特征向量序列用于表征深度学习模型的模型参数在当前训练轮次结束后的参数分布特性，以及深度学习模型的模型参数随训练轮次的迭代的变化趋势；对目标特征向量序列进行检测，得到检测结果，其中，检测结果用于表征深度学习模型在当前训练轮次中是否执行数据攻击行为，数据攻击行为用于表征深度学习模型在当前训练轮次中获取了目标训练环境中的训练数据。也就是说，在本发明实施例中，在深度学习模型的训练过程中，在每个训练轮次结束后，自动提取深度学习模型的关键参数特征，并基于每个训练轮次与之前的训练轮次分别对应的关键参数特征，生成目标特征向量序列，由于该目标特征向量不仅可以表征深度学习模型在每个训练轮次结束后的参数分布特性，还可以表征深度学习模型的模型参数随训练轮次的迭代的变化趋势，因此，通过对目标特征向量进行检测，可以及时确定出深度学习模型在当前训练轮次中是否发生数据攻击行为，并在发生数据攻击行为之后，及时阻断深度学习模型的训练过程，实现有效保护训练环境的数据安全的技术效果，进而解决无法深度检测深度学习模型在训练过程中的数据攻击行为的技术问题。

14、进一步地，在本发明实施例中，数据检测过程独立于模型训练过程，不会对模型训练过程产生负面影响，在保证训练环境的数据安全的基础上，也维护了深度学习模型的训练过程。