一种基于抽象自动机的时间序列对抗样本生成方法

1.本发明涉及深度学习、对抗攻击，尤其涉及一种基于抽象自动机的时间序列对抗样本生成方法。


背景技术：

2.对抗样本生成是提高神经网络分类器的可信程度的有效技术之一，相关研究工作引起人们的广泛关注。一方面，对抗样本生成的过程中往往包含理解和解释神经网络训练原理和预测过程的尝试，其生成结果也有助于人们发现和定位模型存在的缺陷；另一方面，对抗防御领域的工作可以利用生成的对抗样本对训练数据集进行增强，从而提升神经网络分类器的鲁棒性，帮助抵御现实应用中可能出现的意外情况的干扰或恶意攻击的破坏。在计算机视觉领域，针对基于多层感知机或卷积神经网络的分类器的对抗样本生成研究已经取得了诸多进展。在一定的条件下，前沿的工作甚至可以做到仅靠扰动输入图像中的一个像素便使模型产生错误的分类结果。
3.对抗攻击已经被广泛接受为一种在安全攸关领域的神经网络正式部署之前对其进行鲁棒性评估乃至改进的有效手段，常见的对抗攻击技术可以分为黑盒攻击和白盒攻击两个大类。例如基于网络线性化的快速梯度符号方法，简称fgsm，原用于标准约束优化的投影梯度下降算法，简称pgd，近年来也被证明在无穷范数下具有接近于fgsm的效果。黑盒攻击算法主要基于对抗样本的可转移性原理实现，现有的实践包括newtonfool算法等，它们对模型信息的需求量更少，但攻击成功率通常也低于白盒攻击算法。
4.然而，这些基于梯度的对抗性攻击总是假设目标模型是直接可微的，而循环神经网络独特的时间循环结构无法进行这种计算。另一方面，由于时间序列对扰动要比图像数据更敏感，在这些数据上，当前公认的局部优化目标和现有的最小化每个样本的扰动量的对抗攻击算法都是可疑的，因为它看起来像是为图像数据量身定制的。因此，当时间序列分类已经应用于各种现实世界的安全关键任务中，且循环神经网络是时间序列分类最有效的结构，现有方法不能生成对抗时间序列循环神经网络分类器。其中，有些算法根本无法对循环神经网络分类器进行有效的对抗攻击，有些则无法保证生成的对抗样本满足微小差异的约束。因此，如何针对循环神经网络分类器的特点进行对抗样本生成依旧是一个具有重要研究意义的问题。


技术实现要素：

5.鉴于上述问题，本发明要解决的问题是：循环神经网络中缺乏有效的对抗样本生成方法，难以有效地提升循环神经网络鲁棒性、发现循环神经网络漏洞的问题。本发明能够评估其对神经网络的攻击能力,并由此自动化生成高质量的对抗样本,解决了针对时间序列的循环神经网络缺乏有效对抗攻击方法的问题。本发明的目的在于开辟新的基于抽象自动机的时间序列对抗样本生成方法，提升对循环神经网络的时间序列的攻击效率，并确保生成的样本隐蔽性好，攻击成功率高。
6.实现本发明目的的具体技术方案是：一种基于抽象自动机的时间序列对抗样本生成方法，特点是能够利用权重有限自动机的特性对原始数据集进行筛选，筛选出易受攻击的样本，最终使用时间序列原数据集生成隐蔽且高质量的对抗样本。该方法包括如下具体步骤：a：根据原始时间序列数据集，设定循环神经网络的结构信息和激活函数参数，训练循环神经网络，以完成时间序列分类任务；具体包括：a1：将原始时间序列数据集按照8∶2的比例进行分割，分成训练集和测试集；a2：设定隐藏层、神经元数量参数，并选用adam优化器和交叉熵损失函数，训练完成时间序列分类任务的循环神经网络；a3：采用测试准确率和损失值 loss 这两个标准，自动在a2中训练所得的完成时间序列分类任务的循环神经网络中选取并更新最优模型；当下面两种情况出现时更新选取的最优模型：1）在测试数据集上，当前模型的准确率超过最优模型的1%；2）在测试数据集上，当前模型的准确率大于最优模型的准确率，但不超过1%，且当前模型的损失值不超过最优模型的损失值；b：对循环神经网络的输出序列进行抽象，构建权重有限自动机，具体包括：b1：对原始输入数据进行正则化，将全部特征值按分布表示为 0-1 之间的值，从而为后续输入划分提供统一的操作视图；还允许在满足上述将原始输入数据正则化的情况下进一步手动调细抽象划分的粒度，最终获得输入域应当划分成的初步抽象块个数；b2：分别计算输入数据各维度上相邻特征值的平均差距值，并以该差距值缩小一个数量级为微小差异值，保证输入抽象划分的有效性；b3：在满足上述计算微小差异值的情况下进一步手动调细抽象划分的粒度，最终获得输入域应当划分成的进一步精化的抽象块个数；b4：在循环神经网络上对训练数据集中所有输入序列按照时间步逐步执行，输出隐状态的显式表示并记录；对所有记录的显式表示执行预测结果抽象和预测置信度抽象，得到完整的抽象表示并加以记录；b5：对权重有限自动机的状态向量进行初始化；该状态向量是在全体抽象状态之外另设一个独立的初始状态，所有输入序列的执行统一从该状态开始，其物理意义是接收输入前的权重有限自动机将会输出各类别置信度相等的分类结果，对应于原神经网络使用全 0 初始化；循环神经网络的隐状态统一初始化为全 0 形式，故采用全0方式构建初始状态向量；b6：建立权重有限自动机的统计迁移矩阵；对于抽象状态集合中的每一个抽象状态，记录循环神经网络在整个训练数据集上的执行过程中得到的落入该抽象状态中的实例状态对应的分类预测输出，并对记录的向量中的每个元素按分布表示为 0-1 之间的概率值，将记录的概率化之后的向量作为统计迁移矩阵的分向量；b7：建立权重有限自动机的概率输出矩阵；记录循环神经网络在整个训练数据集上的执行过程中得到的落入该抽象状态中的实例状态所对应的分类预测输出，并对记录的向量进行概率化，并对记录的向量中的每个元素按分布表示为 0-1 之间的概率值，将记录的概率化之后的向量作为概率输出矩阵的分向量；至此完成权重有限自动机的构建；c：利用构建的权重有限自动机和原始循环神经网络的预测结果寻找边缘正样本
并进行对抗样本生成，具体包括：c1：在整个训练数据集上使用循环神经网络和从步骤b中得到的权重有限自动机分别进行预测，当权重有限自动机预测正确而循环神经网络预测错误时，说明与其他在外部表示方式上相似、事实上分类类别也相同的样本相比，该样本被循环神经网络处理和理解为了不同的潜在流形，从而预测为了错误的类别，将符合这种情况的样本称为敏感负样本；对两者的预测结果以及训练集标签进行对比，挑选出训练数据集中的敏感负样本；c2：在整个训练数据集中寻找与c1中挑选出的距离敏感负样本最近、且实际的所属类别相同的正样本，所述距离通过敏感负样本与寻找出的正样本于各个时间步分别落入的抽象输入块之间的距离来衡量；c3：根据窗口大小和控制超参数确定当前轮次的取样粒度，在窗口内依照所述取样粒度进行取样，将全部新取得的样本送入递归神经网络模型进行预测；c4：定位到预测结果中正负分界的位置，更新窗口大小为该位置两侧的采样样本之间的矩阵差值；随着迭代的进行，采样粒度逐轮变得精细，窗口两侧的样本各自对应的潜在流形不断逼近正负两类流形之间的分类边界，直至取样粒度小于设定的对抗扰动幅度时，最接近边界的正样本即为边缘正样本；c5：设定对抗扰动的幅度，允许在微小差异值的前提下对扰动幅度的大小进行调整，从而确保总是实施微小扰动；c6：计算扰动窗口的大小，微小窗口为大小低于输入样本的时间步长度一个数量级的窗口，在此约束下对实际选用的扰动窗口大小进行灵活调整；c7：引入专家检查以确认边缘正样本没有偏离正确标签所指向的类别；c8：对于合格的边缘正样本，令扰动窗口按照时间步滑动并施加规定的方向和幅度的扰动以生成对抗样本，最后将生成的所有对抗样本存入对抗样本集。
7.与现有的对抗攻击技术相比，本发明的优点在于：提出了一种合理、高效且具有普遍适用性的时间序列对抗样本生成方法，它可以应用于任意具有时间序列输出能力的分类器模型，且对目标模型质量的高低表现出了良好的包容性；提出了敏感负样本和边缘正样本的概念，探索并实践了主流对抗攻击算法中根据梯度等指标直接生成全局对抗样本和在原有正样本上寻找敏感点进行局部扰动生成对抗样本两种常见方法之外的新思路，在一定程度上减轻了对抗攻击算法对原始数据集质量的依赖，减少了候选生成空间从而提高了生成效率，并且降低了凭借微小扰动成功生成对抗样本的难度；对权重有限自动机及其抽象构建算法进行了一定的改进，包括输入抽象的优化和概率迁移矩阵模式的变更，使改进的权重有限自动机对原循环神经网络有更好的可解释性且可执行在训练数据集之外的样本上。
附图说明
8.图1为本发明的方法框架图；图2为本发明步骤b流程图；图3为本发明步骤c流程图。
具体实施方式
9.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
10.本发明提出了一种基于抽象自动机的时间序列对抗样本生成方法，利用权重有限自动机与神经网络不同的泛化边界，通过筛选得到易受攻击的样本，再设计敏感负样本和边缘正样本对易受攻击的样本进行扰动，能够高效地构造扰动小、质量高的对抗样本。
11.参阅图1，该方法的框架主要分为3部分：目标循环神经网络的选择、权重有限自动机建立、对抗时间序列生成。具体步骤如下：a：目标循环神经网络的选择，属于本发明框架图1中左侧虚线框内的步骤。主要负责进行网络训练；本发明中，面向的是循环神经网络分类模型。采用以长短期记忆神经网络lstm为主体的神经网络，并设定使用的隐藏层数量、神经元数量。对于训练过程，选取相对成熟高效的 adam 优化器，使用交叉熵损失函数计算训练损失值，并统一进行轮数相同的训练。之后自动在上述训练获得的全部循环神经网络中选取并更新最优模型。具体来说，当下面两种情况出现时更新选取的最优模型：1）在测试数据集上，当前模型的准确率超过最优模型的1%；2）在测试数据集上，当前模型的准确率大于最优模型的准确率，但不超过1%，且当前模型的损失值不超过最优模型的损失值；b：权重有限自动机建立；本发明中，需要根据训练好的循环神经网络分类模型抽取权重有限自动机。首先对原始输入数据进行正则化，将全部特征值按分布表示为 0-1 之间的值，并分别计算输入数据各维度上相邻特征值的平均差距值，并以该差距值缩小一个数量级为微小差异值。之后进行初始状态向量的初始化和概率抽象矩阵、概率输出矩阵的构建。根据定义，权重有限自动机由抽象字母表、抽象状态集合、初始状态向量、概率迁移矩阵集合和概率输出矩阵五个部分组成，经过上述步骤，已经获得了参数完整且可执行的权重有限自动机。
12.c：对抗时间序列生成；本发明提出一种利用抽象构建出的权重有限自动机与原循环神经网络的预测结果进行比较从而定位到训练数据集中的敏感负样本，进而生成数据集中原本不存在的边缘正样本并于其上施加对抗扰动进行对抗样本生成的技术。
13.参阅图2，所述步骤b，具体包括：b1：首先对原始输入数据进行正则化，将全部特征值按分布表示为 0-1 之间的值，从而为后续输入划分提供统一的操作视图；还允许在满足上述将原始输入数据正则化的情况下进一步手动调细抽象划分的粒度，最终获得输入域应当划分成的初步抽象块个数；b2：之后分别计算输入数据各维度上相邻特征值的平均差距值，并以该差距值缩小一个数量级为微小差异值，保证输入抽象划分的有效性；b3：在满足上述计算微小差异值的情况下进一步手动调细抽象划分的粒度，最终获得输入域应当划分成的进一步精化的抽象块个数；b4：在循环神经网络上对训练数据集中所有输入序列按照时间步逐步执行，输出隐状态的显式表示并记录。对所有记录到的显式表示执行预测结果抽象和预测置信度抽象，得到完整的抽象表示并加以记录；
b5：对权重有限自动机的状态向量进行初始化；该状态向量是在全体抽象状态之外另设一个独立的初始状态，所有输入序列的执行统一从该状态开始，其物理意义是接收输入前的权重有限自动机，以及原神经网络，将输出各类别置信度相等的分类结果，对应于原神经网络使用全 0 初始化。本方法中循环神经网络的隐状态统一初始化为全 0 形式，故采用全0方式构建初始状态向量；b6：建立权重有限自动机的概率迁移矩阵，对于抽象状态集合中的每一个抽象状态，记录循环神经网络在整个训练数据集上的执行过程中得到的落入该抽象状态中的实例状态对应的分类预测输出，并对记录的向量中的每个元素按分布表示为 0-1 之间的概率值，将记录的概率化之后的向量组装为统计迁移矩阵；b7：建立权重有限自动机的概率输出矩阵；记录循环神经网络在整个训练数据集上的执行过程中得到的落入该抽象状态中的实例状态对应的分类预测输出，并对记录的向量进行概率化，并对记录的向量中的每个元素按分布表示为 0-1 之间的概率值，将记录的概率化之后的向量组装为概率输出矩阵。至此权重有限自动机的全部参数计算完毕，构建完成。
14.参阅图3，所述步骤c，具体包括：c1：在整个训练数据集上分别使用循环神经网络和权重有限自动机进行预测，当权重有限自动机预测正确而循环神经网络预测错误时，说明与其他在外部表示方式上相似、事实上分类类别也相同的样本相比，该样本被循环神经网络处理和理解为了不同的潜在流形，从而预测为了错误的类别，本发明将符合权重有限自动机预测正确而循环神经网络预测错误情况的样本称为敏感负样本。对两者的预测结果以及训练集标签进行对比，挑选出训练数据集中的敏感负样本；c2：在整个训练数据集中寻找距离c1中挑选的敏感负样本最近、且实际的所属类别相同的正样本，该距离通过它们各个时间步分别落入的抽象输入块之间的距离来衡量；c3：根据窗口大小和控制超参数确定当前轮次的取样粒度，在窗口内依照该粒度进行取样，将全部新取得的样本送入循环神经网络进行预测；c4：定位到预测结果中正负分界的位置，更新窗口大小为该位置两侧的采样样本之间的矩阵差值。随着迭代的进行，采样粒度逐轮变得精细，窗口两侧的样本各自对应的潜在流形不断逼近正负两类流形之间的分类边界，直至取样粒度小于设定的对抗扰动幅度时，最接近边界的正样本即为边缘正样本；c5：设定对抗扰动的幅度，允许在微小差异值的前提下对扰动幅度的大小进行调整，从而确保算法总是实施微小扰动；c6：计算扰动窗口的大小，微小窗口为大小低于输入样本的时间步长度一个数量级的窗口，在此约束下对实际选用的扰动窗口大小进行灵活调整；c7：引入专家检查以确认边缘正样本没有偏离正确标签所指向的类别；c8：对于合格的边缘正样本，令扰动窗口随时间步滑动并施加规定的方向和幅度的扰动以生成对抗样本，最后将生成的对抗样本存入对抗样本集。
15.本发明提供了一种基于抽象自动机的时间序列对抗样本生成方法，提出使用基于自动机的抽象建模方式实现筛选样本，可以高效地生成隐蔽高质量的对抗时间序列，构建的对抗样本攻击循环神经网络成功率高。