一种面向一维数据的多阶段目标检测方法及装置与流程

[0001]
本发明属于深度学习技术领域，具体涉及一种面向一维数据的多阶段目标检测方法及装置。


背景技术：

[0002]
一维数据(例如信号)是一种十分常见的数据形式，是机器学习中一项重要的研究内容，一般对于一维数据的处理方法都是要先获取其有效的数据片段后再进行后续处理，例如在基于wificsi(channel state information，csi)信号的动作识别中需要先截取连续采集信号中的有意义的片段。但是一维数据和二维数据以及三维数据等有着明显的差别，很多一维数据并不具有明显的可识别性，是一些比较杂乱的记录。那么对于这些一维数据中包含实际意义的有效数据片段的获取则具有相应的难度，这对后续的数据识别分类等建立在精确有效数据片段上的操作也产生了不小的影响。
[0003]
现有的一维数据片段的检测方法很多都依赖于一维数据中的不同统计特征的变化情况来判断不同数据片段的起止位置，一般是针对仅有一类数据的情况。这些检测方法使用的统计特征主要有均值、方差等。在使用窗口划分的方法中，首先是对划分出的数据窗口计算特征值，然后是根据每个数据窗口的特征值的变化情况进行判断是否包含数据片段的起止并进行划分。然而这种两阶段的划分中存在一些问题，首先是窗口的划分过程中，对每个窗口计算统计特征时极易包含过多的与有效数据内容无关的背景信息，使得统计特征的数值产生无法估量的波动，从而影响特征的变化规律计算，使得划分结果偏移。同时，根据窗口划分的大小的不同，很容易出现一个完整的数据片段被划分到多个小窗口中或是某个数据片段与较多的背景数据一同处于一个较大的窗口中。其次，对于部分有实际意义的数据片段，其内部的统计特征变化可能不明显，易与背景信息混淆，在窗口划分较小时可能会被提前截断。若是采用缓冲区机制来阻止提前截断，对于仅包含一个数据片段的待检测数据是可行的，但是对于包含若干有效数据片段的长序列一维数据，则可能会因为两个数据片段间的间距太小而被缓冲区粘连在一起，使得多个数据片段被误划分为一个。
[0004]
例如统计特征对无线识别中信道状态信息(channel state information，csi)进行识别。csi数据是一种多通道的信号数据，可以通过其波形获取有效信息。因为单独使用统计特征存在前文所述的问题，如果能合理的解决问题，有望从信号的特征中获得更好的分类性能。


技术实现要素：

[0005]
针对现有技术中的缺陷和不足，本发明提供了一种面向一维数据的多阶段目标检测方法及装置，克服现有方法难以精确划分数据片段边界、难以正确检测出所有有效数据片段位置和数量、在多个类别数据中难以生效等问题。
[0006]
为达到上述目的，本发明采取如下的技术方案：
[0007]
一种面向一维数据的多阶段目标检测方法，该方法对输入的一维数据去噪预处
理；然后通过粗分割模型对预处理后的数据逐点进行前景背景分类；再结合中值滤波和开闭操作修正异常点得到中间预测结果；对于每个中间预测结果生成若干候选框，并通过候选框分类及精确回归模型去除被识别为背景的候选框，修正被识别为前景的候选框边界；之后结合非极大值抑制进行筛选留下置信概率最大的候选框作为最终检测结果。
[0008]
本发明还包括如下技术特征：
[0009]
具体的，该方法包括以下步骤：
[0010]
步骤一，数据预处理：
[0011]
对输入的一维数据进行去噪预处理以去除背景环境噪声；
[0012]
步骤二，数据粗分割：
[0013]
使用循环神经网络作为粗分割模型对预处理后的数据逐点分类为前景背景；
[0014]
步骤三，异常值处理：
[0015]
使用闭运算与中值滤波消除步骤二粗分割结果中存在的凹陷与毛刺；
[0016]
步骤四，候选框生成和边界确定：
[0017]
在步骤三的结果上选取种子点生成候选框，并使用全卷积神经网络对候选框进行判定，对判定为前景的候选框边界进行精确回归；
[0018]
步骤五，结果输出
[0019]
对经过步骤四处理后剩余的候选框进行非极大值抑制，筛选保留概率最大的候选框作为检测结果并输出。
[0020]
具体的，所述步骤三包括：
[0021]
步骤3.1，对步骤二中粗分割后的结果进行闭运算操作消除结果中包含的凹陷；
[0022]
步骤3.2，对步骤3.1得到的结果进行中值滤波操作消除步骤3.1结果中仍然存在的毛刺。
[0023]
具体的，所述步骤四包括：
[0024]
步骤4.1，在步骤三的结果上随机选取种子点，以每个种子点作为中心点，种子点与当前区间端点较远距离为半窗长进行翻转得到候选框体；
[0025]
步骤4.2，对于每个生成的候选框，使用全卷积神经网络对候选框进行判别和边界精确回归；计算其是前景或背景的概率，若是背景则舍弃当前候选框；若是前景则对候选框边界进行精确回归。
[0026]
一种面向一维数据的多阶段目标检测的装置，包括：
[0027]
预处理模块，用以对输入的一维数据进行去噪预处理以去除背景环境噪声；
[0028]
数据粗分割模块，用以使用循环神经网络作为粗分割模型对预处理后的数据逐点分类为前景背景；
[0029]
异常值处理模块，用以使用闭运算与中值滤波消除粗分割结果中存在的凹陷与毛刺；
[0030]
候选框生成和边界确定模块，用以在异常值处理结果上选取种子点生成候选框，并使用全卷积神经网络对候选框进行判定，对判定为前景的候选框边界进行精确回归；
[0031]
结果输出模块，用以对候选框进行非极大值抑制，筛选保留概率最大的候选框作为检测结果并输出。
[0032]
具体的，所述异常值处理模块中：对粗分割后的结果进行闭运算操作消除结果中
包含的凹陷，对闭运算操作得到的结果进行中值滤波操作消除闭运算操作结果中仍然存在的毛刺。
[0033]
具体的，所述候选框生成和边界确定模块中：在异常值处理的结果上随机选取种子点，以每个种子点作为中心点，种子点与当前区间端点较远距离为半窗长进行翻转得到候选框体；对于每个生成的候选框，使用全卷积神经网络对候选框进行判别和边界精确回归，计算其是前景或背景的概率，若是背景则舍弃当前候选框；若是前景则对候选框边界进行精确回归。
[0034]
本发明与现有技术相比，有益的技术效果是：
[0035]
(ⅰ)本发明通过使用循环神经网络作为粗分割模型的基础，对预处理后的一维数据进行分类分析，可以有效地计算保留多种数据类别的数据变化规律。克服了基于统计特征的划分中无法有效检测包含多种类别的一维数据的问题。
[0036]
(ⅱ)本发明通过粗分割模型对一维数据的初步分类，异常值处理和候选框技术的处理确定了所有属于前景的候选框并忽略了中间产生的背景候选框。克服了现有技术难以检测出所有有效数据片段位置和数量的问题。
[0037]
(ⅲ)本发明通过第二阶段的边界精确回归技术和之后的非极大值抑制对剩余的候选框边界进行更进一步的修正和合并。克服了滑动窗口难以精确划分数据片段边界的问题。
[0038]
(iv)本发明能有效的提升在信号中检测有意义片段(目标)的查全率和精确度，可以有效改善后续下游任务的处理效果。例如：在基于wificsi信号的动作识别中为后续分类器更好的提取包含有意义动作的信号片段(目标)。
附图说明
[0039]
图1是实施例1中原始csi信号数据(横坐标：时间帧；纵坐标：振幅)；
[0040]
图2是实施例1中原始信号滤波降噪后的结果；
[0041]
图3是实施例1中滤波后再缩放去除直流分量的结果；
[0042]
图4是实施例1中逐点预测并消除异常值得到的行为片段初始检测结果；
[0043]
图5是实施例1中生成若干候选区间的结果图；
[0044]
图6是实施例1中非极大值抑制后的预测结果图；
[0045]
图7是实施例1中可视化处理防粘连的结果图；
[0046]
图8是实施例中整体的预测过程及结果图；
[0047]
图9是本发明方法的整体流程图。
具体实施方式
[0048]
以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0049]
本发明希望设计一种新型的一维数据目标检测方法，动机是将包含多种类别的一维数据中的有效数据片段完整精确的检测出来，核心是借助粗分割模型、候选框生成和精确判别模型对数据进行两阶段的检测处理，其至少满足以下特性：精确检测出有效数据片段的边界、完整检测出所有的有效数据片段的数量和轴心位置、有效检测出多个不同类别
的数据片段。
[0050]
本发明中，粗分割模型是将预处理后的一维数据在每个点上进行模型分类计算并判定为前背景。
[0051]
闭运算是通过先膨胀再腐蚀将细微相间的物体拼接，使其可以更为平滑。膨胀操作是一种形态学操作，通过卷积的方法来消除数据中存在的凹陷、镂空等缺陷。腐蚀操作也是一种形态学操作，通过卷积的方法消除数据中的毛刺、凸起等缺陷。
[0052]
中值滤波是一种非线性平滑技术，它将每一采样点的取值设置为该点某邻域窗口内的所有采样点取值的中值。意在消除数据中的异常值，平滑噪声。
[0053]
候选框生成模块是在处理后的粗分割结果上按照每个区间作为单位，在其中任选多个种子点并以此种子点为轴心生成候选框。
[0054]
精确回归模型是对剩余的候选框进行回归计算，进行边界的细微调整以达到最优结果。
[0055]
非极大值抑制是一种相似解筛选技术，用于在多候选结果的情况中保留可能性最大的结果。
[0056]
如图9所示，需要进行检测的一维数据输入后，先进行数据滤波等预处理；再通过粗分割模型对数据进行第一阶段的片段划分；然后使用开闭操作和中值滤波进行结果平滑；在平滑的结果上生成多个候选框；再通过候选框判别和边界精确回归模型消除多余的候选框并调整每个剩余的候选框的边界；最后通过非极大值抑制将最终的候选框进行合并，得到的框体就是最终的预测结果。
[0057]
具体的，该方法包括如下步骤：
[0058]
步骤一，数据预处理：
[0059]
对输入的一维数据进行预处理去除背景环境噪声等无关信息；
[0060]
步骤二，数据粗分割：
[0061]
使用循环神经网络作为粗分割模型对预处理后的数据进行逐点分类，将其为前景背景的概率作为判别标准；
[0062]
步骤三，异常值处理：
[0063]
步骤3.1，对步骤二中粗分割后的结果进行闭运算操作消除结果中包含的凹陷；
[0064]
步骤3.2，对步骤3.1得到的结果进行中值滤波操作消除步骤3.1结果中仍然存在的毛刺；
[0065]
步骤四，候选框生成和边界确定
[0066]
步骤4.1，在步骤3.2的结果所得到的区间中，按照一定概率随机选取若干数值作为种子点并以每个种子点作为中心点，种子点与当前区间端点较远距离为半窗长进行翻转得到候选框体。；
[0067]
步骤4.2，对于每个生成的候选框，为克服候选框大小不一致的问题，使用全卷积神经网络对候选框进行判别和边界精确回归，计算其是前景或背景的概率，若是背景则舍弃当前候选框；若是前景则对候选框边界进行精确回归；
[0068]
步骤五，结果输出
[0069]
对经过步骤4.2处理后剩余的候选框进行非极大值抑制，筛选保留概率最大的候选框作为检测结果并输出。
[0070]
本发明还提供一种面向一维数据的多阶段目标检测的装置，包括：
[0071]
粗分割模型，用于将预处理后的输入数据对每个点计算其为前景或背景的概率；
[0072]
预处理模块，用以对输入的一维数据进行去噪预处理以去除背景环境噪声；
[0073]
数据粗分割模块，用以使用循环神经网络作为粗分割模型对预处理后的数据逐点分类为前景背景；
[0074]
异常值处理模块，用以使用闭运算与中值滤波消除粗分割结果中存在的凹陷与毛刺；异常值处理模块中：对粗分割后的结果进行闭运算操作消除结果中包含的凹陷，对闭运算操作得到的结果进行中值滤波操作消除闭运算操作结果中仍然存在的毛刺。
[0075]
候选框生成和边界确定模块，用以在异常值处理结果上选取种子点生成候选框，并使用全卷积神经网络对候选框进行判定，对判定为前景的候选框边界进行精确回归；候选框生成和边界确定模块中：在异常值处理的结果上随机选取种子点，以每个种子点作为中心点，种子点与当前区间端点较远距离为半窗长进行翻转得到候选框体；对于每个生成的候选框，使用全卷积神经网络对候选框进行判别和边界精确回归，计算其是前景或背景的概率，若是背景则舍弃当前候选框；若是前景则对候选框边界进行精确回归。
[0076]
结果输出模块，用以对候选框进行非极大值抑制，筛选保留概率最大的候选框作为检测结果并输出。非极大值抑制是一种相似解筛选技术，用于在多候选结果的情况中保留可能性最大的结果；这里用于对存在的多个候选框进行合并，筛选保留概率最大的候选框作为检测结果。
[0077]
实施例1：
[0078]
本实施例以无线识别中信道状态信息(channel state information，csi)信号的检测为例。目标是，通过本发明为基于wificsi信号的动作识别算法，在连续采集的信号中提取出包含动作的有意义信号片段。具体包括如下步骤：
[0079]
步骤一，数据预处理：
[0080]
将采集得到的csi数据输入，通过复数处理并取其振幅数据，选取其中的第61～90条子载波上的数据，对其进行巴特沃斯低通滤波处理，消除一些噪声数据，滤波前后的结果如图1和图2所示；其中，图1是原始csi信号数据(横坐标：时间帧；纵坐标：振幅)；图2是原始信号滤波降噪后的结果。再对滤波数据进行子载波维度的z-score缩放以去除不同通道间的直流分量差异，结果如图3滤波后再缩放去除直流分量的结果。
[0081]
步骤二：数据粗分割
[0082]
将预处理后的csi数据送入粗分割模型，对每条子载波上的数据的每个点进行分类分析计算该点属于前景或是背景的概率并进行结果输出。
[0083]
步骤三，异常值处理
[0084]
对csi数据粗分割结果进行闭运算操作和中值滤波消除结果中的凹陷和毛刺，如图4为逐点预测并消除异常值得到的行为片段初始检测结果；其中从上到下，第一条线是真实地人工标记的划分结果，第二条线是对每个点进行分类得到的前背景的初步预测结果，第三条线是对初步预测结果去除毛刺和异常值后的结果。
[0085]
步骤四，候选框生成和边界确定
[0086]
对异常值处理后的csi检测结果中的每个区间，选取20个随机种子点并生成相应的候选框，如图5生成若干候选区间的结果图，再回归计算消除多余的候选框并修正剩余的
候选框。
[0087]
步骤五，结果输出
[0088]
对剩余的候选框进行非极大值抑制合并，作为最终的检测结果，如图6非极大值抑制后的预测结果图。
[0089]
发明在多个数据上进行了实验验证：
[0090]
在可视化结果时，若检测结果中某两个数据片段相聚较近，则在可视化结果中会重合，影响观感，于是对其进行判定并上下位错位处理，结果如图7可视化处理防粘连的结果图。
[0091]
实验选取自主采集的数据，共计12种不同行为48条长序列信号数据，包含1200个可检测行为片段，其中包括有两个行为片段的间隔较短的数据。由于此类长序列时序数据可以进行无限延伸，所以选取其中20％的数据进行循环神经网络的训练，以学习不同行为片段的模式，将所有的数据用于测试。
[0092]
本发明提出的方法在若干连续片段的长序列信号数据上可以正确的检测出所有行为片段以及起止位置，并可以对于间隔较近的行为片段正确的分离而非粘连处理，整体运行过程及结果如图8所示。
[0093]
本发明提出的方法可以学习到人工标记的模式，在具有不同标准的信号检测结果中更加符合人工标准。在此次实验所采集的数据中，本发明提出的方法在包含若干间距不等的行为片段的长序列csi信号上的平均检测准确率定义为位置均正确的数量与实际检测数量的比值，具体数值为96.2％，比以往的方法提高了7.4％。漏检率定义为未被识别出来的数量占总数量的比值为0％。截断率定义为一个完整片段被提前结束的数量占总数量的比值，数值为3.8％。