专利名称：超声智能检测中海量数据的分形剔除方法
技术领域：
本发明涉及一种超声智能检测中海量数据的分形剔除方法，是一种特别适用于长时间、长距离超声自动检测、超声阵列自动检测时产生海量检测数据的处理方法。可准确、快速区分数据的种类，剔除数据中无用的部分，保留有用数据，可大大减少存储数据量，解决目前数据存储的技术瓶颈。
背景技术：
超声智能检测、自动检测及多传感器阵列检测有广阔的应用市场，而这些测试过程往往是长时间、长距离(或大面积)进行的，要求测试系统能有效地记录测试数据，供事后分析与评估。由于用于检测的超声波往往有很高的工作频率，同时为了准确地获取信息，对信号的采样频率要求也很高，这使得测试产生的数据量非常大，对数据的实时存储带来极大的挑战。现有的存储技术很难胜任这一工作。例如，如果传感器阵列采用72个探头，传感器中心频率为5MHz，采样频率为40MHz，A/D转换精度为16位，则每秒的数据量为5.625G字节，每小时的数据量为20250G字节。其实，缺陷信号部分在整个检测信号中所占的比例是较小的，绝大部分的信号是没有缺陷的噪声信号，所以记录所有的回波信号是没有必要的，只需要将有缺陷的回波信号记录下来就可以。但是，如何让检测系统在没有人参与的情况下自主地、实时地确定信号有无缺陷是一个技术难题。
目前，减少存储数据量的方法主要有数据压缩方法和阈值判别剔除法。数据压缩方法尽管在通讯领域和多媒体技术领域取得了巨大的成功，但无论从压缩比率还是实时性上都很难满足大数据量超声检测场合的要求。况且，也没有必要对所有的数据进行压缩。传统的阈值判别剔除法一般根据信号的时域幅度或能量与预先设定的阈值进行比较。小于阈值的信号被剔除，而大于阈值的信号被保留。这种方法比较简便，实时性也能满足要求，但是信号的幅值和能量易受干扰，比如噪声的干扰、传感器水程距离(传感器表面到检测表面的距离)和照射角度的微小变化等都会造成接收信号幅值和能量的变化，而这些因素都是无法预测的。再者，对于小缺陷其幅值和能量可能与噪声处于同一量级，有的甚至低于噪声(如负信噪比的情况)，这些因素都限制了这种方法对缺陷的识别率。
八十年代以来，分形技术的应用研究进入到了信号处理领域，特别是对一维有限时间序列的分形研究也得到了长足的发展(1.R.Esteller，et al.A comparisonof waveform fractal dimension algorithms，IEEE TRANSACTIONS ON CIRCUITS ANDSYSTEM，Vol.48，No.2，2001，pp.177-183。2.赵慧，侯建荣，施伯乐，随机非平稳时间序列数据的相似性研究，软件学报，Vol.15，No.5，2004年，pp.633-640。3.P.Barat，Fractal characterization of ultrasonic signals frompolycrystalline materials，Chaos，Solitons & Fractals，1998，Vol.9，No.11，pp.1827-1834。4.Rafat Weron，Estimating long-range dependencefinitesample properties and confidence intervals，PHYSICA A，2002，pp.285-299)。在诸如水纹数据随时间的变化规律、股市收益随时间的变化规律、大气参数的时间特性、心、脑电图的时域波形与疾病的关系、语音信号的识别、说话人的辨识、机械故障的诊断、水中目标的识别等领域都有应用的报导。但用于超声信号处理的分形算法及其应用，相关报导还非常少。
发明内容
本发明的目的在于解决目前超声检测中产生大量测试数据时，数据的取舍问题，以应对海量数据存储的技术瓶颈。这是一种基于统计分形理论的方法，主要用于带噪声的时间序列，它通过在时域空间上分析信号的分段自相似特性来区分信号。不涉及信号的幅值和能量，也不受噪声的影响，算法简便，具有很好的实时性，可以程序实现，也可以硬件实现。通过对大量的实测超声信号进行验证，证明该算法具有很高的识别率，即使是在负信噪比的情况下，也有较好的性能。
本发明包括如下具体步骤1)将待分析数据剔除问题归结为二元识别问题，即首先判断检测信号是有缺陷的回波信号，还是没有缺陷回波的噪声信号；2)将待分析数据分段幅值归一化，利用基于(R/S)的分段Hurst指数算法，提取超声信号的Hurst指数；3)提取2)中对应信号的分形线性度指标Δ；建立数据分形特征统计数据库4)根据实际研究对象，用上述1)-3)的方法对不同种类的已知目标体进行分形特征统计分析，求得其统计分形特征，存储在特征数据库中，供判别时使用；
实测数据判断分类5)对实测数据按1)-3)的方法求得其分形特性，再利用4)中的分形统计特征对数据进行分类；无缺陷信号，即噪声信号被剔除，而有缺陷回波信号被保留，并进行存储。
图1为本发明流程框2为本发明中作为特例的超声信号图3为本发明中作为特例的超声信号分形特征分布区间4为本发明中作为特例的超声信号(无缺陷回波)分形Hurst指数5为本发明中作为特例的超声信号(有缺陷回波)分形Hurst指数图
具体实施例方式以下结合附图和实施例对本发明的技术方案作进一步描述。
1)问题描述设任意一个传感器收到的信号为xi(t)＝si(t)+ni(t)，i＝1，2，…，M(1)其中，si(t)为第i个传感器收到的缺陷回波信号，ni(t)为第i个传感器收到的噪声信号，M为阵列上传感器的总数目。当si(t)为零时，xi(t)为无缺陷信号；当si(t)不为零时，xi(t)为有缺陷信号。而噪声ni(t)是一直存在的。
xi(t)经A/D转换后，得到一个离散序列Xi＝[xi1，xi2，…，xiN]，i＝1，2，…，N，N为信号截取点数。
利用这N个离散的数据点实时地判断有无缺陷信号的存在，为数据实时存储提供保障。设从N维时间序列中抽取d维特征向量，可表示为Yi＝[Yi1，Yi2，…，Yid]。
设这个分类问题有两个类别，分别记为H0和H1。其中，H0表示没有缺陷，H1表示存在缺陷。如果能够找到d维特征向量Yi0和Yi1，则可将此二元分类问题描述为Xi∈H0,Yi⋐Yi0Xi∈H1,Yi⋐Yi1---(2)]]>对于所研究的超声信号判别问题，当信号中同时存在缺陷回波和噪声时(如图2(a)所示)，归类为H1。当信号中只有噪声时(如图2(b))，归类为H0。
2)分形算法设离散时间序列Xi，其维数为N，均值为 标准偏差为S(N)，累积偏差X(n，N)，则有下面的关系式x~(N)=1NΣi=1Nxi---(3)]]>S(N)=[1NΣi=1N(xi-x~(N))2]1/2---(4)]]>X(n,N)=Σi=1n[xi-x~(N)],0<n≤N---(5)]]>将N维时间序列(长度为N)分成长度为n的d个小段，取R(N)＝max{X(n，N)}-min{X(n，N)}，则(RS)n=R(N)S(N)---(6)]]>上式是离散时间序列累积偏差与标准偏差的比值。对于分形序列，(R/S)n有以下的统计特性(R/S)n～cnH(7)两边取对数，可得log(R/S)n＝logc+Hlogn (8)利用最小二乘法拟合一条直线，这条直线的斜率就是这一时间序列的Hurst指数，用H表示。具体可采用以下的步骤(a)在整个集上求得(R/S)1；(b)将整个集对半分，每个集上求得一个R/S，将两个取平均就得到了(R/S)2；(c)可以一直分下去，如N/4，N/8…，得到(R/S)3，(R/S)4…。
(d)作log-log图，用最小二乘法拟合一条直线，其斜率就是Hurst指数的估计值。
对于存在分形特性的有限长序列，其拟合直线有很好的线性，且其Hurst指数能很好地表示这一分形特性；对于没有分形特性的有限长序列，其拟合直线的线性很差，其Hurst指数一般散布较大。
3)分形线性度指标及算法在研究中发现，上述方法尽管在时间序列中可以找到分形现象，但用这种方法求得的分形维数值并不完全可靠。因为这种方法采用最小二乘法拟合直线，通过拟合直线的斜率给出Hurst指数值。而实际中，没有直线趋势的点集同样可以拟合出直线，但这样的点集不具备分形特性，给出的Hurst指数没有实际意义，这是用最小二乘法带来的不足。
发明中首次采用一种新的方法来描述这种分形特性的可行性。如果可行，则计算得到的分形维数值有实际意义，反之，则没有意义。具体描述如下对于R/S算法，设N维时间序列{xi}，i＝1，2，…，N，将其分成2j(j＝0，1，2，…d)段互不重叠的区间，每一段的长度n＝N/2j，则可求得d+1对log(R/S)，logn，按上面的方法拟合的一条直线为y＝kx+b，则拟合直线的累积偏差为Δ=1d+1Σj=1d+1|yj-log(R/S)j|---(9)]]>本研究中称Δ为分形线性度指标。它可作为衡量数据分形特征的一个指标。
4)实例分析与结论在利用R/S法对超声信号进行分析时，为了减小信号幅度量纲的影响，试验中将信号进行了归一化处理。为了对这些信号的分形特性有一个更直观的了解，在图4和图5中列出了两种典型信号的拟合效果图。其中图4为无缺陷回波时的拟合效果图，图5为有缺陷时的分形特性拟合效果图。
从R/S法的角度分析无缺陷回波信号时，也可以估算出信号的分形特性。并且从拟合的分形图上可以看出明显的分形特性存在，其拟合直线的线性度很好，如图4所示。衡量线性度好坏的指标Δ比有缺陷信号时要低出近一个数量级。说明超声信号中的噪声中有分形特性存在。
从R/S法的角度分析缺陷回波信号时，可以估算出信号的Hurst指数。但是，从拟合的分形图上看不出明显的分形特性存在，拟合点间的线性很差，如图5所示。衡量其线性程度的指标Δ较大。所以，用R/S法不能够发现缺陷信号中的分形特性。这主要是因为R/S法是从长程相关性的角度去分析信号的，缺陷回波信号一般持续时间较短，一般在几百个数据点之间(数据点间隔为0.01us)。
信号的单个分形维数值具有随机性，存在一定的分布范围。单从分形维数值上无法区分出缺陷的种类，也很难准确区分出是缺陷信号还是噪声信号。如果用Hurst指数值和分形线性度指标Δ结合起来，可以有效地区分出缺陷信号和噪声信号。
图3中列出了对超声样本信号计算得出的特征向量分布区间。其中，左边区域为没有缺陷时信号时的特征向量分布区间，这一区间对应的信号主要是噪声。从图中可以看出，这一区间分布较小，说明噪声的特征向量一致性好，其中，Hurst指数主要分布在0.45～0.55之间，说明分形指数一致性好；而衡量分形特性好坏的线性度也较小，主要分布在0.05～0.1之间，说明有较好的分形特性。图中右边区域为有缺陷时特征向量的分布区间，这个区间分布范围较大。这主要是由于缺陷信号分形特性较差，另一个原因是由于缺陷种类不同而造成的。同时，从图中还可以看出，两区间没有重叠部分，这对决策是非常有利的。
表-1列出了对100个样本的验证结果。从表中可以看出，判别的准确性很高，可以满足实际测试的要求。
表-1管道超声测试样本验证结果
为了验证该算法对噪声的稳定性，分别对100个验证样本加入了不同量级的高斯白噪声，改变信号的信噪比。在没有进行滤波的情况下，对信号进行了判决。表-2列出了不同信噪比情况下的判决准确率。从中可以看出，噪声对识别的正确性影响很小。说明本发明对噪声有很好的稳定性。
表-2噪声水平对判断准确率影响表
权利要求
1.一种超声智能检测中海量数据的分形剔除方法，包括如下具体步骤分形特征提取算法1)将待分析数据剔除问题归结为二元识别问题，即首先判断检测信号是有缺陷的回波信号，还是没有缺陷回波的噪声信号；2)将待分析数据分段幅值归一化，利用基于(R/S)的分段Hurst指数算法，提取超声信号的Hurst指数；3)提取2)中对应信号的分形线性度指标Δ；建立数据分形特征统计数据库4)根据实际研究对象，用上述1)-3)的方法对不同种类的已知目标体进行分形特征统计分析，求得其统计分形特征，存储在特征数据库中，供判别时使用；实测数据判断分类5)对实测数据按1)-3)的方法求得其分形特性，再利用4)中的分形统计特征对数据进行分类；无缺陷信号，即噪声信号被剔除，而有缺陷回波信号被保留，并进行存储。
全文摘要
本发明涉及一种超声智能检测中海量数据的分形剔除方法。在长时间、长距离超声自动检测、超声阵列自动检测时会产生海量检测数据，测试数据量非常大，导致数据的实时存储非常困难。针对测试数据中绝大部分为无缺陷信号这一现实，本发明提出将无缺陷超声信号剔除，只对有缺陷超声回波信号存储，从而解决数据存储这一技术难题。为此，将海量数据的存储问题归结为二元识别问题。本发明中利用基于分形技术的有限含噪序列分形R/S算法性，提取信号的特征向量(Hurst指数)，并提出衡量分形特性好坏的分形线性度指标，利用这两个特征分布来区分信号。通过大量的试验表明无缺陷信号有很好的分形特性，其Hurst指数集中分布在一个较小的区间；而有缺陷信号没有明显的分形特性，拟合的分形参数线性较差，其Hurst指数散布较大。试验结果还表明，该方法程序实现简便，实时性好，受噪声影响小，判断准确率和稳定性高。
文档编号G01N29/04GK1865983SQ20061004054
公开日2006年11月22日 申请日期2006年5月23日 优先权日2006年5月23日
发明者宋寿鹏 申请人:江苏大学