一种针对OTDR信号的分段SVD自适应小波去噪方法

一种针对otdr信号的分段svd自适应小波去噪方法
技术领域
1.本发明涉及otdr信号去噪技术领域，尤其涉及一种针对otdr信号的 分段svd自适应小波去噪方法。


背景技术：

2.光时域反射仪(optical time domain reflectometry，otdr)是利用脉冲光 在光纤中传输时产生的背向瑞利散射光信号来表征光纤传输特性的一种仪 器。otdr作为一种非破坏的光纤测量技术，可对光纤长度、光纤的传输衰 减和故障定位等进行测量，并广泛应用于光纤光缆的生产、施工、维护等方 面，是光纤通信领域中不可或缺的测试仪表。otdr曲线可以反映背向散射 光沿光纤传输中的损耗分布情况，在otdr测试曲线中，包含的事件类型主 要有非反射事件、反射事件和光纤末端，如光纤接头、熔接、弯曲、断裂等 事件，这些事件对应着光纤中各处损耗。对于反射事件，正常情况下otdr 曲线有着较高的信噪比，容易被检测识别，但对于非反射事件等较小的事件 点时，信号容易被噪声淹没，当曲线受噪声污染严重时，曲线中的事件难以 识别，所以在信号分析过程中对信号进行去噪处理是必要的操作。
3.在发生突变事件时，在otdr检测信号的高频部分通常夹杂部分混叠的 强噪声，传统的otdr普遍采用累加平均去噪法、小波阈值去噪法或奇异值 分解去噪法进行去噪。累加平均去噪法尽管多次累加平均可以提升去噪效果， 但效率低，且累加到一定次数后去噪效果不会随着累加次数的增加而提升。 传统的小波阈值去噪法有硬阈值函数和软阈值函数两种，小波软阈值去噪方 式存在失真，去噪效果不佳，小波硬阈值去噪方式在阈值处信号不连续，容 易导致信号出现振荡，且小波软阈值去噪和小波硬阈值去噪方式都需要根据 信号的特点选择适当的小波基、分解层数、阈值和阈值函数，自适应能力差。 对于奇异值分解(singular value decomposition，svd)去噪法，otdr原始 信号是一种受噪声干扰的非平稳信号，根据信号中噪声的分布特性，可以分 析出噪声的强度随着距离的增加而逐渐增大，这就意味着不同长度端的信号 信噪比会逐渐减小，有用信号和噪声信号占比也会逐渐发生改变，如果对otdr信号所有序列进行一次svd去噪，则在重构信号的过程中选取的统一 的临界点作为重构阈值，会使得信号出现信号失真或去噪效果不佳。
4.为解决以上累加平均去噪法、小波阈值去噪法和奇异值分解去噪法存在 的去噪效果不佳问题，本发明中提供了一种针对otdr信号的分段svd自适 应小波去噪方法，与传统的奇异值分解去噪得到的信号相比，信噪比有明显 的提升，相较于小波软阈值、硬阈值去噪有更好的自适应，保留了otdr信 号有用信息，噪声明显减少，能有效提升信号的去噪效果，获得高质量的去 噪信号，突显事件特征，更易于事件点的检测与分析。


技术实现要素：

5.本发明实施例提供了一种针对otdr信号的分段svd自适应小波去噪方 法，用于解决现有的otdr信号去噪使用的累加平均去噪法、小波阈值去噪 法和奇异值分解去噪法去
噪效果不佳的技术问题。
6.有鉴于此，本发明第一方面提供了一种针对otdr信号的分段svd自适 应小波去噪方法，包括：
7.对待处理的otdr原始信号进行信号重叠分段处理，将待处理的otdr 原始信号分成若干个带有预置百分比重叠段的分段信号；
8.对所有的分段信号分别构建轨迹矩阵，分别对各个轨迹矩阵进行奇异值 分解，得到每个轨迹矩阵对应的奇异值；
9.将每个轨迹矩阵对应的奇异值分别降序排序，采用奇异值特征均值法对 各组排序后的奇异值选取重构的阈值；
10.根据选取的重构的阈值对分段信号进行svd重构，得到对应的分段重构 信号；
11.根据确定的小波分解层数、小波阈值和自适应阈值函数，对各个分段重 构信号分别进行小波阈值去噪，得到去噪后的分段重构信号；
12.对去噪后的分段重构信号进行信号序列恢复，得到去噪后的otdr信号。
13.可选地，将每个轨迹矩阵对应的奇异值分别降序排序，采用奇异值特征 均值法对各组排序后的奇异值选取重构的阈值，包括：
14.将每个轨迹矩阵对应的奇异值分别降序排序，得到各组降序排序的奇异 值序列；
15.通过矩阵aa
t
的特征值的均值确定各组降序排序的奇异值序列的重构的 阈值，其中，a为轨迹矩阵，a
t
为a的转置。
16.可选地，根据选取的重构的阈值对分段信号进行svd重构，得到对应的 分段重构信号，包括：
17.对于每组降序排序的奇异值序列，将重构的阈值后的所有奇异值置零， 将重构的阈值前的所有奇异值保留，构建新的奇异值矩阵；
18.根据新的奇异值矩阵对分段信号进行svd重构，得到对应的分段重构信 号。
19.可选地，小波分解层数的计算公式为：
20.j＝[log2n]
[0021]
其中，j为小波分解层数，n为分段信号的长度。
[0022]
可选地，小波阈值的确定过程为：
[0023]
对待小波变换的目标信号x(t)的所有值取绝对值，并对所有绝对值进行升 序排列；
[0024]
对排列好的各个元素计算平方值，得到重组后的序列f(k)，其中， k＝0,1,...,n-1；
[0025]
对重组后的序列f(k)进行风险评估，得到每个数据点的风险评估值r(k)， 风险评估公式为：
[0026][0027]
根据风险评估值r(k)确定小波阈值，计算公式为：
[0028][0029]
其中，γj为第j层的小波阈值，f(k
min
)为最小风险评估值r(k)对应的序列 点。
[0030]
可选地，自适应阈值函数为：
[0031][0032]
其中，j为分解层数，w
j,k
为w
j,k
估计的小波系数，w
j,k
为分解的第j个尺度 下的第k个小波系数，h为调节因子。
[0033]
可选地，对去噪后的分段重构信号进行信号序列恢复，得到去噪后的 otdr信号的信号序列恢复公式为：
[0034][0035]
其中，x'(n)为恢复后的信号，n为x'(n)的第n个点，xd(t)为第d个分段 重构信号中的第t个数据点，xd为相邻两段的重叠部分的平均序列，l为连续 分段时的每个分段信号的长度，p为分段信号重叠部分的长度。
[0036]
本发明第二方面提供一种otdr信号的分段svd自适应函数的小波去噪 系统，包括：
[0037]
分段模块，用于对待处理的otdr原始信号进行信号重叠分段处理，将 待处理的otdr原始信号分成若干个带有预置百分比重叠段的分段信号；
[0038]
轨迹矩阵建立模块，用于对所有的分段信号分别构建轨迹矩阵，分别对 各个轨迹矩阵进行奇异值分解，得到每个轨迹矩阵对应的奇异值；
[0039]
重构阈值确定模块，用于将每个轨迹矩阵对应的奇异值分别降序排序， 采用奇异值特征均值法对各组排序后的奇异值选取重构的阈值；
[0040]
svd重构模块，用于根据选取的重构的阈值对分段信号进行svd重构， 得到对应的分段重构信号；
[0041]
小波去噪模块，用于根据确定的小波分解层数、小波阈值和自适应阈值 函数，对各个分段重构信号分别进行小波阈值去噪，得到去噪后的分段重构 信号；
[0042]
信号恢复模块，用于对去噪后的分段重构信号进行信号序列恢复，得到 去噪后的otdr信号。
[0043]
可选地，重构阈值确定模块具体用于：
[0044]
将每个轨迹矩阵对应的奇异值分别降序排序，得到各组降序排序的奇异 值序列；
[0045]
通过矩阵aa
t
的特征值的均值确定各组降序排序的奇异值序列的重构的 阈值，其中，a为轨迹矩阵，a
t
为a的转置。
[0046]
可选地，svd重构模块具体用于：
[0047]
对于每组降序排序的奇异值序列，将重构的阈值后的所有奇异值置零， 将重构的阈值前的所有奇异值保留，构建新的奇异值矩阵；
[0048]
根据新的奇异值矩阵对分段信号进行svd重构，得到对应的分段重构信 号。
[0049]
从以上技术方案可以看出，本发明提供的针对otdr信号的分段svd自 适应小波去噪方法和系统具有以下优点：
[0050]
本发明实施例中提供的针对otdr信号的分段svd自适应小波去噪方 法，在进行信号分段时，使用一定百分比的重叠段来减少由突然变化引入的 误差，根据svd分解得到一系列从大到小排列的奇异值，采用奇异值特征均 值方法对各组选取重构的阈值，并重构各信号段，结合小波阈值去噪，与传 统的奇异值分解去噪得到的信号相比，信噪比有明显的提升，相较于小波软 阈值、硬阈值去噪有更好的自适应，保留了otdr信号有用信息，噪声明显 减少，能有效提升信号的去噪效果，获得高质量的去噪信号，突显事件特征， 更易于事件点的检测与分析，解决了现有的otdr信号去噪使用的累加平均 去噪法、小波阈值去噪法和奇异值分解去噪法去噪效果不佳的技术问题。
[0051]
本发明提供的针对otdr信号的分段svd自适应小波去噪系统，用于执 行本发明提供的针对otdr信号的分段svd自适应小波去噪方法，其原理和 所取得的技术效果，与本发明提供的针对otdr信号的分段svd自适应小波 去噪方法相同，在此不再进行赘述。
附图说明
[0052]
图1为本发明实施例中提供的一种针对otdr信号的分段svd自适应小 波去噪方法的流程示意图；
[0053]
图2为本发明实施例中提供的一种针对otdr信号的分段svd自适应小 波去噪方法的信号重叠分段示意图；
[0054]
图3为本发明实施例中提供的软阈值函数、硬阈值函数和自适应的阈值 函数对比图；
[0055]
图4为本发明实施例中提供的一种种针对otdr信号的分段svd自适应 小波去噪系统的结构示意图。
具体实施方式
[0056]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的 所有其他实施例，都属于本发明保护的范围。
[0057]
为了便于理解，请参阅图1，本发明实施例中提供的针对otdr信号的 分段svd自适应小波去噪方法包括：
[0058]
步骤101、对待处理的otdr原始信号进行信号重叠分段处理，将待处 理的otdr原始信号分成若干个带有预置百分比重叠段的分段信号。
[0059]
需要说明的是，如果采用现有的连续分段方法对待处理的otdr原始信 号进行信号分段，则相邻分段在进行奇异值分解处理并恢复信号后，连续段 之间会产生突变，信号失真，影响去噪效果。本发明实施例中，使用预置百 分比的重叠段来减少由突变引入的误差。本发明实施例中的信号分段示意图 如图2所示，图2中，x1～x4为重叠分段后得到的4个分段信号，x(l)为x1 和x2之间的重叠段的中间点，x(2l)为x2和x3之间的重叠段的中间点，
x (3l)是x3和x4之间的重叠段的中间点，x(4l)为原始信号的最后一个数据 点，重叠段的长度为p，x(1)为原始信号的第一个数据点。
[0060]
将对待处理的otdr原始信号重叠分为m段分段信号，相邻的上一段和 下一段重叠的长度为2p，因此，首段和尾段的分段信号长度为l+p，其他中间 段的长度为l+2p，l为连续分段时的每个分段信号的长度(若信号长度为n， 连续分段分成m段，则l＝n/m)。
[0061]
步骤102、对所有的分段信号分别构建轨迹矩阵，分别对各个轨迹矩阵进 行奇异值分解，得到每个轨迹矩阵对应的奇异值。
[0062]
需要说明的是，将重叠分段后得到的m段分段信号构建轨迹矩阵，即构 建m个hankel矩阵，第i(i≤m)个矩阵为：
[0063][0064]
其中，ai为第i个分段信号对应的轨迹矩阵，p＝n-l+1，n为每个分段信 号的数据长度，选择构建矩阵的步长为1，即每一行的数据点要比上一行的数 据点滞后一位。行数l和列数p的取值不同，对信号的去噪效果也不同，为 使得含噪信号中有用信号和噪声信号分离得更加充分，对选取的行数l和列 数p的乘积应尽可能大，当n为偶数时，l＝n/2，当n为奇数时，l＝(n+1)/2。
[0065]
根据svd原理，构建的轨迹矩阵可表示为：
[0066]
a＝usv
t
[0067]
其中，a为轨迹矩阵，u和v为正交矩阵，u∈rg×g，v∈rh×h，s∈rg×h， uu
t
＝i，vv
t
＝i，u＝[u1,u2,u3,
…
,ug]为左奇异矩阵，v＝[v1,v2,v3,
…
,vg]为右奇 异矩阵，s为对角矩阵，对角线上的值为奇异值，其它元素为0，且 s＝diag(σ1,σ2,σ3,
…
,σr)满足σ1≥σ2≥σ3≥
…
≥σr。
[0068]
通过上式对每一个轨迹矩阵进行svd处理，得到m组的左奇异矩阵u、 右奇异矩阵v和对角矩阵s，对角矩阵s对角线上的值为分解得到的奇异值。
[0069]
步骤103、将每个轨迹矩阵对应的奇异值分别降序排序，采用奇异值特征 均值法对各组排序后的奇异值选取重构的阈值。
[0070]
需要说明的是，将分解得到的每个轨迹矩阵对应的奇异值分别从大到小 排列，得到各组降序排序的奇异值序列，采用奇异值特征均值法对各组降序 排序的奇异值序列选取重构的阈值。通过矩阵aa
t
的特征值的均值确定各组降 序排序的奇异值序列的重构的阈值。矩阵a
t
为矩阵a的转置。其中：
[0071][0072]
其中，σi为轨迹矩阵的第i个奇异值，λi为矩阵aa
t
的第i个特征值。矩 阵aa
t
的特征值一一对应轨迹矩阵的奇异值。
[0073]
步骤104、根据选取的重构的阈值对分段信号进行svd重构，得到对应 的分段重构信号。
[0074]
需要说明的是，对于每组降序排序的奇异值序列，将重构的阈值所有奇 异值舍弃，将重构的阈值前的所有奇异值用于重构信号，即将重构的阈值后 的所有奇异值置零，
将重构的阈值前的所有奇异值保留，构建新的奇异值矩 阵。
[0075]
步骤105、根据确定的小波分解层数、小波阈值和自适应阈值函数，对各 个分段重构信号分别进行小波阈值去噪，得到去噪后的分段重构信号。
[0076]
需要说明的是，在得到分段重构信号后，对分段重构信号进行小波阈值 去噪。小波阈值去噪的第一步是对噪声信号进行小波分解，长度为n的噪声 信号，小波分解层数为：
[0077]
j＝[log2n]
[0078]
其中，j为小波分解层数，n为分段信号的长度。
[0079]
小波阈值的选取采用无偏风险估计阈值法，设需要小波变换的含噪信号 (目标信号)为x(t)，对该信号的所有值取绝对值，然后根据绝对值的从小到 大进行排列，最后对排列好的各个元素计算平方值，得到重组后的序列f(k)：
[0080]
f(k)＝(sort(|x(t)|))2[0081]
其中，k＝0,1,...,n-1，sort为排列函数。
[0082]
对重组后的序列f(k)进行风险评估：
[0083][0084]
其中，r(k)为第k个数据点的重组后的序列f(k)风险评估值。
[0085]
根据风险评估值r(k)确定小波阈值，计算公式为：
[0086][0087]
其中，γj为第j层的小波阈值，f(k
min
)为最小风险评估值r(k)对应的序列 点。
[0088]
确定分解层数和小波阈值后，还需要选取合适的阈值函数进行处理，由 于各组分段重构信号中的含噪情况各不相同，为适应各段信号的噪声水平， 本发明实施例中采用的自适应阈值函数为：
[0089][0090]
其中，j为分解层数，w
j,k
为w
j,k
估计的小波系数，w
j,k
为分解的第j个尺度 下的第k个小波系数，h为调节因子，可根据噪声水平确定具体参数，一般地，h＝(0.5,1,2,3,4)。现有的软阈值函数和硬阈值函数和本发明实施例提供的自 适应阈值函数对比图如图3所示，本发明实施例提供的自适应阈值函数克服 了现有的软阈值函数和硬阈值函数的缺陷，在阈值处改进计算方法，使得函 数曲线得以连续，解决软阈值去噪在阈值段小波系数去噪能力不足的问题， 伴随着小波系数幅值的增加，当小波系数大于设定的阈值时，阈值函数改进 后的小波系数无限逼近处理前的小波系数，减小了硬阈值函数带来的恒定偏 差。
[0091]
步骤106、对去噪后的分段重构信号进行信号序列恢复，得到去噪后的 otdr信号。
[0092]
需要说明的是，通过以上步骤，已经得到了去噪后的分段重构信号，这 些信号中，相邻的信号之间存在这重叠的部分，将重叠的信号段进行平均运 算得到新的序列，不重复部分则保持相应的数据值，达到恢复原始信号的数 据长度，计算过程如下式所示：
[0093][0094]
其中，x'(n)为恢复后的信号，n为x'(n)的第n个点，xd(t)为第d个分段 重构信号中的第t个数据点，xd为相邻两段的重叠部分的平均序列，l为连续 分段时的每个分段信号的长度，p为分段信号重叠部分的长度。
[0095]
本发明实施例中提供的针对otdr信号的分段svd自适应小波去噪方 法，在进行信号分段时，使用一定百分比的重叠段来减少由突然变化引入的 误差，根据svd分解得到一系列从大到小排列的奇异值，采用奇异值特征均 值方法对各组选取重构的阈值，并重构各信号段，结合小波阈值去噪，与传 统的奇异值分解去噪得到的信号相比，信噪比有明显的提升，相较于小波软 阈值、硬阈值去噪有更好的自适应，保留了otdr信号有用信息，噪声明显 减少，能有效提升信号的去噪效果，获得高质量的去噪信号，突显事件特征， 更易于事件点的检测与分析，解决了现有的otdr信号去噪使用的累加平均 去噪法、小波阈值去噪法和奇异值分解去噪法去噪效果不佳的技术问题。
[0096]
为了便于理解，请参阅图4，本发明中还提供了一种针对otdr信号的 分段svd自适应小波去噪系统的实施例，包括：
[0097]
分段模块，用于对待处理的otdr原始信号进行信号重叠分段处理，将 待处理的otdr原始信号分成若干个带有预置百分比重叠段的分段信号；
[0098]
轨迹矩阵建立模块，用于对所有的分段信号分别构建轨迹矩阵，分别对 各个轨迹矩阵进行奇异值分解，得到每个轨迹矩阵对应的奇异值；
[0099]
重构阈值确定模块，用于将每个轨迹矩阵对应的奇异值分别降序排序， 采用奇异值特征均值法对各组排序后的奇异值选取重构的阈值；
[0100]
svd重构模块，用于根据选取的重构的阈值对分段信号进行svd重构， 得到对应的分段重构信号；
[0101]
小波去噪模块，用于根据确定的小波分解层数、小波阈值和自适应阈值 函数，对各个分段重构信号分别进行小波阈值去噪，得到去噪后的分段重构 信号；
[0102]
信号恢复模块，用于对去噪后的分段重构信号进行信号序列恢复，得到 去噪后的otdr信号。
[0103]
重构阈值确定模块具体用于：
[0104]
将每个轨迹矩阵对应的奇异值分别降序排序，得到各组降序排序的奇异 值序列；
[0105]
通过矩阵aa
t
的特征值的均值确定各组降序排序的奇异值序列的重构的 阈值，其中，a为轨迹矩阵，a
t
为a的转置。
[0106]
svd重构模块具体用于：
[0107]
对于每组降序排序的奇异值序列，将重构的阈值后的所有奇异值置零， 将重构的阈值前的所有奇异值保留，构建新的奇异值矩阵；
[0108]
根据新的奇异值矩阵对分段信号进行svd重构，得到对应的分段重构信 号。
[0109]
小波分解层数的计算公式为：
[0110]
j＝[log
2 n]
[0111]
其中，j为小波分解层数，n为分段信号的长度。
[0112]
小波阈值的确定过程为：
[0113]
对待小波变换的目标信号x(t)的所有值取绝对值，并对所有绝对值进行升 序排列；
[0114]
对排列好的各个元素计算平方值，得到重组后的序列f(k)，其中， k＝0,1,...,n-1；
[0115]
对重组后的序列f(k)进行风险评估，得到每个数据点的风险评估值r(k)， 风险评估公式为：
[0116][0117]
根据风险评估值r(k)确定小波阈值，计算公式为：
[0118][0119]
其中，γj为第j层的小波阈值，f(k
min
)为最小风险评估值r(k)对应的序列 点。
[0120]
自适应阈值函数为：
[0121][0122]
其中，j为分解层数，w
j,k
为w
j,k
估计的小波系数，w
j,k
为分解的第j个尺度 下的第k个小波系数，h为调节因子。
[0123]
对去噪后的分段重构信号进行信号序列恢复，得到去噪后的otdr信号 的信号序列恢复公式为：
[0124][0125]
其中，x'(n)为恢复后的信号，n为x'(n)的第n个点，xd(t)为第d个分段 重构信号中的第t个数据点，xd为相邻两段的重叠部分的平均序列，l为连续 分段时的每个分段信号的长度，p为分段信号重叠部分的长度。
[0126]
本发明实施例中提供的针对otdr信号的分段svd自适应小波去噪系 统，在进行信号分段时，使用一定百分比的重叠段来减少由突然变化引入的 误差，根据svd分解得到一系列从大到小排列的奇异值，采用奇异值特征均 值方法对各组选取重构的阈值，并重构各信号段，结合小波阈值去噪，与传 统的奇异值分解去噪得到的信号相比，信噪比有明显的提升，相较于小波软 阈值、硬阈值去噪有更好的自适应，保留了otdr信号有用信息，噪声明
显 减少，能有效提升信号的去噪效果，获得高质量的去噪信号，突显事件特征， 更易于事件点的检测与分析，解决了现有的otdr信号去噪使用的累加平均 去噪法、小波阈值去噪法和奇异值分解去噪法去噪效果不佳的技术问题。
[0127]
本发明实施例提供的针对otdr信号的分段svd自适应小波去噪系统用 于执行前述的针对otdr信号的分段svd自适应小波去噪方法实施例中的针 对otdr信号的分段svd自适应小波去噪方法，可取得与前述的针对otdr 信号的分段svd自适应小波去噪方法实施例相同的技术效果，其原理与前述 的实施例的针对otdr信号的分段svd自适应小波去噪方法相同，在此不再 进行赘述。
[0128]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。
[0129]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应 当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本发明各实施例技术方案的精神和范围。