一种光谱数据预处理方法、装置、计算机设备及存储介质与流程

1.本发明实施例涉及光谱数据处理技术领域，尤其涉及一种光谱数据预处理方法、装置、计算机设备及存储介质。


背景技术：

2.光谱分析具有分析速度快、操作简便、结果重现性好等优点，被广泛应用于各个行业的研究中，例如农业、食品、烟草、遥感、军工等领域。但光谱分析存在仪器本身和外界杂散光的噪声干扰，以及采集的光谱数据存在基线漂移、信息冗余等问题。为了得到合理且准确的分析结果，光谱数据的预处理是非常必要的，在信息提取、降噪、模型维护和传递中都扮演了重要角色。
3.常见的光谱预处理方法包括：多元散射校正(msc)、去趋势(dt)处理、标准正态变量(snv)、归一化(normalization)、导数光谱(常用一阶导数1d和二阶导数2d)，平滑(常用norris-williams(nw)滤波和savitzky-golay(sg)多项滤波)、小波变换(wt)、正交信号校正(osc)和净分析信号。其中，小波变换本质是通过空间与频率的局部变换，辅以伸缩和平移等运算功能对信号进行多尺度的细化分析。小波变换在光谱预处理中常用于平滑和去噪，其步骤为通过将采集的光谱信号进行小波分解，得到小波分解系数，再通过阈值或阈值函数将小波分解系数中被认为是表示噪音的元素剔除，得到处理后的小波系数，最后再将处理后的小波系数进行重构，得到降噪后的光谱信号。
4.阈值的选择是小波变换去噪的关键，直接影响光谱预处理的质量。常用的阈值计算方法是由donoho从统计学角度推演而来的通用阈值法。传统的通用阈值对每个尺度的小波系数都做了同样的处理，如果信号尺度过长就会导致过高的阈值，造成信号去噪的不彻底。此外，噪声的分布具有随机性，用一个固定的阈值进行去噪也会导致有些尺度上的有用信息丢失。


技术实现要素：

5.本发明实施例提供一种光谱数据预处理方法、装置、计算机设备及存储介质，以解决固定阈值造成的去噪不彻底以及有用信息丢失的问题。
6.第一方面，本发明实施例提供了一种光谱数据预处理方法，该方法包括：
7.获取待处理的原始光谱数据，并对所述原始光谱数据进行小波分解，得到初始小波细节系数；
8.根据所述初始小波细节系数确定基于分位数比的修正因子；
9.根据所述修正因子确定自适应修正阈值；
10.采用软阈值函数，根据所述自适应修正阈值对所述初始小波细节系数进行处理，得到目标小波细节系数；
11.根据所述目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据。
12.可选的，所述对所述原始光谱数据进行小波分解，得到初始小波细节系数，包括：
13.确定小波变换的小波基；
14.计算所述原始光谱数据中的有用信号的最小频率与对应的所述小波基的中心频率的最大分解层数；
15.根据所述最大分解层数对所述原始光谱数据进行离散小波分解，以得到所述初始小波细节系数。
16.可选的，所述确定小波变换的小波基，包括：
17.将光谱分析中的daubechies系、coifets系或symmlets系的小波基函数作为所述小波基。
18.可选的，所述根据所述初始小波细节系数确定基于分位数比的修正因子，包括：
[0019][0020]
其中，fj表示第j层的修正因子，quantile表示分位数函数，dj表示第j层的初始小波细节系数，d
j,k
表示第j层第k个初始小波细节系数，i＝1,
…
,n，n表示信号长度。
[0021]
可选的，所述根据所述修正因子确定自适应修正阈值，包括：
[0022][0023]
其中，λj表示第j层的自适应修正阈值，σ表示噪声标准方差，n表示信号长度，fj表示第j层的修正因子，lj表示第j层初始小波细节系数的长度。
[0024]
可选的，所述软阈值函数为：
[0025][0026]
其中，表示第j层第k个目标小波细节系数，sign表示符号函数，d
j,k
表示第j层第k个初始小波细节系数，λj表示第j层的自适应修正阈值。
[0027]
可选的，在所述根据所述目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据之后，还包括：
[0028]
确定所述原始光谱数据与所述目标光谱数据之间的信噪比和/或均方根误差，以根据所述信噪比和/或均方根误差评估去噪效果。
[0029]
第二方面，本发明实施例还提供了一种光谱数据预处理装置，该装置包括：
[0030]
光谱分解模块，用于获取待处理的原始光谱数据，并对所述原始光谱数据进行小波分解，得到初始小波细节系数；
[0031]
修正因子确定模块，用于根据所述初始小波细节系数确定基于分位数比的修正因子；
[0032]
修正阈值确定模块，用于根据所述修正因子确定自适应修正阈值；
[0033]
小波细节系数处理模块，用于采用软阈值函数，根据所述自适应修正阈值对所述初始小波细节系数进行处理，得到目标小波细节系数；
[0034]
光谱重构模块，用于根据所述目标小波细节系数进行光谱的小波重构，得到去噪
后的目标光谱数据。
[0035]
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
[0036]
一个或多个处理器；
[0037]
存储器，用于存储一个或多个程序；
[0038]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的光谱数据预处理方法。
[0039]
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的光谱数据预处理方法。
[0040]
本发明实施例提供了一种光谱数据预处理方法，首先获取待处理的原始光谱数据，并对其进行小波分解，得到初始小波细节系数，然后根据初始小波细节系数确定基于分位数比的修正因子，并根据该修正因子确定自适应修正阈值，再采用软阈值函数，根据得到的自适应修正阈值对初始小波细节系数进行处理，得到目标小波细节系数，最后即可根据目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据。本发明实施例所提供的光谱数据预处理方法，通过确定基于分位数比的修正因子，并基于该修正因子自适应的计算阈值，再使用该阈值对小波细节系数进行处理，使得所用阈值符合噪声分布的一般规律，解决了固定阈值造成的去噪不彻底以及有用信息丢失的问题。
附图说明
[0041]
图1为本发明实施例一提供的光谱数据预处理方法的流程图；
[0042]
图2为本发明实施例二提供的光谱数据预处理装置的结构示意图；
[0043]
图3为本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
[0044]
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0045]
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0046]
实施例一
[0047]
图1为本发明实施例一提供的光谱数据预处理方法的流程图。本实施例可适用于在各个行业的研究中需要对光谱数据进行预处理的情况，该方法可以由本发明实施例所提供的光谱数据预处理装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图1所示，具体包括如下步骤：
[0048]
s11、获取待处理的原始光谱数据，并对所述原始光谱数据进行小波分解，得到初始小波细节系数。
[0049]
具体的，可采用小波去噪的方式对原始光谱数据进行处理，小波去噪是一种多分
辨率的时频预处理方法，具有良好的局部特性和多分辨率特性，适合光谱突变信号和非平稳信号的分析，在剔除较小的小波分量的同时，能保留信号的局部特征，从而达到降噪目的。其中，原始光谱数据可以是在任意行业研究中通过相关仪器获取到的需要进行预处理的光谱数据，即可以是含噪的光谱数据。在得到原始光谱数据之后，即可首先对原始光谱数据进行小波分解，从而得到初始小波细节系数。
[0050]
可选的，所述对所述原始光谱数据进行小波分解，得到初始小波细节系数，包括：确定小波变换的小波基；计算所述原始光谱数据中的有用信号的最小频率与对应的所述小波基的中心频率的最大分解层数；根据所述最大分解层数对所述原始光谱数据进行离散小波分解，以得到所述初始小波细节系数。具体的，可以对原始光谱数据进行离散小波分解来获得相应的初始小波细节系数，其中，可选的，所述确定小波变换的小波基，包括：将光谱分析中的daubechies系、coifets系或symmlets系的小波基函数作为所述小波基。则在确定了小波基之后，可以根据有用信号的最小频率和对应小波基的中心频率自适应的确定小波分解层数，即上述的最大分解层数，从而根据该最大分解层数进行分解，以对有用信号及噪声实现更好的划分。
[0051]
s12、根据所述初始小波细节系数确定基于分位数比的修正因子。
[0052]
具体的，在确定了初始小波细节系数之后，即可根据初始小波细节系数确定基于分位数比的修正因子。在小波的多尺度分解中，有用信号集中在较大的小波细节系数上，而噪声成分则分散在各层的小波细节系数中，因此，当修正因子较大时，意味着这一尺度包含的有用信息较多，而当修正因子较小时，则意味着这一尺度存在着较小的细节系数，说明了该层包含的噪声较多，因此，可以通过计算每个尺度下小波细节系数的分位数比，并结合修正因子对通用阈值进行改进。其中的修正因子可以根据各层系数的特征进行分层阈值的自适应计算，在处理噪声上更加灵活。
[0053]
可选的，所述根据所述初始小波细节系数确定基于分位数比的修正因子，包括：
[0054][0055]
其中，fj表示第j层的修正因子，quantile表示分位数函数，dj表示第j层的初始小波细节系数，d
j,k
表示第j层第k个初始小波细节系数，i＝1,
…
,n，n表示信号长度。
[0056]
s13、根据所述修正因子确定自适应修正阈值。
[0057]
具体的，在确定了修正因子之后，即可根据修正因子确定自适应修正阈值。可选的，所述根据所述修正因子确定自适应修正阈值，包括：
[0058][0059]
其中，λj表示第j层的自适应修正阈值，σ表示噪声标准方差，n表示信号长度，fj表示第j层的修正因子，lj表示第j层初始小波细节系数的长度。具体的，可以基于计算得到的修正因子、细节系数长度和分解尺度因子相结合来对阈值进行自适应的修正，其中的分解尺度因子ln(j+1)会随着分解尺度(即最大分解层数)j的增加而逐渐增加，从而使得相应的阈值减小，使得阈值的选取更加符合噪声的变化规律。
[0060]
s14、采用软阈值函数，根据所述自适应修正阈值对所述初始小波细节系数进行处理，得到目标小波细节系数。
[0061]
具体的，在确定了自适应修正阈值之后，可以根据该阈值，并采用软阈值函数对初始小波细节系数进行处理，从而得到修正后的目标小波细节系数，以去除噪声成分。可选的，所述软阈值函数为：
[0062][0063]
其中，表示第j层第k个目标小波细节系数，sign表示符号函数，d
j,k
表示第j层第k个初始小波细节系数，λj表示第j层的自适应修正阈值。
[0064]
s15、根据所述目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据。
[0065]
具体的，在得到目标小波细节系数之后，即可根据目标小波细节系数进行光谱的小波重构，从而得到去噪后的目标光谱数据。
[0066]
在上述技术方案的基础上，可选的，在所述根据所述目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据之后，还包括：确定所述原始光谱数据与所述目标光谱数据之间的信噪比和/或均方根误差，以根据所述信噪比和/或均方根误差评估去噪效果。具体的，可以采用信噪比(signal noise ratio，snr，单位为分贝)和均方根误差(root mean square error，rmse)来作为评价标准，定义表达式分别为：
[0067][0068][0069]
其中，f(n)表示原始光谱数据，表示目标光谱数据，n表示光谱的波段数，当信噪比越高，均方根误差越低时，证明光谱的去噪效果越好。经过测试，基于daubechies系小波基函数的snr为34.81，rmse为0.0101；基于coifets系小波基函数的snr为37.39，rmse为0.0075；基于symmlets系小波基函数的snr为39.60，rmse为0.0058，去噪效果均优于现有的其他方案，且以其中基于symmlets系小波基函数的方案为最优。
[0070]
本发明实施例所提供的技术方案，首先获取待处理的原始光谱数据，并对其进行小波分解，得到初始小波细节系数，然后根据初始小波细节系数确定基于分位数比的修正因子，并根据该修正因子确定自适应修正阈值，再采用软阈值函数，根据得到的自适应修正阈值对初始小波细节系数进行处理，得到目标小波细节系数，最后即可根据目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据。通过确定基于分位数比的修正因子，并基于该修正因子自适应的计算阈值，再使用该阈值对小波细节系数进行处理，使得所用阈值符合噪声分布的一般规律，解决了固定阈值造成的去噪不彻底以及有用信息丢失的问题。
[0071]
实施例二
[0072]
图2为本发明实施例二提供的光谱数据预处理装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，用于执行本发明任意实施例所提供的光谱数据预处理方法。如图2所示，该装置包括：
[0073]
光谱分解模块21，用于获取待处理的原始光谱数据，并对所述原始光谱数据进行小波分解，得到初始小波细节系数；
[0074]
修正因子确定模块22，用于根据所述初始小波细节系数确定基于分位数比的修正因子；
[0075]
修正阈值确定模块23，用于根据所述修正因子确定自适应修正阈值；
[0076]
小波细节系数处理模块24，用于采用软阈值函数，根据所述自适应修正阈值对所述初始小波细节系数进行处理，得到目标小波细节系数；
[0077]
光谱重构模块25，用于根据所述目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据。
[0078]
本发明实施例所提供的技术方案，首先获取待处理的原始光谱数据，并对其进行小波分解，得到初始小波细节系数，然后根据初始小波细节系数确定基于分位数比的修正因子，并根据该修正因子确定自适应修正阈值，再采用软阈值函数，根据得到的自适应修正阈值对初始小波细节系数进行处理，得到目标小波细节系数，最后即可根据目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据。通过确定基于分位数比的修正因子，并基于该修正因子自适应的计算阈值，再使用该阈值对小波细节系数进行处理，使得所用阈值符合噪声分布的一般规律，解决了固定阈值造成的去噪不彻底以及有用信息丢失的问题。
[0079]
在上述技术方案的基础上，可选的，光谱分解模块21，包括：
[0080]
小波基确定单元，用于确定小波变换的小波基；
[0081]
分解层数计算单元，用于计算所述原始光谱数据中的有用信号的最小频率与对应的所述小波基的中心频率的最大分解层数；
[0082]
小波分解单元，用于根据所述最大分解层数对所述原始光谱数据进行离散小波分解，以得到所述初始小波细节系数。
[0083]
在上述技术方案的基础上，可选的，小波基确定单元具体用于：
[0084]
将光谱分析中的daubechies系、coifets系或symmlets系的小波基函数作为所述小波基。
[0085]
在上述技术方案的基础上，可选的，修正因子确定模块22具体用于：
[0086][0087]
其中，fj表示第j层的修正因子，quantile表示分位数函数，dj表示第j层的初始小波细节系数，d
j,k
表示第j层第k个初始小波细节系数，i＝1,
…
,n，n表示信号长度。
[0088]
在上述技术方案的基础上，可选的，修正阈值确定模块23具体用于：
[0089]
[0090]
其中，λj表示第j层的自适应修正阈值，σ表示噪声标准方差，n表示信号长度，fj表示第j层的修正因子，lj表示第j层初始小波细节系数的长度。
[0091]
在上述技术方案的基础上，可选的，所述软阈值函数为：
[0092][0093]
其中，表示第j层第k个目标小波细节系数，sign表示符号函数，d
j,k
表示第j层第k个初始小波细节系数，λj表示第j层的自适应修正阈值。
[0094]
在上述技术方案的基础上，可选的，该光谱数据预处理装置，还包括：
[0095]
效果评价模块，用于在所述根据所述目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据之后，确定所述原始光谱数据与所述目标光谱数据之间的信噪比和/或均方根误差，以根据所述信噪比和/或均方根误差评估去噪效果。
[0096]
本发明实施例所提供的光谱数据预处理装置可执行本发明任意实施例所提供的光谱数据预处理方法，具备执行方法相应的功能模块和有益效果。
[0097]
值得注意的是，在上述光谱数据预处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0098]
实施例三
[0099]
图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
[0100]
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的光谱数据预处理方法对应的程序指令/模块(例如，光谱数据预处理装置中的光谱分解模块21、修正因子确定模块22、修正阈值确定模块23、小波细节系数处理模块24及光谱重构模块25)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的光谱数据预处理方法。
[0101]
存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0102]
输入装置33可用于获取待处理的原始光谱数据，以及产生与计算机设备的用户设
置和功能控制有关的键信号输入等。输出装置34可包括显示屏，可用于向用户展示去噪后的目标光谱数据等等。
[0103]
实施例四
[0104]
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种光谱数据预处理方法，该方法包括：
[0105]
获取待处理的原始光谱数据，并对所述原始光谱数据进行小波分解，得到初始小波细节系数；
[0106]
根据所述初始小波细节系数确定基于分位数比的修正因子；
[0107]
根据所述修正因子确定自适应修正阈值；
[0108]
采用软阈值函数，根据所述自适应修正阈值对所述初始小波细节系数进行处理，得到目标小波细节系数；
[0109]
根据所述目标小波细节系数进行光谱的小波重构，得到去噪后的目标光谱数据。
[0110]
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram、兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0111]
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的光谱数据预处理方法中的相关操作。
[0112]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0113]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0114]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0115]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，
本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。