一种原油产地的溯源方法和系统与流程

1.本发明涉及图像处理与人工智能领域，具体涉及一种原油产地的溯源方法和系统。


背景技术：

2.进口原油存在出口国政策、欺诈、环境、工艺、运输等风险，长期进口数据的监控可以判定进口原油的风险等级，例如：水分、密度、沉淀物、机械杂质、硫、酸值、残炭、204℃前馏分中有机氯、盐含量、镍、钒等。沉淀物、机械杂质基本都不超过0.02％，如果超过可以考虑是否掺杂废油。非法添加物主要包括废化工品、被污染的油，这部分很难鉴别。残炭、盐含量、酸值及酸化合物和原油本身性质有关且不同产区含量差别较大，同时原油产地不同，品质差异较大，因此生产国是制约原油供应的重要因素，准确判定进口原油产地是保障进口原油质量及监管的先决条件，避免贸易欺诈及环境受损等风险。
3.太赫兹是指0.1～10thz的电磁波，光子能量低，对原油具有很高透过性，另外，很多有机大分子的转动和振动能级都在太赫兹波段。太赫兹由于具有透视性、安全性和波谱分辨能力的特点，近年来得到了较快的发展和应用，成为无损检测的新技术，并被应用于国防、工业、半导体、通信、生物医学、制药、农产品及食品等多个领域，目前，未见利用太赫兹时域光谱技术宽波带、高信噪比的特点开展世界范围内原油的光谱分析。
4.急需一种溯源方法，利用太赫兹时域光谱技术对0.2～2.5thz范围内不同国家原油样品进行检验、分析，利用数据统计模型建立不同国家原油的产地特征，以实现不同国家原油的产地溯源，保障进口原油质量环境安全及贸易秩序。


技术实现要素：

5.为了解决现有技术问题，本发明提供了一种基于太赫兹光谱的原油产地溯源方法，包括以下步骤，
6.采集不同国家的原油样品，获得原油样品的太赫兹谱图；
7.使用连续小波算法将样品太赫兹谱图变换成小波空间，通过聚类分析和深度学习方法对小波空间进行特征提取，并依据加权最小二乘法，构建不同国家原油样品的标准图谱库，根据标准图谱库对原油样品进行原产地溯源识别。
8.优选地，在获得原油样品太赫兹谱图的过程中，采集原油样品太赫兹光谱数据，通过python编程进行数据结构化处理，获得样品太赫兹谱图的基线和参考太赫兹响应，通过剔除异常光谱，构建样品太赫兹谱图。
9.优选地，在构建样品太赫兹谱图的过程中，将基线和参考太赫兹响应进行偏最大化归一化处理后，通过剔除异常光谱，构建样品太赫兹谱图。
10.优选地，在构建样品太赫兹谱图的过程中，样品太赫兹谱图的区域定位选择主时域第500频点和975频点之间以及频域在1到第70个频点之间。
11.优选地，区域定位选择即时域的第450频点和975频点之间以及频域在1到第80个
频点之间的区域。
12.优选地，在使用连续小波算法将样品太赫兹谱图变换成小波空间的过程中，连续小波算法为coif小波变换。
13.优选地，通过样品太赫兹谱图，采集原油样品的吸收系数、介电系数和折射率数据，构建样品太赫兹谱图的特征图谱；
14.将吸收系数、介电系数和折射率数据进行标准化处理后，进行矩阵转换后，通过深度学习方法构建特征识别模型，特征识别模型用于识别吸收系数差异、介电系数差异和折射率谱差异。
15.优选地，根据吸收系数差异、介电系数差异和折射率谱差异，通过采集特征图谱之间的欧氏距离对特征图谱进行近似度衡量，将特征图谱聚类为标准图谱，构建标准图谱库。
16.一种基于太赫兹光谱的原油产地溯源系统，包括，
17.数据采集模块，用于采集原油样品的太赫兹数据；
18.第一数据处理模块，用于对太赫兹数据进行数据处理，获得样品太赫兹谱图；
19.第二数据处理模块，用于对样品太赫兹谱图进行图像处理与识别，通过将识别结果与标准图谱库进行对比，对原油样品进行溯源；
20.数据存储模块，用于存储原油产地溯源系统产生的数据；
21.显示模块，用于显示溯源结果、样品太赫兹谱图以及标准图谱库的标准谱图。
22.一种基于太赫兹光谱的原油产地溯源装置，包括，
23.太赫兹时域光谱仪，用于采集不同国家的原油样品的样品太赫兹谱图；
24.数据处理与分析装置，用于对样品太赫兹谱图进行分析处理，构建标准图谱库，并根据标准图谱库对原油样品进行溯源；
25.显示装置，用于显示溯源结果。
26.本发明公开了以下技术效果：
27.本发明的优点在于，方法简单，结构和逻辑性强，溯源准确率高，为原油溯源提供新的技术思路。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。
29.图1为本发明实施例所述的太赫兹光谱处理后格式；
30.图2为本发明实施例所述的太赫兹光谱时域谱图；
31.图3为本发明实施例所述的太赫兹光谱频域谱图；
32.图4为本发明实施例所述的太赫兹光谱时域谱二维图；
33.图5为本发明实施例所述的太赫兹光谱频域谱二维图；
34.图6为本发明实施例所述的修正后太赫兹光谱时域谱二维图；
35.图7为本发明实施例所述的修正后太赫兹光谱频域谱二维图；
36.图8为本发明实施例所述的选定区域太赫兹光谱时域谱图；
37.图9为本发明实施例所述的选定区域太赫兹光谱频域谱图；
38.图10为本发明实施例所述的归一化处理后太赫兹光谱时域谱图；
39.图11为本发明实施例所述的归一化处理后太赫兹光谱频域谱图；
40.图12为本发明实施例所述的偏最大值归一化处理后太赫兹光谱时域谱；
41.图13为本发明实施例所述的偏最大值归一化处理后太赫兹光谱频域谱；
42.图14为本发明实施例所述的基线太赫兹光谱时域谱图；
43.图15为本发明实施例所述的基线太赫兹光谱频域谱图；
44.图16为本发明实施例所述的空气太赫兹光谱时域谱图；
45.图17为本发明实施例所述的空气太赫兹光谱频域谱图；
46.图18为本发明实施例所述的最大化归一处理后基线太赫兹光谱时域谱图；
47.图19为本发明实施例所述的最大化归一处理后基线太赫兹光谱频域谱；
48.图20为本发明实施例所述的最大化归一处理后空气太赫兹光谱时域谱；
49.图21为本发明实施例所述的最大化归一处理后空气太赫兹光谱频域谱；
50.图22为本发明实施例所述的学习模型构造图；
51.图23为本发明实施例所述的学习模型关系示意图；
52.图24为本发明实施例所述的样品图谱库。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.如图1-24所示，本发明提供了一种基于太赫兹光谱的原油产地溯源方法，包括以下步骤，
55.采集不同国家的原油样品，获得原油样品的太赫兹谱图；
56.使用连续小波算法将样品太赫兹谱图变换成小波空间，通过聚类分析和深度学习方法对小波空间进行特征提取，并依据加权最小二乘法，构建不同国家原油样品的标准图谱库，根据标准图谱库对原油样品进行原产地溯源识别。
57.在获得原油样品太赫兹谱图的过程中，采集原油样品的太赫兹光谱数据，通过python编程进行数据结构化处理，获得样品太赫兹谱图的基线和参考太赫兹响应，通过剔除异常光谱，构建样品太赫兹谱图。
58.在构建样品太赫兹谱图的过程中，将基线和参考太赫兹响应进行偏最大化归一化处理后，通过剔除异常光谱，构建样品太赫兹谱图。
59.在构建样品太赫兹谱图的过程中，样品太赫兹谱图的区域定位选择主时域第500频点和975频点之间以及频域在1到第70个频点之间；区域定位选择即时域的第450频点和975频点之间以及频域在1到第80个频点之间的区域。
60.在使用连续小波算法将样品太赫兹谱图变换成小波空间的过程中，连续小波算法为coif小波变换。
61.通过样品太赫兹谱图，采集原油样品的吸收系数、介电系数和折射率数据，构建样
品太赫兹谱图的特征图谱；将吸收系数、介电系数和折射率数据进行标准化处理后，进行矩阵转换后，通过深度学习方法构建特征识别模型，特征识别模型用于识别吸收系数差异、介电系数差异和折射率谱差异。
62.根据吸收系数差异、介电系数差异和折射率谱差异，通过采集特征图谱之间的欧氏距离对特征图谱进行近似度衡量，将特征图谱聚类为标准图谱，构建标准图谱库。
63.一种基于太赫兹光谱的原油产地溯源系统，包括，
64.数据采集模块，用于采集原油样品的太赫兹数据；
65.第一数据处理模块，用于对太赫兹数据进行数据处理，获得样品太赫兹谱图；
66.第二数据处理模块，用于对样品太赫兹谱图进行图像处理与识别，通过将识别结果与标准图谱库进行对比，对原油样品进行溯源；
67.数据存储模块，用于存储原油产地溯源系统产生的数据
68.显示模块，用于显示溯源结果、样品太赫兹谱图以及标准图谱库的标准谱图。
69.一种基于太赫兹光谱的原油产地溯源装置，包括，
70.太赫兹时域光谱仪，用于采集不同国家原油样品的太赫兹谱图；
71.数据处理与分析装置，用于对样品太赫兹谱图进行分析处理，构建标准图谱库，并根据标准图谱库对原油样品进行溯源；
72.显示装置，用于显示溯源结果。
73.实施例1：利用太赫兹时域光谱仪(测量范围：0.2～2.5thz)对世界范围内主要产原油国家(俄罗斯、巴西、安哥拉、科威特、刚果(布)、澳大利亚、赤道几内亚、沙特阿拉伯、利比亚、伊朗、埃及、委内瑞拉、伊拉克、哥伦比亚、英国、阿曼、越南、马来西亚、韩国、挪威、尼日利亚、阿联酋、美国)油田的原油样品进行透射测量，获得样品太赫兹时域光谱图谱。
74.使用python软件编程将提取出来的数据信息进行处理。
75.基于连续小波算法，将太赫兹时域光谱变换到小波空间，通过聚类分析和神经网络技术从小波空间的尺度分量中提取不同国家原油的产地特征，基于加权最小二乘法建立模式识别方法，以实现基于太赫兹时域光谱的不同国家原油的产地溯源识别。
76.实施例2：采集不同产地原油样品的太赫兹时域光谱图谱，通过对所述样品太赫兹时域光谱图谱基线、参考(空气)图谱的分析，基线和参考太赫兹响应经过偏最大化归一化后，非常稳定，数据处理没有将太赫兹响应转换成吸光度或者折射率，而是使用直接响应形式。具体数据处理如下所示：
77.1、太赫兹光谱数据分析
78.1.1、光谱的预处理及分析
79.1.1.1、原油的原始太赫兹光谱
80.(1)试验样品及太赫兹光谱情况
81.原油样品采用来自于23个国家/地区的200多个样品，每个样品平行测量三遍，样品和太赫兹谱图情况如表1所示。
82.表1
[0083][0084][0085]
(2)太赫兹光谱数据格式
[0086]
数据格式如图1所示(采用ultraedit阅览编辑)；
[0087]
(3)采用python编程，对数据进行结构化处理，格式如图2所示：
[0088]
第1列数据为时间，单位皮秒(ps)，第2列为基线时域响应，第3列为参考(空气)时域响应，第4列为样品时域响应，第5列为基线频域计算结果，第6列为参考(空气)频域计算结果，第7列为样品频域计算结果。
[0089]
1.1.2、原油太赫兹光谱区域的选择
[0090]
剔除异常光谱，修正后太赫兹谱图如图3、4所示，原油太赫兹谱的有效信息比较集中，时域谱和频域谱的区域有所差别，出于减少数据量，让光谱更集中的体现该不同区域来源原油的光谱信息，对太赫兹光谱进行区域选择。以及让精简后的数据尽可能多的保持不
同区域原油太赫兹的有用信息。
[0091]
选择检测的信号进行观察，发现不同来源原油太赫兹光谱峰形状不同，峰范围也不同，但都相对集中在某一段，主时域的第500频点和975频点之间，频域在1到第70个频点之间。考虑到噪音等因素的影响将区域定位在即时域的第450频点和975频点之间，即139.23ps至150.23ps之间；频域在1到第80个频点之间的区域。
[0092]
1.1.3、原油太赫兹光谱的预处理
[0093]
太赫兹时域部分的基线偏移较大，采用偏最大值归一化结果较好，计算方法如下：
[0094]
太赫兹光谱数学模型如下：
[0095]
x＝(x1,x2,...xn)
[0096]
x1,x2,x3为各个频点的太赫兹光谱强度，
[0097]
则归一化的计算为：
[0098]
xs＝x/max(abs(max(x),abs(min(x)))
[0099]
min(x)为太赫兹光谱强度最小值，max(x)为太赫兹光谱强度最大值(太赫兹光谱强度有负值)，xs为标准化后的太赫兹光谱。结果如图5、6所示。
[0100]
1.2原油太赫兹光谱的初步分析
[0101]
1.2.1稳定性分析
[0102]
采用精密度对光谱的稳定性进行分析，采用相对标准偏差(rsd)来衡量数据的离散度。计算来自于同一国家/地区的样品的太赫兹光谱的差异。
[0103]
在时域/频域，原始数据/归一化结果如表2所示：
[0104]
表2
[0105][0106]
分析相对标准偏差的结果可知：除去样品量少的几个国家，大部分国家的的相对标准偏差小于10％，离散度度较低，同地区太赫兹光谱较为稳定，说明实验获得的光谱在具有很好的收敛性。结果显示：同一国家/地区的原油太赫兹光谱归一化后，离散度更小；归一化后的频域信号比时域信号的离散度更小。
[0107]
1.2.2差异性分析
[0108]
采用组间组内分析方法对不同国家/地区间的太赫兹光谱差异进行分析，将所有光谱的总方差分解为组内(同一国家/地区)的方差和组间(不同国家/地区)的方差。通过比较组间方差和组内方差以确定不同国家/地区原油太赫兹光谱是否存在实质性的差异。分
别计算了在时域/频域，原始数据/归一化的不同国家/地区间的组间组内分析结果。
[0109]
从各国家地区光谱的方差分析结果可知：频域信号在组内的稳定性更好，但是在组间的差异性也更小，归一化后的时域信号，虽然在组内的稳定性较频域差，但是在组间的差异性更大。综合考虑组内稳定性和组间差异性，采用偏最大化归一处理后的时域信号进行后续处理。通过对比不同国家/地区间的偏最大化归一处理后的时域信号，发现除阿联酋和阿曼、伊拉克和阿曼、马拉西亚和安哥拉外，其他国家/地区间的f值在6.55到632.63之间变化。通过对比f值发现阿联酋和伊拉克之间、伊拉克和巴西之间、巴西和阿曼之间在时域信号的相似度较大。说明对于绝大多数的国家/地区间的太赫兹光谱存在明显差异，通过采用合适的技术手段，可以在国家/地区水平上进行识别。综合稳定和差异性分析结果，采用偏最大化归一处理后的时域信号进行后续处理。
[0110]
2、太赫兹光谱特征提取
[0111]
对经过coif小族波基分解后得到的各个特征分量进行正定性检验，发现各特征分量都满足正定性，可以使用bayes判别分析对最优小波基的最优特征分量进行选择。采用coif5小波分解原油太赫兹光谱。观察经coif5基函数分解的1～5层的尺度分量和小波分量的组内稳定性发现，尺度分量上，第1～2层的稳定性更好，其中第1层虽然整体稳定更好，但是部分国家地区的差异性接近整体差异性，故选择第二层尺度分量作为后续处理的参数。
[0112]
采用组间组内分析方法对不同国家/地区间的太赫兹光谱差异进行分析发现，coif5小波基函数的第二层尺度分量更好的体现组间差异。
[0113]
3、模式识别方法
[0114]
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。
[0115]
而深度学习又是机器学习研究中的一个新的领域，其动机在于建立可以模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如，图像、声音和文本。深度学习是无监督学习的一种。
[0116]
深度学习之所以被称为“深度”，是因为之前的机器学习方法都是浅层学习。深度学习可以简单理解为传统神经网络(neural network)的发展。大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。深度学习与传统的神经网络之间有相同的地方。二者的相同之处在于，深度学习采用了与神经网络相似的分层结构：系统是一个包括输入层、隐层(可单层、可多层)、输出层的多层网络，只有相邻层节点(单元)之间有连接，而同一层以及跨层节点之间相互无连接。这种分层结构，比较接近人类大脑的结构。
[0117]
由机器学习加上cnn处理后可以提取物体本身相应的特征，然后由机器学习的经验以及对单视图的分析根据所提取的特征(关键点)可以重新构造出物体的三维模型。
[0118]
机器学习可应用到全自动无人驾驶汽车等交通工具上以及医疗器械中。以提高精准度和物品的利用率并减少事故的发生率。总的来说这一切的研究就是为了实现产品的智能化和全自动化，减少事故的发生，并实现技术的革新。
[0119]
学习模型的建立：
[0120]
太赫兹光谱信息取决于目标物的特性，可以用如下公式进行表示：
[0121]
f＝σjw
i，j
xj+bi[0122]
x-组分
[0123]
i-第i个组分
[0124]
j-组分的第j个性质
[0125]wi,j-组分的第j个性质的权重
[0126]bi-组分的第i类的特征值
[0127]
对各类特征求exp函数，并标准化，将各元素进行相乘编程矩阵乘法：
[0128][0129]
学习模型参数：
[0130]
模型的参数；
[0131]
层数：3；
[0132]
隐藏层节点数：1024；
[0133]
隐藏层激活函数：relu；
[0134]
输出层机函数：softmax；
[0135]
优化器：adam；
[0136]
步长：0.001；
[0137]
损失函数：sparse_categorical_crossentropy。
[0138]
4、标准图谱库的建立
[0139]
不同国家/地区原油的太赫兹光谱的识别仪器、环境的影响不同，为更准确的表达原油的太赫兹光谱特征，并获得该地区/国家原油太赫兹光谱具有特征代表性的标准谱，研究将采用系统聚类法对每个地区/国家在所有尺度分量识别特征谱或小波分量识别特征谱进行聚类分析。以欧氏距离作为特征谱相似程度的衡量，将特征谱聚为不同的类别，然后取每一类中所有特征谱的平均作为该类的代表，即为该地区/国家的一条标准谱；由此确定每个地区/国家标准谱及其数目。由于用于聚类的每种情况下的特征谱均不小于一条，所以，当此特征谱因取样测量等产生差异时，尚有同等或相近的特征谱作为弥补，这样就不至于造成一类特征信息的丢失。在聚类过程中，为了进一步消除不同特征谱间的强度差异，对每条谱进行了最大值归一化处理。采用最能体现不同水平差异性coif2小波的第3层尺度分量作为特征谱，考虑到产生的异常谱，应予以去除。
[0140]
本发明利用太赫兹时域光谱技术测量了231瓶不同国家的原油样品，获得了0.2～2.5thz原油的太赫兹波谱，通过分析原油样品信息和太赫兹波谱，由于原油太赫兹谱是原油所包含的主要成分芳香烃类化合物和多种杂质混合产生的吸收谱，不同国家的原油的时域谱和频谱差别较小，难以形成特征谱，难以区分，但折射率、吸收系数、介电常数有明显差异。
[0141]
(1)不同国家原油样品的太赫兹波谱有差异，其中时域谱和频域谱差异较小，折射
率谱、吸收系数谱、介电常数谱差异较大。可通过折射率谱、吸收系数谱、介电常数谱实现对不同的国家和油田的原油样品的区分。
[0142]
(2)实验测量了0.2～2.5thz范围内原油样品的太赫兹波谱，其中0.2～1.5thz范围内信噪比较高，折射率较稳定，1.6～2.5thz范围内信噪比较低，折射率有小范围起伏变化。这是因为在0.2～1.5thz范围内原油的太赫兹波谱信噪比较强，而1.5～2.5thz范围内原油的太赫兹波谱信噪比较弱。
[0143]
(3)不同国家原油样品的吸收系数不同，其中吸收峰的位置和数量也不同，这可能是由于不同的原油种类和相同组分的不同含量导致的。从所测原油的吸收谱可以看出，随着频率的增加，吸收系数也呈现逐渐增大的趋势。
[0144]
(4)coif系列小波对原油太赫兹光谱特征的提取能力不同，在对实验室选择的23个国家原油的总体评价中，以coif2小波基的提取能力最强。
[0145]
(5)应用本发明基于coif2小波建立的原油太赫兹光谱识别技术，对实验选择的23个国家原油的识别正确率为为92.0％。
[0146]
(6)在加入10％，20％的白噪音后，基于coif2小波的识别技术对原油的识别正确率没有显著的变化，说明本发明建立的识别技术对白噪音具有很好的抗造能力。
[0147]
(7)对实验室实际混合样品的识别正确率为86.1％，对通过拟合得到混合光谱的识别正确率为83.8％。
[0148]
(8)通过不同小波基函数识别技术的互补性，尺度分量和小波分量的互补性，可以得到更好的结果。