一种软件数据采集方法与流程

1.本发明涉及计算机网络技术领域，特别涉及一种软件数据采集方法。


背景技术：

2.人类已经迈入信息化时代，在“大数据+云”的潮流中，无论是在工业控制领域还是服务行业领域，数据的重要性逐渐体现出来，而如何快速地采集、存储、显示、传输数据，则是数据经济化、效益化过程中，相当重要的一环。目前互联网数据采集的方法有通过日志获取数据、通过代码埋点跟踪数据、通过网络爬虫采集数据，采用轮寻的方式将采集到的数据传输到终端进行汇总，因而轮询时间、通信握手时间、数据传输时间、数据校验时间的产生，往往会影响到数据的实时性。
3.随着互联网技术和计算机技术的发展,大数据及其应用正是基于互联网海量信息的价值提取，企业信息化的脚步越来越快，几乎所有大中型企业都有独立的资讯部门负责企业内部的信息化建设，以此来提升企业的竞争力。
4.目前，前端设备中采用的相机大都是基于红绿蓝三色波段对场景采集，能够获取高空间分辨率的视频流受传感器灵敏度、成像原理、曝光时间、有限感光波段等因素的限制，彩色相机得到的图像和视频帧丢失了绝大部分的光谱信息，得到的图像或是视频帧细节不能很好呈现。利用类似光谱仪原理的高灵敏度灰度相机得到的灰度图像能具有很宽光波段的光谱信息，但是其空间分辨率有限。如何有效地提高数据采集效率，同时对数据进行显示、存储与传输是目前现有技术亟待解决的问题。


技术实现要素：

5.本发明的目的是针对现有技术存在的不足，提供一种软件数据采集方法。
6.为实现上述目的，本发明提供如下技术方案：
7.一种软件数据采集方法，包括如下步骤：
8.步骤s10：图像数据获取终端依照指令获取视频图像，视频采集卡采集视频图像数据，对需超分辨率图像数据的参考帧同其前后支持帧进行时序分组；
9.步骤s20：视频处理器对图像数据进行处理，并对各图像数据组特征序列数据提取信息并进行融合，生成组级特征数据，处理完成后发送给数据处理及传输平台；
10.步骤s30：组级特征数据经过时序注意力模块，得到加权注意特征生成的组特征连结数据，通过数据处理及传输平台对组特征连结数据进行确定、处理和发送；
11.步骤s40：监控装置通过5g无线数据接收模块接收数据处理及传输平台发送的图像数据，构建包含mrfb的深度特征融合模块，对时间对齐特征信息进行编码；
12.步骤s50：解码模块对图像数据进行解码，并逐步融合参考帧的多阶段特征的图像数据，并将解码后的图像信息发送给图像处理模块进行处理和/或识别。
13.优选地，在步骤s10中，还包括以下步骤：
14.步骤s101：图像数据获取终端解码分离出视频帧，高空间低光谱的rgb视频帧和同
场景下低空间高光谱灰度视频帧，经过同步对齐校正形成的rgb视频帧，存在一些均匀间隔的稀疏像素点既具有rgb像素值又具有集中于200nm到800nm波段的多通道光谱响应值；
15.步骤s102：根据相邻的2n帧与参照帧的时序距离划分为n组，将原始序列重新排序为{q1,...,qn}。是由中心帧和相邻两帧和组成的子序列。
16.优选地，在步骤s20中，视频处理器对图像数据进行处理具体包括如下步骤：
17.通过双边滤波的光谱传播算法将这些既有光谱信息，又有rgb像素值的像素点传播到所有像素点，双边滤波的光谱传播算法公式如下：
[0018][0019]
式中s
λ
(x,y)表示像素点(x,y)在波长λ处的光谱信息，(i,j)∈r表示两路视频帧经过配准后，在像素点(x,y)附近，既有光谱信息又有像素值的像素点邻域，c∈(r,g,b)表示c为rgb三颜色通道之一。
[0020]
优选地，在步骤s30中，还包括以下步骤：
[0021]
s301：组级特征数据经过时序注意力模块，得到加权注意特征生成的组特征连结数据；利用二维密集块对信息进行深度整合，生成组级特征引入了一个时序注意模块，模块可以在不同的时间给予不同程度的关注，不同组生成的组级特征包含互补的信息，慢帧速率组提供了更多的信息，快速帧率组被用来捕获一些缺失的细节，在每一组中，组级特征通过3
×
3卷积层生成单通道特征图然后将它们连接起来，并沿时间轴将softmax函数应用于通道中的每个位置，组特征连结地图w(c,v)的公式如下：
[0022][0023]
公式中，wn(c，v)j表示位置(c，v)j处时间组注意掩码的权重；
[0024]
组的加权注意特征公式表示如下
[0025]
：
[0026]
在公式中，表示组内融合模块生成的组级特征。表示相乘；
[0027]
s302：确定待处理的组特征连结数据的数据类型是否与所述数据采集指令中的数据类型一致；在数据处理及传输平台接收到待处理图像数据之后，首先，确定待处理图像的组特征连结数据的个数，若待处理组特征连结数据的个数为至少两个，需分别对至少两个待处理组特征连结数据确定该待处理组特征连结数据的数据类型；其次，获取数据采集指令中的数据类型与数据处理及传输平台确定的待处理组特征连结数据的数据类型是否一致；
[0028]
s303：若一致，则根据预置规范规则将待处理图像组特征连结数据进行格式化处
理；
[0029]
s304：将格式化处理后的所述待处理图像组特征连结数据发送至服务器，实现在一个数据采集平台中实现多种数据类型的待处理图像数据采集。
[0030]
优选地，在步骤s40中，构建包含mrfb的深度特征融合模块包括如下步骤：
[0031]
深度插入了一组调制残余融合块(mrfb)，使用srrernet的高级架构作为分支主干，其中mrfb内含有sft，并以时间对齐的特征φ作为共享条件来调整其输入特征映射在φ条件下，sft层通过缩放和移动操作对组级特征进行映射转换，计算公式如下：
[0032][0033]
其中，α和β分别为比例参数和移动参数，表示像素乘法，将φ输入到几个具有不同权值的卷积层中，得到相应的变换参数α和β，在mrfb中，每个卷积层之后带有一个sft层。
[0034]
优选地，在步骤s50中，还包括以下步骤：
[0035]
逐步融合参考帧的多阶段特征，最终生成超分辨率重建框架；在最后，网络使用一种反馈机制，将最后一个mrfb层学习到的高级特征反馈给第一个mrfb，以细化低级特征。改进后的特征通过调制特征融合网络进行传输；
[0036]
通过图像处理模块对多阶段特征的图像数据进行安全识别：确定是否采集到移动目标的图像，如果是，判断所述移动目标的图像是否位于预设的图像区域外，如果是，进行报警处理；判断采集的图像中是否包括带有预设危险特征的图像，如果是，进行报警处理。
[0037]
与现有技术相比，本发明的有益效果：基于双边滤波的光谱传播算法来实现视频帧中所有像素点的光谱响应值，能多线程并行化现实双边滤波的光谱传播算法，加速算法执行速度，在保证光谱数据准确性的同时又提高系统的实时处理能力；利用输入序列中的较远的帧的信息进行时序分组，以充分利用多帧之间的互补信息来恢复精细的细节，利用较远处的相邻帧增强特征融合的性能；利用注意模块对互补信息进行建模；构建mrfb深度特征融合模块减少参数冗余并且减少消耗不必要的计算资源，解决现有技术中忽略参考帧信息和多帧之间的互补信息等问题，提升了视频超分辨率的效果；利用数据处理及传输平台，将多个终端不同监控图像数据格式进行统一，并按照统一的传输协议传输，保证了数据的统一性和兼容性。
附图说明
[0038]
图1为本发明一种软件数据采集方法的流程框图。
具体实施方式
[0039]
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明做进一步地详细描述。
[0040]
一种软件数据采集方法，包括如下步骤：
[0041]
步骤s10：通过图像数据获取终端依照指令获取视频图像，视频采集卡采集视频图像数据，对需超分辨率图像数据的参考帧同其前后支持帧进行时序分组；
[0042]
步骤s20：视频处理器对图像数据进行处理，并对各图像数据组特征序列数据提取
信息并进行融合，生成组级特征数据，处理完成后发送给数据处理及传输平台；
[0043]
步骤s30：组级特征数据经过时序注意力模块，得到加权注意特征生成的组特征连结数据，通过数据处理及传输平台对组特征连结数据进行确定、处理和发送；
[0044]
步骤s40：监控装置通过5g无线数据接收模块接收数据处理及传输平台发送的图像数据，构建包含mrfb的深度特征融合模块，对时间对齐特征信息进行编码；
[0045]
步骤s50：解码模块对图像数据进行解码，并逐步融合参考帧的多阶段特征的图像数据，并将解码后的图像信息发送给图像处理模块进行处理和/或识别。
[0046]
具体的，在步骤s10中，还包括以下步骤：
[0047]
步骤s101：图像数据获取终端解码分离出视频帧，高空间低光谱的rgb视频帧和同场景下低空间高光谱灰度视频帧，经过同步对齐校正形成的rgb视频帧，存在一些均匀间隔的稀疏像素点既具有rgb像素值又具有集中于200nm到800nm波段的多通道光谱响应值；
[0048]
步骤s102：对需超分辨率的参考帧同其前后支持帧进行时序分组；相邻帧内时序融合效率低是隐式运动补偿中的一个问题。并且较处的相邻帧往往被忽视，从而降低了特征融合的性能，影响参考帧利用远处相邻帧的信息。为了充分利用远处帧的信息，提出的方法根据相邻帧与参考帧之间的时序距离将2n个帧划分为n个组。然后，提取时空信息并进行融合，生成组级特征。根据相邻的2n帧与参照帧的时序距离划分为n组后，将原始序列重新排序为{q1,...,qn}。是由中心帧和相邻两帧和组成的子序列。每一组中都有参考帧，该方法可以将任何帧作为输入。根据时序距离，相邻帧提供的信息也不一致。当面对大的变形、遮挡和运动模糊时尤其明显。
[0049]
具体的，在步骤s20中，视频处理器对图像数据进行处理具体包括如下步骤：
[0050]
通过双边滤波的光谱传播算法将这些既有光谱信息，又有rgb像素值的像素点传播到所有像素点，双边滤波的光谱传播算法公式如下：
[0051][0052]
式中s
λ
(x,y)表示像素点(x,y)在波长λ处的光谱信息，(i,j)∈r表示两路视频帧经过配准后，在像素点(x,y)附近，既有光谱信息又有像素值的像素点邻域，c∈(r,g,b)表示c为rgb三颜色通道之一。
[0053]
具体的，在步骤s30中，还包括以下步骤：
[0054]
s301：组级特征数据经过时序注意力模块，得到加权注意特征生成的组特征连结数据；利用二维密集块对信息进行深度整合，生成组级特征引入了一个时序注意模块，模块可以在不同的时间给予不同程度的关注，不同组生成的组级特征包含互补的信息，慢帧速率组提供了更多的信息，快速帧率组被用来捕获一些缺失的细节，在每一组中，组级特征通过3
×
3卷积层生成单通道特征图然后将它们连接起来，并沿时间轴将softmax函数应用于通道中的每个位置，组特征连结地图w(c,v)的公式如下：
[0055][0056]
公式中，wn(c，v)j表示位置(c，v)j处时间组注意掩码的权重；
[0057]
组的加权注意特征公式表示如下
[0058]
：
[0059]
在公式中，表示组内融合模块生成的组级特征。表示相乘；
[0060]
s302：确定待处理的组特征连结数据的数据类型是否与所述数据采集指令中的数据类型一致；在数据处理及传输平台接收到待处理图像数据之后，首先，确定待处理图像的组特征连结数据的个数，若待处理组特征连结数据的个数为至少两个，需分别对至少两个待处理组特征连结数据确定该待处理组特征连结数据的数据类型；其次，获取数据采集指令中的数据类型与数据处理及传输平台确定的待处理组特征连结数据的数据类型是否一致；
[0061]
s303：若一致，则根据预置规范规则将待处理图像组特征连结数据进行格式化处理；
[0062]
s304：将格式化处理后的所述待处理图像组特征连结数据发送至服务器，实现在一个数据采集平台中实现多种数据类型的待处理图像数据采集。
[0063]
具体的，在步骤s40中，构建包含mrfb的深度特征融合模块包括如下步骤：
[0064]
深度插入了一组调制残余融合块(mrfb)，使用srrernet的高级架构作为分支主干，其中mrfb内含有sft，并以时间对齐的特征φ作为共享条件来调整其输入特征映射在φ条件下，sft层通过缩放和移动操作对组级特征进行映射转换，计算公式如下：
[0065][0066]
其中，α和β分别为比例参数和移动参数，表示像素乘法，将φ输入到几个具有不同权值的卷积层中，得到相应的变换参数α和β，在mrfb中，每个卷积层之后带有一个sft层。
[0067]
具体的，在步骤s50中，还包括以下步骤：
[0068]
逐步融合参考帧的多阶段特征，最终生成超分辨率重建框架；在最后，网络使用一种反馈机制，将最后一个mrfb层学习到的高级特征反馈给第一个mrfb，以细化低级特征。改进后的特征通过调制特征融合网络进行传输；
[0069]
通过图像处理模块对多阶段特征的图像数据进行安全识别：确定是否采集到移动目标的图像，如果是，判断所述移动目标的图像是否位于预设的图像区域外，如果是，进行报警处理；判断采集的图像中是否包括带有预设危险特征的图像，如果是，进行报警处理。
[0070]
综上所述：基于双边滤波的光谱传播算法来实现视频帧中所有像素点的光谱响应值，能多线程并行化现实双边滤波的光谱传播算法，加速算法执行速度，在保证光谱数据准确性的同时又提高系统的实时处理能力；利用输入序列中的较远的帧的信息进行时序分组，以充分利用多帧之间的互补信息来恢复精细的细节，利用较远处的相邻帧增强特征融合的性能；利用注意模块对互补信息进行建模；构建mrfb深度特征融合模块减少参数冗余
并且减少消耗不必要的计算资源，解决现有技术中忽略参考帧信息和多帧之间的互补信息等问题，提升了视频超分辨率的效果；利用数据处理及传输平台，将多个终端不同监控图像数据格式进行统一，并按照统一的传输协议传输，保证了数据的统一性和兼容性。
[0071]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。