一种基于大数据和人工智能的通信信息分段解析方法与流程

本发明属于通信信息，具体涉及一种基于大数据和人工智能的通信信息分段解析方法。

背景技术：

1、通信，指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递，从广义上指需要信息的双方或多方在不违背各自意愿的情况下采用任意方法、任意媒质，将信息从某方准确安全地传送到另方；

2、大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯；

3、人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

4、人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

5、在通信信息进行传输的时候，需要对信息内容进行分析，提高信息的安全性，减少信息的攻击，提高安全性。

6、如授权公告号为cn111935137a所公开的基于大数据和人工智能的通信信息处理方法及云计算平台，其虽然实现了分别通过异常时间片和异常数据片的识别模型，可以分别对异常时间片和异常数据片的异域特征进行分析和识别，综合考虑到时间特征和数据特征，而非单一的特征，从而可以得到更为精确的威胁态势识别结果，进一步的，对得到的包含异常时间片和异常数据片的威胁态势识别结果进行粒度异常检测，得到带有威胁态势拦截指标的目标异域数据，进一步提高了基于对异常时间片和异常数据片的威胁潜在信息的识别精度，有效确定出后续的威胁态势拦截指标，以便于提高通信过程中的安全性，但是并未解决现有的通信信息在处理的时候存在的不能够实现对数据进行处理，缓存和备份，以及不能够实现对通信信息进行计算处理，提高精准度等的问题，为此我们提出一种基于大数据和人工智能的通信信息分段解析方法。

技术实现思路

1、本发明的目的在于提供一种基于大数据和人工智能的通信信息分段解析方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于大数据和人工智能的通信信息分段解析方法，包括有以下方法步骤：

3、s1、实现对数据信息进行接收：通过通讯设备实现对数据信息进行接收，并且将数据信息进行缓存在存储器中，以及对数据信息进行复制备份；

4、s2、设置线程池实现对数据信息进行解析：创解析线程池，对线程池中解析线程、各类扩展点、文件转换器进行相关配置；依据配置启动解析线程池，递归遍历存储器中的数据信息，使得数据内容等待接受解析处理；

5、s3、对数据信息进行分段解析：将获取到的数据信息进行数据处理，然后再对数据信息进行分段处理，且将数据信息解析成数据表头和数据内容，数据表头是对分段后的数据内容进行简介的信息；

6、s4、通过人工智能获取大数据匹配信息：将解析后的数据内容进行人工智能分析，然后在分析后通过人工智能获取大数据信息进行数据内容和大数据查询的信息进行匹配，判定数据性信息是否存在有异常；

7、s5、实现对数据信息进行接收或者屏蔽：对数据内容进行匹配后，若数据信息存在有异常，对数据信息做出屏蔽操作，若数据信息无异常，则对数据信息做出接收操作，保持系统的安全性。

8、优选的，所述s1中的缓存采用的是fifo算法，即先进先出的数据缓存算法，先进入的指令先完成并引退，跟着才执行第二条指令；

9、即在对数据信息进行缓冲的时候，按照依次存入缓存池中，然后在读取的时候，从缓存池尾端进行依次读取，并且将数据信息取出缓存池；

10、满标志：fifo已满或将要满时由fifo的状态电路送出的一个信号，以阻止fifo的写操作继续向fifo中写数据而造成溢出；

11、空标志：fifo已空或将要空时由fifo的状态电路送出的一个信号，以阻止fifo的读操作继续从fifo中读出数据而造成无效数据的读出；

12、读时钟：读操作所遵循的时钟，在每个时钟沿来临时读数据；

13、写时钟：写操作所遵循的时钟，在每个时钟沿来临时写数据；

14、读指针：指向下一个读出地址，读完后自动加1；

15、写指针：指向下一个要写入的地址的，写完自动加1；

16、并且fifo算法在设定的时候，确定读速度大于写速度。

17、优选的，所述s1中的复制备份采用的是同步镜像，同步镜像是指“写”操作会同时在原始磁盘和镜像磁盘上完成；

18、同步镜像的流程：

19、s101、系统的写请求到镜像卷；

20、s102、镜像卷将写io请求复制为两份下发到两存储的镜像数据盘；

21、s103、等两套存储的镜像数据盘返回写操作完成；

22、s104、镜像卷返回写io操作完成给系统，一个写请求完成。

23、优选的，所述s3中的数据处理包括有用于实现对数据信息进行接收的数据获取电路、用于实现对数据信息进行转换的数据转换电路、用于实现对数据信息进行放大处理的数据增益电路和用于实现对数据信息进行除杂处理的数据滤波电路。

24、优选的，所述数据滤波电路采用的是二阶iir低通滤波或者是五阶fir低通滤波；

25、所述二阶iir低通滤波的计算公式如下：

26、

27、y(n)为输出数据，xn为输入数据，a和b为滤波器的系数；

28、所述五阶fir低通滤波的计算公式如下：

29、

30、x(n)为输入信号，k(k)为fir滤波系数，y(n)为经过滤波后的信号；n表示fir滤波器的抽头数，滤波器阶数为n-1。

31、优选的，所述s2中的递归遍历采用的是bfs算法，

32、bfs算法的操作过程如下：

33、s201、创建一个空队列queue和一个空列表visit，queue用来存放节点，visit用来存放已访问的节点；

34、s202、依次将起始点及邻接点加入queue和visit中；

35、s203、poo出队列中最先进入的节点,获取该节点的邻接点；

36、s204、若邻接点不在visit中，则将该邻接点加入queue和visit中；

37、s205、输出pop出的节点；

38、s206、重复s203、s204、s205，直至队列为空。

39、优选的，所述s4中的人工智能分析采用的是z-score标准化；

40、经过处理的数据符合标准正态分布，即均值为0，标准差为1，注意，一般来说z-score不是归一化，而是标准化，归一化只是标准化的一种；

41、其转化函数为：

42、x*＝(x-μ)/σ，

43、其中μ为所有样本数据的均值，σ为所有样本数据的标准差；

44、z-score标准化方法适用于属性a的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况；标准化方式要求原始数据的分布可以近似为高斯分布。

45、优选的，所述标准化的公式很简单，步骤如下：

46、s401、求出各变量的算术平均值(数学期望)xi和标准差si；

47、s402、进行标准化处理：zij＝(xij－xi)/si，

48、其中：zij为标准化后的变量值；xij为实际变量值；

49、s403、将逆指标前的正负号对调；

50、标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平，

51、即当数据信息的分析结果高于平均水平，则表示数据信息存在异常，若数据信息的分析结果小于平均水平，则表示数据信息正常。

52、优选的，所述s4中的匹配采用的是kmp算法是一种改进的字符串匹配算法，所述kmp算法的核心是利用匹配失败后的信息，尽量减模式串与主串的匹配次数以达到快速匹配的目的；具体实现就是通过一个next()函数实现，函数本身包含了模式串的局部匹配信息，kmp算法的时间复杂度o(m+n)，而使用暴力匹配的时间复杂度则是o(mn)。

53、优选的，所述s4中的人工智能中采用的是延时神经网络，所述延时神经网络是在前馈网络中的非输出层都添加一个延时器，记录最近几次神经元的输出，在第t个时刻，第l+1层神经元和第l层神经元的最近p次输出相关，即：

54、通过延时器，前馈网络就具有了短期记忆的能力；

55、有外部输入的非线性自回归模型：

56、自回归模型是统计学上常用的一类时间序列模型，用一个变量的历史信息来预测自己；

57、

58、其中p为超参数，w0,…,wp为可学习参数，tex parse error为第t个时刻的噪声，σ2方差和时间无关；

59、有外部输入的非线性自回归模型是自回归模型的扩展，在每个时刻t都有一个外部输入xt，产生一个输出yt，narx通过一个延时器记录最近几次的外部输入和输出，第t个时刻的输出yt为：

60、yt＝f(xt,xt-1,…,xt-p,yt-1,yt-2,…,yt-p)

61、其中f(·)表示非线性函数，可以是一个前馈网络，p和q为超参数。

62、与现有技术相比，本发明的有益效果是：

63、本发明在使用的时候，先对数据信息进行接收，并且在接收的时候，实现将数据信息进行缓存，再通过分段分析处理后，再进行接收或者是删除，然后对数据信息进行备份，防止数据信息造成丢失，并且对于信息的分析采用分段式分析，即包括有表头和内容的分析，且主要对信息的内容进行分析处理，通过z-score标准化实现对数据信息进行分析，判定数据信息是否不符合标准，然后再通过人工智能和大数据实现对数据进行匹配，再次进行判定，对于出现异常的数据信息进行隔离或者是删除，对于正常的数据信息进行接收处理。