本发明属于日志分析，具体涉及一种基于贝叶斯算法的系统智能日志分析方法。
背景技术：
：：1、系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志，然而市面上各种的对于系统日志的异常分析处理方法仍存在各种各样的问题。2、如授权公告号为cn105653620b所公开的智能问答系统的日志分析方法及装置，其虽然实现了通过对用户日志数据进行聚类，可大大地提高聚类的准确度，以便于用户以每一类用户日志为基础进行分析优化，大大降低人工工作量，但是并未解决现有的日志分析中对于日志的解码和加密处理，提高安全性，并且不能够有效的实现对日志数据进行标签计算处理，实现数据信息的精准度，以及采用同步复制方式，不能够通过快照实现对日志信息进行复制处理，以及不能够实现自动ai学习，提高后续的检测效率等的问题，为此我们提出一种基于贝叶斯算法的系统智能日志分析方法。技术实现思路1、本发明的目的在于提供一种基于贝叶斯算法的系统智能日志分析方法，以解决上述
背景技术：
：中提出的问题。2、为实现上述目的，本发明提供如下技术方案：一种基于贝叶斯算法的系统智能日志分析方法，包括有以下方法步骤：3、s1、智能日志采集：收集系统的各个日志，并且日志的采集是通过同步复制，实现对智能系统生成的日志信息进行及时和同步的复制；4、s2、对日志数据信息进行输入和解析：将收集到的日志数据信息输入到解析模块中，通过解析模块实现对日志进行解析处理，并且解析后的日志数据信息包括有数据类型、数据解析日期、数据解析机标号和数据解析内容；5、s3、日志数据信息解析识别：对于日志数据信息的解析处理采用的是解密算法，实现对日志数据信息中的密文进行解码处理，并且进行整理，然后通过签名算法将数据类型、数据解析日期和数据解析机标号转换成签名携带在数据解析内容前端；6、s4、日志数据信息分析处理：对解析过程的日志信息进行分析处理，并且对日志的数据信息进行判定，并且对日志数据中的每一个异常节点进行输出二进制结果“1”，并且将日志数据中的正常节点进行输出二进制结果“0”，并且根据日志分析结果进行报警；7、s5、将日志数据信息分析后的结果和日志内容进行存储：将分析处理后的日志数据信息进行存储，并且采用映射方法对日志数据检测的结果进行同步存储；8、s6、将存储后的日志数据信息分析结果运用在ai智能学习系统中：将分析处理的日志数据信息分析结果在ai智能学习系统进行运用，建立日志异常模型，并且采用贝叶斯分类算法对系统的日志进行更加精准的检测和分析处理。9、优选的，所述s1中的智能日志采集是根据日志的来源进行分类，将日志分类为通讯日志、运行日志、接口日志、应用日志、交易日志、安全日志和用户日志。10、优选的，所述s1中的同步复制是在系统的日志进行写入的时候，通过旁路实现对日志的写入内容进行快照复制操作，实现实时获取日志的数据内容，并且配合系统的日志数据写入过程实现写时复制，减少对数据信息的读源过程。11、优选的，所述s3中的解密算法和签名算法采用的是rsa数字签名算法，所述rsa数字签名算法的步骤如下：12、产生签名与验证参数：13、s301、签名a选择两个大素数p、q，计算n＝pq及中φ(n)＝(p-1)(q-1)；14、s302、寻找e、d使满足(eφ(n))≡1及ed≡l(modφ(n))；15、s303、公开验证参数{n，e}，a保存{p，q，d，φ(n)}作为秘密的签名参数；16、s304、选用一通用的散列函数h(.)；17、签名算法：18、s305、a将需签名的文件m(含接收人、内容、签名人、日期等)编码后映射成h(m)；19、s306、计算，计算公式如下：20、c1≡(h(m))dmod p,c2≡(h(m))dmod q21、sa(m)≡(c1q(1)q+c2p(1)p)mod n22、s307、将{m,sa(m)}发送至文件接收人b或仲裁人t；23、验证算法：24、b(或t)检验：25、(sa(m))e≡h(m)mod n。26、优选的，所述s4中的贝叶斯分类算法采用的是朴素贝叶斯分类法：27、设每个数据样本用一个n维特征向量来描述n个属性的值，即x＝{x1，x2，…，xn}，假定有m个类，分别用c1，c2，…，cm表示；给定一个未知的数据样本x(即没有类标号)，若朴素贝叶斯分类法将未知的样本x分配给类ci，则一定是：28、p(ci|x)>p(cj|x)1≤j≤m，j≠i；29、根据贝叶斯定理，30、由于p(x)对于所有类为常数，最大化后验概率p(ci|x)可转化为最大化先验概率p(x|ci)p(ci)；训练数据集有许多属性和元组，计算p(x|ci)的开销可能非常大，为此，通常假设各属性的取值互相独立，这样先验概率p(x1|ci)，p(x2|ci)，…，p(xn|ci)可以从训练数据集求得；31、根据此方法，对一个未知类别的样本x，先分别计算出x属于每一个类别ci的概率p(x|ci)p(ci)，然后选择其中概率最大的类别作为其类别。32、优选的，所述s6中的贝叶斯分类算法的步骤如下：33、s601、收集大量的异常节点日志数据和正常节点日志数据，建立异常节点日志数据集和正常节点日志数据集；34、s602、提取日志数据中的独立字符串，作为token串并统计提取出的token串出现的次数即字频，按照上述的方法分别处理异常节点日志数据集和正常节点日志数据集中的所有邮件；35、s603、每一个日志数据集对应一个哈希表，hashtable_good对应正常节点日志数据集而hashtable_bad对应异常节点日志数据，表中存储token串到字频的映射关系；36、s604、计算每个哈希表中token串出现的概率p＝(某token串的字频)/(对应哈希表的长度)；37、s605、综合考虑hashtable_good和hashtable_bad，推断出当新来的日志数据中出现某个token串时，新的日志数据为异常节点日志数据的概率，数学表达式为：38、a事件----日志数据为异常节点日志数据；39、t1，t2……，tn代表token串；40、则p(a|ti)表示在日志数据中出现token串ti时，该日志数据为异常节点日志数据的概率；设41、p1(ti)＝(ti在hashtable_good中的值)；42、p2(ti)＝(ti在hashtable_bad中的值)；43、则p(a|ti)＝p2(ti)/[(p1(ti)+p2(ti)]；44、s606、建立新的哈希表hashtable_probability存储token串ti到p(a|ti)的映射；45、s607、至此，异常节点日志数据集和正常节点日志数据集的学习过程结束，根据建立的哈希表hashtable_probability估计一个新的日志数据为异常节点日志数据的可能性；46、当新得日志数据复制过来的时候，按照步骤s402，生成token串；查询hashtable_probability得到该token串的键值；47、假设由新得日志数据共得到n个token串，t1，t2，……，tn，hashtable_probability中对应的值为p1，p2，……pn，p(a|t1,t2,t3……tn)表示在邮件中同时出现多个token串t1，t2，……，tn时，该日志数据为异常节点日志数据的概率；48、由复合概率公式得p(a|t1，t2，t3，……，tn)＝(p(t1a)*p(t2a)*……p(tna))/[(p(t1a)*p(t2a)*……p(tna))+(p(t1b)*p(t2b)*……p(tnb))]，当p(a|t1,t2,t3……tn)超过预定阈值时，就判断日志数据为异常节点日志数据。49、优选的，所述s4中的报警方式包括有邮件通知系统、短信通知系统和微信通知系统，用于方便运维人员及时发现问题，并且实现处理。50、优选的，所述s4中的异常节点的结果“1”，日志数据中的正常节点的结果“0”的输出设定便于报警方式直接获取，然后进行报警处理。51、优选的，所述s4中对日志数据信息进行分析处理的具体过程如下：52、s401、数据解析引擎逐个读取日志数据中的日志语句；53、s402、从分析模块集合中逐个取出分析语句，将其中的语句格式模板与日志语句相互匹配；54、s403、若格式域匹配成功，则语句格式模板表征的信息性质、语义或类别即为日志语句的格式域；再根据分析模板集合中的信息结点模板所指定的分析算法，提取日志语句的数据域；55、s404、将所提取的格式域和数据域进行组合，形成自助设备的行为信息；其中，格式域标识信息的性质、语义或类别，数据域记载信息的内容；56、s405、若格式域匹配不成功，则判定日志数据为异常节点日志数据。57、优选的，所述s6中的ai智能学习系统用于实现对后续的日志数据信息进行获取和检测，实现对日志数据信息进行判定是否为异常节点日志数据或者正常节点日志数据，并且通过日志异常模型的设定提高检测的效率。58、与现有技术相比，本发明的有益效果是：59、本发明在使用的时候，通过同步复制实现对日志数据信息进行有效的获取，实现对日志数据信息进行实时同步的获取信息，并且通过快照技术实现对数据信息进行复制，并且实现对日志数据信息进行解码分析处理，然后实现对日志数据信息进行加密处理，并且携带签名在日志数据信息的前端，对日志数据信息进行有效的精准性判定，并且实现对日志数据信息进行分析结果输出，并对结果进行报警，然后通过ai智能学习系统进行自主学习，提高后续的日志数据信息检测效率，且通过贝叶斯分类算法完成有效的计算处理。当前第1页12当前第1页12