一种异常数据检测方法、装置、电子设备和存储介质与流程

文档序号:30698530发布日期:2022-07-09 18:43阅读:110来源:国知局
一种异常数据检测方法、装置、电子设备和存储介质与流程

1.本发明涉及人工智能技术领域,具体涉及一种异常数据检测方法、装置、电子设备和存储介质。


背景技术:

2.随着当前科技的快速发展,越来越多的场景中开始采用自动识别数据中异常的方式对数据进行检测,例如检测视频中的异常视频帧、检测文本中的异常文本等。
3.目前,在进行异常数据检测时采取的主要方法是,将需要进行检测的数据与预先准备好的正常数据进行对比,判断需要进行检测的数据是否为异常数据。但是采用这种方案,只能够判断数据整体为正常或异常,不能够确定出数据中具体异常的部分,对数据的检测精度较低,无法满足各类生活生产场景下的检测需求。


技术实现要素:

4.本发明实施例提供一种异常数据检测方法、装置、电子设备和存储介质,可以在进行异常数据检测时无需再加入正常数据以供参考,根据需要进行检测的数据自身的特征确定出数据中异常的部分,减少了在异常数据检测时的计算量,节约计算资源,提升检测精度。
5.本发明实施例提供一种异常数据检测方法,包括:
6.获取待检测数据,将所述待检测数据划分为至少两个待测数据片段;
7.对各所述待测数据片段进行特征提取,得到各所述待测数据片段对应的数据特征;
8.基于各所述数据特征进行图嵌入处理,生成以各所述数据特征为中心节点的图网络;
9.基于各所述图网络中的所述中心节点与邻居节点之间的节点关系,得到用于描述各所述图网络中所述中心节点与邻居节点间相似关系的节点关系特征;
10.将各所述图网络的所述节点关系特征及所述中心节点对应的数据特征进行特征融合,生成各所述待测数据片段的融合特征;
11.基于各所述融合特征确定各所述待测数据片段的异常概率,确定所述待测数据片段中的异常数据片段。
12.相应的,本发明实施例还提供一种异常数据检测装置,包括:
13.数据划分单元,用于获取待检测数据,将所述待检测数据划分为至少两个待测数据片段;
14.特征提取单元,用于对各所述待测数据片段进行特征提取,得到各所述待测数据片段对应的数据特征;
15.图嵌入处理单元,用于基于各所述数据特征进行图嵌入处理,生成以各所述数据特征为中心节点的图网络;
16.节点关系提取单元,用于基于各所述图网络中的所述中心节点与邻居节点之间的节点关系,得到用于描述各所述图网络中所述中心节点与邻居节点间相似关系的节点关系特征;
17.特征融合单元,用于将各所述图网络的所述节点关系特征及所述中心节点对应的数据特征进行特征融合,生成各所述待测数据片段的融合特征;
18.片段确定单元,用于基于各所述融合特征确定各所述待测数据片段的异常概率,确定所述待测数据片段中的异常数据片段。
19.可选的,所述特征提取单元,用于对各所述待测数据片段,通过训练后的异常数据检测网络中的特征提取模块进行特征提取,得到各所述待测数据片段对应的数据特征;
20.所述图嵌入处理单元,用于基于各所述数据特征,通过所述训练后的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成以各所述数据特征为中心节点特征的图网络。
21.可选的,本发明实施例提供的异常数据监测装置还包括网络训练单元,网络训练单元包括样本数据划分单元、样本特征提取单元、样本图嵌入处理单元、样本节点关系提取单元、样本特征融合单元和样本片段确定单元;
22.所述样本数据划分单元,用于获取正常样本数据和异常样本数据,将所述正常样本数据划分为至少两个正常数据片段,将所述异常样本数据划分为至少两个异常数据片段;
23.所述样本特征提取单元,用于分别对各所述正常数据片段和异常数据片段通过待训练的异常数据检测网络中的特征提取模块进行特征提取,得到各所述正常数据片段对应的正常数据特征以及各所述异常数据片段对应的异常数据特征;
24.所述样本图嵌入处理单元,用于基于各所述正常数据特征和异常数据特征通过所述待训练的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成分别以各所述异常数据特征为中心节点特征的训练图网络;
25.所述样本节点关系提取单元,用于基于各所述训练图网络中的所述中心节点与邻居节点之间的节点关系,得到用于描述各所述训练图网络中所述中心节点与邻居节点间相似关系的节点关系特征;
26.所述样本特征融合单元,用于将各所述训练图网络的所述节点关系特征及所述中心节点对应的异常数据特征进行特征融合,生成各所述异常数据片段的训练融合特征;
27.所述样本片段确定单元,用于基于各所述训练融合特征确定各所述异常数据片段的训练异常概率,基于所述训练异常概率对所述待训练的异常数据检测网络的网络参数进行调整,得到训练后的异常数据检测网络。
28.可选的,所述样本片段确定单元,用于基于各所述训练融合特征对应的所述异常数据特征之间的时序关系,得到各所述训练融合特征的时序描述特征;
29.将各所述训练融合特征以及各所述训练融合特征的时序描述特征分别进行特征融合,得到各所述异常数据片段对应的训练时序融合特征;
30.基于各所述训练时序融合特征确定各所述异常数据片段的异常概率。
31.可选的,所述样本图嵌入处理单元,用于基于各所述数据特征,计算各所述数据特征之间的边权重;
32.分别以各所述数据特征为中心节点、除所述中心节点对应的数据特征外的数据特征为邻居节点的初始图网络;
33.从所述初始图网络的邻居节点中,删除所述边权重不大于预设权重阈值的邻居节点,得到图网络。
34.可选的,所述样本图嵌入处理单元,用于根据各所述图网络中,各所述邻居节点、以及各所述邻居节点对应的数据特征与所述中心节点对应的数据特征之间的边权重,计算所述中心节点与各所述邻居节点之间的相似关系;
35.基于所述相似关系,得到各所述图网络的节点关系特征。
36.可选的,所述待检测数据包括至少两个视频帧,所述数据划分单元,用于从各所述视频帧中,确定预设数量的视频帧为聚类簇中心点的中心视频帧;
37.获取各所述视频帧与各所述中心视频帧之间的相似度;
38.将各所述视频帧划分到对应的目标中心视频帧所在的聚类簇中,其中,所述视频帧与所述对应的目标中心视频帧的相似度不低于预设相似度阈值;
39.基于各所述聚类簇中的视频帧,选择各所述聚类簇的新的中心视频帧,返回执行所述获取各所述视频帧与各所述中心视频帧之间的相似度的步骤,直到满足聚类结束条件为止;
40.将每个所述聚类簇中的视频帧,分别确定为一个待测数据片段。
41.相应的,本发明实施例还提供一种电子设备,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行本发明实施例所提供的任一种异常数据检测方法中的步骤。
42.相应的,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种异常数据检测方法中的步骤。
43.此外,本发明实施例还提供一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被处理器执行时实现本发明实施例所提供的任一种异常数据检测方法中的步骤。
44.采用本发明实施例的方案,可以获取待检测数据,将该待检测数据划分为至少两个待测数据片段,对各该待测数据片段进行特征提取,得到各该待测数据片段对应的数据特征,基于各该数据特征进行图嵌入处理,生成以各该数据特征为中心节点的图网络,基于各该图网络中的该中心节点与邻居节点之间的节点关系,得到用于描述各该图网络中该中心节点与邻居节点间相似关系的节点关系特征,将各该图网络的该节点关系特征及该中心节点对应的数据特征进行特征融合,生成各该待测数据片段的融合特征,基于各该融合特征确定各该待测数据片段的异常概率,确定该待测数据片段中的异常数据片段;由于在本发明实施例中,分别提取了待检测数据各待测数据片段的数据特征,根据数据特征进一步提取了各待测数据片段之间对应的节点关系特征,可以通过各待测数据片段自身的特征以及与其他待测数据片段之间的关系,判断各待测数据片段是否为异常数据,因此,可以在进行异常数据检测时无需再加入正常数据以供参考,根据需要进行检测的数据自身的特征确定出数据中异常的部分,减少了在异常数据检测时的计算量,节约计算资源,提升检测精度。
附图说明
45.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
46.图1是本发明实施例提供的异常数据检测方法的场景示意图;
47.图2是本发明实施例提供的异常数据检测方法的流程图;
48.图3是本发明实施例提供的训练后异常数据检测网络的技术实现示意图;
49.图4是本发明实施例提供的异常数据检测网络的训练流程示意图;
50.图5是本发明实施例提供的异常数据检测网络的示意图;
51.图6是本发明实施例提供的异常数据检测方法的另一流程图;
52.图7是本发明实施例提供的异常数据检测装置的结构示意图;
53.图8是本发明实施例提供的网络训练单元的结构示意图;
54.图9是本发明实施例提供的电子设备的结构示意图。
具体实施方式
55.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
56.本发明实施例提供一种异常数据检测方法、装置、电子设备和计算机可读存储介质。具体地,本发明实施例提供适用于异常数据检测装置的异常数据检测方法,该异常数据检测装置可以集成在电子设备中。
57.该电子设备可以为终端等设备,包括但不限于移动终端和固定终端,例如移动终端包括但不限于智能手机、智能手表、平板电脑、笔记本电脑、智能车载等,其中,固定终端包括但不限于台式电脑、智能电视等。
58.该电子设备还可以为服务器等设备,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,但并不局限于此。
59.本发明实施例的异常数据检测方法,可以由服务器实现,也可以由终端和服务器共同实现。
60.下面以终端和服务器共同实现该异常数据检测方法为例,对该方法进行说明。
61.如图1所示,本发明实施例提供的异常数据检测系统包括终端10和服务器20等;终端10与服务器20之间通过网络连接,比如,通过有线或无线网络连接等。
62.其中,终端10可以为上传待检测数据的终端,用于向服务器20发送需要检测是否包括异常数据的待检测数据。
63.服务器20,可以用于获取待检测数据,将待检测数据划分为至少两个待测数据片
段,对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征,基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络,基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征,将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征,基于各融合特征确定各待测数据片段的异常概率,确定待测数据片段中的异常数据片段。
64.可以理解的是,在一些示例中,服务器20执行的异常数据检测的步骤也可以由终端10执行,本发明实施例对此不做限定。
65.以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
66.本发明实施例将从异常数据检测装置的角度进行描述,该异常数据检测装置具体可以集成在服务器或终端中。
67.如图2所示,本实施例的异常数据检测方法的具体流程可以如下:
68.201、获取待检测数据,将待检测数据划分为至少两个待测数据片段。
69.其中,待检测数据为需要检测是否包括异常数据的数据。待检测数据的数据类型可以是视频、音频或文本等,本发明实施例对待检测数据的数据类型不做限定。
70.例如,待检测数据可以为视频数据,异常数据检测可以是检测视频数据中是否存在异常视频帧;待检测数据也可以为文本数据,异常数据检测可以是检测文本数据中是否存在异常文本内容。
71.具体的,在对待检测数据进行划分时,可以是根据待检测数据的数据时序关系,将待检测数据依次切分为n个待测数据片段。例如,当待检测数据为视频时,根据视频帧的播放顺序,每5帧或10帧划分为一个待测数据片段;或者,当待检测数据为文本时,根据文本的中文字的排列顺序,每个段落划分为一个待测数据片段,等等。
72.在另一些实施例中,可以是根据待检测数据的特征,将相似的数据划分为一个待测数据片段。比如,对于文本类型的待检测数据,可以提取文本数据中每句话的语义特征,将语义特征相似的数据作为一个待测数据片段。
73.再比如,以待检测数据为视频数据为例,可以通过聚类等方法对待检测数据中的视频帧进行聚类,将聚类后的视频帧作为待测数据片段。即,待检测数据可以包括至少两个视频帧,步骤“将待检测数据划分为至少两个待测数据片段”,具体可以包括:
74.从各视频帧中,确定预设数量的视频帧为聚类簇中心点的中心视频帧;
75.获取各视频帧与各中心视频帧之间的相似度;
76.将各视频帧划分到对应的目标中心视频帧所在的聚类簇中,其中,视频帧与对应的目标中心视频帧的相似度不低于预设相似度阈值;
77.基于各聚类簇中的视频帧,选择各聚类簇的新的中心视频帧,返回执行获取各视频帧与各中心视频帧之间的相似度的步骤,直到满足聚类结束条件为止;
78.将每个聚类簇中的视频帧,分别确定为一个待测数据片段。
79.其中,聚类簇是基于聚类过程生成的一组数据对象的集合,在本发明实施例中,聚类簇是基于聚类过程生成的一组视频帧的集合。
80.其中,中心视频帧是在对待检测数据中的视频帧进行聚类时确定的聚类中心,中
心视频帧的数量可以是预先设置好的固定数量,第一次聚类时选择的中心视频帧一般是随机选择的。每次选择聚类簇中新的中心视频帧时,可以是在每个聚类簇中选择另一视频帧作为新的中心视频帧。
81.在另一个示例中,聚类过程可以通过聚类模型的形式实现,聚类模型可以通过多次调整中心视频帧的数量对待检测数据中的视频帧进行聚类,确定最准确的中心视频帧的数量。
82.可选的,聚类结束条件可以是每个聚类簇中的视频帧不再发生变化,也可以是每个聚类簇对应的中心视频帧不再发生变化,还可以是预先设置聚类过程中返回执行获取各视频帧与各中心视频帧之间的相似度的步骤的次数,等等。
83.具体的,各视频帧与各中心视频帧之间的相似度,可以通过提取待检测数据中的视频帧的图像语义信息,根据各视频帧的图像语义信息,计算各视频帧与各中心视频帧之间的相似度。
84.或者,可以对各视频帧进行解析,得到各视频帧的直方图特征,根据各视频帧的直方图特征,计算各视频帧与各中心视频帧之间的相似度。即,步骤“获取各视频帧与各中心视频帧之间的相似度”可以包括:
85.对各视频帧进行像素分析,确定各视频帧中各像素点的像素值;
86.根据各像素点的像素值,统计各视频帧的直方数据作为各视频帧的直方图特征;
87.根据各视频帧的直方图特征,计算各视频帧与各中心视频帧之间的相似度。
88.可以理解的是,各视频帧的直方图特征可以在聚类计算之前预先获取,或者,也可以在聚类计算过程中实时地获取,本发明实施例对此不做限定。
89.202、对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征。
90.在一些可选的示例中,根据不同待测数据片段对应的数据类型,可以采用不同的特征提取方法对待测数据片段进行特征提取。对于待测数据片段对应的数据类型,可以通过对数据进行检测得到,也可以在输入待检测数据时输入数据类型信息等。
91.比如,对于文本类型的待测数据片段可以采用one-hot编码、tf-idf等方法进行特征提取;对于音频类型的待测数据片段可以采用通过对待测数据片段进行声谱和频谱的提取,再根据提取出的声谱和频谱做分帧、加窗、滤波、傅里叶变换等处理进行特征提取;对于视频类型的待测数据片段可以通过提取视频帧的方向梯度直方图特征、局部二值特征等方法进行特征提取。
92.在另一些可选的示例中,可以基于人工智能技术对待测数据片段进行特征提取,也就是说,可以通过构建的异常数据检测网络进行特征提取,步骤“对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征”,具体可以包括:
93.对各待测数据片段,通过训练后的异常数据检测网络中的特征提取模块进行特征提取,得到各待测数据片段对应的数据特征。
94.其中,特征提取模块的参数具体可以包括异常数据检测网络中用于提取数据特征的特征提取层的层数、特征提取层的输入通道数量等等。例如,若异常数据检测网络的特征提取模块由卷积层构成,则异常数据检测网络的特征提取模块的参数可以包括卷积层的层数、卷积层中卷积核的大小和/或每个卷积层对应的输入通道数量,等等。
95.可以理解的是,异常数据检测网络的特征提取模块中可以只有一层用于提取特征
的特征提取层,也可以有多层特征提取层对各待测数据片段进行特征提取。当异常数据检测网络中有多层特征提取层时,随着特征提取层的提取操作的增加,每个特征提取层提取得到的提取结果中,关于待测数据片段的特征信息会越来越多。
96.其中,异常数据检测网络的构建过程,具体涉及人工智能中的机器学习(machine learning,ml),机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
97.为了异常数据检测网络可以实现对视频类型的待检测数据的异常检测,在构建过程中,还应用了计算机视觉技术(computer vision,cv),计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
98.为了异常数据检测网络可以实现对文本类型的待检测数据的异常检测,在构建过程中,还可以应用了自然语言处理技术,自然语言处理(nature language processing,nlp)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
99.203、基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络。
100.其中,图网络可以表示数据特征之间的拓扑关系。
101.图嵌入(graph embedding)是一种将图数据(通常为高维稠密的矩阵)映射为低微稠密向量(即embedding特征)的过程。通过图嵌入处理,可以捕捉到图网络的拓扑结构,图网络中顶点与顶点的关系,以及其他的信息(如子图,连边等)。
102.在一些示例中,可以将一数据特征作为中心节点,将各数据特征中除了作为中心节点的数据特征之外的数据特征作为邻居节点。可以将中心节点与各邻居节点连接,得到图网络。
103.例如,有数据特征a、b、c,可以分别将a作为中心节点、b和c作为邻居节点,连接a、b和a、c,得到一个图网络;将b作为中心节点、a和c作为邻居节点,连接b、a和b、c,得到又一个图网络;将c作为中心节点、a和b作为邻居节点,连接c、a和c、b,得到再一个图网络。
104.在另一些示例中,可以根据节点之间的边权重,对节点进行筛选,再根据筛选后的节点生成图网络。即,步骤“基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络”,包括:
105.基于各数据特征,计算各数据特征之间的边权重;
106.分别以各数据特征为中心节点、除中心节点对应的数据特征外的数据特征为邻居节点的初始图网络;
107.从初始图网络的邻居节点中,删除边权重不大于预设权重阈值的邻居节点,得到图网络。
108.通过对邻居节点的筛选,可以减少各图网络的数据量,节约计算资源,在提取节点关系特征时能够提升提取效率。
109.其中,预设权重阈值可以由技术人员根据实际需求进行设置,本发明实施例对此不做限定。
110.具体的,边权重可以表示边两端的节点之间相互关系的强弱。在一些示例中,边权重可以为边两端节点的度的乘积。
111.在另一些示例中,边权重可以通过如下公式计算得到:
[0112][0113]
其中,fcj可以为中心节点对应的数据特征,fci可以为该中心节点在初始图网络中对应的第i个邻居节点对应的数据特征,f(fci,fcj)即为中心节点j与邻居节点i之间的边权重。
[0114]
可选的,可以当边权重不大于预设权重阈值时,令边权重为0,此时,步骤“基于各数据特征,计算各数据特征之间的边权重”可以包括:基于各数据特征和预设权重阈值,计算各数据特征之间的边权重。
[0115]
对应的,步骤“从初始图网络的邻居节点中,删除边权重不大于预设权重阈值的邻居节点,得到图网络”可以包括:从初始图网络的邻居节点中,删除边权重为0的邻居节点,得到图网络.
[0116]
此时,边权重的计算方式可以如下公式所示:
[0117][0118][0119]
其中,τ为预设权重阈值。
[0120]
在一些可选的示例中,为了提升异常数据检测效率,可以在异常数据检测网络中设置图嵌入模块进行图嵌入处理,步骤“基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点特征的图网络”,具体可以包括:
[0121]
基于各数据特征,通过训练后的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成以各数据特征为中心节点特征的图网络。
[0122]
可以理解的是,本发明实施例中的图网络,只将中心节点与各邻居节点连接,而邻居节点之间不进行连边处理。
[0123]
204、基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征。
[0124]
在一些可选的示例中,由于边权重可以对边两端的节点之间相互关系进行表示,因此,可以将中心节点与各邻居节点之间的边权重进行融合,将融合后的边权重作为节点关系特征。
[0125]
具体的,可以将各边权重按预设排列顺序进行排列,得到一个由边权重组成的向量,将该向量作为节点关系特征;或者,可以将边权重进行拼接,将拼接后的边权重作为节点关系特征等等。
[0126]
在另一些可选的示例中,可以根据边权重和各节点对应的数据特征进行进一步的相似关系提取,步骤“基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征”,具体可以包括:
[0127]
根据各图网络中,各邻居节点对应的数据特征、以及各邻居节点对应的数据特征与中心节点对应的数据特征之间的边权重,计算中心节点与各邻居节点之间的相似关系;
[0128]
基于相似关系,得到各图网络的节点关系特征。
[0129]
具体的,相似关系可以通过如下公式计算得到:
[0130][0131]
其中,h为中心节点j在图网络中对应的邻居节点的数量。
[0132]
相似关系可以作为邻居节点的聚合特征,表示邻居节点与中心节点之间的关系特征。
[0133]
205、将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征。
[0134]
其中,对节点关系特征以及中心节点对应的数据特征进行特征融合,可以是将节点关系特征与中心节点对应的数据特征进行拼接,也可以是对节点关系特征与中心节点对应的数据特征进行加权计算。
[0135]
例如,可以将中心节点与各邻居节点之间的边权重相加,将相加后的边权重作为中心节点对应的数据特征进行加权计算时的权重等等。具体的权重设置方式可以由技术人员根据实际情况进行设定,本发明实施例对此不做限定。
[0136]
在另一些实施例中,可以将节点关系特征与中心节点对应的数据特征进行拼接,将拼接后的特征,输入到数层全连接层中得到全连接特征作为融合特征。
[0137]
如图3所示,在本发明实施例中,可以将从各图网络中提取的节点关系特征分别与各图网络的中心节点对应的数据特征进行拼接,得到各待测数据片段的融合特征。
[0138]
206、基于各融合特征确定各待测数据片段的异常概率,确定待测数据片段中的异常数据片段。
[0139]
具体的,可以通过预设的概率映射关系对各融合特征进行映射,得到各待测数据片段的异常概率。
[0140]
例如,可以通过分类器对各融合特征进行分类,得到各待测数据片段的异常概率。例如,分类器可以为朴素贝叶斯分类器、支持向量机等。或者,也可以通过预设的概率映射函数对融合特征进行计算,得到各待测数据片段的异常概率等。
[0141]
在本发明实施例中,可以将异常概率大于预设概率阈值的待测数据片段作为异常数据片段。预设概率阈值可以由技术人员根据实际应用情况进行设定。
[0142]
比如,可以设置预设概率阈值为0.6,则异常概率大于0.6的待测数据片段即为异常数据片段。
[0143]
在一些实施例中,可以结合待测数据片段中数据的时序信息,为确定待测数据片段的异常概率提供更多参考信息。因此,步骤“基于各融合特征确定各待测数据片段的异常概率”具体可以包括:
[0144]
基于各融合特征对应的数据特征之间的时序关系,得到各融合特征的时序描述特征;
[0145]
将各融合特征以及各融合特征的时序描述特征分别进行特征融合,得到各待测数据片段对应的时序融合特征;
[0146]
基于各时序融合特征确定各待测数据片段的异常概率。
[0147]
通过融合时序信息,可以提高对于待测数据片段的异常概率的预测的准确性。
[0148]
在一些可选的示例中,可以通过异常数据检测网络进行异常数据检测。可以理解的是,本发明实施例中的异常数据检测网络是通过预训练得到的。通过预训练的过程,可以对异常数据检测网络的参数等进行调整,使异常数据检测网络能够达到更好的异常数据检测性能。
[0149]
也就是说,步骤“对各待测数据片段,通过训练后的异常数据检测网络中的特征提取模块进行特征提取”之前,本发明实施例提供的异常数据检测方法还可以包括:
[0150]
获取正常样本数据和异常样本数据,将正常样本数据划分为至少两个正常数据片段,将异常样本数据划分为至少两个异常数据片段;
[0151]
分别对各正常数据片段和异常数据片段通过待训练的异常数据检测网络中的特征提取模块进行特征提取,得到各正常数据片段对应的正常数据特征以及各异常数据片段对应的异常数据特征;
[0152]
基于各正常数据特征和异常数据特征通过待训练的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成分别以各异常数据特征为中心节点特征的训练图网络;
[0153]
基于各训练图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各训练图网络中中心节点与邻居节点间相似关系的节点关系特征;
[0154]
将各训练图网络的节点关系特征及中心节点对应的异常数据特征进行特征融合,生成各异常数据片段的训练融合特征;
[0155]
基于各训练融合特征确定各异常数据片段的训练异常概率,基于训练异常概率对待训练的异常数据检测网络的网络参数进行调整,得到训练后的异常数据检测网络。
[0156]
其中,正常样本数据为标注为正常的样本数据,也就是说,正常样本数据中不包括异常的数据。
[0157]
其中,异常样本数据为标注为异常的样本数据。需要说明的是,异常样本数据的标注是对异常样本数据整体进行标注,并未标注出异常样本数据中具体异常的部分。也就是说,根据异常样本数据的标注,只能确定异常样本数据中包括异常的数据,但是并不能够确定具体其中的哪些数据是异常的。
[0158]
具体的,在训练过程中进行特征提取、图嵌入处理等过程与前述异常数据检测网络进行异常数据检测的过程类似,本实施例在此不再赘述。
[0159]
例如,如图4所示,异常数据检测网络中的特征提取模块可以基于cnn构建。通过特
征提取模块可以提取出各正常数据片段和异常数据片段对应的特征图分别作为正常数据特征和异常数据特征。
[0160]
进一步的,正常数据特征和异常数据特征可以通过图嵌入模块进行图嵌入处理,将图嵌入处理得到的图网络进行训练节点关系特征的提取、特征融合等操作,可以得到各异常数据片段的训练融合特征。
[0161]
可以理解的是,在训练使用的样本数据中,只有正常样本数据,才能明确这组数据对应的每一个数据片段都是正常的,但是在异常样本数据里,并不能知道哪一个数据片段是正常的,哪一个数据片段是不正常的,因此,可以借助时序信息,将正常样本数据的每个正常数据片段,和异常样本数据里的每个数据片段做对比,从而找出异常样本数据里真正的异常数据片段。
[0162]
因此,步骤“基于各训练融合特征确定各异常数据片段的异常概率”,具体可以包括:
[0163]
基于各训练融合特征对应的异常数据特征之间的时序关系,得到各训练融合特征的时序描述特征;
[0164]
将各训练融合特征以及各训练融合特征的时序描述特征分别进行特征融合,得到各异常数据片段对应的训练时序融合特征;
[0165]
基于各训练时序融合特征确定各异常数据片段的异常概率。
[0166]
比如,可以将各训练融合特征通过transformer模型学习数据片段与数据片段之间的时序信息,最后得到和训练融合特征同维度的训练时序融合特征,此时的训练时序融合特征已经具备了完整的时序信息。
[0167]
如图5所示,在实际应用过程中,为了保证训练的鲁棒性,可以对每个图网络随机保留中心节点的n个邻居节点构建出训练图网络。另外,还可以将边权重不大于预设权重阈值的邻居节点剔除。即,步骤“基于各正常数据特征和异常数据特征通过待训练的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成分别以各异常数据特征为中心节点特征的训练图网络”,具体可以包括:
[0168]
基于各正常数据特征和异常数据特征,计算各异常数据特征与各正常数据特征之间的边权重;
[0169]
分别以各异常数据特征为中心节点特征、正常数据特征为邻居节点特征的初始训练图网络;
[0170]
从初始训练图网络的邻居节点特征中,去除边权重不大于预设权重阈值的正常数据特征对应的邻居节点特征,得到训练图网络。
[0171]
其中,各异常数据特征与各正常数据特征之间的边权重可以通过如下公式计算得到:
[0172][0173]
其中,fc
abnormal_clipj
可以为中心节点对应的异常数据特征,fc
normal_clipi
可以为该中心节点在初始图网络中对应的第i个邻居节点对应的正常数据特征,f(fc
normal_clipi
,fc
abnormal_clipj
)即为中心节点j与邻居节点i之间的边权重。
[0174]
可选的,可以当边权重不大于预设权重阈值时,令边权重为0,此时,步骤“基于各
正常数据特征和异常数据特征,计算各异常数据特征与各正常数据特征之间的边权重”可以包括:基于各正常数据特征、异常数据特征和预设权重阈值,计算各正常数据特征和异常数据特征之间的边权重。
[0175]
对应的,步骤“从初始训练图网络的邻居节点特征中,去除边权重不大于预设权重阈值的正常数据特征对应的邻居节点特征,得到训练图网络”可以包括:从初始训练图网络的邻居节点中,删除边权重为0的邻居节点,得到训练图网络.
[0176]
此时,边权重的计算方式可以如下公式所示:
[0177][0178][0179]
其中,τ为预设权重阈值。
[0180]
在一些可选的示例中,可以根据边权重和各节点对应的数据特征进行相似关系提取,步骤“基于各训练图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各训练图网络中中心节点与邻居节点间相似关系的节点关系特征”,具体可以包括:
[0181]
根据各训练图网络中,各邻居节点对应的正常数据特征、以及各邻居节点对应的正常数据特征与中心节点对应的异常数据特征之间的边权重,计算中心节点与各邻居节点之间的相似关系;
[0182]
基于相似关系,得到各训练图网络的节点关系特征。
[0183]
具体的,相似关系可以通过如下公式计算得到:
[0184][0185]
其中,h为中心节点j在图网络中对应的邻居节点的数量。
[0186]
相似关系可以作为邻居节点的聚合特征,表示邻居节点与中心节点之间的关系特征。
[0187]
由上可知,本发明实施例可以获取待检测数据,将待检测数据划分为至少两个待测数据片段,对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征,基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络,基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征,将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征,基于各融合特征确定各待测数据片段的异常概率,确定待测数据片段中的异常数据片段;由于在本发明实施例中,分别提取了待检测数据各待测数据片段的数据特征,根据数据特征进一步提取了各待测数据片段之间对应的节点关系特征,可以通过各待测数据片段自身的特征以及与其他待测数据片段之间的关系,判断各待测数据片段是否为异常数据,因此,可以在进行异常数据检测时无需再加入正常数据以供参考,根据需要进行检测的数据自身的特征确定出数据中异常的部分,减少了在异常数据检测时的计算量,节约计算资源,提升检测精度。
[0188]
根据前面实施例所描述的方法,以下将举例作进一步详细说明。
[0189]
在本实施例中,将以数据类型为视频为例,结合图1的系统进行说明。
[0190]
如图6所示,本实施例的异常数据检测方法,具体流程可以如下:
[0191]
601、终端获取正常样本数据和异常样本数据,将正常样本数据划分为至少两个正常数据片段,将异常样本数据划分为至少两个异常数据片段。
[0192]
具体的,可以在训练过程中,将正常视频(正常样本数据)和异常视频(异常样本数据)两两组合成对。每个视频根据直方图特征聚成k类,对每个视频分别分成k个数据片段。
[0193]
每个数据片段可以使用跨步采帧,将不定长的视频数据片段转换为固定长度的时序图片。
[0194]
602、终端分别对各正常数据片段和异常数据片段通过待训练的异常数据检测网络中的特征提取模块进行特征提取,得到各正常数据片段对应的正常数据特征以及各异常数据片段对应的异常数据特征。
[0195]
k个数据片段通过卷积神经网络(cnn)获得对应的特征,例如,正常数据片段和异常数据片段的featuremap先经过全连接层得到k个特征向量fc
normal_clip1
到fc
normal_clipk
,fc
abnormal_clip1
到fc
abnormal_clipk
,这些特征向量可以作为图网络的节点。即,可以得到k个正常数据特征和k个异常数据特征。
[0196]
603、终端基于各正常数据特征和异常数据特征通过待训练的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成分别以各异常数据特征为中心节点特征的训练图网络。
[0197]
异常数据片段对应的每个异常数据特征分别作为图网络的中心节点,分别与正常数据片段对应的每个正常数据特征对应的节点建立联系,节点和节点之间的边权重,具体计算公式在此不再赘述。
[0198]
604、终端基于各训练图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各训练图网络中中心节点与邻居节点间相似关系的节点关系特征。
[0199]
构建出k个图网络之后,为了保证训练的鲁棒性,对每个图网络,可以随机保留中心节点的n个邻居节点构建出子图,而权重为0的邻居节点会被直接剔除。经过随机采样的子图可以提取出邻居节点的聚合特征fc
abnormal_agg_clipi
,表示的是异常数据片段和正常数据片段的相似关系。
[0200]
通过步骤604,可以比对每个数据片段的异常数据特征和正常数据特征的关系,以确切的正常数据特征辅助信息不确切的异常数据特征的学习。异常数据特征节点关系特征提取后,输出对应k个异常数据片段对应的节点关系特征。
[0201]
605、终端将各训练图网络的节点关系特征及中心节点对应的异常数据特征进行特征融合,生成各异常数据片段的训练融合特征。
[0202]
fc
abnormal_agg_clipi
将会和中心节点的特征fc
abnormal_clipi
进行concat,随后输入到数层全连接层中得到全连接特征,这样的全连接特征一共有k个。
[0203]
606、终端基于各训练融合特征对应的异常数据特征之间的时序关系,得到各训练融合特征的时序描述特征,将各训练融合特征以及各训练融合特征的时序描述特征分别进行特征融合,得到各异常数据片段对应的训练时序融合特征。
[0204]
在本发明实施例中,可以将训练融合特征输入到异常数据检测网络的transformer层学习数据片段与数据片段之间的时序信息,最后得到和训练融合特征同维
度的特征:训练时序融合特征,此时的训练时序融合特征已经具备了完整的时序信息。
[0205]
607、终端基于各训练时序融合特征确定各异常数据片段的异常概率,基于训练异常概率对待训练的异常数据检测网络的网络参数进行调整,得到训练后的异常数据检测网络。
[0206]
最后经过全连接层得到维度为k的异常概率预测向量,取最大操作后,将最大概率与标签进行有监督学习,并更新异常数据检测网络中的相关参数。
[0207]
608、终端获取待检测数据,采用训练后的异常数据检测网络对待检测数据进行异常数据检测。
[0208]
可以输入任意视频,划分成k个数据片段,通过卷积神经网络(cnn)获取特征,每个特征经过全连接层变成k个特征向量,k个特征向量建立图网络,以每个数据片段作为中心节点分别可以得到图网络聚合特征以及数据片段的已有特征,k个数据片段的特征进行融合,随后输入到全连接层,得到片段异常概率预测向量,最后以超过异常阈值的数据片段作为异常片段输出。
[0209]
由上可知,本发明实施例可以获取待检测数据,将待检测数据划分为至少两个待测数据片段,对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征,基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络,基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征,将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征,基于各融合特征确定各待测数据片段的异常概率,确定待测数据片段中的异常数据片段;由于在本发明实施例中,分别提取了待检测数据各待测数据片段的数据特征,根据数据特征进一步提取了各待测数据片段之间对应的节点关系特征,可以通过各待测数据片段自身的特征以及与其他待测数据片段之间的关系,判断各待测数据片段是否为异常数据,因此,可以在进行异常数据检测时无需再加入正常数据以供参考,根据需要进行检测的数据自身的特征确定出数据中异常的部分,减少了在异常数据检测时的计算量,节约计算资源,提升检测精度。
[0210]
为了更好地实施以上方法,相应的,本发明实施例还提供一种异常数据检测装置。
[0211]
参考图7,该装置可以包括:
[0212]
数据划分单元701,可以用于获取待检测数据,将待检测数据划分为至少两个待测数据片段;
[0213]
特征提取单元702,可以用于对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征;
[0214]
图嵌入处理单元703,可以用于基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络;
[0215]
节点关系提取单元704,可以用于基于各图网络中的中心节点与邻居节点之间的节点关系,得到可以用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征;
[0216]
特征融合单元705,可以用于将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征;
[0217]
片段确定单元706,可以用于基于各融合特征确定各待测数据片段的异常概率,确
定待测数据片段中的异常数据片段。
[0218]
在一些可选的实施例中,特征提取单元702,可以用于对各待测数据片段,通过训练后的异常数据检测网络中的特征提取模块进行特征提取,得到各待测数据片段对应的数据特征;
[0219]
图嵌入处理单元703,可以用于基于各数据特征,通过训练后的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成以各数据特征为中心节点特征的图网络。
[0220]
在一些可选的实施例中,如图8所示,本发明实施例提供的异常数据监测装置还可以包括网络训练单元707,网络训练单元707可以包括样本数据划分单元7071、样本特征提取单元7072、样本图嵌入处理单元7073、样本节点关系提取单元7074、样本特征融合单元7075和样本片段确定单元7076;
[0221]
样本数据划分单元7071,可以用于获取正常样本数据和异常样本数据,将正常样本数据划分为至少两个正常数据片段,将异常样本数据划分为至少两个异常数据片段;
[0222]
样本特征提取单元7072,可以用于分别对各正常数据片段和异常数据片段通过待训练的异常数据检测网络中的特征提取模块进行特征提取,得到各正常数据片段对应的正常数据特征以及各异常数据片段对应的异常数据特征;
[0223]
样本图嵌入处理单元7073,可以用于基于各正常数据特征和异常数据特征通过待训练的异常数据检测网络中的图嵌入模块进行图嵌入处理,生成分别以各异常数据特征为中心节点特征的训练图网络;
[0224]
样本节点关系提取单元7074,可以用于基于各训练图网络中的中心节点与邻居节点之间的节点关系,得到可以用于描述各训练图网络中中心节点与邻居节点间相似关系的节点关系特征;
[0225]
样本特征融合单元7075,可以用于将各训练图网络的节点关系特征及中心节点对应的异常数据特征进行特征融合,生成各异常数据片段的训练融合特征;
[0226]
样本片段确定单元7076,可以用于基于各训练融合特征确定各异常数据片段的训练异常概率,基于训练异常概率对待训练的异常数据检测网络的网络参数进行调整,得到训练后的异常数据检测网络。
[0227]
在一些可选的实施例中,样本片段确定单元7076,可以用于基于各训练融合特征对应的异常数据特征之间的时序关系,得到各训练融合特征的时序描述特征;
[0228]
将各训练融合特征以及各训练融合特征的时序描述特征分别进行特征融合,得到各异常数据片段对应的训练时序融合特征;
[0229]
基于各训练时序融合特征确定各异常数据片段的异常概率。
[0230]
在一些可选的实施例中,样本图嵌入处理单元7073,可以用于基于各数据特征,计算各数据特征之间的边权重;
[0231]
分别以各数据特征为中心节点、除中心节点对应的数据特征外的数据特征为邻居节点的初始图网络;
[0232]
从邻居节点中,删除边权重不大于预设权重阈值的邻居节点,得到图网络。
[0233]
在一些可选的实施例中,样本图嵌入处理单元7073,可以用于根据各图网络中,各邻居节点、以及各邻居节点对应的数据特征与中心节点对应的数据特征之间的边权重,计算中心节点与各邻居节点之间的相似关系;
[0234]
基于相似关系,得到各图网络的节点关系特征。
[0235]
在一些可选的实施例中,待检测数据可以包括至少两个视频帧,数据划分单元701,可以用于从各视频帧中,确定预设数量的视频帧为聚类簇中心点的中心视频帧;
[0236]
获取各视频帧与各中心视频帧之间的相似度;
[0237]
将各视频帧划分到对应的目标中心视频帧所在的聚类簇中,其中,视频帧与对应的目标中心视频帧的相似度不低于预设相似度阈值;
[0238]
基于各聚类簇中的视频帧,选择各聚类簇的新的中心视频帧,返回执行获取各视频帧与各中心视频帧之间的相似度的步骤,直到满足聚类结束条件为止;
[0239]
将每个聚类簇中的视频帧,分别确定为一个待测数据片段。
[0240]
由上可知,通过异常数据检测装置,可以获取待检测数据,将待检测数据划分为至少两个待测数据片段,对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征,基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络,基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征,将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征,基于各融合特征确定各待测数据片段的异常概率,确定待测数据片段中的异常数据片段;由于在本发明实施例中,分别提取了待检测数据各待测数据片段的数据特征,根据数据特征进一步提取了各待测数据片段之间对应的节点关系特征,可以通过各待测数据片段自身的特征以及与其他待测数据片段之间的关系,判断各待测数据片段是否为异常数据,因此,可以在进行异常数据检测时无需再加入正常数据以供参考,根据需要进行检测的数据自身的特征确定出数据中异常的部分,减少了在异常数据检测时的计算量,节约计算资源,提升检测精度。
[0241]
此外,本发明实施例还提供一种电子设备,该电子设备可以为终端或者服务器等等,如图9所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
[0242]
该电子设备可以包括射频(rf,radio frequency)电路901、包括有一个或一个以上计算机可读存储介质的存储器902、输入单元903、显示单元904、传感器905、音频电路906、无线保真(wifi,wireless fidelity)模块907、包括有一个或者一个以上处理核心的处理器908、以及电源909等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
[0243]
rf电路901可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器908处理;另外,将涉及上行的数据发送给基站。通常,rf电路901包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim,subscriber identity module)卡、收发信机、耦合器、低噪声放大器(lna,low noise amplifier)、双工器等。此外,rf电路901还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(gsm,global system of mobile communication)、通用分组无线服务(gprs,general packet radio service)、码分多址(cdma,code division multiple access)、宽带码分多址(wcdma,wideband code division multiple access)、长期演进(lte,long term evolution)、电子邮件、短消息服务(sms,short messaging service)等。
[0244]
存储器902可用于存储软件程序以及模块,处理器908通过运行存储在存储器902的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器902还可以包括存储器控制器,以提供处理器908和输入单元903对存储器902的访问。
[0245]
输入单元903可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元903可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器908,并能接收处理器908发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元903还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0246]
显示单元904可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元904可包括显示面板,可选的,可以采用液晶显示器(lcd,liquid crystal display)、有机发光二极管(oled,organic light-emitting diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器908以确定触摸事件的类型,随后处理器908根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
[0247]
电子设备还可包括至少一种传感器905,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0248]
音频电路906、扬声器,传声器可提供用户与电子设备之间的音频接口。音频电路906可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输
出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路906接收后转换为音频数据,再将音频数据输出处理器908处理后,经rf电路901以发送给比如另一电子设备,或者将音频数据输出至存储器902以便进一步处理。音频电路906还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
[0249]
wifi属于短距离无线传输技术,电子设备通过wifi模块907可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了wifi模块907,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
[0250]
处理器908是电子设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器902内的软件程序和/或模块,以及调用存储在存储器902内的数据,执行电子设备的各种功能和处理数据。可选的,处理器908可包括一个或多个处理核心;优选的,处理器908可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器908中。
[0251]
电子设备还包括给各个部件供电的电源909(比如电池),优选的,电源可以通过电源管理系统与处理器908逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源909还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0252]
尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器908会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中,并由处理器908来运行存储在存储器902中的应用程序,从而实现各种功能,如下:
[0253]
获取待检测数据,将待检测数据划分为至少两个待测数据片段;
[0254]
对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征;
[0255]
基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络;
[0256]
基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征;
[0257]
将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征;
[0258]
基于各融合特征确定各待测数据片段的异常概率,确定待测数据片段中的异常数据片段。
[0259]
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
[0260]
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种异常数据检测方法中的步骤。例如,该指令可以执行如下步骤:
[0261]
获取待检测数据,将待检测数据划分为至少两个待测数据片段;
[0262]
对各待测数据片段进行特征提取,得到各待测数据片段对应的数据特征;
[0263]
基于各数据特征进行图嵌入处理,生成以各数据特征为中心节点的图网络;
[0264]
基于各图网络中的中心节点与邻居节点之间的节点关系,得到用于描述各图网络中中心节点与邻居节点间相似关系的节点关系特征;
[0265]
将各图网络的节点关系特征及中心节点对应的数据特征进行特征融合,生成各待测数据片段的融合特征;
[0266]
基于各融合特征确定各待测数据片段的异常概率,确定待测数据片段中的异常数据片段。
[0267]
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
[0268]
其中,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
[0269]
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种异常数据检测方法中的步骤,因此,可以实现本发明实施例所提供的任一种异常数据检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
[0270]
根据本技术的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述实施例中的各种可选实现方式中提供的方法。
[0271]
以上对本发明实施例所提供的一种异常数据检测方法、装置、电子设备和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1