式中,当所模型建 立单元建立的凸优化表达式>
时,所述计算单元具体用 于:
[0056] 先给定R任意值,求解公式-
辱到L;
[0057] 再给定L任意值,求解公式二
荨到R;
[0058] 确定求解得到的L与R是否满足预设的收敛条件,若满足,则求解得到的L与R为 最终求解值,若不满足,则分别将求解得到的R代入公式一,将求解得到的L代入公式二迭 代求解,直至求解得到的L与R满足所述预设的收敛条件,将求解得到的满足所述预设的收 敛条件的L与R作为最终求解值。
[0059] 结合第二方面,或第二方面的第一种实施方式、或第二方面的第二种实施方式、或 第二方面的第三种实施方式、或第二方面的第四种实施方式、或第二方面的第五种实施方 式、在第二方面的第六种实施方式中,所述装置还包括:
[0060] 第一判断单元,用于在所述矩阵转换单元将用于描述待检测数据的图转化为邻接 矩阵A之前,判断图中的所述待检测数据是不是用具体数值表示的;
[0061] 映射处理单元,用于在所述第一判断单元的判断结果为图中的所述待检测数据不 是用具体数值表示的时,利用预设的映射规则将图中的所述待检测数据正向映射成用具体 数值表示。
[0062] 结合第二方面的第六种实施方式,在第二方面的第七种实施方式中,所述矩阵转 换单元还用于,在所述计算单元求解所建立的凸优化表达式以获取L与R之后,将获取的L 与R进行逆转化,以得到不包含异常数据的子图及包含异常数据的子图;
[0063] 所述装置还包括:
[0064] 第二判断单元,用于判断所述映射处理单元是否对图中的所述待检测数据做了正 向映射,当判断结果为是时,触发所述映射处理单元根据所述预设的映射规则将获得的不 包含异常数据的子图中的数据及包含异常数据的子图中的数据做逆向映射,以将子图中的 数据还原成原始的表示方法。
[0065] 从以上的技术方案可以看出,本发明实施例具有以下优点:
[0066] 本发明实施例中,将用于描述待检测数据的图转化为邻接矩阵A,用L表示A中不 包含异常数据的子图的邻接矩阵,用R表示A中包含异常数据的子图的邻接矩阵,根据待检 测数据中是否包含噪声数据建立不同的凸优化表达式,所建立的凸优化表达式中利用L的 核范数保证L的低秩性,利用R的一阶范数保证R的稀疏性,通过求解所建立的凸优化表达 式获取L与R。本发明实施例中,将异常数据的检测问题转换为凸优化求解的问题,在求解 的过程中,利用L的核范数保证L的低秩性,利用R的一阶范数保证R的稀疏性,最终得到 的解为全局解,在降低检测复杂度的同时提高了检测准确率。
【附图说明】
[0067] 为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需 要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例, 对于本领域技术人员来讲,还可以如这些附图获得其他的附图。
[0068] 图1是本发明提供的异常数据检测方法的一个实施例示意图;
[0069] 图2是本发明提供的异常数据检测方法的另一实施例示意图;
[0070] 图3是本发明提供的异常数据检测装置的一个实施例示意图;
[0071] 图4是本发明提供的异常数据检测装置的另一实施例示意图;
[0072] 图5是本发明提供的异常数据检测装置的另一实施例示意图。
【具体实施方式】
[0073] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域技术人员所获得的所有其他实施例,都属于本发明保护的范围。
[0074] 请参阅附图1,图1是本发明提供的异常数据检测方法的一个实施例示意图,具体 包括:
[0075] 101、将用于描述待检测数据的图转化为邻接矩阵A,用L表示A中不包含异常数据 的子图的邻接矩阵,用R表示A中包含异常数据的子图的邻接矩阵;
[0076] 本实施例中的待检测数据可以是社会网络数据、生物网络数据、计算机网络数据 等,初始时,待检测数据用图来描述。
[0077] 102、检测待检测数据中是否包含噪声数据;
[0078] 噪声数据指的是由于图像生成设备本身的原因,例如光电管的噪声、摄像管的噪 声等产生的数据。
[0079] 103、根据不同的检测结果建立不同的凸优化表达式,所建立的凸优化表达式中利 用L的核范数保证L的低秩性,利用R的一阶范数保证R的稀疏性;
[0080] 其中,L的核范数指的是L的奇异值之和,R的一阶范数指的是R中所有元素的绝 对值之和。
[0081] 104、求解所建立的凸优化表达式以获取L与R。
[0082] 本实施例中,将异常数据的检测问题转换为凸优化求解的问题,在求解的过程中, 利用L的核范数保证L的低秩性,利用R的一阶范数保证R的稀疏性,最终得到的解为全局 解,在降低检测复杂度的同时提高了检测准确率。
[0083] 为便于理解,下面以一具体实施例对本发明的异常数据检测方法进行描述,请参 阅图2,本发明异常数据检测方法另一实施例包括:
[0084] 201、判断图中的待检测数据是不是用具体数值表示的,若不是,则执行步骤202, 若是,则执行步骤203;
[0085] 本实施例中,待检测数据可以是社会网络数据、生物网络数据、计算机网络数据 等,初始时,待检测数据用图来描述。如果图描述的待检测数据直接是用具体的数值表示 的,则图描述的待检测数据就不需要进行正向映射;如果图描述的待检测数据不是用具体 的数值表示的,则需要将图描述的待检测数据做正向映射。
[0086] 202、利用预设的映射规则将图中的待检测数据正向映射成用具体数值表示;
[0087] 具体实现中,例如:在影视评价数据中,通常用好评、中评、差评等词语进行描述, 这些描述不是具体的数值描述,因此需要建立对应的映射规则,如将好评、中评、差评分别 映射成用数值3、2、1表示;再例如,在连接图中,图中表示的是连接关系,那么可以预设映 射规则,将图中有连接的部分用1表示,无连接的部分用〇表示。
[0088] 203、将用于描述待检测数据的图转化为邻接矩阵A;
[0089] 其中,用L表示A中不包含异常数据的子图的邻接矩阵,用R表示A中包含异常数 据的子图的邻接矩阵。
[0090] 204、检测待检测数据中是否包含噪声数据,若包含,则执行步骤205,若不包含,则 执行步骤210;
[0091] 噪声数据指的是由于图像生成设备本身的原因,例如光电管的噪声、摄像管的噪 声等产生的数据。
[0092] 噪声数据通常与待检测数据中的其他数据的数据类型、数据标识不同。因此,本实 施例中,可通过如下方法检测待检测数据中是否包含噪声数据。方法一:检测待检测数据包 括的数据类型中是否有与预设的数据类型相同的,若有,则确定待检测数据中包含噪声数 据,若没有,则确定待检测数据中不包含噪声数据。方法二:检测待检测数据中是否包含有 携带预设标识的数据,若有,则确定待检测数据中包含噪声数据,若没有,则确定待检测数 据中不包含噪声数据。预设的数据类型可以为光电管噪声、摄像管噪声等的数据类型,预设 标识可以为光电管噪声、摄像管噪声等的标识。
[0093] 205、确定待检测数据的数据模型为A=L+R+E;
[0094] 其中,E表示邻接矩阵A中噪声数据的子图的邻接矩阵。
[0095] 206、根据确定的待检测数据的数据模型A=L+R+E建立凸优化表达式
[0096] 其中α,β为权重参数,α,βe(0,〇〇),α,β的大小关系表示输出数据的侧 重性,α,β的值的选取影响α| |L|L及β| |R|L的大小,α| |L|L大于β| |R|L时,表 示输出结果侧重正常数据,a||L||,小于β||R|^4,表示输出结果侧重异常数据;E= A-L-R,表示E的F范数,E的F范数指的是E中每个元素的平方和的平方根,在 具体实现中,越小越好,-Z-越小表明待检测数据中噪声数据越少。
[0097] 207、给定R任意值,求解公式
得到L;
[0098] 因为步骤206建立的公式中有两个未知矩阵L与R,因此,可先给定R任意值,求解 公式一,得到L。
[0099] 208、给定L任意值,求解公式.
辱到R;
[0100] 本步骤与求解L同理求解R。
[0101] 在求解的过程中,通过L的核范数(trancenorm)保证矩阵L的低秩性,矩阵L的 核范数为其奇异值之和,当最小化矩阵的核范数,即当使得矩阵L的大多数奇异值为0时, 则可以保证矩阵L为低秩矩阵。
[0102] 另外,通过R的一阶范数保证矩阵R的稀疏性,矩阵R的一阶范数范数为矩阵R中 的所有元素的绝对值之和,当最小化矩阵R的一阶范数,即当使得矩阵R中的大多数项为0 时,则可保证矩阵R为稀疏矩阵。
[0103] 209、判断所得到的L与R是否满足预设的收敛条件,若满足,则执行步骤213;若 不满足,则返回步骤207,将求解得到的R代入公式一,将求解得到的L代入公式二迭代求 解,直至求解得到的L与R满足所述预设的收敛条件;
[0104] 上述满足预设的收敛条件,例如前后两次计算得到的结果Rl、R2、LI、L2满足 R1-R2 彡 10 4,且L1-L2 彡 10 4。
[0105] 210、当待检测数据中没有噪声数据时,确定待检测数据的数据模型为A=L+R;
[0106] 211、当待检测数据的数据模型为A=L+R时,建立凸优化表达式
[0107] 其中,λ为权重系数,λ e (〇, 1),λ的大小体现输出数据的侧重性,根据实际需 要可设置为侧重正常数据,或侧重异常数据。
[0108] 212、求解步骤211中的凸优化表达式以得到L与R;
[0109] 由于A=L+R,即L=A-R或R=A-L,代入所建立的凸优化表达式
代入后公式中只有一个未知矩阵L或R,即可求得L与R的 值。
[0110] 213、输出求解得到的L与R;
[0111] 214、将矩阵L与R进行逆转化,得到不包含异常数据的子图及包含异常数据的子 图;
[0112] 215、判断待检测数据是否做过正向映射,若做过,则执行步骤216,若没做过,则调 到步骤217,结束处理;
[0113] 具体实现中,即若整个处理流程中包含了步骤202,则说明待检测数据做过正向映 射。
[0114]216、将子图中的数据做逆向映射处理。
[0115] 若检测异常数据之前,对待检测数据做了正向映射,则生成的子图中的数据并非 数据的原始表示方法,例如子图中的数据本来可能是连接关系,被正向映射成了用具体数 值1、〇表示,因此,需要将子图中的数据做逆向映射处理,还原数据的表示方法。
[0116] 另外,需要说明的是,本实施