应用识别验证方法及装置制造方法
【专利摘要】本发明实施例提供一种应用识别验证方法及装置，该方法包括：获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量；获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量；根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值。本发明实施例能够快速、准确验证网关设备的应用识别结果。
【专利说明】应用识别验证方法及装置
【技术领域】
[0001 ] 本发明实施例涉及通信技术，尤其涉及一种应用识别验证方法及装置。
【背景技术】
[0002]随着各种应用层出不穷，更多更复杂的安全风险隐藏于各种应用之中，例如:一些消耗带宽的应用，流媒体、视频下载等，挤占正常的网络资源，严重影响了企业的正常工作，网络完全管理面临新的挑战和新的问题。
[0003]网关设备对应用的识别非常重要，特别是应用流量的准确识别，不但可洞悉整个网络的运行情况，而且可针对具体需求对用户行为进行准确管控，这在一定程度上既可保证业务流的高效运行，也可预防由于内网中毒引起的断网事件。
[0004]因此，对网关设备的应用识别进行验证和分析，对网络管理和网络安全至关重要。然而，现有技术缺少一种能够快速、准确验证和分析应用识别的方法。
【发明内容】
[0005]本发明实施例提供一种应用识别验证方法及装置，能够快速、准确验证网关设备的应用识别结果。
[0006]第一方面，本发明实施例提供一种应用识别验证方法，包括:
[0007]获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量；
[0008]获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量；
[0009]根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值。
[0010]第二方面，本发明实施例提供一种应用识别验证装置，包括:
[0011]第一获取模块，用于获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量；
[0012]第二获取模块，用于获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量；
[0013]验证模块，用于根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值。
[0014]本发明实施例提供的应用识别验证方法及装置，通过获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量；获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量；根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值，不需要人员到现场对网关设备进行检测，可以快速验证网关设备的应用识别结果，通过将用户设备的应用识别结果作为验证依据，并结合网关设备的应用识别结果，对网关设备的应用识别结果进行验证，提高了验证网关设备的应用识别结果的正确率。
【专利附图】
【附图说明】
[0015]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本发明应用识别验证方法实施例一的流程图；
[0017]图2为本发明应用识别验证方法实施例二的流程图；
[0018]图3为本发明应用识别验证装置实施例一的结构示意图；
[0019]图4为本发明应用识别验证装置实施例二的结构示意图。
【具体实施方式】
[0020]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0021]图1为本发明应用识别验证方法实施例一的流程图。本实施例提供的应用识别验证方法可以由任意的应用识别验证装置实现，该应用识别验证装置可以通过软件和/或硬件实现。如图1所示，本发明实施例的应用识别验证方法包括:
[0022]步骤101、获取用户设备的应用识别结果，用户设备的应用识别结果包括至少一个第一应用标识、各第一应用标识对应的流量；
[0023]步骤102、获取网关设备的应用识别结果，网关设备的应用识别结果包括至少一个第二应用标识、各第二应用标识对应的流量；
[0024]步骤103、根据至少一个第一应用标识、各第一应用标识对应的流量，以及至少一个第二应用标识、各第二应用标识对应的流量，对网关设备的应用识别结果进行验证，确定网关设备的应用识别结果的第一误判值。
[0025]在具体应用过程中，步骤101和步骤102没有严格的时序关系。在本实施例中，在步骤101中，获取用户设备的应用识别结果，其中用户设备可以为各种智能手机、个人电脑、平板等一切可以产生数据流量的设备，用户设备的应用识别结果包括至少一个第一应用标识、各第一应用标识对应的流量。
[0026]本领域技术人员可以理解，在用户设备上安装了各种第一应用，当应用设备上的各种第一应用在使用过程中，可能产生流量，其中流量主要指数据流量。在具体实现过程中，用户设备通过进程管理器、进程监控器、网络连接器等获取至少一个第一应用标识、各第一应用标识对应的流量。然后应用识别验证装置获取用户设备的应用识别结果。在具体实现过程中，用户设备可以周期性的向应用识别验证装置发送用户设备的应用识别结果，或者，由应用识别装置向用户设备发送请求消息，用户设备在收到请求消息之后，反馈用户设备的应用识别结果，或者应用识别装置直接从用户设备中导出用户设备的应用识别结果。
[0027]本领域技术人员可以理解，在用户设备上获取的各第一应用标识对应的流量为准确的流量。
[0028]在步骤102中，获取网关设备的应用识别结果，其中，网关设备的应用识别结果包括至少一个第二应用标识、各第二应用标识对应的流量。具体地，网关设备对各第二应用的流量进行流量监控，获取各第二应用的流量，然后应用识别验证装置接收网关设备发送的应用识别结果。本领域技术人员可以理解，网关设备获取的第二应用的流量，是网关设备进行流量监控获取的，没有直接从用户设备上获取，因此，网关设备获取的各第二应用标识对应的流量不是准确的流量，存在误差。本领域技术人员可以理解，应用识别验证装置获取网关设备的应用识别结果与应用识别验证装置获取用户设备的应用识别结果的方式类似，本实施例此处不再赘述。
[0029]本领域技术人员可以理解，对于同一应用，为了便于区分，对于用户设备，称为第一应用，对应的标识为第一应用标识，对于网关设备，称为第二应用，对应的标识为第二应用标识。
[0030]在步骤103中，在具体实现过程中，用户设备的应用识别结果为准确的识别结果，而网关设备的应用识别结果为不准确的识别结果。因此，可将用户设备的应用识别结果作为验证依据，并结合网关设备的应用识别结果，对网关设备的应用识别结果进行验证，得到网关设备的应用识别结果的第一误判值。
[0031]根据第一误判值的大小，可以确定网关设备的应用识别结果的准确度。当第一误判值较大时，说明网关设备对应用的识别准确度较低，当第一误判值较小时，说明网关设备对应用的识别准确度较高。
[0032]本发明实施例提供的应用识别验证方法，通过获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量；获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量；根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值，不需要人员到现场对网关设备进行检测，可以快速验证网关设备的应用识别结果，通过将用户设备的应用识别结果作为验证依据，并结合网关设备的应用识别结果，对网关设备的应用识别结果进行验证，提高了验证网关设备的应用识别结果的正确率。
[0033]下面采用具体的实施例，对本发明的应用识别验证方法进行详细说明。具体可如图2所示，图2为本发明应用识别验证方法实施例二的流程图，如图2所示，应用识别验证方法包括:
[0034]步骤201、获取用户设备的应用识别结果；
[0035]本步骤的具体实现方式与步骤101类似，本实施此处不再赘述。
[0036]步骤202、获取网关设备的应用识别结果；[0037]本步骤的具体实现方式与步骤102类似，本实施例此处不再赘述。
[0038]步骤203、确定各第一应用标识与各第二应用标识是否匹配，若是，则执行步骤204，若否，则执行步骤205 ；
[0039]本实施例中的匹配是指第一应用标识和第二应用标识对应相同的应用，即确定各第一应用标识与各第二应用标识是否对应相同的应用。例如，第一应用标识为A，第二应用标识为A，则第一应用标识与第二应用标识匹配。为了便于区分和描述，对所有的第一应用标识加区分符1，即Al、B1、Cl、等，对所有的第二应用标识加区分符2，即A2、B2、C2等。当各第一应用标识与各第二应用标识匹配时，即Al和A2匹配，BI和B2匹配，Cl和C2匹配。
[0040]当所有的第一应用标识与所有的第二应用标识均匹配时，执行步骤204，若否，则执行步骤205。
[0041]步骤204、根据各第一应用标识对应的流量以及各第二应用标识对应的流量，获取至少一个匹配的第一应用标识和第二应用标识对应的第一流量差值，并根据至少一个第一流量差值确定网关设备的应用识别结果的第一误判值，执行步骤206 ；
[0042]在具体实现过程中，根据Al、B1、Cl对应的流量以及A2、B2、C2对应的流量，获取至少一个匹配的第一应用标识和第二应用标识对应的第一流量差值，g卩I A1-A2 I =Ac,
I B1-B2 I =Bc, I C1-C2 I =Cc,可以根据第一流量差值确定网关设备的应用识别结果的第一误判值。
[0043]具体地，根据至少一个所述第一流量差值，得到第一差值和，根据各所述第一应用标识对应的流量，得到第一流量和，根据所述第一差值和与所述第一流量和的比值，确定所述网关设备的应用识别结果的第一误判值P。具体地，可通过公式一确定第一误判值3。
「 I Q Ac + Be + Ce ^ ? 、`
[0044]P=,.、，(公式一)
AI + BI + CI
[0045]步骤205、根据各第一应用标识对应的流量以及各第二应用标识对应的流量，获取匹配的第一应用标识和第二应用标识对应的第二流量差值以及不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，并根据第二流量差值、不匹配的第一应用标识对应的流量和/或不匹配的第二应用标识对应的流量，确定网关设备的应用识别结果的第一误判值，执行步骤206。
[0046]当所有第一应用标识与所有的第二应用标识没有完全匹配时，例如，第一应用标识为A1、B1、C1、D1，第二应用标识为A2、B2、C2、E2，当各第一应用标识与各第二应用标识匹配时，Al和A2匹配，BI和B2匹配，Cl和C2匹配，Dl与E2则不匹配。
[0047]在具体实现过程中，根据Al、B1、Cl、Dl对应的流量以及A2、B2、C2、E2对应的流量，获取匹配的第一应用标识和第二应用标识对应的第二流量差值以及不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量。即I A1-A2 I =Ac> I B1-B2 I =Bc>
I C1-C2 I =Cc，Dl，E2可以根据第一流量差值确定网关设备的应用识别结果的第一误判值。
[0048]本领域技术人员可以理解，在具体实现过程中，也可能出现第一应用标识为Al、B1、Cl，第二应用标识为A2、B2、C2、E2，此时就只有不匹配的第二应用标识对应的流量了，第一应用标识和第二应用标识的个数可以相等也可以不等。
[0049]具体地，根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，得到第二差值和，根据各所述第一应用标识对应的流量，得到第二流量和，根据所述第二差值和与所述第二流量和的比值，确定所述网关设备的应用识别结果的第一误判值。具体地，可通过公式二确定第一误判值3。
n Ac + Bc + Cc +Dl+E2[_]卜~A1 + B1 + C1~(公式二)
[0051]步骤206、确定网关设备的应用识别结果的第一误判值是否大于预设误判值，若是，执行步骤207，若否，执行步骤208 ；
[0052]在步骤204和步骤205中，均确定得到了第一误判值。步骤201至步骤205完成了对网关设备的应用识别结果的验证过程。为了对网关设备的应用识别结果的验证结果更加的准确可靠，在步骤206至步骤212中，进一步对网关设备的应用识别结果进行验证。
[0053]在步骤206中，根据第一误判值与预设误判值的大小关系，确定后续的检测模式，从而继续对应用识别结果进行验证。当第一误判值大于预设误判值时，说明网关设备的应用识别结果的误差较大，引起误差较大的原因有两方面，一方面为网关设备本机对应用的识别不准确，产生与第一误判值对应的系统误差，另一方面为随机误差，而当获取的网关设备和用户设备的应用识别结果较少时，第一误判值对应的随机误差的准确度非常低。因此，为了消除随机误差对第一误判值的影响，需要获取大量的网关设备和应用设备的应用识别结果，此时，执行步骤207，确定误判检测模式为完全检测模式。当第一误判值小于预设误判值时，说明网关设备的应用识别结果的误差较小，此时，系统误差和随机误差均较小，即使随机误差不准确，第一误判值也是在允许的范围内，因此，执行步骤208，由用户根据实际需要确定最终的误判检测模式。
[0054]步骤207、确定误判检测模式为完全检测模式。
[0055]当第一误判值大于预设误判值时，确定误判检测模式为完全检测模式。
[0056]步骤208、在显示界面上显示完全检测模式、标准检测模式和预设检测模式的选项卡，以使用户确定误判检测模式，并获取用户确定的误判检测模式；
[0057]当第一误判值小于预设误判值时，则在显示界面上显示各检测类型，由用户确定误判检测模式，从而继续对应用识别结果进行验证。
[0058]本领域技术人员可以理解，下述的步骤209、步骤210、步骤211没有严格的时序关系，仅仅是针对不同的检测模式，对如何继续对应用识别结果进行验证进行的说明。
[0059]步骤209、若误判检测模式为完全检测模式，则定时获取当前时刻用户设备的应用识别结果和网关设备的应用识别结果，并统计各第一应用标识与各第二应用标识的匹配结果，并根据匹配结果确定网关设备的应用识别结果的第二误判值，直至第二误判值的个数为N-1，N为预设检测次数，N为自然数，根据第一误判值和第二误判值，确定误判平均值；
[0060]在本步骤中，确定第二误判值的方式与步骤203至步骤205中确定第一误判值的方式类似，本实施例此处不再赘述。所不同的是，第一误判值只确定了一次，而在本步骤中，当确定一个第二误判值之后，则继续重复获取第二误判值，直至第二误判值的个数为N-1，其中N为预设检测次数，最终，得到一个第一误判值，N-1个第二误判值，第一误判值和所有的第二误判值相加，得到的误判值和除以N，则得到误判平均值。
[0061]步骤210、若误判检测模式为标准检测模式，则定时获取当前时刻用户设备的应用识别结果和网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在预设流量排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在预设流量排名之前的第二应用标识对应的流量，并确定排在预设流量排名之前、对应的第一应用标识与排在预设流量排名之前、对应的第二应用标识的匹配结果，并根据匹配结果确定网关设备的应用识别结果的第二误判值，直至第二误判值的个数为N-l，N为预设检测次数，N为自然数，根据第一误判值和第二误判值，确定误判平均值；
[0062]当误判检测模式为标准检测模式时，在定时获取当前时刻用户设备的应用识别结果和网关设备的应用识别结果后，并没有对网关设备的所有的应用识别结果进行识别，而是确定在所有第一应用标识对应的流量中排在预设流量排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在预设流量排名之前的第二应用标识对应的流量，并确定排在预设流量排名之前、对应的第一应用标识与排在预设流量排名之前、对应的第二应用标识的匹配结果，并根据匹配结果确定网关设备的应用识别结果的第二误判值。
[0063]例如，第一应用标识为Al、B1、C1、D1，第二应用标识为A2、B2、C2、E2时，第一应用标识对应的流量按照从多到少的排名为:A1对应的流量、BI对应的流量、Cl对应的流量、Dl对应的流量，第二应用标识对应的流量按照从多到少的排名为:B2对应的流量、C2对应的流量、E2对应的流量、Dl对应的流量，当预设流量排名为前80%时，则确定Al、B1、Cl对应的流量为在所有第一应用标识对应的流量中排在预设流量排名之前的第一应用标识对应的流量，确定B2、C2、E2对应的流量为在所有第二应用标识对应的流量中为排在预设流量排名之前的第二应用标识对应的流量。此时，只需要针对A1、B1、C1与B2、C2、E2进行匹配，得到匹配结果，然后根据匹配结果得到第二误判值。本领域技术人员可以理解，根据匹配结果确定第二误判值的方式与确定第一误判值的方式相同，在本实施例中，最终也得到一个第一误判值，N-1个第二误判值。N-1个第二误判值的具体获取方式，可参见步骤209，本实施例此处不再赘述。然后，第一误判值和所有的第二误判值相加，得到的误判值和除以N，则得到误判平均值。
[0064]步骤211、若误判检测模式为预设检测模式，则获取用户输入的自定义排名和自定义检测次数M，M为自然数，定时获取当前时刻用户设备的应用识别结果和网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在自定义排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在自定义排名之前的第二应用标识对应的流量，并确定排在自定义排名之前、对应的第一应用标识与排在自定义排名之前、对应的第二应用标识的匹配结果，并根据匹配结果确定网关设备的应用识别结果的第二误判值，直至第二误判值的个数为M-1，根据第一误判值和第二误判值，确定误判平均值；
[0065]步骤211与步骤210的区别为，步骤210中为预设流量排名和预设检测次数，而步骤211中，是通过获取用户输入的自定义排名和自定义检测次数，即用户根据实际需要，输入自定义排名和自定义检测次数。本实施例中的根据自定义排名和自定义检测次数确定误判平均值与步骤210中根据预设流量排名和预设检测次数确定误判平均值类似，本实施例此处不再赘述。
[0066]步骤212、确定误判平均值是否大于预设误判平均值；若否，执行步骤213，若是，执行步骤214 ；
[0067]步骤213、在显示界面上向用户反馈误判平均值；[0068]步骤214、在显示界面上向用户反馈误判平均值，并向网关设备发送镜像抓包请求，接收网关设备发送的抓包结果，并向外部服务器发送抓包结果和网关设备的应用识别结果，以使外部服务器根据抓包结果和网关设备的应用识别结果对网关设备进行维护。
[0069]在步骤212中，确定误判平均值是否大于预设误判平均值。其中，预设误判平均值为该预设误判平均值对应的网关设备的应用识别结果准确率在可接受的范围内。在本步骤中，误判平均值的取值为5%，当误判平均值小于等于5%时，则执行步骤213，当大于5%时，则执行步骤214。
[0070]具体地，误判平均值小于1%时，说明网关设备的应用识别结果准确率高达99%以上，执行步骤213，将误判平均值和误判平均值对应的呈色结果(如绿色)反馈至用户界面供用户查看。
[0071]误判平均值大于1%，小于3%时，说明网关设备的应用识别结果准确率在97%以上，执行步骤213，将误判平均值和误判平均值对应的呈色结果(如蓝色)反馈至用户界面供用
户查看。
[0072]误判平均值大于3%，小于5%时，说明网关设备的应用识别结果准确率在95%_97%的可接受范围间，执行步骤213，将误判平均值和误判平均值对应的呈色结果(如黄色)反馈至用户界面供用户查看。
[0073]误判平均值大于5%时，说明网关设备的应用识别结果准确率低于95%，识别率较低，需引起用户重视。执行步骤214，不仅将误判率和呈色结果(如橙色)反馈至用户界面供用户查看，还需将用户设备的应用识别结果和网关设备的应用识别结果保存至预警数据库中，向所述网关设备发送镜像抓包请求，接收所述网关设备发送的抓包结果，并向外部服务器发送所述抓包结果和所述网关设备的应用识别结果，以使所述外部服务器根据所述抓包结果和所述网关设备的应用识别结果对所述网关设备进行维护。在具体实现过程中，应用识别验证装置与外部服务器的交互涉及两个方面，对应两个定时器，当网关设备的应用识别率较低时，一个定时器定时向外部服务器发送抓包结果和网关设备的应用识别结果，以使外部服务器根据抓包结果和网关设备的应用识别结果对网关设备进行维护；当抓包结果和网关设备的应用识别结果发送成功之后，另一个定时器开始计时，用于定时清理存储在网关设备但已发送至外部服务器的网关设备的应用识别结果和抓包结果。
[0074]本领域技术人员可以理解，本实施例中的用户具体可以为使用应用识别验证装置的使用者，例如研发人员，网络维护人员、网管等，本实施例此处不做特别限制。
[0075]本实施例通过步骤206至步骤212，通过一个第一误判值，确定误判检测模式，针对用户设备的应用识别结果和网关设备的应用识别结果，通过循环的方式，在相应误判检测模式下，得到多个第二误判值，根据一个第一误判值和多个第二误判值确定的平均误判值，能够得到准确的验证结果。
[0076]图3为本发明应用识别验证装置实施例一的结构示意图。本发明的应用识别验证装置可以独立设置，还可以内置在各种网络设备中实现，例如网关设备、路由设备、交换机等，本实施例此处不做特别限制。如图3所示，本发明实施例提供的应用识别验证装置30包括:第一获取模块301、第二获取模块302和验证模块303。其中，
[0077]第一获取模块301，用于获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量；[0078]第二获取模块302，用于获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量；
[0079]验证模块303，用于根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值。
[0080]本发明实施例提供的应用识别验证装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0081]图4为本发明应用识别验证装置实施例二的结构示意图。本实施例在图3实施例的基础上实现，具体如下:
[0082]可选地，所述验证模块303包括:
[0083]确定单元，用于确定各所述第一应用标识与各所述第二应用标识是否匹配；
[0084]第一验证单元，用于所述确定单元确定是时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取至少一个匹配的第一应用标识和第二应用标识对应的第一流量差值，并根据至少一个所述第一流量差值确定所述网关设备的应用识别结果的第一误判值；
[0085]第二验证单元，用于所述确定单元确定否时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取匹配的第一应用标识和第二应用标识对应的第二流量差值以及不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，并根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或不匹配的第二应用标识对应的流量，确定所述网关设备的应用识别结果的第一误判值。
[0086]可选地，所述第一验证单元具体用于:所述确定单元确定是时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取至少一个匹配的第一应用标识和第二应用标识对应的第一流量差值，根据至少一个所述第一流量差值，得到第一差值和，根据各所述第一应用标识对应的流量，得到第一流量和，根据所述第一差值和以及所述第一流量和的比值，确定所述网关设备的应用识别结果的第一误判值；
[0087]所述第二验证单元具体用于:所述确定单元确定否时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取匹配的第一应用标识和第二应用标识对应的第二流量差值以及不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，得到第二差值和，根据各所述第一应用标识对应的流量，得到第二流量和，根据所述第二差值和与所述第二流量和的比值，确定所述网关设备的应用识别结果的第一误判值。
[0088]可选地，还包括:
[0089]模式确定模块304，用于在确定所述网关设备的应用识别结果的第一误判值之后，根据所述网关设备的应用识别结果的第一误判值，确定误判检测模式；
[0090]平均值确定模块305，用于根据所述误判检测模式，确定与所述误判检测模式对应的误判平均值；
[0091]反馈模块306，用于确定所述误判平均值是否大于预设误判平均值；
[0092]若否，则在显示界面上向用户反馈所述误判平均值；[0093]若是，则在显示界面上向用户反馈所述误判平均值，并向所述网关设备发送镜像抓包请求，接收所述网关设备发送的抓包结果，并向外部服务器发送所述抓包结果和所述网关设备的应用识别结果，以使所述外部服务器根据所述抓包结果和所述网关设备的应用识别结果对所述网关设备进行维护。
[0094]可选地，所述模式确定模块304具体用于:
[0095]确定所述网关设备的应用识别结果的第一误判值是否大于预设误判值；
[0096]若是，则确定所述误判检测模式为完全检测模式；
[0097]若否，则在所述显示界面上显示完全检测模式、标准检测模式和预设检测模式的选项卡，以使用户确定误判检测模式，并获取所述用户确定的误判检测模式。
[0098]可选地，平均值确定模块305具体用于:
[0099]若所述误判检测模式为完全检测模式，则定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并统计各所述第一应用标识与各所述第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为N-1，所述N为预设检测次数，所述N为自然数，根据所述第一误判值和所述第二误判值，确定误判平均值；或者
[0100]若所述误判检测模式为标准检测模式，则定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在预设流量排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在所述预设流量排名之前的第二应用标识对应的流量，并确定排在所述预设流量排名之前、对应的第一应用标识与排在所述预设流量排名之前、对应的第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为N-1，所述N为预设检测次数，所述N为自然数，根据所述第一误判值和所述第二误判值，确定误判平均值；或者
[0101]若所述误判检测模式为预设检测模式，则获取用户输入的自定义排名和自定义检测次数M，所述M为自然数，定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在自定义排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在所述自定义排名之前的第二应用标识对应的流量，并确定排在所述自定义排名之前、对应的第一应用标识与排在所述自定义排名之前、对应的第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为M-1，根据所述第一误判值和所述第二误判值，确定误判平均值。
[0102]本发明实施例提供的应用识别验证装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0103]本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括:R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【权利要求】
1.一种应用识别验证方法，其特征在于，包括: 获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量； 获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量； 根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值，包括: 确定各所述第一应用标识与各所述第二应用标识是否匹配； 若是，则根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取至少一个匹配的第一应用标识和第二应用标识对应的第一流量差值，并根据至少一个所述第一流量差值确定所述网关设备的应用识别结果的第一误判值； 若否，则根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取匹配的第一应用标识和第二应用标识对应的第二流量差值以及不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，并根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或不匹配的第二应用标识对应的流量，确定所述网关设备的应用识别结果的第一误判值。`
3.根据权利要求2所述的方法，其特征在于，所述根据至少一个所述第一流量差值确定所述网关设备的应用识别结果的第一误判值，包括: 根据至少一个所述第一流量差值，得到第一差值和，根据各所述第一应用标识对应的流量，得到第一流量和，根据所述第一差值和与所述第一流量和的比值，确定所述网关设备的应用识别结果的第一误判值； 所述根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或不匹配的第二应用标识对应的流量，确定所述网关设备的应用识别结果的第一误判值，包括: 根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，得到第二差值和，根据各所述第一应用标识对应的流量，得到第二流量和，根据所述第二差值和与所述第二流量和的比值，确定所述网关设备的应用识别结果的第一误判值。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述确定所述网关设备的应用识别结果的第一误判值之后，还包括: 根据所述网关设备的应用识别结果的第一误判值，确定误判检测模式； 根据所述误判检测模式，确定与所述误判检测模式对应的误判平均值； 确定所述误判平均值是否大于预设误判平均值； 若否，则在显示界面上向用户反馈所述误判平均值； 若是，则在显示界面上向用户反馈所述误判平均值，并向所述网关设备发送镜像抓包请求，接收所述网关设备发送的抓包结果，并向外部服务器发送所述抓包结果和所述网关设备的应用识别结果，以使所述外部服务器根据所述抓包结果和所述网关设备的应用识别结果对所述网关设备进行维护。
5.根据权利要求4所述的方法，其特征在于，所述根据所述网关设备的应用识别结果的第一误判值，确定误判检测模式，包括: 确定所述网关设备的应用识别结果的第一误判值是否大于预设误判值； 若是，则确定所述误判检测模式为完全检测模式； 若否，则在所述显示界面上显示完全检测模式、标准检测模式和预设检测模式的选项卡，以使用户确定误判检测模式，并获取所述用户确定的误判检测模式。
6.根据权利要求5所述的方法，其特征在于，所述根据所述误判检测模式，确定与所述误判检测模式对应的误判平均值，包括: 若所述误判检测模式为完全检测模式，则定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并统计各所述第一应用标识与各所述第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为N-1，所述N为预设检测次数，所述N为自然数，根据所述第一误判值和所述第二误判值，确定误判平均值；或者 若所述误判检测模式为标准检测模式，则定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在预设流量排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在所述预设流量排名之前的第二应用标识对应的流量，并确定排在所述预设流量排名之前、对应的第一应用标识与排在所述预设流量排名之前、对应的第二应用标识的匹配结果，并根据所述匹配结果确定所述网关`设备的应用识别结果的第二误判值，直至所述第二误判值的个数为N-1，所述N为预设检测次数，所述N为自然数，根据所述第一误判值和所述第二误判值，确定误判平均值；或者 若所述误判检测模式为预设检测模式，则获取用户输入的自定义排名和自定义检测次数M，所述M为自然数，定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在自定义排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在所述自定义排名之前的第二应用标识对应的流量，并确定排在所述自定义排名之前、对应的第一应用标识与排在所述自定义排名之前、对应的第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为M-1，根据所述第一误判值和所述第二误判值，确定误判平均值。
7.一种应用识别验证装置，其特征在于，包括: 第一获取模块，用于获取用户设备的应用识别结果，所述用户设备的应用识别结果包括至少一个第一应用标识、各所述第一应用标识对应的流量； 第二获取模块，用于获取网关设备的应用识别结果，所述网关设备的应用识别结果包括至少一个第二应用标识、各所述第二应用标识对应的流量； 验证模块，用于根据所述至少一个第一应用标识、各所述第一应用标识对应的流量，以及所述至少一个第二应用标识、各所述第二应用标识对应的流量，对所述网关设备的应用识别结果进行验证，确定所述网关设备的应用识别结果的第一误判值。
8.根据权利要求7所述的装置，其特征在于，所述验证模块包括: 确定单元，用于确定各所述第一应用标识与各所述第二应用标识是否匹配； 第一验证单元，用于所述确定单元确定是时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取至少一个匹配的第一应用标识和第二应用标识对应的第一流量差值，并根据至少一个所述第一流量差值确定所述网关设备的应用识别结果的第一误判值； 第二验证单元，用于所述确定单元确定否时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取匹配的第一应用标识和第二应用标识对应的第二流量差值以及不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，并根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或不匹配的第二应用标识对应的流量，确定所述网关设备的应用识别结果的第一误判值。
9.根据权利要求8所述的装置，其特征在于，所述第一验证单元具体用于:所述确定单元确定是时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取至少一个匹配的第一应用标识和第二应用标识对应的第一流量差值，根据至少一个所述第一流量差值，得到第一差值和，根据各所述第一应用标识对应的流量，得到第一流量和，根据所述第一差值和以及所述第一流量和的比值，确定所述网关设备的应用识别结果的第一误判值； 所述第二验证单元具体用于:所述确定单元确定否时，根据各所述第一应用标识对应的流量以及各所述第二应用标识对应的流量，获取匹配的第一应用标识和第二应用标识对应的第二流量差值以 及不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，根据所述第二流量差值、不匹配的第一应用标识对应的流量和/或第二应用标识对应的流量，得到第二差值和，根据各所述第一应用标识对应的流量，得到第二流量和，根据所述第二差值和与所述第二流量和的比值，确定所述网关设备的应用识别结果的第一误判值。
10.根据权利要求7至9任一项所述的装置，其特征在于，还包括: 模式确定模块，用于在确定所述网关设备的应用识别结果的第一误判值之后，根据所述网关设备的应用识别结果的第一误判值，确定误判检测模式； 平均值确定模块，用于根据所述误判检测模式，确定与所述误判检测模式对应的误判平均值； 反馈模块，用于确定所述误判平均值是否大于预设误判平均值； 若否，则在显示界面上向用户反馈所述误判平均值； 若是，则在显示界面上向用户反馈所述误判平均值，并向所述网关设备发送镜像抓包请求，接收所述网关设备发送的抓包结果，并向外部服务器发送所述抓包结果和所述网关设备的应用识别结果，以使所述外部服务器根据所述抓包结果和所述网关设备的应用识别结果对所述网关设备进行维护。
11.根据权利要求10所述的装置，其特征在于，所述模式确定模块具体用于: 确定所述网关设备的应用识别结果的第一误判值是否大于预设误判值； 若是，则确定所述误判检测模式为完全检测模式；若否，则在所述显示界面上显示完全检测模式、标准检测模式和预设检测模式的选项卡，以使用户确定误判检测模式，并获取所述用户确定的误判检测模式。
12 .根据权利要求11所述的装置，其特征在于，平均值确定模块具体用于: 若所述误判检测模式为完全检测模式，则定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并统计各所述第一应用标识与各所述第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为N-1，所述N为预设检测次数，所述N为自然数，根据所述第一误判值和所述第二误判值，确定误判平均值；或者 若所述误判检测模式为标准检测模式，则定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在预设流量排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在所述预设流量排名之前的第二应用标识对应的流量，并确定排在所述预设流量排名之前、对应的第一应用标识与排在所述预设流量排名之前、对应的第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为N-1，所述N为预设检测次数，所述N为自然数，根据所述第一误判值和所述第二误判值，确定误判平均值；或者 若所述误判检测模式为预设检测模式，则获取用户输入的自定义排名和自定义检测次数M，所述M为自然数，定时获取当前时刻所述用户设备的应用识别结果和所述网关设备的应用识别结果，并确定在所有第一应用标识对应的流量中排在自定义排名之前的第一应用标识对应的流量，以及在所有第二应用标识对应的流量中排在所述自定义排名之前的第二应用标识对应的流量，并确定排在所述自定义排名之前、对应的第一应用标识与排在所述自定义排名之前、对应的第二应用标识的匹配结果，并根据所述匹配结果确定所述网关设备的应用识别结果的第二误判值，直至所述第二误判值的个数为M-1，根据所述第一误判值和所述第二误判值，确定误判平均值。
【文档编号】H04L12/66GK103532937SQ201310456151
【公开日】2014年1月22日 申请日期:2013年9月29日 优先权日:2013年9月29日
【发明者】李妍 申请人:北京星网锐捷网络技术有限公司