一种场景化自学习的恶意请求检测方法及系统与流程

本发明属于网络技术与安全领域，尤其涉及一种场景化自学习的恶意请求检测方法及系统。

背景技术：

1、随着全球计算机网络和网络应用的指数级增长以及智能化的推进，智能自动化网络攻击激增。网络攻击在基于ai的对抗学习、自动化工具的应用下找到了新的转型模式，依靠自动化形成更为拟人化和精密化的网络攻击趋势。这类机器人模拟真人的行为会更聪明，更大胆，也更难以追踪，更难以区别于真人的行为。频繁的数据外泄事件后，身份信息被暴露、贩卖。而网络罪犯可以结合自动化脚本或者工具，轻松利用这些被曝光的个人数据，在短时间内对数百个不同的网站不断进行登录验证，试图盗用账号，乃至发起进一步攻击并从中获利。随着自动化攻击与安全防护之间对抗的不断升级，提供各类对抗服务的黑灰产组织也越来越多，各类服务例如代理ip服务、图形验证码识别、短信验证码代收、群控设备池、账号提供商等等，可以轻易获取。大部分自动化攻击防护手段被轻松穿透，与此同时又催生了更具拟人特点的全新自动化攻击，这些恶意自动化攻击会通过使用模拟器、伪造浏览器环境、ua、分布式ip等手段给系统安全带来极大威胁。自动化攻击的免费、简单、高效的三大特性，更使自动化攻击呈现愈演愈烈的态势，不断让企业的传统网络安全防线频频失守。forrester报告显示，由于当前的waf方案无法处理更广泛的应用程序攻击，特别是由机器人驱动的自动化攻击，已经让企业用户苦不堪言。

2、如现有公开号为cn115525813a的发明专利公开了一种基于应用场景的网络爬虫检测系统，包括爬虫检测平台，爬虫检测平台包括用户分析单元、人机识别单元、二次验证单元、空间开发单元和现实结合单元。该检测系统通过将企业网络按照用途划分为不同的应用场景，基于应用场景进行三重恶意爬虫识别，实现对恶意爬虫筛选的同时，为注册用户开通个人空间，并且结合与应用场景相关的管网信息对个人空间进行管控。

3、如现有公开号cn106027564a的发明专利公开了一种检测反爬虫策略安全性的方法及装置，该方法通过在网站的第一前端页面中嵌入用于实现反爬虫策略的反爬虫代码；利用反爬虫代码检测访问所述第一前端页面的用户是否为爬虫，将被检测出是爬虫的用户记为目标对象；验证目标对象是否为爬虫，统计目标对象非爬虫的次数；根据次数计算所述反爬虫策略的误伤率，误伤率用于衡量反爬虫策略的安全性。

4、通过对上述现有技术分析发现，现有的大多数防御手段都是通过一个通用配置和多种防御技术的堆砌来限制请求，对于拟人化、精密化的bot请求不具备快速检测能力，对不同场景下的bot请求检测使用通用配置导致误报和漏报过高；为了解决这些问题，本发明提供了一种场景化自学习的恶意请求检测方法及系统。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，提供了一种场景化自学习的恶意请求检测方法及系统，该方法通过使用分层检测策略和集成得分引擎相结合，降低了检测异常的漏报和误报率；此外流量自学习策略的使用，使得该方法具有了动态更新的能力，提高了该方法的适应性。

2、为实现上述目的，本发明提供如下技术方案：

3、一种场景化自学习的恶意请求检测方法，包括如下步骤:

4、s1：配置基本场景，并为基本场景配置用户统计粒度和检测策略；

5、s2：利用用户统计粒度和检测策略，获取配置场景中不同异常的得分；

6、s3：配置集成评分引擎，利用集成评分引擎，对获取的不同异常得分进行综合，获取综合异常得分，确定异常的严重程度；

7、s4：通过对获取的异常严重程度进行可视化展示；

8、s5：通过对潜在威胁进行流量数据分析，为检测策略配置增强建议反馈；

9、s6：设置灰度测试，并通过灰度测试对上述场景配置进行验证，获取并修复场景兼容性或错误配置问题，然后对场景进行下发部署。

10、具体地，s1中用户统计粒度的配置过程包括：

11、s2.1：客户通过选择ip、ip+ua、自定义令牌和网关特定cookie四个角度来配置所述用户统计粒度；

12、s2.2：对所述用户统计粒度由高到低依次设置以下优先级：自定义令牌、网关特定cookie、ip+ua、ip；

13、s2.3：当所述用户统计粒度在高一级的优先级缺失时，则使用低一级用户统计粒度作为用户唯一身份的定位标识。

14、具体地，检测策略包括前端对抗、访问限速、情报分析和智能分析，前端对抗、访问限速、情报分析和智能分析中都包括预设的检测阈值。

15、具体地，s2中获取不同异常得分的具体流程包括：

16、s4.1：根据客户配置的用户统计粒度，场景所在系统自动统计不同场景的所有访问请求的用户统计粒度数据；

17、s4.2：将收集到的优先级高的场景的用户统计粒度数据先输入到所述场景配置的并行检测策略层中进行分析计算，并根据检测策略的权重独立设置异常得分；然后再对次一级场景进行检测，以此类推获取不同场景的异常得分。

18、具体地，s3中综合得分包括单异常综合得分和多异常综合得分，其具体计算流程包括：

19、s5.1当综合得分为单异常综合得分时，则直接使用从单个所述检测策略中获得的异常得分，作为综合得分；

20、s5.2：当所述综合得分为多异常综合得分时，则将检测策略中异常得分最高的做为单次异常的最高分，而其余检测策略的得分则乘以所述检测策略对应的权重，并与单次异常最高分相加，得到综合得分，其公式如下：

21、m＝m1+w2m2+w3m3+w4m4，

22、其中，m为综合多异常得分，m1为单次异常的最高分，m2，m3，m4依次为得分第二，三和四的异常得分，w2，w3，w4依次为m2，m3，m4对应检测策略的权重。

23、具体地，配置增强建议反馈，采用了一种流量自学习策略，具体过程包括：

24、s6.1：根据获取的潜在威胁，利用场景配置的统计粒度，收集威胁的流量数据，并进行预处理；

25、s6.2：从预处理的流量数据中提取与攻击相关的特定流量模式、异常的访问行为或其他可疑活动，作为攻击样本，并利用获取潜在威胁对应的检测策略的检测阈值作为初始的阈值；

26、s6.3：将上述攻击样本与初始的阈值输入到一个预训练的支持向量机中，获取威胁的攻击模式和趋势，并输出对应威胁的最佳阈值；

27、s6.4：利用获取的攻击模式和趋势调整所述前端对抗、访问限速、情报分析和智能分析的配置和权重，并利用获取的最佳阈值更新所述前端对抗、访问限速、情报分析和智能分析中预设的检测阈值。

28、一种场景化自学习的恶意请求检测系统，包括场景化基本配置模块、集成评分引擎模块、配置建议反馈模块、灰度测试模块；

29、场景化基本配置模块：用于给客户提供可选择的场景配置或自定义的场景配置，并对选择的场景配置检测粒度与检测策略；

30、集成评分引擎模块：用于对不同检测策略中获得的异常得分进行综合，来确定检测到异常的严重程度，并提供适当的措施；

31、配置建议反馈模块：用于为每个措施提供准确有效的配置建议；

32、灰度测试模块：用于验证最终配置，并确保正常用户可以顺利通过验证过程。

33、具体地，场景化基本配置模块包括场景化基本设置单元、用户统计粒度单元和检测策略单元；

34、场景化基本设置单元，用于给客户提供带有不同配置的场景，并对不同场景提供一键配置功能；

35、用户统计粒度单元，用于为客户配置的场景提供不同等级的用户识别粒度；

36、检测策略单元，用于为客户配置的场景提供不同类型检测策略，并根据检测策略的权重独立设置异常得分。

37、具体地，检测策略单元包括前端对抗子单元、访问限速子单元、情报分析子单元和智能分析子单元；

38、前端对抗子单元，用于爬虫行为、自动化攻击和页面调试等异常行为的检测，并获取异常得分；

39、访问限速子单元，用于用户粒度(如ip地址)访问频率控制，并通过访问频率进行异常检测，并获取异常得分；

40、情报分析子单元，用于威胁情报数据库黑名单和白名单的管理，并通过管理的黑名单和白名单进行异常检测，并获取异常分数；

41、智能分析子单元，用于访问行为分析和人机行为分析，并通过所述行为分析进行异常检测，并获取异常得分。

42、具体地，配置建议反馈模块包括结果展示子单元和流量自学习子单元；

43、结果展示子单元，用于将异常得分高于阈值的结果进行可视化展示，协助客户快速识别潜在的威胁，并采取适当的措施缓解这些所述威胁；

44、流量自学习子单元，用于确定威胁攻击的模式和趋势，以此为检测策略提供阈值增强配置建议。

45、与现有技术相比，本发明的有益效果是：

46、1.本发明综合传统防御手段对恶意请求容易漏报和误报的问题，采用多种粒度配置及检测策略相结合方式，能够更灵活地自适应业务场景，并带来安全检测能力的提高，同时减少因为通用配置导致的漏报误报。

47、2.本发明综合传统的个人配置模式中存在的问题，采用流量自学习、评分引擎和配置反馈等策略相结合的方式，提高了风险评估的全面性，同时也增强了配置场景检测恶意攻击的性能，更充分体现产品的能力。

48、3.本发明采用灰度测试验证场景的最终配置，进一步确保了资产的可用性。