网络检测方法、装置、存储介质及电子设备与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。下面参照图7来描述根据本技术的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730以及显示单元740。其中，存储单元存储有程序代码，程序代码可以被处理单元710执行，使得处理单元710执行本说明书上述“示例性方法”部分中描述的根据本技术各种示例性实施方式的步骤。例如，处理单元710可以执行如下所示的步骤：响应于用户端的上网请求，通过url名单库检测方式检测上网请求中的url地址是否为安全网址；在检测到url地址为安全网址的情况下，将上网请求发送至网站服务端；接收网站服务端发送的针对上网请求的应答结果，对应答结果进行检测，得到检测结果，其中，应答结果包括以下至少之一：网页标题、网页内容；基于检测结果对样本库进行更新，其中，检测结果包括以下至少之一：网页标题检测结果、网页内容检测结果。在一种可选的实施方式中：调用预先建立的url名单库，其中，url名单库包括：url黑名单、url白名单；通过完整匹配的方式检索上网请求中的url地址是否存在于url名单库中；若存在，则判断url地址是否为黑名单地址，若url地址为黑名单地址，则检测出url地址不是安全网址，若url地址为白名单地址，则检测出url地址是安全网址，并允许访问；若不存在，则提取url地址的根部地址，通过前缀匹配的方式检索根部地址是否存在于url名单库中，若存在，则判断根部地址是否为黑名单地址，若根部地址为黑名单地址，则检测出url地址不是安全网址。在一种可选的实施方式中：提取网页标题中的标题信息，并计算标题信息的哈希值；检索哈希值是否存在于预先建立的敏感标题库中；若存在，则检测出网页标题为不安全标题，若不存在，则通过向量检索的方式对应答结果进行检测，得到检测结果。在一种可选的实施方式中：将网页标题通过嵌入模型的方式转换为标题向量；检索标题向量是否存在于敏感标题库中，若存在，则检测出网页标题为不安全标题，若不存在，则调用大模型技术对网页标题进行推理检测，得到检测结果。在一种可选的实施方式中：将网页内容按照段落进行拆分，得到多个段落；基于预先建立的敏感关键词库统计每个段落的敏感词出现次数；根据敏感词出现次数对每个段落进行排序，得到排序结果，基于排序结果对应答结果进行检测，得到检测结果。在一种可选的实施方式中：在敏感词出现次数非零时，根据敏感词出现次数的高低对每个段落进行排序，得到排序结果；在敏感词出现次数为零时，根据每个段落在网页内容中出现的先后顺序对每个段落进行排序，得到排序结果。在一种可选的实施方式中：基于排序结果中的每个段落依次组装成目标提示词；调用大模型引擎对目标提示词进行推理检测，得到检测结果。存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(rom)7203。存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本技术实施方式的方法。此外，上述附图仅是根据本技术示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其他实施例。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由权利要求指出。

背景技术：

1、相关技术中，上网内容安全检测技术虽然取得了较大的进展，但仍存在一些不足。基于人工智能的检测模型存在准确度不高的缺陷。此外，应用有监督的深度学习技术面临着数据标注的问题，如标注数据的缺乏、数据分布不均衡以及与真实信息数据相比的数据不平衡等，使得对上网内容检测的准确性降低。

2、针对相关技术中对上网内容检测的准确性降低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种网络检测方法、装置、存储介质及电子设备，以解决相关技术中对上网内容检测的准确性降低的问题。

2、为了实现上述目的，根据本技术的第一方面，提供了一种网络检测方法。该方法包括：响应于用户端的上网请求，通过url名单库检测方式检测上网请求中的url地址是否为安全网址；在检测到url地址为安全网址的情况下，将上网请求发送至网站服务端；接收网站服务端发送的针对上网请求的应答结果，对应答结果进行检测，得到检测结果，其中，应答结果包括以下至少之一：网页标题、网页内容；基于检测结果对样本库进行更新，其中，检测结果包括以下至少之一：网页标题检测结果、网页内容检测结果。

3、进一步地，响应于用户端的上网请求，通过url名单库检测方式检测上网请求中的url地址是否为安全网址，包括：调用预先建立的url名单库，其中，url名单库包括：url黑名单、url白名单；通过完整匹配的方式检索上网请求中的url地址是否存在于url名单库中；若存在，则判断url地址是否为黑名单地址，若url地址为黑名单地址，则检测出url地址不是安全网址，若url地址为白名单地址，则检测出url地址是安全网址，并允许访问；若不存在，则提取url地址的根部地址，通过前缀匹配的方式检索根部地址是否存在于url名单库中，若存在，则判断根部地址是否为黑名单地址，若根部地址为黑名单地址，则检测出url地址不是安全网址。

4、进一步地，应答结果为网页标题，对应答结果进行检测，得到检测结果，包括：提取网页标题中的标题信息，并计算标题信息的哈希值；检索哈希值是否存在于预先建立的敏感标题库中；若存在，则检测出网页标题为不安全标题，若不存在，则通过向量检索的方式对应答结果进行检测，得到检测结果。

5、进一步地，通过向量检索的方式对应答结果进行检测，得到检测结果，包括：将网页标题通过嵌入模型的方式转换为标题向量；检索标题向量是否存在于敏感标题库中，若存在，则检测出网页标题为不安全标题，若不存在，则调用大模型技术对网页标题进行推理检测，得到检测结果。

6、进一步地，应答结果为网页内容，对应答结果进行检测，得到检测结果，包括：将网页内容按照段落进行拆分，得到多个段落；基于预先建立的敏感关键词库统计每个段落的敏感词出现次数；根据敏感词出现次数对每个段落进行排序，得到排序结果，基于排序结果对应答结果进行检测，得到检测结果。

7、进一步地，根据敏感词出现次数对每个段落进行排序，得到排序结果，包括：在敏感词出现次数非零时，根据敏感词出现次数的高低对每个段落进行排序，得到排序结果；在敏感词出现次数为零时，根据每个段落在网页内容中出现的先后顺序对每个段落进行排序，得到排序结果。

8、进一步地，基于排序结果对应答结果进行检测，得到检测结果，包括：基于排序结果中的每个段落依次组装成目标提示词；调用大模型引擎对目标提示词进行推理检测，得到检测结果。

9、为了实现上述目的，根据本技术的第二方面，提供了一种网络检测装置。该装置包括：响应单元，用于响应于用户端的上网请求，通过url名单库检测方式检测上网请求中的url地址是否为安全网址；发送单元，用于在检测到url地址为安全网址的情况下，将上网请求发送至网站服务端；接收单元，用于接收网站服务端发送的针对上网请求的应答结果，对应答结果进行检测，得到检测结果，其中，应答结果包括以下至少之一：网页标题、网页内容；更新单元，用于基于检测结果对样本库进行更新，其中，检测结果包括以下至少之一：网页标题检测结果、网页内容检测结果。

10、根据本技术实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现上述任意一项的网络检测方法。

11、根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现根据上述任意一项的网络检测方法。

12、通过本技术，采用以下步骤：响应于用户端的上网请求，通过url名单库检测方式检测上网请求中的url地址是否为安全网址；在检测到url地址为安全网址的情况下，将上网请求发送至网站服务端；接收网站服务端发送的针对上网请求的应答结果，对应答结果进行检测，得到检测结果，其中，应答结果包括以下至少之一：网页标题、网页内容；基于检测结果对样本库进行更新，其中，检测结果包括以下至少之一：网页标题检测结果、网页内容检测结果。通过本技术，解决了相关技术中对上网内容检测的准确性降低的问题。本案通过对网址、网页标题、网页内容的三级检测。进而达到了提升对上网内容检测的准确性的效果。